|
Харківський державний технічний університет радіоелектроніки
Антонов Владислав Олександрович
МОДЕЛІ ТА АЛГОРИТМИ ВИЗНАЧЕННЯ ЕФЕКТИВНИХ РОБАСТНИХ
МЕТОДІВ ПРИ СИНТЕЗІ ФУНКЦІОНАЛЬНИХ ЗАДАЧ АСУ
05.13.06 – автоматизовані системи управління та
прогресивні інформаційні технології
Автореферат дисертації на здобуття наукового ступеня
кандидата технічних наук
Харків 2000
Дисертацією є рукопис
Робота виконана у Харківському державному технічному університеті радіоелектроніки, Міністерства освіти і науки України.
Науковий керівник - кандидат технічних наук, доцент
Шамша Борис Володимирович, Харківський державний технічний університет
радіоелектроніки, професор кафедри
інформаційних управляючих систем
Офіційні опоненти:
- доктор технічних наук, професор Годлевський Михайло Дмитрович, Харківський державний політехнічний університет, завідувач кафедри автоматизованих систем управління;
- кандидат технічних наук, професор Євсєєв Віктор Володимирович, Харківський державний технічний університет радіоелектроніки, професор кафедри системотехніки
Провідна установа:
- Національний авіаційний університет, кафедра комп'ютерно- інтегрованих комплексів, Міністерство освіти і науки України, м. Київ.
Захист відбудеться “14 ” грудня 2000 р. о 13.00 годині на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському державному технічному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14, тел: (0572) 40-94-51.
З дисертацією можна ознайомитись у бібліотеці Харківського державного технічного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.
Автореферат розісланий “ 2 ” листопада 2000 р.
Вчений секретар
спеціалізованої вченої ради В.І. Саєнко
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. Сучасне виробництво характеризується наявністю великої кількості інформації, що спричиняє збільшення кількості службовців, зайнятих її обробкою. У цих умовах застосування сучасних автоматизованих систем управління (АСУ) стає важливим чинником у підвищенні ефективності суспільного виробництва усіх видів продукції та послуг для поліпшення соціально-економічних умов життя населення.
Ефективність функціонування АСУ значною мірою залежить від досконалості розробки математичного забезпечення (МЗ), а саме від досконалості безпосередньо методів розв’язання функціональних задач та досконалості засобів вибору тих із них, що забезпечать одержання максимально ефективного результату.
Теорія та практика розробки математичного і програмного забезпечення АСУ показує, що найбільш перспективний шлях розвитку - це автоматизація проектування прикладного МЗ. Питанням розробки елементів МЗ приділяється увага у роботах таких відомих вчених як В.М.Глушков, Б.Я.Совєтов, А.А.Павлов, В.М.Левикін, Е.Г.Петров, В.Л.Волкович, В.С.Михалевич.
В організаційно-економічних АСУ під час розв’язання задач техніко-економічного і календарного планування, оперативного керування, прогнозування тощо досить широко застосовуються моделі оптимізаційних задач. В умовах нестабільної ринкової економіки процес функціонування підприємств має стохастичний характер, обумовлений впливом різних - як постійних, так і одиничних, як правило, взаємозалежних випадкових зовнішніх чинників. Тому виникає необхідність у побудові статистичних моделей оптимізаційних задач, що являють собою сукупність регресійних рівнянь і ряду обмежень. Регресійні моделі будуються на підставі реалізацій випадкових процесів, накопичених за попередні періоди функціонування підприємств, із використанням методів математичної статистики, зокрема, регресійного аналізу (РА). Як відомо, результати, отримані методами РА, вважають достовірними, якщо дотримуються усі припущення його використання, одне з яких - залишки моделі регресії повинні мати нормальний закон розподілу. При його порушенні оцінки параметрів моделі регресії залишаються становищними і незміщеними, але втрачають в ефективності. Основною причиною порушення вимоги нормальності є наявність "забруднення" у вихідних даних і обмеженість вибірки.
Як правило, реалізації випадкових процесів, на підставі яких будуються регресійні моделі, є багатомірними, мають обмежену довжину та містять різні за розміром викиди (10-35% від середнього значення), обумовлені впливом одиничних малоймовірних чинників. При аналізі та обробці таких вибірок вихідних даних методом РА одержувана модель може втратити до 20% ефективності, що спричинить зниження ефективності всієї АСУ. Тому для побудови статистичних математичних моделей при порушенні припущень про нормальність залишків використовують робастні методи. Завдяки цьому розробка методів оцінювання в регресійних задачах, що призводять до підвищення ефективності оцінок в умовах порушення припущень про нормальність залишків, є досить актуальною задачею.
У зв'язку з великим розмаїттям робастних методів та їх модифікацій, що мають специфічні властивості, вибір того чи іншого методу в залежності від статистичних властивостей вихідної інформації являє собою досить складну та мало вивчену науково-дослідну задачу. Так, вибір неефективного методу може звести на нівець всю перевагу, обумовлену переходом від РА до класу робастних методів. Тому необхідно оцінити ефективність і припустимі області використання відомих робастних методів.
У зв'язку з цим формалізація підходу до автоматизованого визначення на інженерному рівні ефективного робастного методу безумовно є дуже актуальною задачею, що розв'язується в рамках МЗ АСУ, як задача вибору оптимального методу або алгоритму розв’язання функціональних задач АСУ.
Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась згідно з планом науково-дослідних робіт Харківського державного технічного університету радіоелектроніки в рамках держбюджетних тем: № 010 “Розробка методології, методів і засобів проектування розподілених систем керування з необхідними параметрами” (№ДР 0197U012133) і №108 “Розробка методології, методів і засобів проектування основних компонент інформаційних технологій типової розподіленої логістичної інформаційно-керуючої системи” (діє з 2000р.), на яких автор працював як виконавець.
Мета і задачі дослідження. Метою дисертаційної роботи є розробка елементів математичного забезпечення АСУ, що реалізують вибір на інженерному рівні ефективного робастного методу для синтезу найбільш адекватних математичних моделей процесів та об'єктів, на які впливають різноманітні випадкові зовнішні чинники, та базуються на математичних моделях залежностей ефективності робастних методів від статистичних властивостей вихідної інформації.
Для досягнення поставленої мети необхідно вирішити такі задачі дослідження:
- обгрунтувати необхідність застосування робастних методів у МЗ АСУ при побудові статистичних моделей оптимізаційних задач в умовах “забрудненості” вихідних даних, як методів, що дозволяють одержувати більш адекватні моделі процесу керування і, отже, підвищити ефективність АСУ;
- розробити систему імітаційного моделювання для cтатистичних іспитів робастних методів і провести з її допомогою серію експериментів;
- розробити алгоритм визначення кількісних характеристик "забруднення" вибірки вихідних даних;
- розробити математичні моделі визначення характеристик ефективності робастних методів у залежності від статистичних властивостей вихідних даних;
- удосконалити однокроковий робастний метод, що дозволить будувати адекватні моделі процесів, реалізації яких містять велику кількість викидів різної структури і розмірів;
- розробити алгоритм визначення на інженерному рівні найбільш ефективного методу побудови статистичних математичних моделей процесів чи об'єктів, на які впливають різноманітні за величиною випадкові зовнішні чинники.
Об'єктом дослідження є стохастичні процеси, які описуються лінійними за параметрами математичними моделями та на які впливають різноманітні за величиною випадкові зовнішні чинники.
Предметом дослідження є математичні моделі залежностей показників ефективності робастних методів від властивостей вихідної інформації з об'єкта чи процесу, на який впливають різноманітні за величиною випадкові зовнішні чинники.
Методи дослідження. Для оцінки якісних показників робастних методів застосовувалися методи імітаційного моделювання. Для апроксимації нелінійних залежностей якісних показників робастних методів від статистичних властивостей вихідних даних використовувався апарат штучних нейронних мереж прямого розповсюдження.
Наукова новизна одержаних результатів. У ході вирішення поставлених задач були отримані наступні результати:
- вперше формалізовано підхід до автоматизованого визначення найбільш ефективного робастного методу в залежності від статистичних характеристик вихідних даних, який дозволяє з використанням обраного методу побудувати найбільш адекватну модель процесу керування, що, в свою чергу, дозволяє підвищити ефективність АСУ;
- вперше отримані математичні моделі залежностей ефективності робастних методів від статистичних характеристик вихідних даних, що дозволяють кількісно порівняти адекватність моделей процесу керування, які можна отримати з використанням досліджуваних робастних методів для конкретної реалізації вихідних даних, і, тим самим, дозволяють вибрати найбільш ефективний робастний метод, що в підсумку підвищить ефективність АСУ;
- удосконалено однокроковий робастний метод максимальної правдоподібності, заснований на залишках Пірсона, у частині схеми зважування, що дозволяє будувати адекватні моделі процесів, реалізації яких містять велику кількість викидів різної структури і розмірів.
Практичне значення одержаних результатів. Запропоновані в дисертаційній роботі моделі та алгоритми визначення на інженерному рівні ефективних робастних методів, реалізовані у вигляді програмного комплексу, знайшли досить широке застосування в МЗ АСУ при побудові найбільш адекватних статистичних математичних моделей для розв’язання функціональних задач короткострокового техніко-економічного планування підприємством. Удосконалений однокроковий робастний метод забезпечив побудову адекватних математичних моделей в умовах високої "забрудненості" вихідних даних за рахунок зменшення дисперсії оцінок параметрів моделей. Розроблена система імітаційного моделювання дозволяє генерувати вибірки даних, ступінь і структуру “забруднення” яких можна змінювати у досить широких межах, що дозволяє моделювати та прогнозувати поведінку широкого класу стохастичних процесів.
Наукові результати, отримані в ході виконання даної дисертаційної роботи, знайшли своє практичне застосування в науково-дослідному інституті НДПІАСУ ТРАНСГАЗ при розробці та впровадженні автоматизованих систем керування транспортуванням газу на території України, а також на ДП “Завод імені Малишева” при розвитку та впровадженні автоматизованих комплексів розв’язання функціональних задач техніко-економічного планування АСУП, що засвідчено відповідними актами про впровадження №12 від 15.04.2000 та №48 від 5.05.2000.
Особистий внесок кандидата. У роботі [1] автором запропоновано концепцію інтелектуальної системи обробки даних, що входить складовою частиною в МЗ АСУ і дозволяє на інженерному рівні вибрати найефективніший метод побудови математичних моделей. У роботі [2] наводяться результати оцінки ефективності ряду робастних методів, на підставі чого пропонується формальна процедура вибору найбільш ефективного методу. У роботах [3, 6] запропоновано використовувати апарат штучних нейронних мереж для апроксимації нелінійних залежностей. У роботі [4] запропонована методика розробки модифікованих робастних методів і запропонована модифікація методу, що забезпечила повну його ефективність і стійкість до викидів у незалежних змінних. У роботі [5] автором запропоновано модификацію онлайнового алгоритму побудови моделей для випадку слабкої "забрудненості" даних. Усі результати, що виносяться на захист, отримані автором особисто.
Апробація результатів дисертації. Основні результати дисертації доповідалися та обговорювалися на 6-й міжнародній науково-технічній конференції ”Інформаційні технології: наука, техніка, технологія, утворення, здоров'я” (Харків, 1998); 3-му та 4-му Міжнародних молодіжних форумах “Радіоелектроніка та молодь у XXI столітті” (Харків, 1999 та 2000); 5-й міжнародній конференції “Теорія і техніка передачі, прийому й обробки інформації” (Туапсе, 1999); 6-й Українській конференції автоматичного керування “Автоматика - 99” (Харків, 1999).
Публікації. Матеріали дисертації опубліковано в 8 наукових працях (6 статтях, 4 із них надруковано у виданнях, перелік яких затверджено ВАК України, і 2 тезах доповідей на наукових конференціях).
Структура дисертації. Дисертація складається зі вступу, п'ятьох розділів, висновків і додатків. Повний обсяг дисертації становить 205 сторінок, у тому числі 8 додатків на 55 сторінках, 2 рисунки, 5 таблиць, список використаних літературних джерел з 123 найменувань на 9 сторінках.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У першому розділі дисертаційної роботи проведено аналіз функціональних задач, що розв'язуються у підсистемах АСУ, який виявив необхідність застосування статистичних методів обробки інформації, зокрема методу регресійного аналізу (РА). Було виявлено причини, що призводять до порушення вимог нормальності залишків регресії, і показано, що на практиці, в умовах нестабільної економіки, це явище зустрічається доволі часто. В результаті було обгрунтувано умови переходу до робастних методів оцінювання та проведено їх аналіз. Аналіз показав розмаїття їх специфічних особливостей, які спричиняють труднощі, пов'язані з вибором найбільш ефективного методу для побудови статистичних математичних моделей в АСУ, і дозволив виділити перелік методів, що досліджувались. Показано, що застосування неефективного робастного методу може звести нанівець усю потенційну перевагу, що виникає при переході від РА до цього класу методів. Завдяки нелінійному характеру робастних методів досить важко дослідити їх аналітично. Тому було запропоновано використати для цього метод імітаційного моделювання. Додаткові труднощі при дослідженні робастних методів викликає відсутність формальної процедури визначення ступеня і структури "забрудненості" вибірки вихідних даних.
У роботі розглядається клас квазістаціонарних об'єктів і процесів, що підлягають впливу різноманітних випадкових зовнішніх чинників та описуються лінійними за параметрами математичними моделями із симетричним законом розподілу помилок. Виділено перелік досліджуваних робастних методів: метод найменших модулів (LAD); метод найменших квадратів медіан (LMS); метод найменших усічених квадратів (LTS); метод зважених найменших квадратів (RLS); метод функціональних найменших квадратів (FLS); S-оцінка; ММ-оцінка; однокрокова GM-оцінка (S1S).
На підставі проведеного аналізу, виявлених труднощів і відповідно до мети даної дисертаційної роботи були поставлені вищезазначені задачі дослідження.
У другому розділі дисертаційної роботи була розроблена система імітаційного моделювання для проведення статистичних іспитів методів робастного оцінювіння, що дозволяє досліджувати їх якісні показники в залежності від статистичних властивостей вибірки вихідних даних. Метою імітаційного моделювання є побудова статистичних залежностей сукупності показників якості  від множини  параметрів вихідних даних для кожного з досліджуваних робастних методів. Для одержання вказаних залежностей необхідно провести серію машинних експериментів, у яких незалежними змінними є  , а залежними – кожний із  .
Як критерії оцінки якісних показників робастних методів  було запропоновано відносні критерії у вигляді
 , (1)
 , (2)
де  - оцінки параметрів моделі регресії, отримані з використанням МНК;
 - оцінки параметрів моделі регресії, отримані за допомогою робастного методу;
β- дійсні значення параметрів регресійної моделі;
p - кількість незалежних змінних у вибірці вихідних даних.
Було показано, що критерій (2) краще використовувати у випадку великої "забрудненості" вибірок вихідних даних, а критерій (1) - у випадку малої їх "забрудненості".
Було визначено основні параметри вибірки вихідних даних kj, що впливають на ефективність робастних методів,: k1=n - довжина вибірки вихідних даних; k2=p- кількість незалежних змінних у вихідних даних; k3=γ - ступінь "забруднення" незалежних змінних точками негативного високого впливу; k4=λ - ступінь "забрудненості" змішаного закону розподілу помилок моделі регресії; k5=σ - співвідношення масштабів "забруднюючого" та основного розподілів змішаного розподілу помилок моделі. Ці параметри визначають розмірність вибірки вихідних даних (k1, k2) та характеристики її "забрудненості", а саме - "вагу" і довжину "хвостів" симетричного розподілу помилок регресійної моделі (k4, k5) та кількість викидів у незалежних змінних (k3).
Відповідно до наведених параметрів, як модель розподілу помилок регресії з "важкими" хвостами було обрано модель змішаного нормального розподілу у наступному вигляді:
 , (3)
де N(0,1) - стандартний нормальний закон розподілу;
σ=(σз/σо) 1 - відношення масштабів “забруднюючого” та основного розподілів;
λ - ступінь "забруднення" розподілу.
Також запропоновано модель для генерації викидів у незалежних змінних.
Для дослідження якісних показників робастних методів було використано методи оптимального планування активного експерименту, а саме - повний факторний експеримент.
На підставі викладеного раніше було розроблено систему імітаційного моделювання, що дозволяє моделювати вибірки вихідних даних із заданими ступенем і структурою "забрудненості", законами розподілу та структурою об'єкту, що модулюється. Крім цього, було визначено кількість і значення рівнів домінуючих чинників імітаційного експерименту, що дозволило одержати найбільш інформативні залежності Lm(kj) для досліджуваних методів.
Для можливості практичного використання результатів модельного експерименту необхідно мати можливість обчислювати значення параметрів, що впливають, множини  для конкретної вибірки даних. Як було відзначено раніше, на даний момент не існує формальних процедур оцінки ступеня та структури "забрудненості" вибірок даних.
У третьому розділі дисертаційної роботи було розроблено алгоритм кількісної оцінки "забрудненості" вихідних даних, що дозволяє визначати параметри kj для реальної вибірки вихідних даних.
Значення параметрів k1, k2 визначаються безпосередньо з вихідних даних.
Для виявлення викидів у незалежних змінних, якщо вони мають випадковий характер, було запропоновано використовувати міру у вигляді
  (4)
де T(X) - робастна оцінка положення;
C(X) - матриця розкиду, що є робастною оцінкою коваріаційної матриці;
RDГ - граничне значення міри;
p - кількість незалежних змінних, що відповідає ступеням свободи  -розподілу.
Ця міра - робастна відстань - є робастним аналогом відстані Махалонобіса, квадрат якої має  -розподіл, що визначає її граничне значення. Тому викидом будемо вважати точку, для якої значення RDi буде більше граничного RDГ.
Для обчислення робастних оцінок положення і коваріаційної матриці найчастіше використовують метод мінімального об'єму еліпсоїда (MVE) або метод мінімального визначника коваріаційної матриці (MCD), що мають 50% порогову точку. Якщо виконується умова n*p<600, то доцільно використовувати перший, а якщо ні - другий. Для підвищення ефективності цих методів було запропоновано використовувати зважені оцінки положення і коваріаційної матриці у такому вигляді:
 (5)
 (6)
де  .
Вирази (5), (6) використовуються при обчисленні робастної відстані (4).
Для визначення параметра  необхідно мати вибірку стандартизованих залишків регресійної моделі, що дозволить виявити викиди у вибірці залежної змінної вихідних даних. Для цього необхідно обчислити початкове наближення параметрів регресії  і масштабу її залишків  робастними методами з максимальною пороговою точкою, наприклад LTS і Qn, відповідно. З властивостей нормального закону розподілу як граничне значення стандартизованих залишків регресії  , що визначає викид, приймемо 2.5. Далі визначаємо значення параметра γ, що являє собою відсоток точок негативного високого впливу у вихідній вибірці, з виразу
 (7)
За умови адекватності моделі, вибірка залишків регресії, обчислених без точок негативного високого впливу, відображає властивості вибірки помилок регресії e. Обчислювати її доцільно за допомогою М-оцінок. У випадку детермінованого характеру незалежних змінних для визначення властивостей вибірки помилок регресії e можна використати стандартизованi значення вихідної змінної.
Для оцінки належності вибірки вихідних даних до класу об'єктів, що розглядяється, було запропоновано статистичний критерій перевірки симетричності розподілу вибірки залишків регресії, що не залежить від виду її закону розподілу.
Маючи вибірку залишків регресії, що відображає властивості вибірки її помилок, можна визначити параметри λ та σ. Використовуючи розроблену імітаційну модель, було проведено імітаційний експеримент, у якому моделювалися вибірки з законом розподілу (3) та обчислювався ряд їх статистичних характеристик. Використовуючи значення відповідних коефіцієнтів кореляції, було визначено найбільш інформативні з них
J1=P(|ei|>2.5 ), J2=P(|ei|>2.5 ),  , J4=max(|ei- ej |;i j)/ , (8)
де  ,  - оцінка середньоквадратичного відхилення вибірки {ei} та її робастного масштабу, відповідно.
За допомогою апарата штучних нейронних мереж прямого розповсюдження (ШНМПР), що використовувався в режимі навчання, було побудовано математичні моделі залежностей параметрів λ і σ від вищевказаних статистичних характеристик вибірки в наступному вигляді
 , (9)
 , (10)
де wji , vi - числові коефіцієнти, що відповідають синапсичним вагам ШНМПР;
 =(Jj-min(Jj))/( max(Jj)-min(Jj)) - нормовані значення характеристик закону розподілу.
Для коректного використання одержаних моделей необхідно, щоб обчислені значення характеристик (8) закону розподілу належали відповідним діапазонам J1 [0.01;0.063], J2 [0.07;0.313], J3 [0.8936;9.5951], J4 [5.2534;91.6667].
Таким чином, відповідно до вище вказаного, було запропоновано алгоритм визначення у кількісному вигляді ступеня і структури "забрудненості" вибірки вихідних даних.
У четвертому розділі за допомогою розробленої системи імітаційного моделювання було проведено експеримент, що дозволив визначити приблизні області використання досліджуваних робастних методів. Експеримент виявив недостатню ефективність досліджуваних методів у присутності точок негативного високого впливу. Тому було запропоновано удосконалити метод робастного оцінювання, заснований на залишках Пірсона - δ(x)=f*(x)/m*(x)-1 де  ,  - відповідно, оцінка щільності та згладжена щільність моделі з ядром k(x;t;h) та параметром, що згладжує, h.
Оцінки параметрів регресії визначаються як розв’язання рівняння
 , (11)
де  - похідна по  логарифму моделі щільності помилок регресії;
 - початкова оцінка параметрів регресії;
 - вагова функція, заснована на залишках Пірсона.
Ітераційна залежність для обчислення оцінок параметрів має вигляд
 , (12)
де  - похідна в точці  ;
 - залишки регресії при початкових оцінках параметрів  та масштабу  .
Для обчислення початкових оцінок параметрів і масштабу залишків застосовується LTS і Qn-алгоритм, відповідно. Метод було вдосконалено у частині схеми зважування, що прийняла вигляд
 (13)
де δr(ri) - залишки Пірсона для розподілу залишків регресії;
δx(xi) - залишки Пірсона для розподілу незалежних змінних регресії;
ω(δ(ri))=1-δ2(ri)/(δ(ri)+2)2 - функція ваги, що визначає вплив залишків;
 - функція ваги, що визначає вплив викидів у незалежних змінних, де φ(δr(ri)) - безупинна функція, така що якщо φ(δr) -1, то δr -0 та якщо φ(δr) -0, то δr -∝; q - коефіцієнт, що визначає ступінь впливу викидів у незалежних змінних, q∈[0;1]. Дана функція дозволяє враховувати та регулювати ступінь впливу викидів у незалежних змінних. Так, вага точок позитивного високого впливу максимально збільшується, а вага точок негативного високого впливу - максимально знижується.
На практиці закон розподілу залишків регресії, як правило, близький до нормального. У цьому випадку u(xi,yi;β)=xiri. Ефективність методу залежить від вибору параметра , що згладжує, h, що у випадку нормального розподілу визначається як  . Для обчислення k необхідно розв’язати систему рівнянь
 ω(δ(c))= ωc, (14)
де λ - ступінь "забруднення" змішаного нормального закону розподілу помилок регресії;
c - значення, що показує, на скільки стандартних відхилень відстоїть розглянуте спостереження від середнього вибірки;
p- порядок багатомірної щільності розподілу вибірки, для якої формуються залишки Пірсона;
ωc - досить мала вага, що призначається спостереженню c.
Використовуючи результати роботи розглянутого раніше алгоритму, можна запропонувати формальні правила вибору значень параметрів з рівнянь (14) та, як наслідок, параметрів  , що згладжують, для залишків регресії та незалежних змінних, відповідно, у наступному виді:
| 
