|
МІНІСТЕРСТВО ОСВІТИ ТА НАУКИ УКРАЇНИ
КАРПОВ Олег Миколайович
УДК 534.4:621.391
МЕТОДИ АНАЛІЗУ І РОЗПІЗНАВАННЯ
СКЛАДНИХ СИГНАЛІВ В АВТОМАТИЗОВАНИХ
СИСТЕМАХ МОВНОГО ДІАЛОГУ
05.13.06 -автоматизовані системи управління та
прогресивні інформаційні технології
Автореферат дисертації на здобуття вченого ступеня доктора технічних наук
Київ 2003
Дисертацією є рукопис.
Робота виконана
в Днiпропетровському національному унiверситеті Міністерства освіти і науки України.
Науковий консультант:
доктор технічних наук, професор Щербак Леонід Миколайович, Національний авіаційний університет, завідувач кафедри.
Офiцiйні опоненти:
доктор технічних наук, професор Бондаренко Михайло Федорович, Харківський національний університет радіоелектроніки, ректор;
доктор технічних наук, професор Прокопенко Ігор Григорович, Національний авіаційний університет, професор;
доктор фізико-математичних наук, професор Шелепов Владіслав Юрійович, Донецький інститут штучного інтелекту, завідувач відділом.
Провiдна установа:
Національний технічний університет України "Київський політехнічний інститут", кафедра автоматизації експериментальних досліджень, Міністерство освіти і науки України, м. Київ.
Захист вiдбудеться "29" травня 2003 р. о 14 годинi на засiданнi спецiалiзовано? вчено? ради Д 26.062.01 при Національному авіаційному університеті за адресою: 03058, м. Ки?в, проспект Космонавта Комарова, 1.
З дисертацi?ю можна ознайомитись у бiблiотецi Національного авіаційного унiверситету за адресою: 03058, м. Ки?в, проспект Космонавта Комарова, 1.
Автореферат розiсланий "25" квітня 2003 р.
Вчений секретар
спецiалiзовано? вчено? ради Гузій М.М.
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність проблеми. На протязі останніх десятиліть актуальною і важливою науково-техничною проблемою є обробка і розпізнавання мовних сигналів. Про це свідчать задачі аналізу, синтезу і розпізнавання мовного повідомлення, індивідуальності та емоційного стану і значне число публікацій.
Мовний сигнал є функцією багатьох змінних, яка формується складною біофізичною системою людини. У рамках кожної змінної можуть існувати локальні функції, обумовлені сукупністю параметрів, характерних для даної змінної, локальна сукупність із декількох таких функцій утворить окрему компоненту або складову, що характеризує локальну властивість сигналу.
Мета і задачі досліджень. Мета - проведення широкого кола теоретичних і експериментальних досліджень по обґрунтуванню і реалізації методів анализу і розпізнавання складних сигналів і розробка по результатам досліджень автоматизованих систем мовного діалогу. Для вирішення такої науково-техничної проблеми необхідно розв’язати наступні основні задачі.
1. Теоретичне обгрунтовання моделей і методів аналізу та розпізнавання сигналів багатьох змінних. 2. Розробка методів, алгоритмів і обчислювальних процедур аналізу сигналів на основі параметричних функцій систем, які створюють сигнал. 3. Розробка автоматизованих систем та інформаційних технологій аналізу і розпізнавання мовних сигналів.
При виришенні проблеми уявлення багатовимірних функцій як суперпозиції функцій меншого числа змінних зробив значний внесок Колмогоров А.М., у проблеми аналізу-синтезу і розпізнавання мови -Вінцюк Т.К., Загоруйко М.Г., Трунін-Донской В. М., Бондаренко М.Ф., Цемель Г.І., Ивахненко О.Г., Богіно В.І., Лобанов В.М, Оппенгейм Э., Джелінек Ф., Фант Г., Фланаган Дж. Л. і ін.
Зв'язок теми досліджень з планами НДР. Теоретичні й експериментальні дослідження по темі дисертації виконувалися в рамках НДР Дніпропетровського держуніверситету і планів тих організацій, для яких призначені результати робіт. Результати досліджень автора протягом 1976 - 2000 гг застосовувалися в таких НДР: д/б тема N 18-26 (держ. реєс. N 01860021140); 1997-1999рр ( д/б тема Міністерства освіти України (держ. реєс. N 11-1-97) “Обгрунтування та розробка засобів діагностики особливостей емоційної і когнітивної діяльності оператора”; д/т 785(держ. реєс. N 76037515) "Розробка пристрою виділення ознак мови для оцінки емоційного стану людини"; д/т 785/80 (держ. реєс. N81067416) "Оцінка емоційної втоми оператора по характеристиках мови"; д/т 785/82 (держ. реєс. N 01830005375) "Аналіз мови операторів із метою виявлення індивідуальних особливостей"; д/т 785/83 (держ. реєс. N 01830005603), що входять у наукову тематику координаційного плану НДР по психології на 1981-1985 р., дослідження проводилися також на підставі наказу Мінвуза СРСР N1065 від 26.09.80 р.
Об'єкт досліджень - мовний сигнал це функція багатьох змінних, як суперпозиція функцій меньшої кількості змінних.
Предмет досліджень - методи, алгоритми й архітектура систем обробки і розпізнавання мовних сигналів, структурна апроксимація ієрархії інформації про мовний сигнал по ланцюжках описів і опрацювання: аналіз сигналів, параметричне, сегментне, символьне, складове, словесне, змістовне уявлення - для рішення задачі розпізнавання мовної інформації. Методи досліджень базуються на теорії функціонального аналізу функцій багатьох змінних, цифрової обробки сигналів, теорії апроксимації функцій і ортогональних перетворень, фонетиці, лінгвістиці, базах знань.
Задачі досліджень:
1. Теоретичне обґрунтування і розробка методів аналізу, адекватних складності мовного сигналу.
2. Обгрунтувати і розробити ефективні методи аналізу основного тону.
3. Розробити детерміновані моделі динаміки спектрів Фур’є сигналів на скіннченому інтервалі часу як функцій деяких параметрів.
4. Розробити структури даних, які об'єднують різнорідну інформацію про параметричне, фонетичне і відповідне символьне уявлення мовного повідомлення.
5. Розробити детерміновані правила (методи) сегментації мовного потоку, описати правила переходу від неперервного мовного сигналу до опису дискретними лінгвістичними (фонетичними) одиницями (перехід від однієї категорії інформації до іншої).
6. Здійснити алгоритми побудови ланцюжків аналізу, що враховують взаємодію компонент мовного сигналу, розробити і реалізувати алгоритми сплайн-синтезу послідовностей, які розпізнаються.
7. Розробити технологію побудови проектів складних програмних систем і реалізації ППП для дослідження і розпізнавання мови.
Наукова новизна і значення роботи.
1. Вперше запропоновані: а) перетворення, засноване на різницевій схемі послідовного вилучення складового сигналу (Сonsecutive Еxtraction Тransform - CET) і на методі послідовних наближень - SAT ( Sequential Approximation Transform); б) сплайн-синтез і ідентифікація сегментних-складових послідовностей.
2. Вперше теоретично й експериментально обгрунтовані детерміновані моделі СЕТ, SAT і розподілена частотна функція (РЧФ) у часовій і частотній областях, сегментації і побудови смугової частотної функції (СЧФ) мовотворного тракту.
3. Розроблено алгоритм сегментації мовного сигнала методом верифікації.
4. Вирішено задачу опису мовного сигналу і його спектра, як функції багатьох змінних у базисі елементарних функцій.
5. Запропоновано і реалізований метод двовимірного сплайн-синтезу і ідентифікації сегментних-складових послідовностей, який дозволяє згенерувати мовну послідовність, яка розпізнається по заданому параметричному уявленню компонент..
6. Розроблено інформаційну технологію побудови варіантів складних програмних систем, яка заснована на застосуванні препроцесорних засобів мов сучасного рівня.
Практичне значення результатів.
1. Перетворення, засноване на різницевій схемі послідовного вилучення складового сигналу (consecutive extraction transform - CET) і на методі послідовних наближень (SAT - Sequential Approximation Transform) дозволяє розв’язувати задачі виділення окремих сигналів і їхніх спектрів із їх взаємної спектральної області, в якой вони перетинаються і моделювати функції багатьох змінних з використанням класів елементарних. Методи були застосовані при виконанні д/б теми N 18-26.
2. Алгоритм сплайн-синтезу і ідентифікація сегментних-складових послідовностей дозволяє згенерувати мовну послідовність, яка розпізнається, по заданому параметричному уявленню складів.
3. Розроблено технологію проектування складних програмних систем на базі передпроцесорних засобів і об'єктно-орієнтованого програмування мови високого рівня СІ, побудований пакет прикладних програм устрою розпізнавання. Технологія застосована при виконанні г/т 785 і г/т 780.
4. Побудовано текстовий редактор із мовним керуванням і реалізовано пословне і фонемне розпізнавання.
Окремі результати досліджень впроваджені з відповідним (соціальним, інформаційним і економічним) ефектом на підприємствах, навчальних закладах, військових частинах, медичних установах:
1. В/ч 35333, м. Москва, в/ч 27177-В, м. Ленінград (Росія);
2. Інститут психології АН СРСР, інститут вищої нервової діяльності АН СРСР (Росія).
3. Підприємство цивільної авіації ( Дніпропетровський об'єднаний авіазагін);
4. 9-а міська клінічна лікарня м. Дніпропетровська, Дніпропетровська обласна лікарня ім. Мечникова.
5. У навчальному процесі Дніпропетровського національного університету, Ленінградського держуніверситету, Київського національного університету, Московського державного педагогічного інституту іноземних мов ім. М. Тореза (МГПИИЯ).
Розроблені засоби розпізнавання демонструвалися на республіканських, всесоюзних і міжнародних виставках і відзначені 6 дипломами 1, 2, 3 ступені, отримані 1 срібна і 9 бронзових медалей ВДНГ СРСР.
Особистий внесок автора. Викладені в дисертації основні результати отримані автором самостійно. У роботах із співавторами дисертанту належить: пропозиція ідеї, конкретизація задачі, розробка основних теоретичних положень, алгоритмів і схем аналізу і розпізнавання мовних сигналів, а також їхніх застосування для прикладних цілей. Автору належать: методи СЕТ і SAT; параметричні моделі опису спектра; теоретичне обгрунтування оптимальної послідовності зіставлення мовних параметрів при розпізнаванні; метод сегментації мови шляхом верифікації тривалих сегментів; одновимірний опис спектрів згладжуючими сплайнами і метод двовимірного сплайн-синтезу і ідентифікації сегментно-складових послідовностей; метод опису багатовимірних функцій у базисах елементарних функцій; інформаційна технологія побудови класів проектів складних програмних систем. У роботах [1-6] здобувачу належить ідея і розробка формули винаходу, у роботі [6] - розробка функціональної схеми блока формування параметрів, у роботах [10; 21; 22] - постановка задачі, виконання досліджень і інтерпретація результатів
Апробація роботи. Основні положення і результати досліджень доповідалися і одержали позитивну оцінку на науково-технічних конференціях і семінарах: 1976-1989 рр - Всесоюзная школа-семинар "Автоматическое распознавание слуховых образов АРСО-9÷АРСО-15” ( гг. Минск, Тбилиси, Ереван, Киев, Новосибирск, Каунас, Таллин)”, Всесоюзный симпозиум "Речь, эмоции и личность" (Ленинград, 11-14 ноября 1975г) и (27-28 февраля 1978г, Ленинград); 1-а Всесоюзная конф. "Методы анализа надежности программного обеспечения вычислительных систем реального времени на основе моделей нечеткой логики и качественных описаний" (Киев, КИИГА, 1987); 1-а Всеукраiньска конф. "Обробка сигналiв i зображень та розпiзнавання образiв" (Київ, 7-22 листопада 1992 р); Международная конф. "Теория приближений и задач вычислительной математики" (26-28 мая 1993, Днепропетровск); 3-я Укр. конф."Автоматика-96" (Севастополь, 1996); 3-я Всеукр. міжнародна конф. "Обробка сигналів і зображень та розпізнавання образів" 26-30 листопаду (Київ, 1996); 4-я Укр. конф. "Автоматика-97" (Черкассы, 1997); Міждерж. конф. "Компьютерне моделювання" (Днепродзержинск, 1998); Міжн. конф. з управління АВТОМАТІКА-2000, (м. Львів, 2000); міжн. конф. Авіа-2000, (Киев, 2000); межрег. конф. “Компьютерне моделювання”, (Днепродзержинск, 2000); міжн. конф. Авіа-2001, (Киев, 2001).
Публікації. За матеріалами дисертації опубліковано і депоновано 101 наукових праць. З них: 1 монографія, 3 статті в наукових журналах, 37 у фахових наукових збірниках, 6 авторських свідоцтв, 2 навчальних посібника, 52 матеріалів і тез конференцій.
Дисертація складається з вступу, семи розділів, висновків, актів впровадження, додатків, списку літератури (із 256 джерел посилань). Загальний обсяг дисертації 216 сторінок.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У розділі 1 поставлена задача аналізу мовних сигналів, яка виходить із припущення про те, що мовний сигнал  можна уявити як сукупність компонент  , де  - компоненти, що утримують інформацию про властивості мовних сигналів, а саме, про фонетичну структуру повідомлення, індивідуальність і емоційний стан людини. Проста модель сигналу - це уявлення його у вигляді суми компонент, кількість і властивості яких змінюються як функція часу
 ,  .
Компоненти визначаються параметрами, які характеризують іх частотні і часові властивості
 ,
де  - функція генератора сигналу,  описує частотні,  - часові властивості компонент  , тобто
 , (1)
де  - параметр генератора сигналу,  - степінь загасання компоненти,  - резонансна частота,  - положення максимуму по часу,  - коефіцієнти підсилення частотної і часової компоненти.
Задача опису сигналу є задачею вибіру вигляду функцій  ,  ,  і визначення параметрів компонент  , . Таким чином, функція  уявляеться як композиція функцій  ,  ,  ,  , а параметри  , , в свою чергу, є функцями часу.
Для організації розв’язку початкова функція  дискретизується з частотою  , формуя сигнал  , який потім розбивається на інтервали аналізу  з кількістю відліків N на інтервалі при  , де n - кількість інтервалів  .Таким чином, початковий сигнал  можна представити як двовимірний масив. Ілюстрація такого масиву на рис.1, при 
Постановка задачі визначення параметрів  , в часовій області можна розв’язувати як найкраще наближення вигляду [1]
Для відомих перетворень Лапласа функцій    ,    і обчислених спектрів Фур’є    (при N=256,  ) на кожному інтервалі аналізу  (рис.1) компоненти спектрально-часового опису по Колмогорову мають вигляд
 ,
де  - частотна функція генератора сигналу,  описує частотні,  - часові властивості компонент  , тобто композиція спектрально-часового уявления сигналу має вигляд
 . (2)
Задачу визначення параметрів  , в частотній області можна розв’язувати як найкраще наближення вигляду
У тексті розділу наведені результати системного аналізу методів опису і розпізнавання мови. Викладено методи первинної обробки мови, у яких описані базисні функції аналізу, параметри і алгоритми сегментації. Огляд пристроїв і програмних засобів розпізнавання мови містить опис деяких найбільш типових устроїв і систем. На основі проведеного аналізу поставлена задача розпізнавання мови як структурної апроксимації різноманітних категорій інформації. В основу первинного аналізу сигналів і їх спектрів покладена теорема Колмогорова А.М. про те, що складна функція може бути подана у вигляді суперпозиції функцій одної змінної.
У розділі 2 наведені методи й алгоритми в задачах обробки і ідентифікації мовних сигналів. Наведен перелік задач, розв'язуваних у дисертації, і визначені методи їх розв’язування:
а) Зформульована постановка задач послівного і фонемного розпізнавання мовних сигналів.
б) Викладена постановка задачі сплайн-синтезу й ідентифікації сегментного-складового розпізнавання.
в). Описана двоетапна схема сегментації і, відповідно, для кожного етапу обрані свої типи мовних одиниць, що частково перетинаються. Для першого етапу в якості мовних одиниць узяті сегменти, зформовані по групових ознаках: П - паузи, Ш - шумові, Т - тональні, де Т включає можливі сполучення ГС, СГ, СС, ГГ голосних Г и тональних приголосних С; Ш включає сполучення ШШ. На другому етапі здійснюється аналіз параметрів для поділу станів Т або Ш на можливі складові частини Ш-Ш, Г-С, С-Г, С-С, Г-Г. На цьому етапі здійснюється верифікація тривалих сегментів на належність складових його відліків до одного або декількох класів фонем.
г). Наведені принципи і методи моделювання мовних сигналів. Мовний сигнал, як носій інформації, містить інформацію про зміст повідомлення, індивідуальності і функціонального стану особи, що говорить, тобто являє собою деяку інформаційну сукупність, у котрої кожна компонента має свою власну ієрархію вхідних її складових. У залежності від цілей розпізнавання (індивідуальності, команд, функціонального стана) одна частина сигналу відноситься до корисної sк(t), інші - до шумової sш(t). Загальна форма такої взаємодії рекомендується у виді узагальненого оператора моделі (УОМ):
M[s(t)]=@{sк (t)#sш (t)},  ,
де @ - деяка операція над сукупністю sп (t) і sш(t);
# - деяка операція взаємодії компонент sк (t) і sш (t).
Можливі операції @ - це складання, інтегрування, диференціювання, і інш. або порожня операція, операції # - арифметичні, логічні або операції порівняння. До найпростіших операндів належать елементи з заданих класів функцій. Кожний із сигналів sк (t) і sш (t) у свою чергу може бути складним, що містить компоненти, сполучені знаками операцій @, #, при цьому глибина взаємодії сигналів довільна.
Для рішення задачі аналізу розглянуте уявлення багатовимірних функцій у базисі елементарних функцій стосовно до мовного сигналу і його спектра та запропоновано перетворення, засноване на різницевій схемі послідовного вилучення складового сигналу або спектра (consecutive extraction transform - CET) ) і на методі послідовних наближень (SAT - sequential Approximation Transform), що полягає в послідовному збільшенні порядку системи, що описує спектр. Перетворення дозволяє знайти параметри мовотворного тракту акустичної і біомеханічної систем.
У розділі 3 розглянута технологія обробки інформації про мовний сигнал у часовій області уявлення мовного сигналу, як функції багатьох змінних в класі екстремальних (дзвіноподібних) функцій в частотній області. Отримано функції, у базисі яких реалізується перетворення CET або SAT. Перетворення визначає параметри акустичної і біомеханічної систем: a) коефіцієнти підсилення сi, резонансні частоти βi, степінь загасання ξi при вилученні основних складових; б) розподілену частотну функцію (РЧФ) для заданої послідовності частот βi, послідовність ξi - розподіл по частотам добротностей елементів мовотворного тракту. Параметри βi, ξi розподілені на частотах Ω≤100 Гц для біомеханічної системи, на частотах f>100 Гц - для акустичної системи.
Розглянемо, як приклад екстремальної функції для і-го резонатору, властивості резонансної ланки другого порядку з імпульсними характеристиками - базисними функціями опису системи в часовій області
wi(t) =w1i(t)=k1 sin βit, або wi(t) =w2i(t)=k2 cos βit, (3)
(тут k1=k2= / βi, β0i =βi/ , ξ - декремент загасання),
і передаточними функціями виду
W1i(ω)= βi /[(jω + αi)2+βi2], або W2i(ω)= (jω+αi)/[(jω+αi)2+βi2]. (4)
Функції (3)-(4) - базисні функції опису системи в частотній області. Найбільше близькими аналітичними функціями до функції генератора тонального сигналу є такі:
sги(t)= qksinkω0t= , або sги(t)= qkcoskω0t= , (5)
з частотною функцією-спектром для (5)
Sги(k)=qk = , або Sги( ω)= qk/k = /(ω/ω0) = /( ωT) (6)
де k=ωк/ω0, Т=2π/ω0 ,q<1.
Функції (5) - (6) - це базисні функції опису генератора в часовій і частотній області. У цілому (3)-(6) являють собою базисні функції першого роду. Часова функція на виході резонатора має вигляд згортки
si(t)=сi = сi =
=сi    =
= [Аi(t)  +Вi(t)  ], (7)
βi=2πFri, αi=αi(t)=β0i(t)ξ, φ(β(i),t)=ficos(t)=cos βit, ψ(β(i),t)=fisin(t)=sin βit,
де αi- коефіцієнт загасання, βi - резонасна частота, β0i - частота вільних коливань, ξi - степінь загасання.
Вираз (7) описує зв'язок між вихідним сигналом у i-у резонаторі, резонансною частотою Fri(t), частотною характеристикою генератора збудження Sги( ω,t) і добротністю αi резонатора
Аi(t) = сi [ -
- ]. (8)
Вi(t) = сi [ +
+ ]. (9)
Мовний сигнал s(t) являє собою суму сигналів "n" резонаторів (1).
Вирази (8), (9) описують базисні функції другого роду для СЕТ у часовій області. Інтервал часу аналізу вибирається в межах Tl=(10-20) mс. Задача визначення параметрів частотної функції акустичної системи у часовій області є розв’язок задачі CET для визначення q, c(i), β(i), α(i) у базисі функцій Аi(t), Вi(t) як для вилучення основних складових, так і для визначення q, c(k), α(k) для заданої послідовності β(k)= kω0.
Відповідно до теореми Колмогорова А.М. вихідна функція мовного сигналу s(t) може бути подана як:
s(t)=A(k,q,c(1),β(1),α(1),ωk,t)φ( β(1),t)+ B(k,q,c(1),β(1),α(1),ωk,t)ψ(β(1),t)+s(1 )(t) (10)
s(1)(t)=s(t)-A(k,q,c(1),β(1),α(1),ωk,t)φ( β(1),t)+ B(k,q,c(1),β(1),α(1),ωk,t)ψ(β(1) ,t).
s(1)(t)=A(k,q,c(2),β(2),α(2),ωk,t)φ( β(2),t)+ B(k,q,c(2),β(2),α(2),ωk,t)ψ(β(2),t)+ s(2)(t),
………………………
s(i-1)(t)=A(k,q,c(i),β(i),α(i),ωk,t)φ( β(i),t)+ B(k,q,c(i),β(i),α(i),ωk,t)ψ(β(i),t)+ s(i)(t)...
Параметр q визначається на першому кроці, вилучення складових s(i)(t) продовжується доти, поки виконується співвідношення
 , (11)
де  - потужність s(i)(t), σ - потужність сигналу s(t), наприклад, для η=0,9.
Для (5), (6) аргумент у дискретному виді рекомендується як xj=2πj/N, де N - кількість відліків на інтервалі часу аналізу (Тl=10÷20 мс), що адаптується відносно тривалості періоду основного тону Тот= N0Δt, Δt - крок дискретизації по часу початкового сигналу.
Для опису (1) параметри q,c(i),β(i),α(i) визначаються так
 = .
На першому кроці визначаються q, c(1), β(1), α(1), N0
 = =
= s(t)-[A(k,q,c(1),β(1),α(1),ωk,t)φ( β(1),t)+ B(k,q,c(1),β(1),α(1),ωk,t)ψ(β(1),t)]} 2;
 =0;  =0;  =0;  = 0;  =0. (12)
Така задача зводиться до рішення систем нелінійних алгебраїчних рівнянь [12]. Біомеханічна система реалізує переміщення стінок акустичної системи з інфранизькими частотами переміщень і коливань м'язів, що формують низькочастотну структуру мовного сигналу: послідовність фонем, структуру зміни обвідних фонем, що у межах тривалості, низькочастотні накладення і модуляції, обумовлені індивідуальністю й емоційним станом людини, перехідними процесами в м'язах при зміні геометричних розмірів акустичної системи. Для біомеханічної системи задача визначення параметрів частотної функції вирішується при максимальній тривалості голосних звуків звичайного темпу мови, що складає Тф≈0,3с. Для вибухових "п, т, к, б, д, г" параметри обчислюються засобами аналізу акустичної системи.
У розділі 4 викладені методи обробки спектрів (у частотній області) для одновимірного випадку. Мовотворний тракт розглядається як "чорна скринька",
| 
