Библиотечный каталог авторефератов Украины

Вінницький національний технічний університет

Шаді М С Хіллес

УДК 621.372.542

Нейроподібні методи і засоби ущільнення зображень

в комп’ютерних мережах

Спеціальність 05.13.13 – Обчислювальні машини, системи та мережі

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Вінниця – 2006

Дисертацією є рукопис.

Робота виконана у Вінницькому національному технічному університеті Міністерства освіти і науки України.

Науковий керівник:            доктор технічних наук, професор

                               Кожем’яко Володимир Прокопович,

                       Вінницький національний технічний університет,

завідувач кафедри лазерної та оптоелектронної техніки

Офіційні опоненти:         доктор технічних наук, професор

Русин Богдан Павлович,

Фізико-механічний інститут ім. Г. В. Карпенка

НАН України, м. Львів, завідувач відділу методів

і систем обробки, аналізу й ідентифікації зображень

доктор технічних наук, професор

Пєтух Анатолій Михайлович,

Вінницький національний технічний університет, завідувач кафедри програмного забезпечення

Провідна установа:        Державний науково-дослідний інститут інформаційної інфраструктури Державного комітету зв’язку та інформатизації НАН України, відділ програмних засобів та проблемно-орієнтованих структур, м. Львів.

Захист відбудеться  ”18 ”   03  2006 р. о 1200   годині на засіданні спеціалізованої вченої ради Д 05.052.01 у Вінницькому національному технічному університеті за адресою: 21021, м. Вінниця,  Хмельницьке шосе, 95.

З дисертацією можна ознайомитись у бібліотеці Вінницького національного технічного університету за адресою: 21021, м. Вінниця,  Хмельницьке шосе, 95.

Автореферат розісланий “ 15  ”       02      2006 р.

Вчений секретар

спеціалізованої вченої ради                                                        Захарченко С.М.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Передача зображень у комп’ютерних мережах немислима без попереднього їхнього ущільнення (кодування). Розроблено ряд стандартів і форматів файлів, що забезпечують передачу зображень в ущільненому вигляді в комп’ютерних мережах. Однак, досягнуті коефіцієнти ущільнення зображень у порівнянні з необхідними обсягами передачі і пропускною здатністю каналів зв'язку недостатні. Тому підвищення коефіцієнта ущільнення зображень при збереженні високої якості є пріоритетним напрямком досліджень, що виконуються в області кодування зображень. Аналіз традиційних підходів до ущільнення зображень показав, що вони вичерпали свої можливості в цьому напрямку, тому потрібні нові підходи до розв’язання задач ущільнення зображень.

Одним з підходів, що забезпечує підвищення коефіцієнта ущільнення зображень, при збереженні високої якості, є застосування штучних нейронних мереж. У науковій літературі розглядаються різні підходи до застосування нейронних мереж при ущільненні зображень, однак  особливої уваги заслуговують підходи, що базуються на принципах векторного квантування зображень, оскільки це забезпечує високу швидкість ущільнення при збереженні високої якості відновленого зображення. Ідея векторного квантування дуже проста. Зображення розбивається на квадратні блоки, наприклад 2х2, 4х4 або 8х8. Кожен блок розглядається як вектор у 4-вимірному, 16-вимірному або 64-вимірному просторі. З цього простору вибирається обмежена кількість векторів, що утворюють кодову книгу, але так, щоб з найбільшою точністю апроксимувати вектори, що вилучаються з вхідного зображення. У канал зв’язку або файл записуються номери векторів з кодової книги, що мають найменшу відстань від векторів, що вилучаються з вхідного зображення, і сама кодова книга. Оскільки векторів у кодовій книзі значно менше загальної кількості векторів у вхідному зображенні, то для представлення номера вектора витрачається менше біт, чим для початкового вектора. За рахунок цього і досягається ущільнення.

       Ідеальними для розв’язання цих задач  є нейронні мережі, запропоновані фінським ученим Т. Кохоненом, а саме, мережа у вигляді двовимірної карти Кохонена. Карта Кохонена має дві важливих властивості, що використовуються при ущільненні зображень методами векторного квантування. По-перше, вона дуже схожа на інші методи векторного квантування, що застосовують при ущільненні зображень з втратами,  а по-друге близьким кластерам вхідних векторів відповідають близько розташовані нейрони, що збільшує ефективність ущільнення без втрат,  що застосовується на наступному етапі кодування.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалася на кафедрі лазерної та оптоелектронної техніки ВНТУ відповідно до державної науково-технічної програми “Образний комп'ютер” (постанова Кабінету Міністрів України № 1652 від 08.11.2000 р.) у рамках держбюджетної теми 57-Д-249 “Образний відео-комп'ютер око процесорного типу” (№ державної реєстрації: 0102U002261).  

Мета і задачі дослідження. Метою роботи є підвищення коефіцієнта ущільнення зображень за рахунок застосування нейронних мереж типу двовимірної карти Кохонена.

Відповідно до поставленої мети необхідно вирішити такі основні задачі:

• аналіз задач і методів ущільнення зображень;
• розробка методів ущільнення зображень з використанням двовимірних карт Кохонена;
• розробка програмних модулів для виконання досліджень ущільнення зображень з використанням двовимірних карт Кохонена;
• розробка оптоелектронних елементів і вузлів для систем ущільнення зображень на основі двовимірних карт Кохонена;
• експериментальні дослідження розроблених методів ущільнення зображень.

Об'єктом дослідження є процес кодування  фотореалістичних зображень з втратами.

Предмет дослідження - кодування зображень з використанням двовимірних карт Кохонена.

Методи досліджень. Дослідження проводилися з використанням методів математичного аналізу, дискретної математики, теорії алгоритмів, прикладної теорії інформації, теорії цифрової обробки сигналів і зображень і цифрового телебачення. При визначенні оптимального типу і порядку фільтрів для формування компонент зображення використовувалися методи цифрової обробки сигналів і зображень. При розрахунку коефіцієнтів фільтрів використовувалися методи математичного аналізу і теорії цифрової обробки сигналів. При оцінці якості відновлених зображень використовувалися методи цифрового телебачення. При розробці алгоритмів і програм для перевірки основних теоретичних викладень використовувалися методи прикладної теорії інформації і теорії алгоритмів.

Наукова новизна отриманих результатів. У дисертаційній роботі отримано такі нові наукові результати:

1. Запропоновано метод ущільнення зображень на основі нейронних мереж типу двовимірна карта Кохонена, який відрізняється високим рівнем адаптації завдяки введенню додаткового етапу навчання, що забезпечує збільшення коефіцієнта ущільнення і високу якість відновленого після кодування зображення.
2. Запропоновано модифікований метод ущільнення зображень, який базується на покомпонентном кодуванні, відмінністю якого є векторне квантування компонент зображення з урахуванням особливостей зорового сприйняття кожної компоненти, що підвищує якість відновленого після кодування зображення.
3. Уперше запропонований і реалізований метод обробки і сортування чисел для нейронних мереж ущільнення зображень, відмінністю якого є використання парного обміну, що підвищує швидкість обробки і сортування масивів даних.
4. Одержав подальший розвиток метод порівняння чисел для реалізації основної операції формального нейрона, характерною рисою, якого є представлення чисел логіко-часовими кодами, що значно спрощує технічну реалізацію нейронних обчислювальних мереж.

Практичне значення отриманих результатів. Практичне значення отриманих результатів полягає в наступному:

• Виконано розрахунок коефіцієнтів нерекурсивних фільтрів, що дозволяють формувати частотні компоненти зображення, і можуть знайти застосування при реалізації інших алгоритмів кодування зображень.
• Дослідження, виконані в дисертації, дозволили розробити програмне забезпечення для виконання ущільнення зображень на основі  двовимірних карт Кохонена  з використанням середовища Delphi.
• Розроблені оптоелектронні нейромережні засоби елементи можуть знайти застосування не тільки в системах ущільнення зображень, але і при розв’язку інших задач на основі нейроних мереж, таких, як розпізнавання образів, голосів, відбитків пальців, штрихових кодів; перевірка достовірності підписів; обробка звукових сигналів (поділ, ідентифікація, локалізація); автоматичне пілотування; адаптивна робототехніка.

Особистий внесок здобувача. Основні положення та результати дисертаційної роботи отримані автором особисто. В роботах, що опубліковані у співавторстві, здобувачеві належить: в [1] запропонував ввести зворотній зв’язок в нейронний елемент на біспін-приладі і виконав його дослідження; в [2] представив  математичну модель заміщення частотно-динамічного нейронного елемента; в [3] виконав комп’ютерне моделювання частотно-динамічного нейронного елемента, яке показало високий ступінь адекватності запропонованого елемента біологічному нейрону; в [4] виконав розрахунок коефіцієнтів нерекурсивних симетричних фільтрів для формування компонент зображення; в [5] запропонував ввести в пристрій оптоелектронні квантуючі модулі з можливостями послідовного запису і зчитування цифрових даних у вигляді одиничного нормального коду; в [6] запропонував використовувати нейронні мережі для ущільнення зображень і обрав їх тип; в [7] запропонував і обгрунтував можливість використання нейронної мережі для підвищення швидкості покомпонентного кодування зображень; в [8] запропонував формувати високочастотні компоненти зображення як різниці реакцій фільтрів низької частоти; в [9] запропонува використовувати нейронні мережі для виконання KVP-перетворення; в [10] запропонував оптоелектронний частотно-динамічний нейронний елемент для імпульсних нейронних мереж на основі біспін-приладу; в [11] запропонував   використовувати метод парного обміну при сортуванні масивів даних; в [12] запропонував використовувати карту Кохонена для векторного квантування зображень; в [13] обґрунтував узагальнений показник ефективності нейронного елемента, який характеризує швидкість перетворення та передачі інформації; в [14] запропонував та дослідив метод кодування зображень з використанням карти Кохонена при 4-х вимірних вхідних векторах; в [15] виконав аналіз можливостей застосування нейронних мереж при кодуванні зображень.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й одержали позитивну оцінку на таких науково-технічних конференціях:

1. На XXVIII, XXIX, XXX, XXXI науково-технічних конференціях професорсько-викладацького складу, співробітників і студентів ВНТУ при участі інженерно-технічних співробітників підприємств м. Вінниці (2001-2004 р.)
2. Друга міжнародна науково-технічна конференція студентів, аспірантів і молодих учених ”Оптоелектронні інформаційно-енергетичні технології – 2002”,      м. Вінниця, 23-25 квітня, 2002 р.
3. Сьома міжнародна науково-технічна конференція ”Контроль і управління в складних системах – 2003”, м. Вінниця, 8-11 жовтня 2003 р.
4. Сьома міжнародна науково-практична конференція ”Наука й освіта – 2004”, м. Дніпропетровськ, 10-25 лютого 2004 р.
5. Четверта міжнародна наукова конференція студентів і молодих учених, м. Київ, 15-16 квітня 2004 р.
6. Четверта міжнародна конференція „Інтернет-Освіта-Наука”, м. Вінниця”, 28 вересня-16 жовтня 2004 р.
7. Третя міжнародна конференція „Оптоелектронні інформаційні технології "Фотонікс ОДС-  2005", м. Вінниця, 27-28 квітня 2005 р.

Публікації. За результатами роботи над дисертацією опубліковано 15 наукових праць, у тому числі 5 у фахових виданнях, затверджених ВАК України, з яких 5 статей [1, 4, 6, 11, 14] у науково-технічних журналах, 1 патент України [5].

Обсяг і структура дисертації. Дисертаційна робота складається із вступу,  4 розділів, висновків,  списку використаних джерел та 6 додатків. Основний зміст викладено на 132 сторінках друкованого тексту, містить 30 рисунків, 10 таблиць. Список використаних джерел складається з 138 найменувань. Загальний обсяг дисертації 175 сторінок.

ОСНОВНИЙ ЗМІСТ роботи

       У вступі подано загальну характеристику роботи, обґрунтовано актуальність проблеми досліджень, зазначено зв’язок роботи з науковими програмами, планами, темами державної науково-технічної програми “Образний комп’ютер”, сформульовано мету та задачі досліджень, визначено методи досліджень, викладено основні наукові та практичні результати дисертаційної роботи.

У першому розділі аналізуються особливості ущільнення зображень. Виділено класи зображень, кожний з який має свої особливості, які необхідно враховувати при розробці алгоритмів ущільнення. Показано, що традиційні підходи вичерпали свої можливості по підвищенню коефіцієнта ущільнення  і якості відновленого після кодування зображення. Запропонований у якості базового для досліджень  метод ущільнення з використанням нейроподібних систем, у тому числі двовимірних карт Кохонена.

Аналіз традиційних підходів до ущільнення зображень (інтерполяційні, статистичні, двовимірні ортогональні перетворення й ін.) показав, що вони вичерпали свої можливості по збільшенню коефіцієнта ущільнення і якості відновленого зображення, оскільки являють собою прості математичні перетворення вхідного зображення з елементами адаптації.  Тому потрібні нові підходи до розв’язання задач ущільнення зображень, які включали як етап перетворень так і етап навчання. Одним з таких підходів є застосування штучних нейронних мереж типу двовимірна карта Кохонена.

На підставі проведеного аналізу сформульовано мету і задачі дисертаційної роботи.

У другому розділі запропоновано новий метод ущільнення зображень на основі векторного квантування з використанням нейронних мереж типу двовимірна карта Кохонена при розмірі вхідних векторів 2х2 і більше і розмірах карти Кохонена 16х16, що дозволяє збільшити коефіцієнт ущільненння в 1,2-2 рази в порівнянні з відомими методами. Вперше отримано аналітичні вирази для оцінки обчислювальної складності квантування методом Кохонена. Розроблено алгоритми і запропонована схема ущільнення зображень покомпонентним  методом із квантуванням просторових частотних компонент за допомогою карти Кохонена. З урахуванням особливостей математичної моделі зображення обрано порядок і виконано розрахунок коефіцієнтів нерекурсивних фільтрів для формування частотних компонент зображення.

Ущільнення зображень з використанням карти Кохонена виконується за два проходи початкового зображення:

• перший прохід - навчання мережі;
• другий прохід – векторне квантування.

Причому, навчальними векторами є усі фрагменти зображення з розмірами 2х2.  Таким чином, алгоритм кодування буде таким:

Етап навчання

1. Ініціалізувати вагові коефіцієнти нейронів випадковими значеннями.
2. Вибрати з зображення  перший фрагмент 2х2.
3. Представити його у вигляді навчального вектора.
4. Для кожного кластерного  елемента карти обчислити відстань від навчального вектора:

.                                        (1)

       Знайти кластерний елемент j для який dj мінімально.

5. Для даного кластерного елемента  обновити вагові коефіцієнти відповідно до формули:

,                                (2)

де  η - норма навчання, xi – координата навчального вектора.

6. Обновити норму навчання і вибрати з зображення наступний фрагмент 2х2 і повторювати пункти 3-6 для наступних навчальних векторів доти, поки не будуть вибрані усі фрагменти.

Векторне квантування

7. Вибрати з зображення  перший фрагмент 2х2.
8. Представити його у вигляді навчального вектора.
9. Для кожного кластерного  елемента карти обчислити відстань до навчального вектора:

.                                (3)

10. Номер кластерного елемента з мінімальним dj  записати у вихідний файл.
11. Вибрати з зображення наступний фрагмент 2х2 і повторювати пункти 8-11  доти, поки не будуть обрані усі фрагменти.
12. Записати у вихідний файл значення коефіцієнтів wij – всього 1024 байти.
13. Записати у вихідний файл розмір початкового файлу.
14. Ущільнити отриманий файл методом арифметичного кодування.

Кількість арифметичних операцій, яка необхідна для реалізації даного алгоритму складе:

Lk =2*n2k *m2 ,                                               (4)

де  m – розмір карти Кохонена, n – розмір фрагменту початкового зображення, що вибирається для векторного квантування, k=log2N, N=M – розміри початкового зображення.

Порівняльний аналіз обчислювальних витрат при застосуванні карти Кохонена і фрактального ущільнення зображень показав, що обчислювальні витрати співвідносяться в такий спосіб:

Lf/Lk  ≈n2k-1 ,                                        (5)

де Lf – кількість арифметичних операцій для фрактального ущільнення, Lk - кількість арифметичних операцій для запропонованого методу ущільнення. Тобто виконання ущільненння зображень із застосуванням карти Кохонена вимагає значно менше операцій множення і розподілу.

Подальшого зменшення обчислювальних витрат можна досягнути за рахунок векторного квантування високочастотних компонент зображення, оскільки  їх частотний розподіл характеризується наявністю піка в районі нуля, що  дозволяє зменшити розміри мережі і відповідно обчислювальні витрати на навчання мережі. У роботі розглянуто застосування карти Кохонена в комбінації з адаптивним до контурів двовимірним аналізом і синтезом (покомпонентним кодуванням). Для  досягнення  необхідної  точності   аналізу  і  синтезу зображень запропоновано застосування симетричних фільтрів, оскільки область  передбачення  таких фільтрів відповідає некаузальній моделі, а зображення, як відомо, за своєю природою є  некаузальні. Процес кодування включає наступні етапи:

1. Перетворення зображення в оптимальний колірний простір (тільки для кольорових зображень).
2. Субдискретизація компонент кольоровості усередненням груп пікселів (тільки для кольорових зображень).
3. Формування двовимірних низькочастотних компонентів зображення (компоненти яскравість/кольоровість можуть оброблятися окремо)  з  граничними частотами fgm=W/2m – Y8, Y4, Y2 (W – ширина смуги частот сигналу зображення, m=3,2,1).  Порядок фільтрів – N=15,7,3. Амплітутно-частотні характеристика фільтрів такі:

.                        (6)

4. Формування відліків різницевих компонент зображення:

                                       (7)

де  - Y8, Y4, Y2  низькочастотні компоненти зображення; Y0 – початкове зображення.

5. Дискретизація і квантування компонент Y8 і різницевих компонентів з використанням двовимірної карти Кохонена.
6. Кодування відліків високочастотних і низькочастотних компонент зображення методами статистичного кодування (наприклад, кодування Хаффмана, арифметичне кодування й ін.).

У третьому розділі розглянуто методологію розробки елементів і блоків для нейронних систем ущільнення зображень. Запропоновано технічні реалізації карти Кохонена з використанням оптоелектронного нейрона, а також оптоелектронний пристрій обробки чисел.

Технічна реалізація карти Кохоненна  з розмірами 16х16 при використанні традиційної цифрової елементної бази вимагає близько мільйона вентилів.  Для порівняння такий відомий процесор як і486DX включав 1,2 млн. транзисторів. Це свідчить про те, що необхідні нові підходи до реалізації систем ущільнення зображень на основі нейронних мереж. Можливі два підходи:

1. Заміна окремих вузлів на нову елементну базу, наприклад, можлива заміна суматорів їх оптоелектронними реалізаціями.
2. Зміна технології векторного квантування за рахунок переходу до аналого-цифрової й аналогової реалізацій карти Кохонена, наприклад, використання фоточуттєвих матриць на біспін-приладах.

При апаратній реалізації нейронних мереж нейронні елементи (НЕ) повинні бути простими і придатними для реалізації в інтегральному виконанні. Саме такими властивостями і характеризуються НЕ на біспін-приладі, який є новим напівпровідниковим трьохполюсним елементом, і дозволяє створити нейронний елемент, який одночасно функціонує як інтегратор, граничний елемент і генератор імпульсів (рис. 1).

Експериментальні дослідження показали, що запропонований нейронний елемент на біспін-приладі має основні характеристики подібні з біологічним нейроном, що дає можливість застосування його при технічній реалізації систем ущільнення зображень.

Іншим важливим елементом нейронної мережі є пристрої обробки чисел. У роботі одержав подальший розвиток метод порівняння чисел для реалізації основної операції формального нейрона, характерною рисою, якого є представлення чисел логіко-часовими кодами, що значно спрощує технічну реалізацію нейронних обчислювальних мереж. Запропоновано оптоэлектронний пристрій обробки чисел (рис.2), що реалізує запропонований метод і характеризується більш простою технічною реалізацією за рахунок введення оптоэлектронних квантуючих модулів з розширеними функціональними можливостями і новими зв’язками, що  дає можливість спрощення пристрою і його використання у системах ущільнення зображень (патент України № 66625).

Крім того,  запропоновано і реалізовано метод обробки і сортування чисел для нейронних мереж ущільнення зображень, відмінністю якого є використання парного обміну, що підвищує швидкість обробки і сортування масивів даних.

У четвертому розділі приведено результати дослідження алгоритмів ущільнення зображень з використанням двовимірних карт  Кохонена, що самоорганізуються. Показано, що застосування карт Кохонена в сполученні з відомими алгоритмами ущільнення зображень дозволяє значно поліпшити їх характеристики. Крім того, обрані критерії оцінки якості відновлених зображень і система програмування для моделювання розроблених алгоритмів.

Як критерії якості відновленого після кодування зображення запропоновано використовувати як середньоквадратичне відхилення, так і суб’єктивну експертизу, оскільки зорова система не обробляє зображення елемент за елементом, а витягає з нього в процесі нейронного кодування деякі просторові, тимчасові ознаки, а також ознаки кольору.

Для розробки програмного забезпечення моделювання кодування зображень  запропоновано використовуватися середовище програмування Delphi 6.0, оскільки програмний продукт, створений у цьому середовищі цілком задовольняє сучасним вимогам  як до швидкодії, так і якості інтерфейсу користувача.

Для доказу переваг, запропонованих підходів дослідження виконувалися  в таких трьох напрямках:

1. Дослідження ущільнення зображень покомпонентним методом із квантуванням компонентів нерівномірними шкалами.
2. Дослідження ущільнення зображень з векторним квантуванням відліків початкового  зображення з використанням карти Кохонена.
3. Дослідження комбінованого підходу з векторним квантуванням компонент зображення з використанням карти Кохонена.

       При проведенні досліджень у трьох напрямках використовувалися однакові зображення, методика й устаткування.

Для дослідження ущільнення зображень на основі карти Кохонена використовувались дві схеми приведені на рис. 3 та рис. 4.

       Причому навчальними векторами є усі фрагменти початкового або різницевого зображення з розмірами 2х2.

Результати досліджень показали, що векторне квантування високочастотної компоненти зображення забезпечує досить високі характеристики. У порівнянні з безпосереднім квантуванням початкового зображення, де використовується карта Кохонена з розмірами 16х16, розмір карти Кохонена можна зменшити до 8х8, що у свою чергу дозволить підвищити швидкість навчання мережі в кілька разів.

Непрямим підтвердженням отриманих результатів є розподіл частот значень яскравостей пікселів для початкового зображення LENA.BMP і її високочастотного компонента (рис. 5). Значення яскравостей пікселів высочастотної компоненти зосереджені в області малих значень і мають яскраво виражений пік, тоді як розподіл частот початкового зображення наближається до рівномірного закону (пік наприкінці шкали можна не враховувати, оскільки це біла рамка навколо зображення). Тобто, ентропія різницевого зображення значно менша, що і підтверджує результати досліджень.

       Цілий ряд експериментів з різними типами зображень показав, що коефіцієнти ущільнення можуть знаходитися в границях 3-15. Для деяких зображень (рис. 6) коефіцієнт ущільнення перевершує стандарт JPEG при тій же якості зображення.