Особливість навчання мережі Кохонена на основі методу нейроядерної ентропії при стиску зображень Текст научной статьи по специальности «Математика»

ИНФОРМАЦИОННЫЕ

УДК004.93

ОСОБЛИВІСТЬ НАВЧАННЯ МЕРЕЖІ КОХОНЕНА НА ОСНОВІ МЕТОДУ НЕЙРОЯДЕРНОЇ ЕНТРОПІЇ ПРИ СТИСКУ ЗОБРАЖЕНЬ

РУСИН Б.П., ЛЮБУНЬ З.М., ЛУЦИК О.А.________

Аналізуються недоліки нейромережевого стиску цифрових зображень при використанні мереж Кохонена. Пропонується використання методу нейроядерної ентропії для навчання мережі Кохонена. Показується ефективність даного методу для навчання мережі Кохонена при стиску зображень.

1. Вступ

Нейронні мережі широко використовуються для стиску цифрових зображень з метою більш компактного збереження і скорочення часу передачі зображень по інформаційних каналах зв’язку.

Одним із найбільш загальноприйнятих методів для компресії зображень є використання технології векторного квантування. Цей метод особливо ефективний у випадку втратної компресії великих зображень. Спочатку зображення розбивається на квадратні блоки розміром тхт пікселів, кожен блок представляється вектором в n- мірному просторі, де n= TXT . В загальному випадку блоки не обов’язково квадратні, але однакового розміру і форми. Наступним кроком є вибір обмеженого числа векторів - дескрипторів з метою якнайкращої апроксимації вхідних векторів, вибраних із зображення. Кожен вектор із оригінального зображення порівнюється із дескрипторним вектором. Обирається вектор, найбільш подібний до вхідного. Кожен вхідний вектор замінюється відповідним дескрипторним вектором. Як функція міри збігу вхідного вектора із дескрипторним вектором може вибиратися довільна функція. В даному випадку використовується евклідова відстань [1]:

d = {Z(xi - Уі)2}2 , (1)

і=1

де х - дескрипторний вектор; у - вхідний вектор.

Компресія отримується, якщо кількість біт інформації, яка використовується для передачі номера вектора дескриптора l, є меншою, ніж початкова кількість біт блоку тхтхm, де m - кількість градацій окремого пікселя.

Особливістю нейромережевого методу стиску зображень є використання алгоритму Кохонена або само-організуючої карти ознак (KSOM) на етапі квантування вектора. Алгоритм Кохонена показав себе як надійний і ефективний шлях для здійснення квантування вектора. Він має ряд переваг, основною із яких є вища швидкість роботи алгоритму при покращенні якісних характеристик у випадку стиску зображень в порівнянні з методом векторного квантування.

Мета дослідження - розробка нейромережевої компресії зображень на основі методу нейроядерної ентропії з подальшим дослідженням його компресійних властивостей.

Задачі дослідження - формування компресованих зображень, порівняння ефективності роботи запропонованих методів з існуючими.

2. Недоліки використання нейронних мереж

При використанні нейромережевого підходу стиск зображень завжди зводиться до задачі кластеризації. Тут виникає проблема оптимального розподілу потоку вхідних даних по окремих кластерах. Ця проблема властива не тільки для стиску зображень, але і для задач іншого класу - кластеризації чи класифікації даних. Невдалий розподіл вхідних векторів по нейронах вхідного шару призводить до появи “мертвих” нейронів та суттєвих спотворень стисненого зображення в порівнянні з вхідним зображенням [3]. Існує ряд методів, спрямованих на покращення навчання мережі, основним з яких є метод опуклої комбінації, але вони не ефективні у випадку стиску зображень. Для покращення якості стисненого зображення та усунення можливості появи “ мертвих” нейронів пропонується використати метод нейроядерної ентропії.

Цей метод має ряд переваг:

1) здійснює оптимальний розподіл ядер між кластерами даних;

2) гарантує відсутність “мертвих” нейронів;

3) дає можливість динамічної зміни віртуальних кластерів безпосередньо у процесі навчання;

4) забезпечує динамічне встановлення пріоритетності одного кластера над іншим (визначення більш інформаційно-важливого кластера, імовірність появи елементів якого є найбільшою, із загальної сукупності кластерів).

3. Вибір початкових даних

Процес функціонування мережі Кохонена передбачає такі основні функції, як навчання мережі та робота мережі.

Вибираються початкові значення ваг нейронів, наприклад, випадковим чином. Звичайно, їх значення нормуються. Це нормування забезпечує стабільніше навчання мережі і менший розкид вагових коефіцієнтів у процесі навчання.

РИ, 2007, № 1

69

Кожен нейрон має по одній вазі на одну компоненту вхідного вектора. На початку для кожної із ваг задаються невеликі випадкові значення, щоб рівномірно покрити всю область. Також встановлюється сусідній радіус. Цей радіус буде мати велике значення на початку навчання. В процесі навчання він буде поступово зменшуватися.

Вхідні дані або навчальна вибірка представлені у вигляді множини векторів.

На основі значення евклідової відстані чи величини векторного добутку вибирається нейрон-переможець.

4. Поновлення ваг нейронів-переможців, а також нейронів, близьких до них

Ваги нейрона-переможця будуть модифіковуватися згідно з рівністю:

w(n+i)(k,j) = wn(k,j) + a(n)[x(j) - wn(k,j)], (2)

де n - кількість ітерацій; k - нейрон-переможець; j -номер ваги; a(n) - швидкість навчання, яка залежить від номера ітерації. Кращі результати дає алгоритм навчання, в якому проводиться навчання не лише нейронів-переможців, але і сусідніх нейронів. Ваги нейронів, які входять в окіл, будуть оновлюватися обернено пропорційно відстані:

W(n+i) (m, j) = Wn (m, j) + d(m, k, n)r|(n)[x(j) - Wn (m, j)],

(3)

тут d(m, k, n) є функцією від числа ітерацій n, відстані між нейроном-переможцем k і сусіднім нейроном m.

На початку процесу навчання початковий радіус можна вибрати великим, щоб він покривав більшість нейронів. Із збільшенням кількості ітерацій радіус

зменшується. Значення d(m,k,n) може описуватися будь-якою обернено пропорційною до кількості ітерацій n мірою між нейроном-переможцем k і вектором, який повинен оновлюватися m.

Одним із варіантів завершення ітераційного процесу є встановлення фіксованого граничного числа ітерацій.

Перевагою навчання шару Кохонена є самонавчання, або навчання без вчителя. Цей чинник обмежує участь сторонніх факторів, сам процес навчання шару Кохонена є локальним. Результатом навчання буде розділення несхожих вхідних векторів.

Основною задачею шару Кохонена є класифікація вхідних векторів на групи, які мають спільні риси. Мережа виконує цю задачу, для цього за допомогою підстроювання ваг шару Кохонена добиваються, щоб близькі вхідні вектори активували один і той самий нейрон відповідного шару. Разом із шаром Кохонена використовують шар Гросберга, завданням якого є отримання потрібних виходів. Також шар Кохонена поєднують із шаром Кітлка. Основною відмінністю шару Кітлка від шару Гросберга є його нелінійний відгук на вхід.

Під час навчання шару Кохонена на вхід подаються дані у векторному вигляді і обчислюються його скалярні добутки з векторами ваг. Ця процедура виконується для усіх нейронів шару Кохонена. Нейрон з максимальним значенням скалярного добутку є “переможцем”. В подальшому ваги “ переможця” підстро -юються. Осільки скалярний добуток, який використовується для обчислення величини виходу, є мірою подібності між вхідним вектором і вектором ваг, то процес навчання полягає у виборі нейрона Кохонена з ваговим вектором, найбільш близьким до вхідного вектора, і подальшому наближенні вагового вектора до вхідного. Мережа самонавчається так, що відповідний нейрон Кохонена має максимальний вихід для даного вектора.

Кожна вага, зв’язана з нейроном, що виграв, змінюється пропорційно різниці між її величиною і величиною входу, з яким він з’ єднаний. Напрямок зміни буде мінімізувати різницю між вагою і входом нейрона. Коефіцієнт швидкості навчання спочатку набуває значення не більше одиниці і може поступово зменшуватись у процесі навчання, як функція від кількості ітерацій. Це дозволяє робити великі початкові кроки для швидкого грубого наближення і менші кроки при підході до остаточної величини, із більш прецизійним завданням.

Як правило, навчальна множина містить велику кількість подібних між собою вхідних векторів. Завданням мережі має бути чутливість активувати відповідний нейрон Кохонена для кожного з векторів множини. В такому випадку ваги нейрона є пропорційні математичним сподіванням сукупності вхідних векторів, які його активують. Поступове зменшення ^ зменшує вплив кожного навчального кроку, так що остаточне значення буде математичним сподіванням величини від сукупності вхідних векторів, на яких відбувається навчання. Вдале навчання мережі з вико -ристанням методу нейроядерної ентропії забезпечує оптимальний розподіл векторів ваг нейронів між множиною вхідних векторів.

5. Нейроядерна ентропія

Метод нейроядерної ентропії базується на знаходженні кластерних ядер, які при одинакових умовах навчання мають найбільші значення ентропій (середнє зміщення ядра у межах кластера в процесі адаптивного навчання ).

Метод нейроядерної ентропії можна зо бр азити так.

На рис .1 проілюстровано основні етапи навчання мережі і поділу ядра. Для можливості візуалізації розглянемо двомірний простір вхідних векторів. Задача полягає у найбільш оптимальному розподілі ядер між віртуальними кластерами даних, утвореними множиною векторів. Для початку процесу навчання у дво-мірному просторі випадковим чином задається вектор першого ядра (рис.1, а). Навчання здійснюється для одного ядра, в результаті чого ядро розміщується в напрямку математичного сподівання вхідних даних.

70

РИ, 2007, № 1

На кінцевій стадії навчання першого ядра запам’ятовується n-1 (попереднє) положення ядра, ця інформація використовуватиметься для подальшого поділу ядер. Наступним кроком є поділ ядра. Як показано на рис.1, б, тепер у навчанні братиме участь два ядра -ядро, сформоване на попередньому кроці, і ядро із координатами на n-1 положенні першого. Вектори в робочій області на цьому кроці навчаня розділяться на два віртуальні кластери, а ядра після цього розміщуються в напрямку математичних сподівань відповідних кластерів (рис. 1, в). Також в цьому кроці підраховуються значення ентропій (середніх хаотичних зміщень ядер у межах кластерів, в процесі адаптивного навчання) і n-1 положення ядра, яке відповідає кластеру із більшим значенням ентропії. Усі наступні кроки поділу будуть реалізовуватися для ядер із максимальним значенням ентропії і включатимуть додаткову інформацію про відповідні ядрам кластери.

Рис. 1. Основні етапи навчання мережі і поділу ядра

Ядро, яке піддається поділу, визначається згідно з виразом:

2 2

E(w)max =“Z wi log(Wi ). (4)

i

Такі кластери, ентропія ядер яких максимальна, є найбільш інформаційно неоднорідними. А кластери, елементи яких є максимально однотипними, є інформаційно однорідними. Очевидно із неоднорідних кластерів можна утворити більш інформаційно однорідні області, які в свою чергу можуть перерозподілитися у вторинні кластери. Виходячи з цього, є сенс збільшувати кількість ядер в межах кластерів, ентропія яких є максимальною. Одним із варіантів впровадження цього алгоритму в дію може бути поділ найбільш активних ядер методом відхилення (поділ ядер реалізується поступовим відхиленням вторинного ядра від первинного).

Розрізняють монокластерний і мультикластерний поділ ядер. Монокластерний поділ має місце у випадку, коли такому поділу піддають тільки таке ядро, значення ентропії для якого є максимальним. В мультикластерному випадку одним ядром не обмежуються, а проводять операцію поділу для усіх ядер, значення ентропії яких перевищує деякий наперед заданий поріг.

На практиці метод нейроядерної ентропії дає хороші результати у фільтруванні статистичної і часової над-лишковості зображень, тим самим дозволяючи досягати вищого коефіцієнта стиску в порівнянні із класичним нейромережевим методом. Основним обмеженням алгоритму є велика кількість ітерацій при навчанні мережі в порівнянні із класичними методами. Для прискорення роботи алгоритму їх можна спростити, використавши методи медіанного поділу та наближення параболоїдного зрізу. Використання спрощень приводить до втрати якості. Використання наближення параболоїдного зрізу ефективне при великій кількості підзо бр ажень і великій кількості нейронів. При меншій кількості нейронів спостерігається значне спотворення стиснутого зображення. Метод медіанного поділу враховує закономірності процесу навчання у вузлах галуження, тому чим більша вибірка, тим менш ефективний метод. При стиску зображень, як і у випадку класифікації, використовують лінійний вихід мережі. Проте якщо використати нелінійну функцію активації, наприклад, сигмої-

дальну функцію (рис.2) (OUT

1

1 INET), то мож-

1 ^ є

на досягти менших значень виходів нейронів (по модулю), тим самим прискоривши збіжність процесу навчання.

Рис. 2. Сигмоїда

Ефективність компресії може оцінюватись як для компресії зображень із втратами, так і для безвтратної компресії зображень. У випадку безвтратного стиску зображень ефективність оцінюється з отриманого коефіцієнта стиску. Для втратного кодування найбільш поширене пікове співвідношення сигнал-шум (PSNR):

PSNR = -20log10(RMSE/2b -1), (5)

де RMSE - середньоквадратична похибка.

РИ, 2007, № 1

71

Хоча пікове співвідношення сигнал-шум для багатьох зображень не є найкращим показником втрат, проте це єдиний критерій, який добре працює для більшого числа зображень, що піддаються втратній компресії.

6. Результати

Стиск проводився для зображень різного розміру від 5 00 до 280000 пікселів. В кожному з випадків обраховувалось пікове співвідношення сигнал-шум по відношенню до оригінального зображення.

Рівень компресії, в даному випадку, залежить від розміру вікна розбиття та від кількості ключових блоків (нейронів):

K =_____________________x х у х q_____________

стиску k * (log2 (n) + 1) + dsx x dSy x n + Оінф ,

(6)

де Оінф - додаткова інформація про спосіб кодування і розбиття зображення на підзображення.

Нейромережевий підхід компресії зображень із використанням методу нейроядерної ентропії порівнювався із форматом JPEG2000.

На рис .3 наведені результати пікового співвідношення сигнал - шум залежно від рівня компресії для формату JPEG2000 та нейромережевого методу з використанням нейроядерної ентропії. Для низького коефіцієнта компресії формат JPEG2000 по піковому співвідношенню сигнал - шум дає кращі результати, ніж нейромережевий метод. Але починаючи з коефіцієнта компресії 55, нейромережевий метод виходить на рівень пікового співвідношення сигнал - шум, вищий за JPEG2000.

Рис. 3. Залежність пікового співвідношення сигнал-шум від рівня компресії

На рис.4 зображено залежність часу на навчання мережі від розмірів зображення (дослідження проводилось на базі Pentium IV 2000 Mhz, 512 ram). Форма кривої в деякому наближенні є близькою до лінійної.

Рис. 4. Залежність часу навчання від розміру зображення

7. Висновки

Показано ефективність використання методу нейроядерної ентропії для навчання мереж Кохонена у випадку компресії зображень. Проведено порівняльний аналіз компресії на основі нейронних мереж і стандарту JPEG2000. Результати показують, що при високих рівнях компресії нейромережевий метод має кращі властивості по піковому відношенню сигнал - шум, ніж JPEG2000.

Наукова новизна запропонованого методу компресії полягає у використанні методу нейроядерної ентропії на етапі навчання мережі Кохонена. Цей метод показав кращі результати навчання, ніж класичний алгоритм навч ання мер ежі.

Перспективами дослідження є подальше вдосконалення компресійних властивостей мережі шляхом вибору оптимальніших її параметрів. Результати дослідження можуть бути використані в галузях комунікації, розпізнавання та обробки зображень.

Література: 1. Kohonen T., Oja E., Simula O., Visa A., and Kangas J. Engineering applications of the self-organizing map // Ршс. IEEE, Oct. 1996. Vol. 84. Р. 1358-1384. 2. DM.I. TaxandR.P. W. Duin. Uniform object generation for optimizing one-class classifiers // Jornal of Machine Learning Research, 2001. Vol. 2. Р. 155-173.3. Albrecht S., Busch J., Kloppenburg M., Metze F. and Tavon P. Generalised radial basis function networks for classification and novelty detection: selforganization of optimal Bayesian decision // Neural Networks, 2000. Vol. 13. Р. 1075 - 1093.

Надійшла до редколегії 03.03.2007

Рецензент: д-р техн. наук, проф. Путятін Е.П.

Русин Богдан Павлович, д-р техн. наук, професор, зав. відділом “Методів та систем аналізу, обробки та ідентифікації зображень” ФМІ НАН України ім. Г.В. Карпенка. Наукові інтереси: аналіз, обробка та розпізнавання зображень. Адреса: Україна, 79601, Львів, вул. Наукова, 5а, тел. 229-61-09, e-mail: rusyn@ipm.lviv.ua

Любунь Зіновій Михайлович, канд. техн. наук, доцент кафедри радіофізики Львівського національного університету імені Івана Франка. Наукові інтереси: адаптивні системи обробки інформації на основі нейромереж. Адреса: Україна, 79600, Львів, вул. Щурата, 7/46, тел. 2-93 -13-85, e-mail: lubun@electronics.waps.lviv.ua

Луцик Олексій Андрійович, аспірант ФМІ НАН України ім. Г.В. Карпенка. Наукові інтереси: нейромережеві підходи для обробки зображень. Адреса: Україна, 79601, Львів, вул. Наукова, 5а, тел. 229-65-30, e-mail: olutsyk@ipm.lviv.ua

72

РИ, 2007, № 1