Сеть с симметричной функцией преобразования нейронов для подавления искажений и восстановления изображения Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN 0868-5886

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2008, том 18, № 2, c. 73-80

= ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ СИСТЕМЫ

УДК 621.391;519.21;519.245

© Г. Ф. Малыхина, А. В. Меркушева

СЕТЬ С СИММЕТРИЧНОЙ ФУНКЦИЕЙ ПРЕОБРАЗОВАНИЯ НЕЙРОНОВ ДЛЯ ПОДАВЛЕНИЯ ИСКАЖЕНИЙ И ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЯ

Исследован и описан метод восстановления изображения, искажения которого удаляются на основе использования сети с симметричной функцией преобразования нейронов. Рассмотрены модификации сети, которые после обучения представляют нелинейный фильтр, способный удалять нелинейные искажения изображения.

ВВЕДЕНИЕ

При решении ряда исследовательских и прикладных задач все более широкое применение находят сети с различными видами функции преобразования нейронов. Это — сети с функцией преобразования нейронов, построенной на основе время-частотного распределения (ВЧР) Габора и некоторых других ВЧР (Вигнера—Вилле, кратковременного преобразования Фурье) [1-4].1)1 В последнее время появляются варианты структуры нейронных сетей с функцией преобразования нейронов, построенной на основе аффинных преобразований (Бертрана и вейвлет [5-8]) и сети с автоподстройкой функции преобразования нейронов (ФПН) [9]. Несмотря на то что для таких сетей получение самих значений ФПН сложнее, чем при традиционном ("сигмоидном")2) виде, при их использовании обычно требуется существенно меньшее количество нейронов и они оказываются более экономичными по числу параметров, подлежащих подстройке в процессе обучения сети. Это особенно важно при ограниченном объеме данных, которые требуется распределять на обучающую и тестирующую выборки.

В полной мере указанные соображения относятся к сетям с симметричной функцией преобразования нейронов (СФПН) [4, 10-12]. Особенность структуры таких нейронных сетей (НС) состоит в локализации элементов скрытого слоя в многомерном векторном пространстве (размер-

1) Сокращение ВЧР используется наряду с ВЧП (время-частотное преобразование). ВЧР больше отражает результат ВЧП [3]. Здесь аббревиатура ВЧР позволяет не дублировать "преобразование", которое мы далее сохраняем за "функцией преобразования нейронов" сети.

2) Так называемая сигмоидная ФПН связывает входное воздействие х на нейрон и его выход у соотношением у = 1/[1 + ехр(-х)].

ность которого идентична размерности входной информации) и в наличии СФПН, зависящей от (метрической) нормы разности векторов локализации элементов скрытого слоя и входного вектор-сигнала. Сниженное количество параметров, определяющих функционирование сети, сравнительно с другими структурами (при равной размерности данных) обеспечивает сетям с СФПН определенное преимущество при решении задач аппроксимации функций, идентификации и классификации объектов, создании контроллеров.3) Кроме того, оказывается возможным применение сети с СФПН для адаптивного метода снижения шума в многомерном измерительном сигнале и решения задачи восстановления изображения по его измерительному образу, искаженному группой факторов, сопутствующих регистрации.

ПОСТАНОВКА ЗАДАЧИ

При обработке и анализе изображения оно (сравнительно с первичным регистрируемым видом) оказывается искаженным за счет различных причин, среди которых шум (свойственный любому сигналу), элементы интерференции и размытие, вызванное неточной фокусировкой, движением и нелинейностью пленки (при фотографической регистрации).4) В качестве общей модели (в дис-

3) Основы формализации и методологию решения этих задач содержат работы [13-15].

4) Степень искажения ВЧР изображения зависит от вида регистрации. Так, при дистанционной регистрации объектов при плохой видимости, повышенной турбулентности атмосферы, при использовании приборов ночного видения, радиолокационных или гидроакустических средств искажение может достигать экстремальных уровней. В этом случае должны исследоваться и применяться специализированно ориентированные методы распознавания и идентификации таких изображений.

кретном времени) такого "искаженного" изображения могут быть приняты соотношения:

у(т,п) = g [х(т,п)] + п(т, п),

х(т,п) = ^ ^ к(т,п; к,I) • 5(к,I),

(1)

(2)

к= -<*> I=-«

П(т, п) = / (х(т, п) )П(т, п) +п"(т, п), (3)

где использованы обозначения: 5(т, п) — фактическое изображение; (т, п) — наблюдаемое (искаженное) изображение; п'(т,п) и п"(т,п) — сигналы (процессы) шума; к(т, п; к,I) — импульсный отклик на линейно воздействующее изображение 5(к, /); g(...) и /(...) — это функции, одна из которых представляет характеристики детектора зарегистрированного изображения, а другая (/) отражает механизмы формирования шума, связанного с регистрацией изображения. Шум п(т,п) моделируется как сумма зависимой от изображения компоненты /(х(т,п))х хп'(т, п) и независимой от изображения компоненты п"(т, п).

Метод восстановления изображения включает максимально приближенное к реальности моделирование процессов искажения и применение приближенно обратного процесса к искаженному изображению {у(т, п)}, чтобы реконструировать первоначальное фактическое изображение {я(т,п)} .5) Эффективность метода восстановления изображения зависит от доступности и полноты знания о процессе искажения и от структуры процедур обработки, используемых для получения первичного фактического изображения. После выбора такой структуры и критерия качества реконструкции изображения может осуществляться оптимальная оценка первоначального изображения.

Для восстановления изображения (ВИ) применялись как линейные методы обработки (использующие фильтр Винера или рекурсивный фильтр Калмана [16] и основанные на линейной модели формирования искажений), так и нелинейные методы (метод максимального правдоподобия, или максимальной апостериорной вероятности [17, 18]). Эти методы отличаются друг от друга моделью формирования искажения и набором процедур, ведущих к восстановлению изображения. Однако каждый из этих методов основывается на до-

5) Можно говорить об операторе, или совокупности операций, отражающих формирование изображения с есте-

ственными искажениями, и соответствующей совокупности операций (обратного оператора), восстанавливающих (в возможно более полной форме) первичное фактическое изображение.

вольно детальном представлении о модели искажения изображения.

Сравнительно недавно для ВИ были использованы нелинейные фильтры, основанные на порядковых статистиках (ПС) и способные подавлять независимый аддитивный импульсный шум. Но относительно искажений, зависящих от изображения, эти фильтры также оказываются неэффективными. Таким образом, традиционное использование как линейных, так и нелинейных методов обработки изображения базируется на корректном и полном представлении о виде модели искажений. Поэтому неадекватность или неполнота представлений о модели (в частности, при зависимости искажений от самого изображения) приводит к неудовлетворительному качеству ВИ.

Утверждение справедливо для различных подходов к ВИ, в том числе для метода, основанного на обучении с использованием образцов изображений. Так, если исходное изображение {5(к, /)} за счет неизвестного механизма искажения переходит в {у(к, /)}, то оценка {5(к, /)} по критерию минимума среднеквадратичной ошибки (МСКО) является оценкой условного среднего. Практически в этом случае часто используется "окно" (2К+1)(2Ь+1) отсчетов искаженного изображения {у(к, /)}, которое имеет центром пиксель (т, п). Оценка 5(т, п) по критерию МСКО с ограничением выражается соотношением:

.6)

5(т, п) = Е (5 (т, п)| УКЬ (т, п))

(4)

где

\кЬ (т, п) = \ у(т - к, п -1)

к = -К, -К + 1,..., К; I = -Ь, -Ь + 1,..., Ь

Кроме специального случая, когда сигнал и шум гауссовы и аддитивны, эта оценка является нелинейной функцией от УКЬ (т, п). Поэтому из-

за неполноты знания процессов искажения функционал (4) обычно неизвестен.

Новые возможности решения задачи ВИ открывает использование нейронных сетей (НС). НС способны аппроксимировать нелинейные зависимости сигналов в многомерном. пространстве, обучаться на основе предъявления выборок, отражающих специфику входной информации, и таким образом адаптироваться к виду данных, поступающих на вход НС [19-21]. В частности, при достаточной статистической информации в виде примеров — аналогов изображений НС может быть обучена аппроксимировать нелинейное отображение (4). В этом направлении исследована возможность реализации задачи ВИ с нелинейными вида-

6) Е — символ математического ожидания (вероятностного усреднения).

ми искажения на основе использования сети с СФПН.

СЕТЬ С СИММЕТРИЧНОЙ ФУНКЦИЕЙ ПРЕОБРАЗОВАНИЯ НЕЙРОНОВ: ЕЕ ОБУЧЕНИЕ И МОДИФИКАЦИИ

Структура сети с СФПН включает слой входных узлов (с числом, равным размерности входных векторов), скрытый слой с СФПН и выходной слой с линейной ФПН.7) Нейроны с СФП характеризуются (многомерным) вектором своего положения и зависимостью реакции на входное воздействие в виде функции (ФП), зависящей от расстояния (нормы разности) между входным вектором и вектором положения нейрона [11, 12, 22].

■ Сеть размера М (по числу центров с СФПН), принимающая на входе X е Я ех- и получающая на выходе У е ЯЫвь1х-, выполняет отображение у(х): ЯМвх- ^ ЯЫвых-, согласно соотношению

1V1

y(x) = £wj ç((x-cj II),

(5)

j=1

ходу уп и желаемому выходу &п на момент п (времени обучения) формируется ошибка еп = Ап - уп, и каждая составляющая в, вектора 8 параметров сети подстраивается по алгоритму СГ в соответствии с соотношением

Ö, ,n+i = ,n — А •

d II е„ \\2 Эй.

(6)

где — скорость обучения для параметра 01п (величина ^ уменьшается по мере обучения сети).

Параметры сети w .,с . ,о, настраиваются в соответствии с соотношениями (7):

Aw j ,n = w j ,n+1 - w j ,n = Mw • eXP

где М — число центров с СФПН; р(...)— нелинейная функция преобразования нейронов (ФПН); ||...||— символ Ь2 -нормы; вектор весов выхода

сети — w, е ЯЫвых■ (1 < , < М); параметры, называемые центрами сети с СФПН, — с, е Я(1 < j <М).

Наиболее часто в качестве ФПН используется гауссиан — функция 1"Г (х): Я^ ^ ЯНвых., которая выполняет отображение

М

fг(х) = XWj ехр(-1| х - с, ||2/о*2) ,

где а, — параметр, определяющий область определения ФПН (ее "размытие" относительно точки с,). По сравнению с персептроном сеть с СФПН обучается быстрее, дает лучшее представление о поведении сети при обучении и управлении им, но для задач с размерностью входного пространства > 10 имеет несколько большее число центров скрытого слоя.

Обучение сети (с настройкой всех ее параметров) осуществляется методом МСКО на основе стохастического градиента (СГ): по входу хп, вы-

Аа =а +,-а =

J ,n J ,n+1 ^ J ,n

„ T II xn - cj,n II zßa- en • w j,n--r--eXP

Ac ■ = c ■ +, — c ■ =

j , n ,n +1 n

f -IIX — c W2 ^

llAn ,n II

J,n J

(7)

( —IIX — c ^

HAn ,n II

J,n J

= Mc • en • wJ,n

I xn cj,n

-• exp

( -IIX — c ^ llAn S'. nil

n J

Перед обучением производится инициализация параметров:

— весам ^ ., , = 1,2,...,М} придаются малые

случайные значения или нули;

— начальное положение центров СФПН определяется как среднее для групп векторов, полученных по алгоритму кластеризации {х,} (из состава обучающей выборки) на М групп;

— для всех ФПН-узлов сети принимается одинаковое значение а, = а, равное среднему значению расстояний, которые наиболее близки к выбранным центрам скрытого слоя сети.

■ Модификация сети производится путем видоизменения вида ее функций преобразования нейронов (скрытого слоя) с заменой расстояния Фробениуса (т. е. привычной нормы Ь2) на расстояние Махалонобиса [23]. При этом ,-я ФПН ф, представляется в виде

Ç (x) = exp

7) Сокращения ФПН, СФП и ФП используются как усеченные варианты СФПН (симметричная функция преобразования нейронов). В процедуре нелинейного представления входного вектор-сигнала ФПН можно трактовать как функцию, порождающую базис.

(x — c j )T 2—1 (x — c j )

(8)

где Е . — ковариационная матрица группы {х,} из ,-го кластера. Такая форма ФПН позволяет полу-

чить лучшее локальное представление коррелированных входных данных.

Другой тип модификации включает использование нормализации ФПН. Для гауссовой формы ФПН в этом случае выход сети (норм. определяется соотношением

Срм.(*) = ЕV. ((орм(х),

(9)

]=1

где нормализованная функция преобразования нейронов имеет вид:

(рн°рж (х) =•

ехр(-||х -с]\\2 /а])

Е ехр (

I х - с.

j=1

])

(10)

Сеть с ФПН такого вида имеет несколько лучшие свойства в задачах, связанных с многомерным интерполированием .

В расширенной модификации сети, кроме нормализации ФПН по (10), используется смещение векторов весовых параметров сети на линейно преобразованные расстояния входного вектора х до соответствующих центров ФПН. Выход сети, модифицированной таким образом, описывается соотношением

$ (х) =

норм.;сспс У '

вых.х1

м

=Е

V j +

j=1 V вых.х1

С• (х - с) I ((орм(х)

Ньютона, сеть обучается точно воспроизводить линейное отображение, в то время как сеть в основном варианте позволяет лишь приближенно воспроизводить отображения такого класса.

■ Показатели эффективности функционирования НС (обучения, тестирования и точности реализации основной функции сети) должны обеспечиваться не только при аппроксимации детерминированных функций, но и в более сложном случае, когда вход и выход НС связаны стохастической зависимостью. При этом вход х и выход у рассматриваются как реализации случайных векторов X и У, которые статистически зависимы. Если имеется полное статистическое описание данных, то оценка У величины У при заданном только входе X = х может быть получена по критерию МСКО: УМСКО (х) = Е(У IX = х). В общем случае эта оценка является нелинейной функцией от х, и хотя полное статистическое описание X и У доступным бывает редко, в большинстве случаев оптимальная оценка может быть вычислена. Чтобы преодолеть недостаток точного знания, принимается некоторая параметрическая статистическая модель и используются данные, чтобы сделать эту модель разумно объясняющей и приводящей в адекватное соответствие совокупность входных и выходных данных (имеющихся в качестве обучающего материала). Такое моделирование затем используется для создания самой обрабатывающей НС. При этом подходе параметры НС приоб-(11) ретают статистическую интерпретацию, отра-

где (((орм (х) определено в (10), {С.} — матрицы

размера Ы(ыа: хМвх , определяющие сплайн-смещение весовых параметров сети {^.}.8) Линейное смещение весов, учитывающее степень удаленности входного вектора от центров ФПН, обеспечивает использование информации о градиенте желаемой функции в окрестности каждого центра. (Такая информация не используется не только в основном варианте сети с гауссовой ФПН, но и в ее модификации с нормализованными ФПН). Таким образом, модифицированная сеть с нормализацией ФПН и ССПС имеет преимущества в более совершенной форме представления функций. Для нее применима простая и эффективная форма многомерного алгоритма оптимизации по методу

8) Такое преобразование весовых параметров НС по сути является сплайн-смещением параметров сети (ССПС), относящихся к /-центрам ФПН. Поэтому в качестве индекса функции 1 описывающей выход сети при такой модификации, использована мнемоника

1нОрм- сспс, которая напоминает о виде модификации

НС.

9)

жающую использованное описание данных.

■ Описанные выше варианты модификации сетей с СФПН использованы для сопоставления с оценкой сравнительной эффективности восстановления изображений при использовании сетей с различной структурой ФПН. Наиболее адекватной модификацией НС для этой задачи является сеть с ФПН на основе суммы гауссианов. Эта сеть может служить параметрической статистической моделью. НС достаточно проста, а форма ее ФПН (фЕГ) имеет отчетливую аналитическую трактовку.

Принимается, что вход и выход сети (X и У) принадлежат смеси М групп векторов (соответственно размерности ^вх. и Л^вых.) с гауссовыми распределениями и при вероятностях Л. (. = 1,..., М)

для каждой из групп, т. е. Л. = Вер-сть {Данные (X и У) е Группе .}. При этом Z. = (т, У.) — га-

9) НС, основанные на параметрическом статистическом моделировании ("вероятностные" НС), пока исследованы применительно к задачам классификации, в которых желаемый выход сети — индикаторы определенных классов, т. е детерминированные функции, а не стохастические переменные.

уссов случайный вектор для данных (X и У), поступающих из группы т, и Е;- — среднее значение и ковариационная матрица случайного (стохастического) вектора Zj :

т

((х.+ Квых.))

( с, >

w,

V 1 У

21 =

X х, у, Xт х, у 1 X у 1

Ех 1 у 1 =(у 1 х 1 )т = Е (х 1УТ)- с 1 w т,

чвх.*1 хвЪ1Х.

(12)

где

с 1 = Е (X),

Квх. х1

W,

=Е (У), ^ = Е( хТ)- с 1 сТ ,

еу 1 = Е (у 1 у Т)-

^вых.хЩых. Квых.хМвых.

w 1w Т.

С учетом обозначений (12) у сети, построенной на использовании в структуре суммы гауссианов ((Г), функция рр преобразования нейронов для 1-го центра выражается соотношением

((Г (х) =

Х |Ех 11 1/2 ехр {-2(х - с 1)Т"(Ех 1)-1"(х - с 1) XM=A 1Ех*| 1/2ехр -I- 2 (х - ск )т -(2хк )-1 -(х - ск)

(13)

Символ |Ех 1 имеет значение определителя матрицы Ех^ (см. (12)), например, |А| — определитель матрицы А.

Параметры гауссовой модели (т. е. Х^}^с^},Е^},Е{у^} и Е^у 1} — все для у = 1, 2,..., М)

становятся параметрами анализируемой нелинейной НС. Оценка У(х) по критерию МСКО неизвестного выхода У при данном только X = х для принятой модели определяется соотношением:

Ух)=X

1=1

( -1 ^ Х1 Их!_1/2ехр|-2(х-с1)Т '(Ех1)-1 '(х-1

w 1 + Ех 1 у 1 -(Ех 1) '(х - с 1)

X М=Л 1Ех^ 1/2ехр ] - 2 (х - ск )Т ' (Ех к )-1 ' (х - с к)

(14)

Таким образом, при данном входном воздействии х НС (размера М — по количеству центров в срытом слое), построенная с использованием в структуре суммы гауссианов ((Г), дает на выходе вектор 1(Г , который определяется выражением

М ( -1 ^

Кг = X Wj + Ех 1 у 1 '(Ех 1) '(х-^) ( (х), (15)

1=1 V У

где р( (х) дано выражением (13).

Нейронная сеть с суммой гауссианов (НС_(Г) имеет нормализованные ФПН (т. е.

XМ=1 р( (х) = 1), и ей свойственны особенности

одновременно двух рассмотренных выше модификаций НС с СФПН:

— сети с "эллиптической" ФПН (8), у которой

вместо расстояния в виде нормы Ь2 использовано расстояние Махалонобиса;

— сети, использующей смещение весовых параметров на линейно преобразованные расстояния входного вектора х до соответствующих центров ФПН (11).

Другими словами, модификация НС, использующая в структуре сумму гауссианов, расстояние Махалонобиса, сплайн-смещение весовых параметров и нормализацию ФПН, в определенной степени объединяет все достоинства проанализированных выше (менее общих) форм модификации НС. НС_(Г построена на легко трактуемой статистической основе, которая позволяет для обучения использовать алгоритмы стохастического градиента, МСКО или максимального правдоподобия.

ВОССТАНОВЛЕНИЕ ИЗОБРАЖЕНИИ С ИСПОЛЬЗОВАНИЕМ СЕТЕЙ С СФПН И ИХ МОДИФИКАЦИЙ

Модель искажений изображения, описанная выше, может быть выражена в более общей форме соотношением (16) при обозначении (17) для расширенной матрицы Wm,„ , которая включает значения исходного первоначального сигнала 5 и фона п (в пикселях) изображения:

У(m, п) = ),

(16)

W =

т,п

' 5(т + К1, п + Ц) . . .

5(т + К1, п + Ьи) 5(т + К1, п + Ц)

5(т + К1, п + Ьи)

5 (т + Ки, п + Ц) ^

5 (т + Ки, п + Ьи) 5 (т + Ки, п + Ь1)

5 (т + Ки, п + Ьи)

(17)

Функция G отображает входную матрицу Wm п размера [2(Ки - К1 + 1)]х[2(Ьи - Ц +1)] в уровень

у(т, п) серого для пикселя (т, п); 5(т, п) — желаемый первоначальный уровень серого пикселя (т, п); {^(т,п)} — независимый одинаково распределенный шум. Размер памяти искажений определен как тах{(( - К1),(Ьи - Ь1)}, т. е. рассмотрен только механизм пространственно-инвариантного искажения изображения, который удобен при создании обучающей выборки изображений методом математической имитации.

Сеть с СФПН или одно из ее расширений используется как (пространственно-инвариантный) нелинейный фильтр. Такой нейросетевой фильтр обучается с помощью набора, состоящего из нескольких пар исходных (первоначальных) и искаженных изображений. Для сети ФПН на основе суммы гауссианов использован алгоритм стохастического градиента. Во время обучения желаемые значения выходов НС реализуются в виде величины уровней серого10) пикселей исходного изображения (или изображений обучающей выборки): для пикселя (т, п) желаемый выход — 5(т, п), где {5(т, п)} — первоначальное изображение. У фильтра ВИ входной вектор для пикселя (т, п) составлен из Л^вх. величин уровней серого (ВУС)

у пикселей, принадлежащих окну, которое центрировано на пикселе (т, п), и представляющих искаженное изображение {у(т, п)}. Для квадратного окна размера (2Ь +1) х (2Ь +1) размерность

входного вектора сети равна (2Ь +1)2, а входной вектор для пикселя (т, п) — это УЬЬ(т, п), определенный в соотношении (4) при К = Ь. Оцененную ВУС пикселя (т, п) дает выход сети для входа УЬЬ(т, п). Во время обучения сети окно перемещается пиксель за пикселем, чтобы для последовательного обучения покрыть полностью обучающее изображение.

Если используется более чем одна пара первоначального и искаженного изображений, то продолжением обучения с использованием этих пар (при условии полного подобия механизма искажения изображений) достигаются лучшие показатели функционирования (ВИ) сети. Кроме того, процесс обучения может быть повторен несколько раз на одном и том же наборе обучающих изображений. После окончания обучения (критерием которого может быть достижение приемлемого значения среднеквадратичной ошибки ВИ) сеть используется для восстановления искаженного изображения, первоначальный вид которого неизвестен. Оценка обобщения НС выполнена на (отличном от обучающего) тестовом наборе изображений, которые получены при условиях, с достаточно адекватным механизмом искажения.11"1

Сопоставление результатов ВИ проведено для трех вариантов НС:

1) базовая сеть с гауссовой СФПН и метрикой Ь2 для расстояния входного вектора от центров НС;

2) модифицированная сеть с нормализацией ФПН того же типа и сплайн-смещением весовых параметров (выражения (10), (11));

3) модифицированная сеть, построенная на группе гауссианов, использующая нормализацию, расстояние Махалонобиса и преобразованное сплайн-смещение весовых параметров (выражения (12) (15)).

Предварительные результаты проведенного в настоящее время неполного изучения и сопоставления работоспособности и эффективности указанных вариантов структуры сети, а также сравнительной скорости их обучения, позволяют сформулировать некоторые положения.

— У каждой из рассмотренных выше трех модификаций сети показатели точности и скорости обучения лучше, чем у трехслойного персептрона

10) В случае цветного изображения желаемым выходом

НС является 3-мерный вектор, включающий три цветовых компонента пикселя.

11) Проверка "обобщения" сети осуществляется путем оценки ее работы на парах изображений (аналогично стадии обучения), не входящих в обучающую выборку, т. е. не предъявлявшихся ранее.

и у сети с ФПН в виде фильтра Вольтерра второго порядка12).

— Показатели точности ВИ достаточно быстро улучшаются при увеличении числа узлов скрытого слоя до 20, после чего дальнейшее наращивание числа узлов не дает значимого улучшения показателей.

— Показатели точности ВИ у третьей модификации сети (с расстоянием Махалонобиса, нормализацией ФПН и сплайн-смещением весовых параметров) несколько хуже, чем у сети с гауссовой СФПН и у нее модификации с нормализацией ФПН.

В качестве тестовых примеров использованы синтезированные изображения, полученные:

— как аддитивная смесь гауссова шума и нелинейного преобразования двумерной авторегрессии второго порядка сигнала (матрицы пикселей) исходного изображения, которое имитирует нелинейное искажение анализируемого изображения;

— как нелинейное преобразование суммы сигнала и гауссова шума.

ЗАКЛЮЧЕНИЕ

Исследован и описан метод восстановления изображения, искажения которого удаляются на основе использования сети с симметричной функцией преобразования нейронов. Особенность структуры такой сети состоит в локализации элементов скрытого слоя в многомерном векторном пространстве (размерность которого идентична размерности входной информации) и в наличии СФПН, зависящей от (метрической) нормы для разности векторов локализации элементов скрытого слоя и входного вектор-сигнала. Сниженное количество параметров, определяющих функционирование сети, сравнительно с другими структурами обеспечивает сетям с СФПН определенное преимущество при решении многих задач, в том числе задачи снижения шума в многомерном измерительном сигнале и восстановления изображения по его измерительному образу, искаженному группой факторов, сопутствующих регистрации. Для описания вида размытия изображения ("блёра", или искажения) использована наиболее общая модель, которая включает многофазное преобразование исходного (двумерного) сигнала

12) ФПН на основе фильтра Вольтерра второго порядка

ывх. ывх.

имеет вид: /(х^х2,...,х^ ) = X+ X™• Для

1=1 1=1

сопоставления модификаций сети с СФПН и сети на основе фильтра Вольтерра использованы данные работы [24] по идентификации нелинейной системы с помощью сети такого вида, т. е. задачи, близкой по сложности к ВИ.

и нелинейное формирование аддитивного шума.

Рассмотрены три модификации сети с СФПН, отличающиеся метрикой расстояния в пространстве входных векторов, использованием суммы гауссианов в качестве СФПН и ее нормированием.

После обучения сеть представляет нелинейный фильтр, способный удалять искажения изображения. По предварительным результатам сопоставление показателей точности восстановления изображения с помощью таких сетей позволяет сделать вывод об их преимуществе перед традиционным многослойным персептроном и сетью с ФПН на основе фильтра Вольтерра.

СПИСОК ЛИТЕРАТУРЫ

1. Qiu S., Feichtinger H. Discrete Gabor Structure and Optimal Representations // IEEE Transactions on Signal Processing. 1995. V. 43, N 10. P. 21782182.

2. Quian S., Chen D. Signal Representation Using Adaptive Normalized Gaussian Functions // Signal Processing. 1994. V. 36, N 1. P. 1-11.

3. Меркушева А.В. Классы преобразований нестационарного сигнала в информационно-измерительных системах. II. Время-частотные преобразования / Научное приборостроение. 2002. Т. 12, № 2. С. 59-70.

4. Jiang Q., Goh S.S., Lin Z. Local Discriminant Atoms for Signal Classification // Signal Processing. 1999. V. 72. P. 47-52.

5. Consalves P., Baraniuk R.G. Bertrand's Bilinear Time-Frequency Transformation and its Modifications // Signal Processing Letters. 1996. V. 3, N 3. P. 62-82.

6. Rioul O., Vetterli M. Wavelet and Signal Processing: Signal Processing Technology and Applications / Ed. Ackenhusen J.G. N.Y.: Prentice Hall, 1995. 262 p.

7. Меркушева А.В. Классы преобразований нестационарного сигнала в информационно-измерительных системах. III. Время-масштабные (вейвлет-) преобразования для спектрально-временного анализа // Научное приборостроение. 2002. Т. 12, № 3. С. 68-82.

8. Szu Y.H., Telfer B., Garcia J. Wavelet Transforms and Neural Networks for Compression and Recognition // Neural Networks. 1996. V. 9, N 4. P. 695-708.

9. Chen C.T., Chang W.D. A Feed Forward Neural Network with Function Shape Autotuning // Neural Networks. 1996. V. 9, N 4. P. 627-741.

10. Chen S., Billimgs S.A., Grant P.M. A Recursive Hybrid Algorithm for Nonlinear System Identification Using Radial Basis Function Networks // International Journal of Control. 1992. V. 55, N 5. P.304-324.

11. Kwok T.K., Young D.-Y. Objective Functions for Training New Hidden Units in Constructive Neural Networks // IEEE Transactions on Nuclear Networks. 1997. V. 8, N 8. P. 1131-1148.

12. Меркушева А.В., Малыхина Г.Ф. Методология сетей с симметричными функциями преобразования нейронов // Научное приборостроение. 2006. Т. 16, № 2. С. 34-45.

13. Bishop C.M. Neural Networks for Pattern Recognition. Oxford, UK: Oxford University Press, 1995. 120 р.

14. Intelligent Observer and Control Design for Nonlinear Systems / Schroder D. (Ed.). Berlin: Springer-Verlag, 2000. 336 p.

15. Narendra K.S., Mukhopadhyay S. Adaptive Control of Nonlinear Multivariable Systems Using Neural Networks // Neural Networks. 1994. V.7, N 5. P. 737-752.

16. Xie L. Robust Kalman Filtering for Uncertain Systems // System and Control Letters. 1994. V. 22, P. 123-133.

17. Richard M., Lippman H. Neural Network Classifiers Estimate Bayesian A-Posteriori Probabilities // Neural Computing and Applications. 1991. V. 3, N 4. P.461-483.

18. Sullivan B.J. New Termination Rule for Linear Iterative Image Restoration Algorithms // Optic

Eng. 1990. V. 29, May. P. 471-177.

19. Назиров В.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и техника, 2003. 150 с.

20. Has son M.M. Fundamentals of Artificial Neural Networks. Cambridge, MA: MIT Press, 1995. 186 p.

21. Jain L.C., Vemuri V.F. Industrial Applications of Neural Networks. Boca Raton-London-N.Y.: CRC Press, 1999. 322 p.

22. Fung C.F. On Line Adaptive Training Using Radial Basis Functions // Neural Networks. 1996. V. 9, N 9. P. 1597-1618.

23. Айвазян С.А. и др. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1987. 607 с.

24. Koh T., Power E. Second Order Volterra Filtering and its Application to Nonlinear System Identification // IEEE Transactions on Signal Processing. 1985. V. 33. P. 1445-1455.

Санкт-Петербург

Материал поступил в редакцию 27.03.2008.

NETWORK WITH SYMMETRIC FUNCTION OF NEURON TRANSFORMATION FOR NOISE DISTORTION ELIMINATION AND IMAGE RECONSTRUCTION

G. F. Malychina, A. V. Merkusheva

Saint-Petersburg

The method is investigated and described for image reconstruction, distortion of which is eliminated by means of using the network having symmetric transformation function for neurons. Networks modifications are considered that after learning form nonlinear filter which is capable to suppress or eliminate the image nonlinear noise.