Статистические свойства гипотез, порождаемых нейронной сетью со связями, реализуемыми методом голографии Фурье Текст научной статьи по специальности «Математика»

2

ФОТОНИКА И ОПТОИНФОРМАТИКА

УДК 004.387; 535.417

СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ СЕТЬЮ СО СВЯЗЯМИ, РЕАЛИЗУЕМЫМИ МЕТОДОМ ГОЛОГРАФИИ ФУРЬЕ

З.С. Бекяшева, В.Н. Васильев, А.В. Павлов

Применительно к выдвижению гипотез нейронной сетью (НС) со связями, формируемыми методом голографии Фурье, исследовано влияние фильтрации, возникающей вследствие ограниченности динамического диапазона гологра-фической регистрирующей среды, используемой для записи матрицы связей, на статистические характеристики паттерна внутренней репрезентации (ПВР) гипотезы. Ключевые слова: голография, нейронная сеть.

Введение

Одна из актуальных задач искусственного интеллекта - реализация механизмов творческого мышления. Известно, что творческие способности зависят в основном от двух факторов - развитости образного мышления [1-4] и способности к переходу к хаотической динамике нейронной активности [5-7]. Один из подходов к реализации образного мышления основан на том, что при восприятии информации в коре мозга формируются картины нейронной активности - ПВР воспринимаемой информации. Если информация воспринимается как задача, то это паттерн условий задачи. Мозг как НС обрабатывает эти паттерны.

Основываясь на этих посылках, в работах [8-10] был сформулирован подход к реализации механизма решения творческих задач НС с двунаправленными связями, формируемыми методом голографии Фурье (рис. 1). Подход основан на генерации в режиме хаотической динамики множества паттернов -гипотез, из которых по критерию адекватности условиям задачи должен быть выбран один (или ни одного) паттерна решения задачи. Можно выделить два аспекта проблемы адекватности:

- адекватность паттерна условий задачи реальности, обусловленная свойствами сенсоров и трактов, преобразующих воспринимаемую извне информацию в ПВР;

- адекватность ПВР гипотезы паттерну условий задачи, обусловленная свойствами НС как реальной физической схемы голографии Фурье с обращением волновых фронтов. Этот пункт специфичен именно для предложенного метода [8-10].

В работе рассмотрен второй аспект проблемы адекватности в плане изменений статистических свойств паттернов, обусловленных ограниченностью динамического диапазона регистрирующих сред для записи голограммы Фурье. Исследований изменения статистических моментов изображений в таком ключе авторам не известно.

Механизм формирования гипотез и факторы, влияющие на адекватность гипотезы условиям задачи

Свойства ПВР гипотез, порождаемых НС (рис. 1) в режиме хаотической динамики, определяются тем, что связи слоев репрезентации Я и корреляции С реализуются голограммой Фурье, которая описывается выражением

Ня^с (, Vу ) = Р* (1тя (х, у)), (1)

где (V,, vy) - пространственные частоты, * - комплексное сопряжение, Р - символ преобразования Фурье, ТтЯ(х,у) - эталонный ПВР. При предъявлении в слое Я ПВР задачи ТтРег(х,у), в слое С формируется функция корреляции ТтРег(х,у) и 1тЯ(х,у)

С ( л) = 1т Рег (-^ У)® 1тЯ (-^ У) _ Р (Р (1тРег

(х у))р* (1тя (л;у))),

где 4, П - координаты в плоскости корреляций, а преобразования Фурье - только прямые, поскольку обратное преобразование Фурье здесь физически нереализуемо. На этапе обратного прохождения света С ^ Н ^ Я необходима инверсная голограмма, реализующая метод десвертки

Н'т (Vх, Vу) = {(Р(Т ( Л (т ( )))1 Р* (я (х,У)) . (2)

К(Ття у))Р (Ття у)))) Тогда, в предположении линейности фазосопрягающего зеркала в плоскости С, ореол вокруг восстановленного в слое Я ТтЯ(х,у) описывается выражением

!т (xk , У, ) = F

F (C ( + g, y, +Л)) F* (( (x y))

(3)

где (хк ,у,) - координаты в плоскости Я вне области определения 1шЯ(х,у). В [11] показано, что выражение (3) может быть получено из известной в теории случайных процессов модели линейного предсказателя [12].

R

H

C

О

о о о о

о

о •

о

о

PCM

Li

H

✓ ✓ /

✓ ✓ *

л г 1 г 1

PCM2

C

Out

б

Рис. 1. Схема двухслойной нейронной сети с матрицей двунаправленных связей (а) и ее реализация методом голографии Фурье (б), где И - слой репрезентаций; С - слой корреляций; Ц и /_2 - Фурье-преобразующие линзы с фокусными расстояниями/; Н - матрица межнейронных связей (голограмма); РСМ1 и РСМ2 - фазосопрягающие зеркала во входной и корреляционной плоскостях

Для перехода к хаотической динамике по сценарию Фейгенбаума среда в слое С должна иметь не линейность N1 [13], тогда для итерации N выражение (3) примет вид

Г^(N1 (( + у,

Im* (xk , У, ) = F

F* (Imr (x y))

(4)

В силу ограниченности динамического диапазона регистрирующих сред голограммы Фурье (1) и (2) записываются только в ограниченном интервале частот. Соответственно, и гипотезы (3) и (4) строятся не для исходного 1шРег(х,у), а для ПВР, профильтрованного голограммами.

Эта фильтрация влияет на статистические характеристики порождаемых ПВР гипотез. В частности, реальная информация обычно нестационарна, т.е. ПВР задачи неоднороден. Таким образом, изменение однородности ПВР гипотезы снижает адекватность порожденной гипотезы условиям задачи. В связи с этим представляет интерес оценка влияния фильтрации на статистические характеристики ПВР применительно к свойствам реальных сред. В данной работе для упрощения выкладок примем допущение о разделимости переменных в функции, описывающей ПВР, и, соответственно, используем термины процесс и стационарность. Рассмотрим по отдельности влияние фильтрации на стационарность по математическому ожиданию и дисперсии.

Анализ влияния частотной фильтрации на стационарность

Влияние фильтрации на стационарность по математическому ожиданию (МА). МА тх случайного процесса р(х) в Фурье-плоскости определяется как

ш.

= | p (x)dx = I p (x)exp(-jro0x)dx = F (0) ,

где F(v) - Фурье-спектр; ю - круговая частота ю = 2tcv, v - частота; j - мнимая единица. Поскольку реализация Im(x) имеет конечную длину L, оценка стационарности определяется не только нулевой частотой, но и некоторым интервалом низких частот. Представим реализацию Im(x) случайного процесса суммой n+1 гармоник X.

n n / . \

1ш (x)=X X (x)=X exp (-A)sin Kx+ф,),

,=0 =0 v A'

где A - параметр, описывающий спад экспоненциального спектра; ю, - круговая частота ,-ой гармоники; Ф, - случайная фаза. МА реализации равно

ш (1ш (x)) = | (lш (x ))dx = X exp (—j) | sin (,.x + ф,. )dx =

,= 0 ^ A ' Г-.

: X exp (- A) lÍ" (cos (ф,-) - cos (c°,-L+ф,-)).

Введем оценку нестационарности реализации следующим образом.

L

2

а

Vnm =|(m (( (x))- m (im, (x)))|:

,!eXP( AIL

(--L) 1

J sin (x + ф( )dx -J sin (x + ф.. )x

(5)

,lexp (--A) ik (-2cos И+ф- К1 - cos Ы))

Нетрудно видеть, что для гармонического сигнала оценка равна нулю, если cos („1 L)-cos fT- L )- 1

(6)

Ь = 1 + к, к £ г

27] '

где г - множество натуральных чисел. Таким образом, оценка (6) зависит от нижней частоты среза ут1П. Поскольку спектральная плотность реальных изображений уменьшается с частотой, нестационарность реализации обусловлена преимущественно низкочастотными компонентами, период которых Ту сравним с длиной реализации Ь. Условие (6) актуально при малом отношении Ь к периоду нижней частоты Ттш. Зависимость оценки (6) от ут1П при малых Ь/Ттт немонотонна - при удалении частоты с периодом, кратным Ь, самая низкая из оставшихся частот определит рост нестационарности. При Ь/Тт1П>>1 условие (6) уже не играет большой роли, зависимость становится монотонной.

При полосовой фильтрации для высоких частот Ь/Тт1П>>1 их вклад в оценку (6) заведомо невелик. Однако при ослаблении высоких частот увеличивается радиус корреляции тсогг у вершины корреляционной функции, вследствие этого при вычислении оценки как функции обобщенной частоты Ь/тсогг оценка при измерении тсогг у вершины может при полосовой фильтрации расти быстрее, чем при высокочастотной.

Влияние фильтрации на стационарность по дисперсии. Дисперсия ё реализации, введенной выше, определяется как

Я (1т (х)) = ЯI X X (х) I = X Л (X, (х)) + 2^ С,, (0),

V ,=0 / ,=0 , <,

где С - кросс-корреляционная функция ,-ой и,-ой гармоник. Рассмотрим поведение одной гармоники на ограниченном отрезке Ь. Оценку нестационарности для ,-ой гармоники введем следующим образом:

% = Я (((х))- Я (1т г (х ))| =

12 (exp (-N)sin ((x+ф.))dx -1 L( (-N)sin (vx+ф.))dx

(7)

1

-exp (-N) (sin(4ttv, -2 + 2ф,) (l - cos (2™,L)))

4лу,Ь

Для стационарности гармонической реализации достаточно выполнения условия

1 - 005(?Ь]=0, Ь=*,

где Т - период анализируемой частоты; К - целое число.

Таким образом, получаем зависимость, аналогичную (6), - превалирующее влияние на оценку оказывают низкие частоты.

Численное моделирование влияния фильтрации на стационарность Условия численного моделирования. При моделировании использованы реализации случайных

процессов со спектрами, характерными для ряда реальных процессов и полей, - экспоненциальным Р(у)=ехр

f

и экспоненциальным с локальным максимумом v-15

Р (у) = ехр

Оценки стационарности (а не нестационарности, как в предыдущем разделе) вычислялись как функции обобщенной пространственной частоты:

V I Ь I /'

по МА и

^

= 1 -

(т (1ш; )- т (1ш г ))

Ъ

(8)

= 1 -

г (ъ(ш,)-ъ(1шг))2 ^

шах

(Ъ (!ш;), Ъ (1шг ))2

(9)

по дисперсии, соответственно. В последнем случае нестационарность вводилась следующим образом: 1ши (х) = 1ш(х)ехр| -

200

Моделировались три типа фильтров.

1. Сигмоидальная функция

/ (У) = [1 + ехр

которая часто используется в теории искусственных НС в качестве активационной функции искусственного нейрона.

2. Функция Гаусса

/ (у) = ехр

( < \2\ ( + У0 )

3. Сумма двух функций Гаусса

ехр

( < \2\ (у+у0 )

/ (У)="

+ ехр

( I \2\

(-у0 )

ехр

(2у0 )

+1

симметрично смещенных относительно нулевой частоты. Эти фильтры адекватно аппроксимируют передаточные характеристики реальных голограмм Фурье.

Моделировались методы фильтрации, реализуемые при записи голограмм Фурье:

- сдвиг частоты максимума пропускания фильтров в высокочастотную область при сохранении формы фильтрующей функции;

- изменение формы фильтрующей функции при постоянной частоте максимума;

- дополнительная (к вышеописанным фильтрам) режекция низких частот.

Результаты численного моделирования. При фильтрациях имеет место изменение формы глобальных максимумов корреляционных функций (ГМКФ) (рис. 2).

При сигмоидальном фильтре происходит сужение ГМКФ, заострение вершины. При фильтрациях Гаусса и суммы двух функций Гаусса изменяется форма ГМКФ - увеличивается радиус у вершины за счет уменьшения пропускания в высокочастотной области, а также уменьшается радиус у основания как результат уменьшения пропускания в низкочастотной области. При сигмоидальном фильтре радиус корреляции убывает быстрее, чем при фильтрации Гаусса, вследствие меньшего пропускания в области высоких частот у фильтра Гаусса.

Результаты численного моделирования подтвердили, что определяющую роль в оценках стационарности по двум первым статистическим моментам играют низкие частоты. При добавлении прямоугольного фильтра высоких частот наблюдались затухающие с ростом обобщенной пространственной частоты осцилляции оценки.

Для примера на рис. 3 приведены зависимости оценок (8) и (9) для описанных методов настройки фильтров. Для удобства сравнения оценки нормированы и приведены к одному интервалу значений [0, 1]. Различия в характере нарастания оценок по МА и дисперсии обусловлены тем, что оценка по математическому ожиданию определяется квадратом пропускания, а оценка по дисперсии - четвертой степенью пропускания.

ч

<ц «

н о

ей

ч

4 6

пиксели

10

Рис. 2. Сечения глобальных максимумов корреляционных функций для фильтра - суммы двух функций Гаусса: 1 - до фильтрации; 2 - при фильтрации без сдвига и сужения, уо= 25, р=620; 3 - при сужении функции фильтра, уо= 25, р=494; 4 - при сдвиге функции фильтра, уо= 29,5, р=620

к н о о

к &

к о к я й н о

й «

К и Я

О

1,0

1 2

3

4

5

6

70

80

90

80

ь/та

120

Т /т

а б

Рис. 3. Оценки стационарности при: сужении фильтрующей функции (а); изменении формы фильтрующей функции (б). Оценки стационарности по дисперсии и по матожиданию: 1, 4 - сигмоидаль-ный фильтр; 2, 5 - фильтр Гаусса; 3, 6 - фильтр - сумма двух функций Гаусса

Заключение

Ограниченность динамического диапазона регистрирующих сред, используемых для реализации связей нейронных слоев, имеет следствием повышение стационарности формируемых сетью ПВР гипотез по сравнению с характеристиками ПВР условий задачи. Повышение стационарности гипотезы может рассматриваться как снижение ее адекватности условиям задачи. Эффективность стационаризации гипотезы по двум первым статистическим моментам определяется, в первую очередь, степенью ослабления низких частот. Вывод о важности низкочастотного диапазона с точки зрения адекватности гипотезы условиям задачи коррелирует с предложенным в работе [14] методом порождения данной моделью НС индуктивной гипотезы, заключающимся в расширении спектрального диапазона матрицы связей в область низких частот.

Работа выполнена при финансовой поддержке Минобрнауки РФ и РФФИ (проекты № 09-01-00165-а и 09-02-00223-а).

Авторы выражают благодарность профессору И.Б. Фоминых и профессору О.П. Кузнецову за ряд полезных обсуждений.

Литература

1. Кузнецов О.П. Неклассические парадигмы в ИИ // Известия АН. Сер. Теория и системы управления. - 1995. - № 5. - С. 3-23.

2. Голицын Г. А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. - 1996. - № 4. - С. 121-145.

0

2

8

ИССЛЕДОВАНИЕ ФОКУСИРУЮЩИХ СВОЙСТВ ФРАКТАЛЬНЫХ..

3. Семинар «Отражение образного мышления и интуиции специалиста в системах искусственного интеллекта» // Новости искусственного интеллекта. - 1998. - № 1. - С. 22-136; 1998. - № 3. - С. 64100.

4. Фоминых И.Б. О технологии решения творческих задач // Сб. трудов VIII Национальной конференции по искусственному интеллекту «КИИ-2002». - М.: Физматлит, 2002. - Т. 1. - С. 519-525.

5. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. - М.: Когито-Центр, 2004. - С. 13-28.

6. Князева Е.Н. Методы нелинейной динамики в когнитивной науке // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. - М.: Когито-Центр, 2004. - С. 29-48.

7. Комбс А. Сознание: Хаотическое и странно-аттракторное // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. - М.: Когито-Центр, 2004. - С. 49-60.

8. Павлов А.В. О применимости голографических технологий в задаче моделирования творческого мышления // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сборник трудов IV Международной научно-практической конференции, Коломна, 28-30 мая 2007. - М.: Физматлит, 2007. - С. 282-290.

9. Павлов А.В. О возможности моделирования творческого мышления методом голографии Фурье // Труды XI Национальной конференции по искусственному интеллекту. - М.: URSS, 2008. - Т. 1. - С. 384-392.

10. Васильев В.Н., Павлов А.В. О применимости голографии Фурье в проблеме моделирования творческого мышления // Информационные системы и технологии. Теория и практика. Сб. Научных трудов. - Шахты: ГОУ ВПО «ЮРГУЭС», 2009. - С. 91-100.

11. Павлов А.В. О применимости модели линейной регрессии к описанию Фурье-голографии // Оптика и спектроскопия. - 2005. - Т. 98. - № 6. - С. 1033-1037.

12. Grimmet G.R., Sterzaker D.R. Probability and Random Processes, Oxford. Oxford Sc. Publ., Claredon Press, 1992. - 607 p.

13. Кроновер Р.М. Фракталы и хаос в динамических системах. - М.: Постмаркет, 2000. - 352 с.

14. Павлов А.В. Реализация правдоподобных выводов на нейросетях со связями по схеме голографии Фурье // Искусственный интеллект и принятие решений. - 2010. - № 1. - С. 3-14.

Бекяшева Зоя Салаватовна

Васильев Владимир Николаевич

Павлов Александр Владимирович

Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студентка, 7оуа.Ъекуа8Ьеуа@рЬои£шо.га Санкт-Петербургский государственный университет информационных технологий, механики и оптики, доктор технических наук, профессор, ректор, уа8Деу@ша1Шшо.ги

Санкт-Петербургский государственный университет информационных технологий, механики и оптики, кандидат технических наук, ст.н.с., рау1оу@рИо1.1£шо.ги

УДК: 535.42 517.443 515.12

ФОКУСИРУЮЩИЕ СВОЙСТВА ФРАКТАЛЬНЫХ ЗОННЫХ ПЛАСТИНОК Я.Б. Музыченко, А.А. Зинчик, С.К. Стафеев

Представлены результаты аналитического и компьютерного моделирования дифракции Френеля моно- и полихроматических источников света от зонных пластинок, обладающих фрактальной структурой. Показано, что в осевом распределении интенсивности возникают дополнительные максимумы интенсивности, число которых зависит от порядка генерации фрактала, а внутренняя структура фокусов обладает свойствами самоподобия. Продемонстрировано, что использование фрактальных зонных пластинок (ФЗП) позволяет уменьшить хроматические аберрации при их освещении белым светом по сравнению с обычными зонными пластинками Френеля.. Моделирование было реализовано для фазовых ФЗП с различной размерностью и порядком генерации.

Ключевые слова: дифракция Френеля, зонные пластинки, фрактал, самоподобие, фрактальная размерность, формирование изображений, аберрации.

Введение

Фракталы с момента их открытия Мандельбротом являются объектом пристального внимания ученых в различных областях научного знания, в том числе и в оптике [1]. В настоящее время большинство работ по оптике фракталов посвящено дифракции света в области Фраунгофера.

Известно, что распределение интенсивности света от фрактального объекта, также как и сам объект, обладает свойствами самоподобия, а по картине дифракции в дальней зоне можно определять некоторые свойства объекта, например, его фрактальную размерность [2-4]. Фрактальные дифракционные решетки обладают рядом преимуществ по сравнению с двумерными периодическими структурами, поскольку существенный вклад в суммарную интенсивность дифракционной картины вносят высокие пространственные частоты, соответствующие мельчайшим деталям фрактала. Данная особенность повышает возможности