CC BY
67
УДК 681.3
СИНТЕЗ ПАРАМЕТРОВ НЕЙРОННОЙ СЕТИ ХОПФИЛДА ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАНЖИРОВАНИЯ В ИНФОРМАЦИОННО -ПОИСКОВЫХ СИСТЕМАХ
Занин Дмитрий Евгеньевич, аспирант
Кубанский государственный технологический университет, Краснодар, Россия
Задача индексирования больших массивов информации предъявляет высокие требования по производительности к ИПС. Таким образом применение нейронной сети позволяет распараллелить задачу, то есть позволяют выполнять ресурсоемкие операции точного ранжирования для документов, имеющих шанс оказаться на достаточно высоких местах в выдаче по результатам более грубой оценки их релевантности.
Ключевые слова: НЕЙРОННАЯ СЕТЬ ХОПФИЛДА, РАНЖИРОВАНИЕ, ПАРАМЕТРЫ НЕЙРОННОЙ СЕТИ, ЭНЕРГИЯ СЕТИ
UDC 681.3
SYNTHESIS OF PARAMETERS OF NEURAL NETWORK OF HOPFIELD FOR THE DECISION OF THE PROBLEM OF RANGING IN INFORMATION RETRIEVAL SYSTEMS
Zanin Dmitry Evgenievich, postgraduate student
Kuban State Technological University, Krasnodar, Russia
The problem of indexing of the array of the information demands much on productivity of the information retrieval system. Thus application of a neural network allows to parallelize a problem, that is allow to carry out resource-intensive operations of exact ranging for the documents having chance to appear on enough high places in delivery by results of more rough estimate of their relevance.
Keywords: NEURAL NETWORK OF HOPFIELD, RANGING, PARAMETERS OF NEURAL NETWORK, ENERGY OF NETWORK.
Без эффективного ранжирования результаты поиска в информационно-поисковой системе (ИПС) теряют смысл, так как могут включать в себя ссылки на десятки и сотни тысяч документов. В таких условиях ранжирование носит характер всеобщего проблемного императива, при этом основными проблемами развития научных основ архитектурных принципов ИПС являются недостаточная теоретическая проработка применяемых на практике подходов, сравнительно невысокий уровень использования развитых математических механизмов, отставание теоретических разработок от быстро меняющихся поисковых потребностей пользователей компьютерных сетей.
Необходимость обеспечить высокую производительность системы при большом объеме проиндексированной информации и векторном критерии значимости часто приводит к невозможности применить в ИПС алгоритмы, хорошо зарекомендовавшие себя в экспериментальных исследованиях. В нашем случае высокие требования по
производительности к ИПС обеспечиваются нейросетевым вычислительным базисом, позволяющим распараллеливать задачу, то есть позволяющим выполнять ресурсоемкие операции точного ранжирования для документов, имеющих шанс оказаться на достаточно высоких местах в выдаче по результатам более грубой оценки их релевантности.
Общая последовательность предлагаемого метода ранжирования перед выдачей результата поиска пользователю представлена четырьмя этапами.
1. Динамически определяется множество V смысловых соответствий (критериев значимости) между информационным запросом и полученным документом (результатом поиска), а также обозначается исходное -подлежащее ранжированию, множество D найденных документов.
2. Строится таблица соответствия множества D найденных документов множеству критериев значимости. Таблица определяет исходные данные для решения задачи ранжирования в рамках комбинаторной задачи о назначениях.
3. Формируется нейросетевая модель решения задачи ранжирования на основе динамической нейронной сети Хопфилда с БФВ.
4. Инициализируя нейронную сеть случайными входными векторами получаем искомую последовательность индексов документов в соответствии с заданным множеством критериев релевантности в ИПС.
Рассмотрим нейросетевую интерпретацию задачи ранжирования по множеству критериев как задачи о назначениях, при условии сведения задачи о назначениях к стандартной форме (число групп критериев равно числу ранжируемых документов).
Определим архитектуру нейронной сети, решающую задачу:
M N
F(X) = xfi ® max , (1)
i=1 i=1
при ограничениях :
X хц £ 11 1 N,
у -1
N _____
X х„ £ 1, у - 1,М, . (2)
х„ е {0,1}, у -1, М, ; -1, N
Введем в рассмотрение сеть бинарных нейронов, представляющую собой матрицу размерностью пхп, где п = N = М - число документов или групп критериев.
За основу модели ранжирования может быть взята нейронная сеть (рисунок 1), содержащая обратные связи, по которым переданное возбуждение возвращается к нейронам, и они повторно выполняют свои функции [1-4].
В динамических нейронных сетях неустойчивость проявляется в блуждающей смене состояний нейронов, не приводящей к возникновению стационарных состояний. В общем случае ответ на вопрос об устойчивости динамики произвольной системы с обратными связями крайне сложен и до настоящего времени является открытым [5-7].
Пусть используемая нейронная сеть Хопфилда имеет следующие характеристики (рисунок 1):
1. Один слой элементов (входные элементы, представляющие входной образец, не учитываются).
2. Каждый элемент связывается со всеми другими элементами, но элемент не связывается с самим собой.
3. За один шаг обновляется только один элемент.
4. Элементы обновляются в случайном порядке, но в среднем каждый элемент должен обновляться в одной и той же мере (частоте).
5. Вывод элемента ограничен значениями 0 или 1, т.е функция выхода - бинарная [1].
1пхп
пхп
Рисунок 1 - Нейронная сеть Хопфилда с БФВ и=Ди,1,Т), где и -выходы нейрона, I - величины смещений, Т - коэффициенты
синаптических связей.
Сеть Хопфилда является рекуррентной в том смысле, что для каждого входного образца выход сети повторно используется в качестве ввода до тех пор, пока не будет достигнуто устойчивое состояние.
Соответствующим образом организованная (запрограммированная) нейросеть после "запуска" меняет свое состояние, постепенно переходя в установившийся режим.
Удобно считать, что сеть Хопфилда не имеет входных элементов, так как входной вектор просто определяет начальные значения активности элементов. Элементы обновляется тогда, когда все элементы передадут свои значения активности по имеющимся взвешенным связям, после чего вычисляется сумма произведений (т.е. берется скалярное произведение).
Значение активности элемента получается на основе использования некоторого правила активизации.
Каждой целочисленной переменной х/ поставим в соответствие выходной сигнал //-го нейрона И/, стоящего в 1-й строке и /-м столбце матрицы сети.
На рисунке 2 схематично представлена матрица сети в состоянии покоя, где в виде заштрихованных квадратов изображены нейроны с единичными выходными сигналами.
Совокупность возбужденных нейронов интерпретируется как план назначений.
В соответствии с (3), интерпретируем ограничения (2) и целевую функцию (1), в результате получаем (4)-(7):
(Ху = 1) ^ (щ = 1), "І, і є 1, п.
(3)
п
(4)
і=1
Рисунок 2 - План назначений - матрица нейронной сети Хопфилда в состоянии покоя
^ ип = 1" е 1, п , (5)
2 = 1
п п
Ци}1 = п , (6)
] =1 г =1
ф(и) = Ц и г Гг ® max ’ (7)
]=1 г=1
где щ - значения выхода нейронной сети Хопфилда (рисунок 1);
] - значения матрицы производительности элементы которой ] представляют собой релевантность документа с номером ] относительно критерия (группы критериев) с номером г.
Сконструируем энергетическую функцию Е°(и), минимизация которой обеспечивает выполнение ограничений (4)-(6) и решение задачи (7). Построим ее в виде
Е» = Е£ (и) + Е% (и), (8)
где последнее слагаемое обеспечивает оптимизацию функции стоимости и с точностью до константы ^>0 однозначно определяется следующим образом [7]:
(9)
} -1 і-1
а первое слагаемое обеспечивает выполнение ограничений и может быть построено несколькими способами. Согласно первому из них данный компонент конструируемой энергетической функции имеет вид
где А, В и С - положительные константы. Первое слагаемое принимает минимальное и равное нулю значение лишь в том случае, если каждая строка матрицы {и]} содержит не более одной единицы, второе слагаемое принимает минимальное нулевое значение, если каждый столбец данной матрицы содержит не более одной единицы, наконец, третье слагаемое принимает минимальное нулевое значение, если во всей матрице {и]} содержится ровно п единиц.
Построенная функция е£ (и) достигает своего минимума во всех состояниях, удовлетворяющих совокупности ограничений (4)-(6) и представляющих собой план назначений.
Согласно второму способу построения данного компонента конструируемой энергетической функции будем иметь
где первое слагаемое принимает минимальное нулевое значение только в том случае если в любой строке матрицы {и]} будет ровно один возбужденный нейрон, а второе - если в любом столбце этой матрицы будет ровно один возбужденный нейрон.
В целом данная функция принимает минимальное нулевое значение только на состояниях, удовлетворяющих ограничениям (4)-(6) и представляющих собой планы назначений.
(11)
Суммируя функцию (9) с функцией (10) или (11), сконструируем энергетическую функцию в завершенном виде
/ 2
п п
п п
Е0(и) - АВХХХицир + “2 ХХ^г -п |-Е^^и]гг]г, (12)
2 ]-1 г-1 п *г 2 г-1 ]-1 т * 1 2
или
А п I п 2 В п 4 п \ п п
• -. 1-
Е0(и) - — Х\£ и 1 - 7 + ^2 X X ^'г - 1 |- ^ХХ^'^ (13)
2 1-1 г-1 2 г-1 у 1 -1 0 1-1 г-1
Определим параметры сети, сопоставив одну из полученных функций с энергетической функцией, записанной в общем виде
1 п п п п п п
Е (и, т, I)---ХХХХт^п и 1 и цп + ХХир1]г, (14)
2 у-1 г -1 т-1 V -1 у -1 г-1
где Тщп - коэффициент связи между входом г/'-го нейрона и выходом
тп-го;
1 - смещение г>го нейрона.
В данном выражении для энергетической функции сети умышленно опущен временной параметр в связи с тем, что при определении синапсов и внешних смещений он не играет какой-либо существенной роли как для сетей с дискретным временем, так и для сетей с непрерывным временем. Более того, данным выражением мы будем пользоваться при определении параметров синтезируемых сетей, как с дискретными, так и с непрерывными состояниями. Основанием для этого служит тот факт, что энергетические функции сетей с дискретными и с непрерывными состояниями отличаются только наличием у последних интегрального слагаемого, которое ни от значений синапсов, ни от внешних смещений в явном виде не зависит.
Для того, что бы определить параметры сети в соответствии с построенной энергетической функцией (12), приведем выражение для этой функции к виду (14):
А п п п — п п п — п п п п
Е0(и) - — XX X ил и^ + — XXX и А итг + — XXX X'и л и т
2 1-1 г-1 V*г 2 г-1 ;-1 т* 1 2 1=1 г-1 т-1 V-1 (15)
п п п п —
- “-X Xulг - Р X Xulг Г 1г + — п
1-1 г-1 1-1 г -1 2
и приравняем коэффициенты при линейных и квадратичных членах последнего выражения и энергии (14). Последнее слагаемое из рассмотрения можно исключить, так как оно не зависит от состояния сети.
Сопоставление линейных членов позволит определить значения внешних смещений, а сопоставление квадратичных членов позволит определить синаптические связи между нейронами.
Анализ первого слагаемого сконструированной энергетической функции свидетельствует о том, что любой нейрон сети должен иметь синаптические связи с коэффициентом -А со всеми нейронами одноименной с ним строки (условие т = г) кроме самого рассматриваемого нейрона (условие V Ф1).
Второе слагаемое диктует наличие связей с коэффициентом -В между нейронами одноименного столбца (условие V = 1) кроме собственной обратной связи (условие т Ф г).
Третье слагаемое свидетельствует о том, что все нейроны сети связаны друг с другом синапсами с коэффициентами -С. Воспользовавшись символом Кронекера 8'ь запишем результирующее выражение для синаптических связей сети в виде
т пт» - - —81т (1 - 8 V ) - В 8 V (1 - 81т) - С -
. . — (16)
- — 81т - В 8IV + (— + В) 81т 8IV - — /, т,V е 1, п.
Анализ четвертого и пятого слагаемых сконструированной энергетической функции свидетельствует о том, что на все нейроны сети необходимо подавать внешние смещения в виде
1]г - -Сп - Р с г , г, 1 е 1, п . (17)
Как правило, в практических задачах принимают Р =1 и А = В, тогда все ненулевые связи имеют одинаковый вес, равный -А. Кроме того, анализируя выражения (16) и (17), можно заметить, что наличие глобальных связей с коэффициентом -С каждого нейрона с каждым в конечном состоянии сети, соответствующем некоторому плану назначений, обеспечивает подачу на любой нейрон со стороны всех других суммарного сигнала, равного -Сп, который компенсируется постоянным смещением - Сп. Следовательно, для упрощения структуры синапсов сети глобальными связями с весом -С и частью смещения -Сп в первом приближении можно пренебречь. В этом случае упрощенную структуру сети для синтеза оптимального плана оценивания документов путем решения задачи о назначениях можно представить в виде, изображенном на рисунке 3.
Искомая модель нейронной сети с БФВ нейронов содержит матрицу из пхп нейронов, на каждый из которых подается внешнее смещение, равное соответствующей производительности Iц =-Тц, а выходной сигнал любого нейрона u7■г■, с коэффициентом -А подается на входы всех нейронов одноименных с ним строки и столбца.
Рисунок 3 - Динамическая нейронная сеть релаксирующая к своему энергетическому минимуму, интерпретированного в качестве максимального суммарного значения релевантности в комбинаторной
группе критериев
Для того чтобы не загромождать рисунок, на нем изображены связи и смещение только одного нейрона Пример плана назначений представлен совокупностью возбужденных (выделенных жирным) нейронов.
Другой вариант параметров сети для оптимального плана оценивания документов можно получить, используя сконструированную энергетическую функцию в виде (13).
Аналогично проведенной выше процедуре приведем данное выражение к виду (14):
A п п п B n n n n n
E0(u) = — XXXUjUjn + ~2XXX uliUmi - AXX'U1
2 j=1 i=1 n=1 2 i=1 j=1 m=1 j=1 i=1
- bX Xu, - F X ±ufr,+f( A+B),
i =1 i=1 i=1 i =1 2
(18)
и сопоставим коэффициенты при линейных и квадратичных членах, отбросив последнее слагаемое. В результате получим:
Т = - А 8 ]Ц - 8IV , (19)
I л = -(А + В) - Р г }1, 7, т, V е 1, п.
Кроме рассмотренного, можно использовать различные комбинации функций (10) и (11) для конструирования энергетической функции Е°(и). В результате будем получать различные варианты параметров нейросети.
При построении нейроподобной сети с непрерывными состояниями необходимо обеспечить условия нахождения точек покоя в углах п-мерного куба ее пространства состояний.
Другим способом обеспечения строгой бинарности выходных сигналов нейронов в устойчивых состояниях является добавление к конструируемой энергетической функции дополнительного слагаемого, достигающего минимального значения на состояниях сети, в которых выходные сигналы нейронов принимают значения 0 или 1.
Примером такой функции может служить следующая [6-8]:
Г'1 п п п п п п
Е °Р (и ) = — ХХи А (1 - и А ) = ХХии - ХХ и л , (20)
2 7=1 I=1 2 7=1 !=1 2 7=1 ! =1
где 0>0 - константа. Добавив данное слагаемое к ранее построенной энергетической функции, например в виде (12), получим
n n n n
Л n n n D n n n
E 0(u) = — XXX Uji Ujn + — XXXuiiU mi + -2 XXXX Uji U mn
2 j=1 i=1 n Фг 2 i=1 j=1 m Ф*' 2 j=1 i=1 m=1 n =1
G n n n n n n C
- VXXuji-2nXXuji -FXXujirji +—n2,
2 j=1 i=1 j=1 i =1 j=1 i=1 2
(21)
откуда определим следующие параметры неиросети:
T jimn = -Adim (1 - din) - B din (1 - d,m) - C + G d,m din =
- Adim -Bdin + (A + B + G)dimdin -2, (22)
G ___
Ifi = — - Cn - F r ji, i, j, m,n e 1, n.
Объединив выражения (20) и (14), можно сконструировать энергетическую функцию в виде:
n n n n n n n n n n
E0(u) = — XXXUji Ujn + — XX X'Uji Umi - XXU j + — XXu, -
2 j=1 i =1 n =1 2 i=1 j=1 m=1i 2 j=1 i =1 2 j=1 i =1
n n n n n n n
AXXuji -BXXUji-FXXUji r,i + 2(A + B),
j=1 i =1 j=1 i=1 j=1 i =1 2
(23)
откуда искомые параметры сети определяются следующим образом:
Т пип = -А 8 т - В 8V + 2 8 т 8г-
(24)
jimn jm in jm in
г —\ ____
-Frji, i, j,m,n e 1,n.
I ji =
A + B - — 2
\
Используя другие выражения для определения параметров сети, решающей задачу о назначениях, можно получить семейство нейросетей для решения задачи сортировки данных.
Литература
1.1. Галушкин А.И. Теория нейронных сетей. - М.:, ИПРЖР, 2000. - 415с.
1.2. Щербаков М.А. Искусственные нейронные сети. Конспект лекций.- Пенза: ПГТУ,1996.-45с.
1.3. Осовский С. Нейронные сети для обработки информации /Пер с польского.- М.: Финансы и статистика, 2002.-344с.
1.4. Калан Р. Основные концепции нейронных сетей /Пер с англ.- М.: "Вильямс", 2001.
- 288с.
1.5. Терехов С.А. Лекции по теории и приложениям искусственных нейронных сетей. http://alife. narod. ru/lectures.
1.6. Головко В.А. Нейронные сети: обучение, организация и применение. Кн.4. -М.:ИПРЖР, 2001.-256с.
1.7. Lections: Prof. Y. P. ZAYCHENKO. www.i2.com.ua.
1.8. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе (серия "Учебники экономико-аналитического института МИФИ" под ред. проф. В.В. Харитонова).-М.: МИФИ, 1998.- 224с.
