Эффективность решения задач ранжировки в информационно-поисковых системах на основе динамических нейронных сетей Хопфилда Текст научной статьи по специальности «Математика»

УДК 681.3

ЭФФЕКТИВНОСТЬ РЕШЕНИЯ ЗАДАЧ РАНЖИРОВКИ В ИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМАХ НА ОСНОВЕ ДИНАМИЧЕСКИХ НЕЙРОННЫХ СЕТЕЙ ХОПФИЛДА

© 2008 г. Д.Е. Занин, А.П. Частиков

Кубанский государственный технологический университет

Kuban State Technological University

Рассматриваются критерии эффективности решения задачи ранжировки отобранных ИПС документов с использованием динамических нейросетевых моделей сортировки данных.

Ключевые слова: информационно-поисковая система, нейронная сеть Хопфилда, ранжирование, оптимизация.

Criteria of effectiveness of a solution of the task of ranging of the selected information retrieval system of documents with usage dynamic neural webs models of sorting of the data are considered.

Keywords: information retrieval system, neural network of Hopfield, ranging, optimization.

Изобилие поисковых средств Internet делает решение большинства практических задач многовариантным. Построение оптимальной последовательности применения тех или иных инструментов на каждом шаге поиска и предопределяет его эффективность [1].

На конечном этапе поиска выборка найденных документов ранжируется. Современные информационно-поисковые системы (ИПС) Интернет имеют базы данных, состоящие только из индексов и занимающие терабайты. Ранжировать такие массивы целиком практически невозможно. Поэтому применяются пороговые модели, задающие пороговые значения для документов, выдаваемых пользователю [2]. При этом задача ранжировки массива документов, отобранных по порогу, становится задачей комбинаторной оптимизации большой размерности, решать которую необходимо в реальном масштабе времени.

Последнее десятилетие характеризуется бурным развитием исследований в области построения и практического использования нейросетевых методов и средств обработки информации. Результаты развития нейротехнологий вызывают интерес у широкого круга специалистов различных областей науки и техники, столкнувшихся на практике с ограниченностью традиционных методов и вычислительных средств, при решении дискретных и комбинаторных оптимизационных задач.

В общем случае нейроподобная сеть для решения оптимизационных задач может быть представлена неори-

ентированным графом G = (N,7), где N = {Л,} - множество вершин, каждая из которых соответствует отдельному нейрону, а Т = {Т,} - множество рёбер, каждому из которых присвоен вес, равный значению коэффициента синаптической связи между г-м и ,-м нейронами, г,] = 1,п . Структура такой сети изображена на рисунке.

Каждому нейрону Л, сети (г-й вершине графа) ставится в соответствие два числа: выходное состояние нейрона V, и его порог срабатывания I. Выходные сигналы нейронов, умноженные на соответствующие

I,

Tin Tu

h

Ii

In

Тъ

Tin

Tnn

T U,

T il 1

U2

Ta

Ui

Un

T n,

Vi

Vi

Vn

Общая структура динамической нейронной сети

T

T

T

T

T

коэффициенты синаптических связей, подаются на входы нейронов сети, куда также поступают внешние сигналы смещений.

Динамику состояния сети можно рассматривать в фазовом пространстве М, представляющем собой n-кратное декартово произведение пространств состояний нейронов. Каждому состоянию сети соответствует точка в фазовом пространстве, которая определяется вектором выходных состояний нейронов V = (V), i = 1, n .

Изменение состояния сети интерпретируется как движение в фазовом пространстве и характеризуется соответствующей фазовой траекторией V(t)eM. Динамические нейронные сети, минимизирующие свою энергию при релаксации к одному из своих устойчивых состояний, «решают» оптимизационную задачу поиска минимума определённой функции своего состояния - энергии.

Любая динамическая система, энергия которой со временем не возрастает, называется диссипативной. Фазовый объём диссипативных систем при t^x сокращается, а все состояния сосредоточиваются на некотором подмножестве фазового пространства М. Такое подмножество называется аттрактором динамической системы. В общем случае аттракторами системы могут быть как устойчивые стационарные точки, которые называются точками покоя, так и устойчивые предельные циклы локального либо глобального экстремума целевой функции.

Сформулируем задачу сортировки данных следующим образом. Предположим, имеется множество отобранных ИПС документов, с различными значениями показателя релевантности, характеризуемыми числами {xi}, ieN = 1,...,n. Необходимо расставить данные числа в порядке возрастания, то есть найти такую перестановку индексов j = rc(i), что V je 1,... ,(n-1), Xj< xj+1.

Пусть имеется произвольное множество чисел {xi}, ieN = 1,...,n и монотонно возрастающий ряд положительных чисел {a,-}, jeN = 1,...,n, таких, что V je 1,...,(n-1), aj < aj+1. На множестве всевозможных подстановок {rc(i)} = П, зададим линейный функционал вида:

J|>0)\ = lLajXj.

j=i

Нейросетевую интерпретацию оптимизируемого линейного функционала можно представить следующим образом:

n n

Ф (V) = £ aj £ XiVij ^ max,

j=1 i=1 M

где M - множество всевозможных ранжировок.

Решение оптимизационной задачи с помощью синтезированной нейроподобной сети осуществляется путём реализации процесса эволюции состояния сети в соответствии с её моделью динамики и выбранными

начальными условиями V0 Полученное в результате реализации такого процесса конечное состояние сети V* будет однозначно определять решение исходной оптимизационной задачи:

* »x = A

(V ),

(1)

где х - вектор параметров исходной задачи, А - взаимно однозначное отображение х —.

Получаемое с помощью нейроподобной сети решение исходной оптимизационной задачи так же в общем случае будет не строго, а лишь локально оптимальным. Кроме того, как и в любой экстремальной задаче с невыпуклым функционалом, получаемое решение будет определяться начальным приближением, т. е. начальным состоянием сети V-0-1, следовательно, V* = V*(V:0)) и х* = х*(^0)).

В этой связи возникает два возможных подхода к применению нейросетей для решения задач оптимизации, при этом предпочтение одного или другого определяется требованиями, предъявляемыми к качеству искомого решения, и временем, имеющимся в распоряжении пользователя ИПС для получения решения ранжировки документов. Если искомое решение оптимизационной задачи необходимо получить в максимально сжатые сроки, то имеется возможность только однократного применения нейросети и приходится жертвовать строгостью получаемого решения. Если же нет жестких ограничений по времени, отводимому на получение решения, возникает возможность многократного применения сети для получения семейства решений на множестве различных начальных состояний ^к(а)}. Результирующее решение определяется путём выбора лучшего из полученного семейства решений

= arg min |ф | x* (vk

'(0)

(2)

Множество начальных состояний может формироваться различными способами. Если априори нет каких-либо рекомендаций по начальному приближению искомого решения, множество начальных состояний сети формируется случайным образом или задается равномерная сетка на пространстве состояний сети М.

Для оценивания эффективности нейросетевого решения оптимизационных задач введём комплексный показатель [3]

ф = (фж ,фт ,фя ) >

(3)

где Ф^ - характеризует результативность процесса нейросетевого решения, Фг - оперативность получения искомого решения, Фд - ресурсоёмкость или структурную сложность нейроподобной сети.

x

Показатель результативности Ф^ определяется близость полученного нейросетевого решения х* к строго оптимальному, которое обозначим хт1П. Отметим, что в каждой конкретной постановке оптимизационной задачи значение целевой функции ф(х) определяется не только вектором параметров х, но и конкретным набором исходных данных задачи. Например, если обозначить набор исходных данных как о, тогда целевая функция решаемой оптимизационной задачи в общем случае будет иметь вид ф(о,х).

В силу того, что различные исходные данные с решаемой задачи будут определять и различные диапазоны значений целевой функции ф(о,х) на множестве допустимых решений показатель результативности должен иметь относительный характер. В качестве базы такого относительного показателя необходимо использовать какую-либо характеристику диапазона возможных значений целевой функции. Ниже приведены несколько вариантов показателя результативности. Первый из них имеет вид

множестве начальных состояний сети. В итоге получим показатель результативности в виде

Фш (с) =

ф(о, x ) - ф(о, xmin) ф(о, xmax) - ф(о, xmin);

(4)

Фш (о) =

Фср(о) - Ф(о, x ) Фср (о) - ф(о, xmln)'

(5)

1 L

Фш =-Е Фш о),

L i=1

(6)

где х - наихудшее решение рассматриваемой задачи, то есть соответствующее максимальному значению функции стоимости на множестве допустимых решений В случае, когда нейросетевое решение является строго оптимальным, значение такого показателя равно 0. Если полученное нейросетевое решение является наихудшим, то данный показатель принимает значение 1.

Другой вариант показателя результативности имеет вид

где фср(о) - среднее значение целевой функции по всему множеству допустимых решений при конкретном наборе исходных данных задачи о. Данный показатель принимает максимальное значение, равное 1, если полученное нейросетевое решение является строго оптимальным. Чем дальше полученное решение от строгого, тем меньше значение показателя (5).

Оба приведенных показателя результативности нейросетевого решения определены на конкретном наборе исходных данных решаемой оптимизационной задачи о и соответствуют начальному состоянию сети У(0). Для того чтобы найти обобщенную оценку результативности нейросетевого решения определенного тина оптимизационной задачи, не зависящую от конкретных значений её исходных данных и начального состояния сети, необходимо усреднить показатель Ф^(о) по всему множеству исходных данных и все частные решения получать на независимом

где - множество случайных равномерно распределенных наборов (реализаций) исходных данных; Ь = = |По| - его мощность; о,е0о, - 1-й набор исходных данных, I е 1, Ь .

Кроме того, качество решения любой оптимизационной задачи, как правило, зависит от её размерности, т. е. от размерности п вектора переменных х. Следовательно, наиболее общую характеристику результативности нейросетевого решения конкретного типа оптимизационной задачи даст зависимость показателя (6) от её размерности Ф№(п).

Оперативность получения нейросетевого решения оптимизационной задачи определяется, в первую очередь, типом динамики сети и характеристиками аппаратных средств, на которых реализована данная ней-росеть как элемент ИПС. Наивысшие показатели оперативности будут присущи сетям, в которых реализовано максимальное распараллеливание процесса обработки информации. В рассматриваемом случае это сети с дискретным временем, работающие в синхронном режиме, и сети с непрерывным временем. На этапе, когда конкретный вид реализующей аппаратуры не определен, оперативность нейросетевого решения можно оценить только в терминах количества тактов эволюции сети из начального состояния в предельное конечное Ыт (для сетей с дискретным временем) или временем переходного процесса в сети Тк (для сетей с непрерывным временем) [5]. Таким образом, в зависимости от типа сети оперативность её однократного применения будем оценивать показателем ФТ = Ытк или ФТ = Тк

При неоднократной реализации процесса эволюции сети и определении искомого решения в соответствии с выражением (2) показатель оперативности ФТп) увеличивается во столько раз, сколько было обращений к сети.

Структурная сложность сети, характеризующая ресурсоемкость нейросетевого решения оптимизационной задачи Фд, определяется, в первую очередь, размерностью задачи п и оценивается двумя основными показателями: количеством нейронов сети Жд{п) и общим числом связей Ы1{п). Дополнительным показателем сложности сети, играющим важную роль при рассмотрении технологических вопросов реализации нейросетей является плотность синаптических связей -количество синапсов, приходящихся на один нейрон, определяемое как отношение

Ntn (n) =

NT (n) Nn (n)

(7)

В ряде случаев удобнее оказывается использование не абсолютных, а относительных показателей сложности сети:

nn = лл(п) ; лт = ллтп ;

ванной для данного типа задачи, и не зависит ни от конкретного набора её исходных данных, ни от начального состояния сети.

Ntn = ^^

(8)

Таким образом, ресурсоёмкость нейросетевого решения конкретного типа оптимизационной задачи будем оценивать с помощью векторного показателя

Фя =(Nn (n), Nt (n), Ntn (n)).

(9)

В отличие от результативности и оперативности, ресурсоёмкость нейросетевого решения задачи определяется только характеристиками сети, синтезиро-

Литература

1. Таланов М. Профессиональный поиск в Интернете: планирование поисковой процедуры // КомпьютерПресс № 7, 1999. http://www.citforum.ru/internet/search/prof_search02. shtml#1.

2. Частиков А.П., Волков С.С. Интеллектуальные поисковые системы: Учеб. пособие. Краснодар, 2001.

3. Итоги науки и техники. Сер. Физические и математические модели нейронных сетей/под ред. А.А. Веденова. М.: ВИНИТИ.-Т.1 и 2. 1990.

Поступила в редакцию

1 апреля 2008 г.

Частиков Аркадий Петрович - канд. техн. наук, профессор Кубанского государственного технологического университета. E-mail: [email protected]

Занин Дмитрий Евгеньевич - аспирант Кубанского государственного технологического университета. E-mail: [email protected]

n

n

n