Построение механизма нейросетевого поиска на основе алгоритма расширяющегося нейронного газа Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.424.4+ 004.93'14+ 004.021+ 004.023+ 004.912

DOI: 10.17213/0321-2653-2014-6-12-17

ПОСТРОЕНИЕ МЕХАНИЗМА НЕИРОСЕТЕВОГО ПОИСКА НА ОСНОВЕ АЛГОРИТМА РАСШИРЯЮЩЕГОСЯ НЕЙРОННОГО ГАЗА

© 2014 г. В.В. Гарнага, Ю.В. Кольцов, Б.И. Трофимов

Гарнага Валерий Владимирович - канд. техн. наук, доцент, кафедра «Информационные технологии», Кубанский государственный университет. E-mail: Garnaga.Valeriy@fpm. kubsu.ru

Кольцов Юрий Владимирович - канд. физ.-мат. наук, доцент, зав. кафедрой «Информационные технологии», Кубанский государственный университет. Тел. (861)219-95-78. E-mail: dean@fpm.kubsu.ru

Трофимов Богдан Игоревич - студент, Кубанский государственный университет. E-mail: bogdan.i.trofimov@mail.ru

Garnaga Valeriy Vladimirovich - Candidate of Technical Sciences, assistant professor, department «Information Technology», Kuban State University. E-mail: Garnaga. Valeriy @fpm.kubsu.ru

Koltsov Yurii Vladimirovich - Candidate Physics And Mathematics Sciences, assistant professor, head of department «Information Technology», Kuban State University. Ph. (861)219-95-78. E-mail: dean@fpm.kubsu.ru

Trofimov Bogdan Igorevich - student, Kuban State University. E-mail: bogdan.i.trofimov@mail.ru

Предлагается метод построения архитектуры поисковой машины, основанной на применении нейросетевых технологий. В частности, описывается метод создания индекса документов на основе векторной модели текста, меры TF-IDF, нейронной сети Кохонена и алгоритма кластеризующего расширяющегося нейронного газа. Эти подходы применяются для обучения сети Кохонена на постоянно добавляющихся выборках индексируемых данных. Также описаны алгоритмы, методы и их модификации, с помощью которых становится возможным создание поисковой системы, основанной на нейросетевых технологиях. Предлагается архитектура проектируемого поискового механизма, который позволяет производить адаптивную индексацию документов и производить поиск, используя полученную индексную информацию. При этом параметры индекса подстраиваются под входные данные, к примеру, изменяется количество кластеров.

Ключевые слова: поиск; нейронные сети; кластеризация; векторная модель текста; сети Кохонена, TF-IDF, GNGC.

In this paper we propose a method for constructing a search engine architecture based on the application of neural network technology. It describes a method for creating an index of documents based on vector space model, measure TF-IDF, Kohonen neural network and growing neural gas clustering algorithm. These approaches are used to train the Kohonen network to continually add samples of indexed data. Also the article describes algorithms, methods and their modifications by using which it is possible to create a search engine based on neural network technology. It is proposed architecture for designing of search engine that allows generating adaptive indexing documents and searching using the corresponding index information. The parameters of the search engine are adjusted for the input of the index data. It can be number of clusters.

Keywords: search; neuralnetworks; clustering; vectorspacemodel; kohonennetworks; TF-IDF, GNGC.

С ростом объемов обрабатываемых данных в современной вычислительной технике все более актуальной проблемой становится задача создания поискового механизма, обеспечивающего адекватный выбор информации по запросу пользователя. Существующие методы поиска зачастую не удовлетворяют указанному критерию. Возможным направлением решения данной проблемы является использование нейросетевого подхода в сочетании с методикой векторной модели текста при индексации документов.

В данной статье предлагается метод построения архитектуры поисковой машины, основанной на применении нейросетевых технологий. В частности, описывается метод создания индекса документов на основе векторной модели текста, меры TF-IDF (англ. term frequency - inverse term frequency) [1], нейронной сети

Кохонена [2] и алгоритма кластеризующего расширяющегося нейронного газа (англ. Growing Neural Gas Clustering, GNGC) [3], применяемого для обучения сети Кохонена на постоянно добавляющихся выборках индексируемых данных [4].

При этом предлагаемый способ создания поисковой системы обеспечивает выбор релевантной информации (т.е. информации с высокой полнотой и точностью поиска), с возможностью масштабируемости и малым временем обработки пользовательского запроса.

Как известно, в большинстве поисковых систем процессу поиска предшествует индексация. Назначение получаемой при этом структуры данных, называемой индекс, заключается в уменьшении времени поиска. Общая схема процесса индексации в проектируемом поисковом механизме показана на рис. 1.

Рис. 1. Общая схема процесса индексации

Представим каждый документ di из множества индексируемых документов (коллекции) D как набор

слов (термов): Лг = ^,^,...,ti ^, при этом некоторые

из слов в документе di могут повторяться.

Статистическая мера TF-IDF позволяет оценить важность каждого уникального слова коллекции. При такой оценке предполагается уменьшение веса широкоупотребительных в рамках коллекции слов. TF-IDF выражается функцией трех переменных: /(/, d,Б),

где t - слово, для которого производится расчет меры; d - документ, в рамках которого оценивается важность слова; Б - множество индексируемых документов, в рамках которого учитывается частота появления слова.

Для представления документов коллекции часто используется векторная модель, которая для каждого документа d может быть построена на основе меры TF-IDF как вектор:

í Г (1 Л, Б р / (^2, Л, Б )

v =

f , d, D )

Векторная модель даёт возможность сравнивать документы, по представляющим их векторам в какой-либо метрике (евклидово расстояние, косинусная мера, манхэттенское расстояние, расстояние Чебышева и др.), что позволяет произвести их кластерный анализ. Для этого предлагается использовать разновидность сети Кохонена - сети векторного квантования сигналов. Этот метод тесно связан с простейшим базовым алгоритмом кластерного анализа (метод динамических ядер или ^-средних).

Задача векторного квантования для заданной совокупности векторов подаваемых на вход нейронной сети Кохонена, состоит в получении множества Ж = {и1, ..., и^} так называемых кодовых векторов, такого, что при кодировании, т. е. замещении каждого вектора из S соответствующим кодовым вектором из Ж искажение Е минимально. В классическом варианте сетей Кохонена искажение (ошибка сети) Е вычисляется по формулам:

Ej = Z x - w

\W\

E = Z Ej,

j=1

(1)

где Т = {t1, ..., - множество всех уникальных термов в документах.

В процессе поиска векторная модель запроса также рассматривается как вектор, и по степени близости (расстоянию или углу между векторами) определяются наиболее релевантные документы.

После построения векторных моделей каждого документа в коллекции получаем множество всех векторов документов, которое обозначим &

где Dj состоит из тех точек х из S, которые ближе к и, чем к другим и (I Ф ]), а Е, представляет собой ошибку сети при аппроксимации этого множества вектором и>у Говорят также что Б, состоит из тех точек х из S, которые кодируются кодовым вектором и,. Таким образом, кластерный анализ коллекции документов Б по алгоритму векторного квантования в конечном итоге выделит множества Бь Б2, ..., Бщ, такие, что: Б1 иБ2 и^иБщ = Б и Vi * , : Бг ПБ= Л ,

где Л - пустое множество.

2

Каждому вектору из W однозначно сопоставлен ровно один из нейронов сети Кохонена, поэтому при упоминании элементов множества W будем также говорить и о соответствующих им нейронах.

В такой модели кластер представляет собой множество близких по метрике векторов множества S, в различных же кластерах векторы достаточно далеки в смысле выбранной метрики. В общем случае кластером может быть объединение множеств Di1,.Din, если векторы, составляющие эти множества, достаточно близки друг к другу и далеки от векторов других множеств.

Поскольку жизненный цикл поисковой системы предполагает добавление новых документов в коллекцию полнотекстового индекса, классический алгоритм векторного квантования плохо подходит для данной задачи - при его использовании система при каждом добавлении новых документов станет переобучать сеть Кохонена, что не является оптимальной логикой обработки данных. Для решения данной проблемы можно использовать известный алгоритм кластеризующего расширяющегося нейронного газа, в который предлагается внести ряд изменений, обеспечивающих лучшие качества получаемого индекса для задачи поиска по сравнению со стандартным общим подходом.

Алгоритм кластеризующего расширяющегося нейронного газа (GNGC) — это алгоритм, позволяющий осуществлять адаптивную кластеризацию входных данных, т е. не только разделить пространство на кластеры, но и определить необходимое их количество исходя из особенностей самих данных. Это класс вычислительных алгоритмов, являющийся развитием сетей Кохонена и алгоритма расширяющегося нейронного газа. Количество и расположение искусственных нейронов в пространстве признаков не задается заранее, а вычисляется в процессе обучения в соответствии с особенностями входных данных, самостоятельно подстраиваясь под них. Также алгоритмом создаются связи между нейронами, таким образом, сеть в нем представляет граф. Применяемый в алгоритме обход графа в глубину (DFS, Depth First Search) позволяет выделить кластеры как компоненты связности полученного графа. Расширяющийся нейронный газ не требует априорной информации о данных, таких как оценка количества кластеров или форма кластеров. Также не фиксировано соседство узлов, оно динамически меняется по мере улучшения кластеризации. Такая модель вполне подходит для решения задачи кластеризации постоянно обновляемой коллекции документов. Подробное описание данного алгоритма можно найти в источнике [3]. Ниже приведены несколько формул из этого источника, ссылки на которые будут использованы далее.

Формулы перерасчета положения нейронов при обучении сети на векторе х из S:

Awk„ = en(x " wk„h

(3)

где еь и еп - множители, выбираемые на практике;

- нейрон, ближайший к х. Формула (3) применяется к каждому его топологическому соседу

Формула расчета положения нейрона ъ>г, добавляемого спустя каждые X шагов, если максимальное количество нейронов в сети не достигнуто:

(wq + W f )

2

(4)

где - нейрон с максимальной ошибкой; - его топологический сосед с максимальной ошибкой.

Описанный выше метод построения векторных моделей документов с последующим обучением нейронной сети на этих данных составляет процесс индексации.

Процесс поиска заключается в построении векторной модели запроса пользователя (так же, как это делается для документа) и отыскании ближайших к ней документов, что при обычной сортировке всех документов коллекции по расстоянию от векторной модели запроса будет иметь алгоритмическую сложность О(|)). Естественно такая сложность

неприемлема, ввиду того что количество документов в реальных системах может достигать чисел порядка 109 и более и, как следствие, процесс поиска по одному запросу будет происходить весьма долго. Вместо полной сортировки документов коллекции по расстоянию от векторной модели запроса в простейшем процессе поиска ищется ближайший к вектору поискового запроса нейрон а в результат поиска заносятся документы, составляющие множество Д-, ранжированные по увеличению расстояния от вектора запроса. Сложность этого алгоритма будет величиной порядка О (| Щ) для поиска ближайшего нейрона и

О Ц-| (|Ц для сортировки документов в множестве Д-, что существенно меньше, чем в первом случае, так как:

1. Количество нейронов | Щ определяется формулой общего вида

W = F (I ),

где F - функция, выбираемая так, чтобы количество нейронов отвечало наилучшим результатам кластеризации для данного размера коллекции индексируемых документов.

В данной работе выбрана функция

f (| D )=|d|'

Awkj = eb(x - wk1);

(2)

где у ~ 0,52, что отвечает приблизительно одинаковой средней ошибке на нейрон при различном количестве документов.

Результат эксперимента изображен на рис. 2.

0,132

0,116

0 20000 40000

Количество документов

60000

Рис. 2. Зависимость относительной средней ошибки на нейрон от количества документов. Ошибка на нейрон и, вычисляется по формуле (1)

Скачки функции в области 0 ... 5000 документов обусловлены случайными параметрами в обучении сети, а также тем, что сами документы (вернее их векторные модели) при каждом испытании генерировались заново. Общее поведение функции на графике показывает факт того, что в среднем значение средней ошибки на нейрон почти не зависит от количества документов при выбранных параметрах сети.

2. Количество документов в множестве Бг при выбранном алгоритме кластеризации будет выражаться:

И. Б

Необходимо также учитывать возможность появления следующей ситуации: обозначим ближайший к вектору поискового запроса нейрон как иг, второй по близости нейрон как и, сортированный по увеличению расстояния от вектора запроса список всех документов как Б (соответственно, его элементы как йк). Может оказаться так, что элемент й1, т.е. самый близкий документ к вектору поискового запроса, окажется в множестве Бг, а й2 в множестве Б,. Описанный выше алгоритм сначала выдаст документы из Бг, затем из Б, что приведет к порядку ранжирования документов:

й,, Лг ,..., Л: ,, й2,...,

1' г, ' ' г п. ' 2 > '

нии древовидной структуры кластеров и предполагает наличие вложенных групп векторов в пространстве признаков.

Алгоритм поиска требует установления принадлежности каждого документа в коллекции соответствующему ему нейрону. Предлагается этого добиться, создавая связи нейрон - документ. Наличие такой связи будет означать принадлежность документа нейрону, т.е. нейрон, с которым образует связь документ, есть ближайший к нему нейрон в смысле метрики выбранного пространства. Такие связи могут разрываться при удалении нейронов из сети, что приведет к возникновению «потерянных» документов - таких документов, которые не соединены ни с одним из нейронов. Этого можно избежать, обрабатывая событие удаления нейрона из сети так, что документы, принадлежащие последнему, будут соединяться связью с ближайшим к ним нейроном; таким образом, удаляемый нейрон «раздаст» свои документы топологическим соседям.

Используя построенные связи нейрон - документ, можно добиться вычисления точного местоположения среднего арифметического с всех векторных представлений документов множества Бг. Это значение соответствует местоположению нейрона иг, в котором его локальная ошибка Ег достигает минимума. Предлагается вести расчет вектора сг путем обновления его значения при добавлении и удалении связей документ -нейрон по формулам:

При добавлении связи между документом й, с векторным представлением Vу и нейроном иг:

c, * Д + v

С =-

D +1

При удалении:

Сг * \Бг\ - V, Сг =-р—р-- .

г Бг|-1

Модификация алгоритма GNGC, полученная из анализа результатов эксперимента, заключается в том, что на этапе обучения сети на входном векторе V при изменении положения нейронов вычисление новых значений вместо формул (2), (3) производится по формуле:

И = С- , (5)

где du

, d.

- документы в Dh следующие за d1 в

порядке удаления от вектора запроса.

Такая ситуация явно не соответствует требованиям к результатам поиска, так как второй по релевантности документ будет показан в результатах после многих менее релевантных документов. Данную проблему можно решить, используя иерархическую кластеризацию [5]. Такой подход заключается в построе-

при этом положение топологических соседей не меняется. Такой подход позволяет добиться большей скорости сходимости алгоритма обучения при достаточно малой средней ошибке нейронов сети. Также он позволяет уменьшить дисперсию значения ошибки нейронов сети, что отражает факт более равномерного распределения документов по множествам Бг. Поскольку был изменен шаг расчета нового положения нейрона, также изменится и шаг добавления нового

D

нейрона. Теперь будет выполняться равенство, следующее непосредственно из формул (5) и (4):

Wq + Wf _ Cq + Сf

2

2

где п9 и пу выбираются таким же, как и прежде, образом.

Анализ описанной модификации показывает, что такой подход обеспечивает меньшую дисперсию ряда величин |Д|, а также меньшую ошибку сети. Уменьшение дисперсии количества документов в множествах Б, положительно отражается на процессе поиска - увеличивается вероятность того, что в результатах поискового запроса не окажется слишком много или слишком мало документов. Это также влияет и на скорость обработки запросов системой, так как при выдаче результатов производится сортировка множества Б,. Результат сравнения значения ошибки карты, вычисляемой по формуле (1), представлен на рис. 3 и 4.

1,0 0,9

I 0'8

& к 0,7 о н

§ u 0,6 к 3 Ü ^ 0,5

о CD

0,4 0,3 0,2 0,1

0 20 40 60 80 100 120 140 160 180 200 Номер итерации

Рис. 3. Сравнение зависимости относительной ошибки сети от номера итерации на итерациях 10 - 180. Сплошной линией показан классический алгоритм расширяющегося нейронного газа, пунктирной - модифицированный

0,1 4

ft s

о Н

0,13

R >2 u S

0,12

о CD

0,11

200 250 300 350

Номер итерации

400

Рис. 4. Сравнение зависимости относительной ошибки сети от номера итерации на итерациях 180 - 400. Сплошной линией показан классический алгоритм расширяющегося нейронного газа, пунктирной - модифицированный

На промежутке 10 - 200 происходит добавление нейронов в сеть. Это обусловливает ступенчатый вид обеих зависимостей.

Поведение графиков на интервале 5 - 85 не позволяет однозначно судить о лучшей аппроксимации данных тем или иным алгоритмом. Но на интервале 85 - 180, когда количество нейронов в обеих сетях почти достигает предельного значения, становится видно, что модифицированный алгоритм показывает меньшую ошибку, следовательно, лучше аппроксимирует данные.

На промежутке 180 - 350 уже не происходит добавления новых нейронов в сеть - она достигла размера, ограничиваемого условием на максимальное количество нейронов. На 320 - 340 итерации модифицированный алгоритм перестает изменять состав множеств Б,, и характеристики сети не меняются в дальнейшем на данной выборке. Классический алгоритм продолжает изменять сеть, при этом появляются колебания в ее основных характеристиках, что означает что состав кластеров меняется со временем. Такое поведение может сказаться отрицательно на поиске, так как, если пользователь обратится повторно к поисковой системе во время ее обучения спустя некоторое время, он может получить другой результат поиска на все том же множестве документов.

На графиках, изображенных на рис. 3 и 4, видно, что модифицированный алгоритм показывает лучший результат, чем классический алгоритм. Поведение графика зависимости относительной дисперсии количества документов в множествах Б, аналогично поведению графиков на рис. 3 и 4.

Описанный выше анализ производился для векторов размерностей 2, т.е. |Т| =2, количества документов |Б| = 1000.

Проведение испытаний на пространствах большей размерности показывает, что модифицированный алгоритм дает лучшие результаты, чем классический при соотношении величин:

DI

V4< 0,02.

\Т\

(6)

Результаты испытаний представлены на рис. 5.

По мере работы поисковой системы в множество документов Б, как и в множество уникальных термов Т, будут добавляться новые элементы, таким образом, соотношение БУЩ также будет меняться, что порождает вопрос о выборе одного из изложенных алгоритмов обучения сети в качестве наиболее пригодного. Однако, возможно, наилучшие результаты будут достигнуты при совместном использовании обоих алгоритмов для обучения сети. Предлагается при |Б|/|Т|>0,02 использовать классический алгоритм, иначе использовать модифицированный. При этом подразумевается продолжение обучения сети, ранее уже обученной другим алгоритмом (это можно рассматривать как чередование применения алгоритмов при изменении истинности условия (6)).

1200

IE § 1000

800 600 400 200 0

н о

5 10 15 20 Количество документов \d\

25

+ Точки пространства, в которых модифицированный алгоритм показывает лучший результат - Точки, в которых лучший результат показывает классический алгоритм

Рис. 5. Результаты проведения эксперимента по сравнению работы алгоритмов

к примеру, изменяется количество кластеров) индексацию документов и производить поиск, используя полученную индексную информацию.

Дальнейшее повышение эффективности работы поисковой системы обеспечивается за счет применения иерархической кластеризации в совокупности с алгоритмом GNGC, что позволит увеличить скорость поиска и релевантность документов поисковому запросу. Также предполагается кластеризовать термы документов по их частоте и близости расположения в контексте документов, что позволит производить ассоциативный поиск, т.е. поиск будет вестись не только по термам, введенным в поисковый запрос, но и по термам, ассоциированным с ними.

Работа выполнена при поддержке РФФИ (1301-00807)

Полученное неравенство (6) не позволяет теоретически оценить, насколько часто будет применяться классический или модифицированный алгоритм по предложенной выше схеме, поскольку заранее неизвестно, как на практике будет меняться со временем соотношение \Dy\T\, и, следовательно, сколько раз будет использован каждый алгоритм. Конкретные частоты использования алгоритмов при таком подходе в итоге будут зависеть от динамики величины \Dy\T\, которую нельзя предсказать заранее.

Таким образом, выше описаны алгоритмы, методы и их модификации, с помощью которых становится возможным создание поисковой системы, основанной на нейросетевых технологиях. Также была описана архитектура проектируемого поискового механизма, который позволит производить адаптивную (параметры индекса подстраиваются под входные данные,

Литература

1. Солтон Дж. Динамические библиотечно-поисковые системы. М., 1979. С. 493 - 502.

2. Кохонен Т. Самоорганизующиеся карты. Third Edition, Springer / пер. 3-го англ. изд. В.Н. Агеева; под ред. Ю.В. Тюменцева. 2008. С. 159 - 250.

3. Isaac J. Sledge, James M. Keller. Growing Neural Gas for Temporal Clustering // IEEE. Electrical and Computer Engineering Department, University of Missouri. 2008. P. 1 - 8.

4. Гарнага В.В., Кольцов Ю.В., Продан Ю.М. Высокопроизводительные вычисления в интеллектуальном поиске // Материалы конф. молодых ученых / Институт наукоемких компьютерных технологий. СПб., 2012. С. 1 - 6.

5. Мандель И.Д. Кластерный анализ. М., 1988. С. 53.

References

1. Solton Dzh. Dinamicheskie bibliotechno-poiskovye sistemy [Dynamic library search engines]. Moscow, 1979, pp. 493 - 502.

2. Kohonen T. Samoorganizuyuschiesya karty. per. 3-go angl. izd. V.N. Ageeva; pod redakciej Yu.V. Tyumenceva [Third Edition, Springer. 3rd eng. ed. C. N. Ageeva; edited by Y. C. Tyumentseva.]. 2008, pp. 159 - 250.

3. Isaac J. Sledge, James M. Keller. Growing Neural Gas for Temporal Clustering. IEEE, Electrical and Computer Engineering Department, University of Missouri, 2008, p. 1 - 8.

4. Garnaga V.V., Kol'cov Yu.V., Prodan Yu.M. Vysokoproizvoditel'nye vychisleniya v intellektual'nom poiske [High-performance computing in intelligent search]. Materialy konf. molodyh uchenyh. Institut naukoemkih komp'yuternyh tehnologij [Materials of the conference. young scientists . Institute high-tech computer technology]. St.Petersburg, 2012, pp. 1 - 6.

5. Mandel' I.D. Klasternyj analiz [Cluster analysis]. Moscow, 1988, 53 p.

Поступила в редакцию 9 июля 2014 г.