Графовые нейронные сети Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.032.26

ГРАФОВЫЕ НЕЙРОННЫЕ СЕТИ Н. С. Циликов, С. А. Федосин

В статье рассматривается модель графовой нейронной сети, являющейся эффективным средством обработки данных, представленных в виде графа.

Во многих прикладных областях данные удобно представлять в виде графов (например, в области работы с естественными языками, обработки и анализа изображений, построения моделей веб-сетей). Самые простые графовые структуры включают одиночные узлы и последовательности. Но в некоторых приложениях информация организована в более сложные графовые структуры вроде деревьев, нециклических или циклических графов.

В машинном обучении структурированные данные часто связываются с целью изучения на примерах функции т, которая отображает граф G и один из его узлов п на вектор вещественных чисел: т (С, п) е 1Ят. Приложения графовой области в целом могут делиться на два широких класса, называемые графоориентированными и узлоориентированными приложениями.

Традиционные приложения машинного обучения справляются с графово структурированными данными с использованием подготовительной фазы, в которой графово структурированная информация отображается в соответствующее представление, например в вектор вещественных чисел. Другими словами, подготовительный шаг «размазывает» графово структурированные данные в вектор вещественных чисел и затем работает с предобработанными данными, используя технологию обработки списков данных. Однако при этом может быть потеряна часть информации, заключающаяся во взаиморасположении узлов сети, и окончательный результат может непредсказуемо зависеть от деталей алгоритма предварительной обработки.

Существовали различные подходы, пытающиеся сохранить исходную графовую структурированность данных настолько долго, насколько требуется для стадии обработки. Идея была в том, чтобы закодировать основные графово структурированные данные с использованием топологических отношений между узлами графа, чтобы включать

информацию о структуре графа в шаг обработки данных. Рекурсивные нейронные сети и марковские цепи принадлежат к этому набору методов [1] и обычно применяются и к графо-, и к узлоориентированным проблемам.

Существующие рекурсивные нейронные сети — это модели нейронной сети, чья область входа состоит из направленных нециклических графов. Метод оценивает параметры w функции jw, которая отображает граф на вектор вещественных чисел. Подход может также использоваться для узлоориентированных приложений, но в этом случае граф должен подвергнуться предварительной обработке. Точно так же, используя стадию предварительной обработки, можно обращаться с определенными типами циклических графов. Рекурсивные нейронные сети были применены к нескольким проблемам, включая логическую классификацию терминов, классификацию химических составов, подсчет веб-страниц, распознавание лица.

С другой стороны, модели марковских цепей могут эмулировать процессы, где причинные связи между событиями представлены графами. Теория случайного обхода, которая обращается к некоторому классу моделей марковской цепи, была с успехом применена в алгоритме ранжирования веб-страниц.

Сравнительно недавно была разработана новая модель нейронной сети, позволяющая обрабатывать графово структурированную информацию без стадии предварительной обработки, сохраняя таким образом топологические отношения между узлами графа. Модель была названа графовой нейронной сетью (graph neural network), или GNN[2 — 3]. GNN основаны на механизме распространения информации, т. е. граф обрабатывается набором модулей, каждый из которых связан с узлом графа. В свою очередь модули связаны в соответствии со связями графа. Модули обновляют свое состояние и обмениваются информацией до тех пор, пока не

© Циликов Н. С., Федосин С. А., 2012

достигают устойчивого равновесия. Выходные данные GNN вычисляются в каждом узле на основе состояния модуля. Механизм распространения ограничен, чтобы гарантировать, что уникальное устойчивое состояние всегда существует.

Введем некоторые условные обозначения, которые будем использовать в дальнейшем. Граф G — это пара (М £), где N — набор узлов и Е — набор ребер (или дуг) между узлами в N. Набор ие[и] устанавливается для соседей и, т. е. узлов, связанных с и дугами, в то время как со[и] обозначает набор дуг, имеющих и как вершину. Узлы и ребра могут иметь метки, представленные векторами вещественных чисел. Метки, связанные с узлом и и ребром (и.[, И2), будут представлены как 1п е 7Л/м и /ц ц е 7Л/£

соответственно. Пусть I обозначает вектор, полученный сложением всех меток графа. Обозначение меток следует за более общей схемой: если у — вектор, содержащий данные из графа, и 5 — подмножество узлов (ребер), то у5 обозначает вектор, полученный путем выборки из у компонентов, связанных с узлом (ребрами) в 5. Например, 1пе[п] устанавливает вектор, содержащий метки всех соседей и. Метки обычно включают свойства объектов, связанных с узлами, и свойства отношений между объектами.

Интуитивная идея подчеркивает предложенный подход: узлы графа представляют объекты или понятия, а ребра представляют зависимости. Каждое понятие естественно определено его свойствами и связанными понятиями. Таким образом, можно привязать состояние хп е /Л5 для каждого узла и, основанное на информации, содержащейся в соседях п. Состояние хи содержит представление понятия, обозначенного и и способного использоваться для создания выхода оИ, т. е. решения о понятии.

Пусть /ж будет параметрической функцией, называемой локальной функцией перехода. Это выражает зависимость узла и от его соседства, и пусть дж будет локальной выходной функцией, описывающей получение выходных данных. Следовательно, хи и ои определены следующим образом:

хп = /ж (1и> 1со[п]’ хпе[п]’ 1пе[п]) ’

= < 1 \ (!)

0п 9ж < хп , 1п},

где 1и ^[ир хие[и] и 1ие[и] — метки и метки его ребер, его состояний и метки узлов-сосе-дей и соответственно.

Пусть х, о, I и 1м будут векторами, полу-

ченными сложением всех состояний, всех выходов, всех меток и всех меток узлов соответственно. Тогда (1) может быть переписано в компактной форме:

х = (х, I) ,

о = <Эт (х, 1Ы), (2)

где ^ — глобальная переходная функция и Gw — глобальная выходная функция, сложенные версии |М случаев /ж и дж соответственно.

Нас интересует случай, когда х и о уникально определены и (2) определяет отображение : О ^ 1Ят, которое берет граф в качестве входных данных и возвращает ои для каждого узла. Теорема Банаха о неподвижной точке обеспечивает достаточное условие для обеспечения существования и уникальности решения системы уравнений. В соответствии с теоремой Банаха (2) имеет уникальное решение при условии, что ^ является сжатым отображением с отношением к состоянию, т. е. существует т, 0 < т < 1

такое, что ||^(х, 1) - (у, 1) < т|х - у|| со-

блюдается для любых х и у, где У обозначает норму вектора. Таким образом, примем, что ^ — сокращенное отображение.

Заметим, что (1) позволяет обрабатывать и позиционные, и непозиционные графы. Для позиционных графов /ж должна получить положения соседей как дополнительные входы. На практике это легко может быть достигнуто при условии, что информация, содержащаяся в хпе[п], 1со[п] и Цп]>

отсортирована по положениям соседей и должным образом дополнена нулевыми значениями в позициях, соответствующих несуществующим соседям. Например, хпе[п] = = [у1, ..., ум ], где М = тах п (и) — макси-

п,и

мальное число соседей узла; у^ = хи выполняется, если и является г-м соседом п (уп (и) = г); y^ = Хо для некоторых предопределенных пустых состояний х0, если г-го соседа не существует.

Выводы

Во многих практических и технических приложениях основные данные часто более удобно представлять в терминах графов. Фактически граф естественно представляет набор объектов (узлы) и их отношения (ребра). Например, изображение естественно представить как узловые области изображения, имеющие одинаковую интенсивность цвета, и представлять отношения этих областей ребрами. Это часто называют областью смежности графа.

162

ВЕСТНИК Мордовского университета | 2012 | № 2

Традиционно, чтобы обработать структурированные графом входные данные, сначала структуру графа «сплющивают» в вектор и затем используют нейронные модели, которые принимают входные векторы, например многослойные персептроны и самоорганизующиеся карты, для получения итоговых обработанных данных. Такое «сплющивание» структурированного графом входа может потерять большинство топологических отношений между узлами графа.

Одной из новых моделей, позволяющих избегать подобных потерь, являются графовые нейронные сети — GNN. Они могут управляться с нециклическими и циклическими графами, направленными и ненаправленными графами, и графами с местной зависимостью от соседнего. Опытным путем было показано, что GNN могут использоваться для моделирования структурированных графом данных и что обученные GNN могут делать вывод из непредвиденных данных [2].

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Frasconi P. A General Framework for Adaptive Processing of Data Structures / P. Frasconi,

M. Gori , A. Sperduti // IEEE Trans. Neural Netw. 1998. № 5.

2. Computational Capabilities of Graph Neural Network Model / F. Scarselli , M. Gori , A. C. Tsoi,

M. Hagenbuchner, G. Monfardini // IEEE Trans. Neural Netw. 2009. № 1.

3. The Graph Neural Network Model / F. Scarselli , M. Gori , A. C. Tsoi , M. Hagenbuchner, G. Monfardini // IEEE Trans. Neural Netw. 2009. № 1.

Поступила 06.02.2012.

УДК 004.75:004.451

ТЕХНОЛОГИЯ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННЫХ СЕТЕЙ САЙТОВ А. Д. Резниченко

В статье рассматриваются принципы построения сетей сайтов с единым информационным пространством. Основной упор сделан на выделение оптимальных методов единой аутентификации пользователей и информационного обмена между различными компонентами сети.

Постановка задачи

В настоящее время сеть Интернет стала наиболее важным и актуальным источником информации. Крупные сообщества и организации нуждаются в предоставлении своей информации, разбитой по различным отраслям деятельности. В качестве критериев этого разделения могут выступать территориальное расположение (филиалы организации в различных городах, регионах, странах), сфера деятельности различных подразделений организации, отдельные персоналии и подразделения, составляющие организацию или сообщество, и т. д. Существует задача построить информационное пространство

организации, логически выделив отдельные структурные единицы.

В данный момент для реализации этой задачи используются некоторые стандартные решения. Наиболее распространенным является усложнение структуры сайта организации, выделение отдельных иерархических веток страниц и разделов, описывающих ту или иную отрасль. В результате усложняются поиск по сайту и доступ к вложенным разделам. Второй вариант решения поставленной задачи состоит в выделении независимых крупных разделов сайта, разделяемых на основе независимые поддоменов. При углублении в это решение возможно

© Резниченко А. Д., 2012