CC BY
18
УДК 004.7385.5
Е. Б. ЮДИН
Институт математики им. С. Л. Соболева СО РАН, Омский филиал
РАСЧЕТ ЧИСЛА МОТИВОВ НА ТРЕХ УЗЛАХ
МЕТОДОМ СЛУЧАЙНОЙ ВЫБОРКИ КАРКАСОВ В СЕТЯХ С НАПРАВЛЕННЫМИ СВЯЗЯМИ
Задача разработки эффективных алгоритмов для расчета частот встречаемости неизоморфных с вязных подсетей (мотивов) на заданном количестве узлов яв ляется актуальной з адачей теории сетей. Комбинаторно-логический х ара ктер этой задачи обусловливает большие з а траты времени и/ или оперативной п а мяти при ра счете сетей, содержащих сотни тысяч узлов. В предлагаемой статье для решения данной з адачи развивается основанный на статистическом подходе метод случайной выборки каркасов и разрабатывается алгоритм для расчета встречаемости 3-мотивов в сетях с н аправленными св язями. Предлагается реализация этого алгоритма с использованием параллельных вычислений. Приводятся результаты численных экспериментов. При сравнении разработанного алгоритма с другими известными алгоритмами в ряде случаев выявляются е го значительные преимущества по точности, быстродействию и затратам оперативной п амяти.
Ключевые слова: сетевые мотивы, встречаемость мотивов, статистическое моделирование.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-31-60023 мол_а_дк.
1. Введение. Расчет частот встречаемости различных неизоморфных подсетей из заданного их набора — сетевых мотивов — является одной из актуальных задач науки о сетях (Network Science). При этом особый интерес представляют не все возможные мотивы [1], а только те из них, которые в реальной сети встречаются чаще, чем в ее рандомизированной версии, в которой ребра перераспределены случайно. После выявления сетевых мотивов (как правило, тех, которые появляются часто) задача исследователей-прикладников заключается в том, чтобы понять, какую функцию выполняют эти мотивы, какую роль играют в сети, почему они часто встречаются. В частности, в [2] при анализе генных сетей мотив 11 на рис. 1 рассматривается как «петля прямой связи» (ген-мишень регулируется двумя другими генами-источниками, одним напрямую, а другим опосредованно). В большинстве случаев назначение этого мотива исследователи определяют как «блок И» (для активации мишени нужна активация обоих генов-источников), либо «блок ИЛИ» (для активации мишени достаточно активации одного из генов-источников). Возможна постановка другой задачи: на основе анализа частот встречаемости мотивов нужно сделать вывод о качестве графовой модели сети. В частности, даже при совпадении распределения степени связности дуг графовой модели и распределения степени связности связей исследуемой сети [3], графовая модель может отличаться от моделируемой сети по частотам встречаемости мотивов. Таким образом, задача расчета частот встречаемости мотивов является составной частью задачи структурной идентификации сетей. Важность расчета час-
тот встречаемости мотивов и сложность задачи подтверждается многочисленными публикациями, в которых предлагаются различные комбинаторные методы [4 — 6], сокращающие перебор, и методы распределения вычислений [7, 8].
Многие существующие подходы к расчету частот встречаемости мотивов ориентированы на работу с сетями, размер которых не может превышать десятков тысяч узлов и связей, что объясняется тем, что первоначально мотивы получили широкое распространение в биоинформатике, где размеры сетей относительно невелики. Однако все чаще концепция мотивов используется в исследовании социальных и других больших сетей, что выдвигает новые требования к применяемым подходам.
В табл. 1 представлены характеристики сетей, а в табл. 2 — время, которое затрачивается на расчет частот встречаемости мотивов программами MFin-der, Fanmod и AccMotif. Программа MFinder — первая известная программа для расчета частот встречаемости мотивов, которая осуществляет полный перебор всех возможных подграфов. Популярная программа Fanmod реализует алгоритм, позволяющий ускорить перебор с помощью алгоритма ESU [4]. Программа AccMotif позволяет существенно ускорить расчет. В качестве тестового стенда в вычислениях данной статьи выступал моноблок HPZ1 G2 Workstation, имеющий 4-ядерный центральный процессор Intel Xeon E3-1245 3,3 ГГц с поддержкой технологии Hyper-Threading и 8 ГБ оперативной памяти стандарта DDR3-1333. Данные о сетях были получены из баз данных М. Ньюмена [9] и Ю. Лес-ковца [10].
о, Р'
о*-ю о*-ю о-ю о*-ю ■
О 6 О 7 О 8 О 9 О 10
О 11 Я 12 ,0 13
О"-о
Рис. 1. Возможные мотивы на трех узлах
Таблица 1
Характеристики исследуемых сетей
Сеть Тип сети Число узлов Число связей
Internet [9] неориентированная 22963 48436
Email-Enron [10] неориентированная 36692 183831
Political Blogs [9] ориентированная 2224 18956
Twitter [10] ориентированная 81306 1768149
Email-EuAll [10] ориентированная 265214 420045
G+ [10] ориентированная 107614 13673453
Таблица 2
Время расчета частот встречаемости мотивов на трех и четырех узлах с использованием программ МРшйег, АссМоШ, РапМой
Сеть MFinder AccMotif FanMod
Число узлов в мотиве Число узлов в мотиве Число узлов в мотиве
3 4 3 4 3 4
Internet 670 с >104 с 0,0084 с 3,96 с 6,846 с 8134,78 с
Email-Enron 1015 с >104 с 0,31 с 33,1 с 17,951 с 10097 с
Political Blogs 10,0 с 5364 с 0,025 с 2,35 с 0,846 с 144 с
Twitter >104 с >104 с невозможно 295 с >104 с
Email-EuAll >104 с >104 с невозможно 102 с >104 с
G + >104 с >104 с невозможно >104 с
Как можно видеть из табл. 2, программа AccMotif имеет ощутимое преимущество по скорости расчета. Однако ускорение расчета достигается за счет использования больших объемов оперативной памяти, размеры которой в современных компьютерах ограничены. Так, при расчете частот встречаемости мотивов сети Email-Enron, содержащей 36692 узла, программа AccMotif использует 1,8 ГБ, а при расчете сети Gnutella, содержащей 62586 узла, — 4 ГБ. Не менее требовательным к размеру оперативной памяти является алгоритм G-Tree, предложенный в работе [11]. Практически это означает, что на используемом стенде, поддерживаемом всего 8 ГБ оперативной памяти, подобного рода алгоритмы не могут работать с сетями, содержащими уже сотни тысяч узлов.
Для больших сетей необходимо использовать большое количество оперативной памяти (что все равно имеет свои пределы, ведь использование оперативной памяти в алгоритмах AccMotif [12] приблизительно пропорционально квадрату числа узлов сети). Альтернативой этому является разработка ме-
тодов статистическои оценки частот встречаемости мотивов.
В статистических подходах часто используют не абсолютные частоты мотивов, а относительные:
ёвг «' г ^ к С' = -к-
к х 1 1
где — абсолютная частота встречаемости г-го мотива размера к;
с'к — относительная частота г-го мотива размера к.
На сегодняшний день известно 3 алгоритма, дающих статистическую оценку частот встречаемости мотивов.
1. Алгоритм случайного выбора ребра [13], реализованный в программе МРтсЗег. Суть этого алгоритма заключается в том, что в сети равновероятно выбирается связь, далее случаино выбираются две инцидентные ее концевым узлам другие связи, и тем самым всего выбираются три или четыре узла. Эти узлы с учетом всех имеющихся связеИ между ними
Рис. 2. Каркасы: а — для 3-мотивов, б — для 4 мотивов. Жирной линией обозначены связи, входящие в каркас; пунктирной — возможные связи в найденном на данном каркасе мотиве
Input: Graph (V, Е), N
Output: motifs 1. motifi_2, motifi 3, mottfi 4,motifi_5, motifi 6, motif} 7, motifij, motifij. motifi_10, ?ио/;уЗ_11, mofi/3_12. томуЗ_13
ill«-count S1
- 0,..., count_ S13
■ 0, №' <- 0
foreach v e V do
Adjfv)
JVv «- + iyfjit- ])/2 Add v to Af
end
foreach At do At x kx(k - 1>'2/ end
for / = 1, Ar do parallel
Generate r~{Pt:}
v <— get from Ar random
vl, v2 <— get from Adj(v) random (v2 ^ vl)
if {v, vl, r2} 6 S2 count J2++: if {v,vl,v2} с S4 count _S4 ++; if {v,vl,v2} с S6 count _S6 ++;
if {v,vl,v2} e S8 count_SS H H
if {v,vl,v2} e S10 count _S10++; if {v, vl,v2} 6 S12 count _SL2+-K
if {v, vl, v2} e S4 count SI ++ if {v, vl, v2} e S5 count S3 ++ if {v, vl, v2} e S6 count _S5 ++ if {v,vl, v2} e S7 count _S7 ++ if {v, vl, v2} e S9 count _S9 ++: if {v, vl, v2} e Sll count _S11++;
if {v, vl, v2} e S13 count_S13++:
end do
motifij*— count _S4 INx Nv, motifi_2<— count _S2 / ,Vx N„ motifij< jnotif3_A<^~ count JA i Ny. motifi 5*—count S5 I Nxs Nv , motifij
motifij*— count _S7 INI 3x N„ motifij,<- count S&IN/ 3x Nv, motif3 9 motifij0<— count _S 10 / JV"/ 3x 7Vv, motifi_ 11«- count JUINI 3x motifi 12«- courai _S 12 / JV / 3x JVv, motifiJi^- count S13 / JV"/ 3x JVv return motifij. ....motifij}
Рис. 3. Алгоритм расчета частот встречаемости мотивов на трех узлах
■ countJ3/N:< .¥,., - со ми/ _S6 / /Vx Nv, -count S9 INI 3x AL
задают найденный мотив. Счетчик частоты встречаемости этого мотива увеличивается на единицу. Далее описанная операция повторяется заданное количество раз. Однако данный алгоритм дает смещенную оценку частот встречаемости мотивов. Для компенсации смещения можно применять ресурсоемкую процедуру вычисления поправочных коэффициентов [13].
2. Алгоритм ЯапсЗЕБи [4], реализованный в программе БапМоЛ Суть алгоритма, как и алгоритма ЕБи, заключается в направленном переборе заданного размера к подсетей в анализируемой сети, в результате этого перебора строится дерево, листьями которого являются имеющиеся в сети к-мотивы. В работе [4] доказывается, что, регулируя параметр процедуры расчета частот встречаемости мотивов — вектор < а>, задающий вероятности отсечения ветвей дерева, можно уменьшить число проверяемых подсетей, получая при этом несмещенные оценки для относительных частот мотивов. Но контролировать точность вычислений при использовании этого алгоритма можно только косвенно.
3. Метод случайной выборки каркасов [14] заключается в многократно реализуемом процессе равновероятного выбора каркаса — связной подсети на трех (четырех) узлах, которая входит во все или несколько возможных мотивов на трех (четырех) узлах. Для мотивов на трех узлах (3-мотивах) такой каркас один и представляет собой у-образный под-
граф, для 4-мотивов в методе случайной выборки каркасов используется 2 подграфа: и-образный и ш- образный подграфы, изображенные на рис. 2. Для 3-мо-тивов выбор каркаса можно реализовать посредством выбора случайного узла, вероятность выбора которого пропорциональна числу возможных путей длины два (у-образного подграфа), центром которых является данный узел. После чего каркас выбирается путем равновероятного выбора двух инцидентных выбранному узлу связей. Среди недостатков можно отметить, что предложенный метод был реализован только для неориентированных сетей.
2. Постановка задачи. В данной работе развивается метод случайной выборки каркасов (МВК). Алгоритм, предложенный в статье, расширяет возможности использования МВК, позволяя рассчитывать число 3-мотивов в сетях с направленными связями, а также использует преимущества параллельного программирования. Результатом работы алгоритма являются оценки относительных (абсолютных) частот встречаемости мотивов на трех узлах (рис. 1).
3. Расчет частот встречаемости 3-мотивов. В предлагаемом алгоритме расчета частот встречаемости мотивов (см. рис. 3) узлы сети разбиваются на подмножества Д., в каждом из которых содержатся узлы с одинаковой степенью связности . (и, соответственно, одинаковым числом путей длины два, центром которого является этот узел — каркасов для 3-мо-тивов). Общее число всех каркасов сохраняется
б
a
Результаты расчета относительной частоты встречаемости 3-мотивов с использованием МВК, N = 100 000
Таблица 3
Номер мотива PolBlogs Twitter Email-EuAll G +
точное МВК точное МВК точное МВК точное МВК
1 0,03203 0,03147 0,05857 0,05787 0,02707 0,02739 0,01255 0,01229
2 0,08363 0,08292 0,09035 0,09197 0,02405 0,02382 0,07607 0,07636
3 0,14708 0,14585 0,12603 0,12483 0,01458 0,01490 0,22829 0,22878
4 0,10675 0,10637 0,11626 0,11768 0,12026 0,11883 0,05114 0,05107
5 0,42153 0,42393 0,45847 0,45716 0,75790 0,75835 0,45193 0,45124
6 0,12045 0,11967 0,10051 0,10077 0,05477 0,05542 0,12297 0,12357
7 0,00265 0,00271 0,00727 0,00723 0,00025 0,00023 0,00144 0,00150
8 0,00367 0,00375 0,00220 0,00216 0,00008 0,00004 0,00110 0,00107
9 0,01510 0,01520 0,00721 0,00728 0,00033 0,00033 0,00498 0,00477
10 0,00946 0,00986 0,00976 0,00987 0,00036 0,00034 0,00326 0,00332
11 0,04294 0,04355 0,01367 0,01357 0,00023 0,00023 0,03378 0,03353
12 0,01429 0,01430 0,00935 0,00927 0,00012 0,00010 0,01237 0,01238
13 0,00042 0,00042 0,00035 0,00034 0,00001 0,00001 0,00011 0,00011
Таблица 4
Время расчета частот встречаемости мотивов на трех узлах, полученное с помощью точного алгоритма FANMODI КапйББи и алгоритма на основе МВК, N = 100 000
Сеть FANMOD ESU, с RandESU <a> = = <0,5; 0,5; 0,5>, с Время работы алгоритма, использующего МВК, с
1 поток 2 потока 4 потока 8 потоков
Political Blogs 0,846 0,118 2,246 1,393 1,044 0,881
Twitter 294,971 43,22 8,535 5,104 3,716 3,221
Email-EuAll 102,434 12,67 33,930 16,882 12,015 7,479
G + 2025698 108074 101,378 61,589 35,126 28,318
в переменной Nv. После этого, с учетом возможностей распараллеливания, выполняется N реализаций случайного выбора каркаса и устанавливается, какой из 13 возможных мотивов (см. рис. 1) найден на выбранных на каждой итерации трех узлах. После выполнения всех итераций относительная частота встречаемости i-го мотива С'к определяется отношением числа motif3_i успешных обнаружений i-го мотива к общему числу опытов N, что следует также разделить на поправочный коэффициент, основанный на том, сколько каркасов можно найти в мотиве. Для получения оценки абсолютной частоты встречаемости мотивов относительная частота встречаемости домножается на число каркасов в сети — Nv.
4. Результаты экспериментов. Реализация параллельного многопоточного программирования выполнена с использованием платформ Fork-Join Framework и JSR 335: Streams. Результаты расчетов относительной частоты встречаемости мотивов при реализации на трех узлах представлены в табл. 3.
В табл. 4 представлены результаты экспериментов по скорости работы разработанного алгоритма по сравнению с алгоритмом ESU и RandESU программы FANMOD. Для МВК выбрано число опытов N=100 000. В этом случае достигается большая точность расчета частот встречаемости мотивов при использовании МВК относительно алгоритма Rand-ESU с параметром < a> = <0,5; 0,5; 0,5>.
Можно видеть, что коэффициент ускорения вычислений растет с ростом сети. Так, для алгоритма
RandESU при расчете частот встречаемости мотивов в сети Twitter коэффициент ускорения равен 13,4, для сети пользователей электронной почты Email-EuAll — 1,7, а для сети пользователей социальной сетью G+ коэффициент ускорения достигает 3800. При этом точность разработанного алгоритма не меньше точности алгоритма Rand_ESU.
В табл. 5 представлены результаты экспериментов по скорости работы разработанного алгоритма МВК при N = 25 000. Точность результатов сопоставима с точностью алгоритма RandESU с параметром алгоритма <a> = <0,5; 0,5; 0,5>. При этом для сети Email-Enron алгоритм МВК относительно менее точного алгоритма RandESU работает в 4,6 раза быстрее.
Результаты предварительных экспериментов в табл. 6 показывают также, что МВК может ускорить вычисления при расчете частот встречаемости 4-мотивов. На данный момент реализована лишь версия программы для сетей с ненаправленными связями. Для обнаружения мотивов в сетях с направленными связями необходимо реализовать процедуру определения изоморфных подсетей. Проблема заключается в том, что для случая неориентированных сетей может быть 198 различных 4-мотивов, в то время как в неориентированном случае их всего шесть.
5. Заключение. В данной работе предлагается алгоритм расчета частот встречаемости мотивов на трех узлах в сетях с направленными связями с помощью метода случайной выборки каркасов (МВК).
Таблица 5
Время расчета частот встречаемости мотивов на трех узлах, полученное с помощью точного алгоритма FANMOD, RandESU и алгоритма на основе МВК, N = 100 000
Сеть FANMOD ESU, с RandESU <a> = = <0,5; 0,5; 0,5>, с Время работы алгоритма, использующего МВК, у £ 0,01, с
1 поток 2 потока 4 потока 8 потоков
Internet 6,846 0,696 2,70 1,51 1,00 0,81
Email-Enron 4,3 2,96 1,87 0,11 0,74 0,65
Таблица 6
Время расчета частот встречаемости мотивов на четырех узлах, полученное с помощью точного алгоритма FANMOD, RandESU и алгоритма на основе МВК, N = 100 000
Сеть FANMOD ESU, с RandESU <a> = = <0,5; 0,5; 0,5; 0,5>, с Время работы алгоритма, использующего МВК, с
1 поток 2 потока 4 потока 8 потоков
Internet 8134,78 200,844 18,026 37,456 10,898 8,786
Email-Enron 10097 608,592 14,167 28,572 9,012 7,818
Реализована программа для ускорения расчета с использованием параллельных вычислений. Результаты позволяют говорить о возможностях ускорения расчетов при лучшей точности по сравнению с известным алгоритмом RandESU. Для социальной сети G++ при расчете мотивов на трех узлах скорость работы программы при соизмеримой точности в 3800 раз быстрее, чем в алгоритме RandESU, реализованном в программе Fanmod.
Результаты численных экспериментов показывают, что чем больше исследуемая сеть и суммарное число мотивов в ней, тем большего ускорения удается достичь при использовании МВК. Поскольку многие исследуемые в Network Science сети содержат десятки миллионов узлов и связей, дальнейшее развитие МВК является актуальным. Одним из направлений такого развития может стать использование распределенных вычислений. Например, можно, как в работе [15], разбить сеть на компоненты и обрабатывать каждый компонент с использованием распределенных вычислений. В этом плане возможно применение технологии MapReduce [15, 16]. Другим направлением развития МВК является разработка алгоритмов для расчета мотивов на четырех узлах в ориентированных сетях. Эта техническая проблема во многих других пакетах решается за счет использования ускоренных методов определения изоморфных подграфов [17, 18].
Библиографический список
1. Milo R., Shen-Orr S., Itzkovitz S. [et al.]. Network motifs: simple building blocks of complex networks // Science. Oct.
2002. Vol. 298 (5594). P. 824-827.
2. Mangan S., Alon U. Structure and function of the feedforward loop network motif // Proc. Natl. Acad. Sci. U.S.A. Oct.
2003. 100 (21). P. 11980-5.
3. Задорожный В. Н. Уравнения динамики концевых степеней дуг в растущих графах // Динамика систем, механизмов и машин. 2016. № 1. Т. 3. С. 327-335.
4. Wernicke S., Rasche F. Fanmod: a tool for fast network motif detection. Bioinformatics // 2006. Vol. 22. № 9. P. 1152-1153.
5. Marcus D., Shavitt Y. Efficient counting of network motifs // Proceedings of the 2010 IEEE 30th International Conference on Distributed Computing Systems Workshops, ser. ICDCSW'10. Washington, DC, USA: IEEE Computer Society. 2010. P. 92-98.
6. Grochow J. A., Kellis M. Network Motif Discovery Using Sub-graph Enumeration and Symmetry-Breaking (PDF) // RECOMB. 2007. P. 92-106. D0I:10.1007/978-3-540-71681-5 7.
7. Gonzalez J. E., Low Y., Gu H. [et al.]. PowerGraph : Distributed Graph-Parallel Computation on Natural Graphs // 10th USENIX Symposium on Operating Systems Design and Implementation (OSDI). 2012. P. 17-30.
8. Elenberg E. R., Shanmugam K., Borokhovich M., Dimakis A. G. Beyond Triangles: A Distributed Framework for Estimating 3-profiles of Large Graphs // KDD. 2015. P. 229-238.
9. Newman M. Network data. URL: http://www-personal.umich.edu/~mejn/netdata/ (дата обращения: 12.12.2016).
10. Lescovec Yu. Stanford Large Network Dataset Collection. URL: http://snap.stanford.edu/data/index.html (дата обращения: 12.12.2016).
11. Ribeiro P, Silva F. G-Tries: an efficient data structure for discovering network motifs // ACM 25th Symposium On Applied Computing — Bioinformatics Track. Sierre, Switzerland. 2010. P. 1559—1566.
12. Luis A. Meira, Vinicius R. M6ximo, Blvaro L. Fazenda. Arlindo Fl6vio da Conceiçro: acc-Motif: Accelerated Network Motif Detection // IEEE. ACM Trans. Comput. Biology Bioinform. 2014. Vol. 11 (5). P. 853 — 862.
13. Kashtan N., Itzkovitz S., Milo R., Alon U. Efficient sampling algorithm for estimating subgraph concentrations and detecting network motifs // Bioinformatics. Jul. 2004. Vol. 20. № 11. P. 1746 — 1758.
14. Юдин E. Б., Задорожный В. H. Расчет числа сетевых мотивов методом случайной выборки каркасов // Омский научный вестник. Сер. Приборы, машины и технологии. 2015. № 2 (140). С. 208 — 211.
15. Gonzalez J. E., Low Y., Gu H., [et al.]. PowerGraph : Distributed Graph-Parallel Computation on Natural Graphs // 10th USENIX Symposium on Operating Systems Design and Implementation (OSDI). 2012. P. 17 — 30.
16. Pagh R., Tsourakakis C. E. Colorful triangle counting and a MapReduce implementation // Information Processing Letters. 2012 Mar. 112 (7). P. 277 — 281.
17. Cordella L. P., Foggia P., Sansone C., Vento M. An improved algorithm for matching large graphs // Proc. of the 3rd IAPR TC-15 Workshop on Graphbased Representations in Pattern Recognition. 2001. P. 149 — 159.
18. Solnon C. All Different-based Filtering for Subgraph Isomorphism // Artificial Intelligence. 2010. 174 (12-13). P. 850 — 864.
ЮДИН Евгений Борисович, кандидат технических наук, старшиИ научныИ сотрудник. Адрес для переписки: udinev@asoiu.com
Статья поступила в редакцию 26.12.2016 г. © Е. Б. Юдин
