CC BY
74
Алгоритмы обработки и визуализации алгебраических байесовских сетей
Золотин Андрей Алексеевич аспирант
Санкт-Петербургский государственный университет, Университетская наб., 7-9, Санкт-Петербург, Россия, 199034, (812)328-94-55
andrev. zolotin@gmail. com
Левенец Даниил Григорьевич студент
Санкт-Петербургский государственный университет, Университетская наб., 7-9, Санкт-Петербург, Россия, 199034, (812)328-94-55
daniel-levenets@vandex.ru
Мальчевская Екатерина Андреевна мл. научный сотрудник Санкт-Петербургский институт информатики и автоматизации РАН, 14-я лин. B.O., 39, Санкт-Петербург, Россия, 199178, (812)3283311 katerina.malch@gmail.com
Зотов Михаил Анатольевич студент
Санкт-Петербургский государственный университет, Университетская наб., 7-9, Санкт-Петербург, Россия, 199034, (812)328-94-55
zotov 1994@mail. ru
Бирилло Анастасия Игоревна студент
Санкт-Петербургский государственный университет, Университетская наб., 7-9, Санкт-Петербург, Россия, 199034, (812)328-94-55
nbirillo@mail.ru
Березин Алексей Иванович мл. научный сотрудник Санкт-Петербургский институт информатики и автоматизации РАН, 14-я лин. B.O., 39, Санкт-Петербург, Россия, 199178, (812)3283311 beraliv.spb@gmail.com
Иванова Анна Валерьевна студент
Санкт-Петербургский государственный университет, Университетская наб., 7-9, Санкт-Петербург, Россия, 199034, (812)328-94-55
s.tigma@vandex.ru
Тулупьев Александр Львович профессор, д.ф.-м..н., доцент, заведующий лабораторией Санкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербургский государственный университет, Yale University
14-я лин. B.O., 39, Санкт-Петербург, Россия, 199178, (812)3283311 alexander.tulupvev@gmail.com
Аннотация
В статье рассмотрены структурные составляющие и основная функциональность веб-приложения, разрабатываемого авторами для
446
Работа содержит материалы исследований, частично поддержанных грантом РФФИ 15-01-09001 - «Комбинированный логико-вероятностный графический подход к представлению и обработке систем знаний с неопределенностью: алгебраические байесовские сети и родственные модели»
использования учащимися в рамках курса теории алгебраических байесовских сетей, а также исследователями для проведения численных экспериментов. Описываемое приложение использует наработки программного комплекса для проведения логико-вероятностного вывода в алгебраических байесовских сетях и расширяет имеющийся функционал, позволяя пользователю на практике применить полученные в рамках теоретического курса знания. Особенностью приложения является возможность визуализировать структуры алгебраических байесовских сетей. Текст статьи включает краткое описание задач приложения и его компонентов, дополненное описанием основных возможностей и снимками экрана веб-приложения.
The article considers structural elements and the main functionality of the web application which is developed for algebraic Bayesian networks learning purposes as well as for conducting research and experiments. The software complex has laid the groundwork for the application. The probabilistic-logic inference is provided and the functionality is extended allowing the user to put all knowledge gained within the course into the practice. The special feature is the possibility to visualize the algebraic Bayesian networks structures. The paper includes brief description of application tasks and its components, supplemented with fundamental opportunity and screenshots of the web application.
Ключевые слова
вероятностные графические модели, алгебраические байесовские сети, комплекс программ, веб-приложение, логико-вероятностный вывод probabilistic graphical models, algebraic Bayesian networks, software complex, web application, probabilistic-logic inference
Введение
Алгебраические байесовские сети (АБС) являются одним из классов вероятностных графических моделей, все более широко применяемых в системах распознавания образов [1], интеллектуальных системах поддержки принятия решений [2] и системах моделирования рисков [3, 4]. Введенные в 1993 году профессором В.И. Городецким [5, 6], АБС позволяют хранить и обрабатывать большие объемы информации с неопределенностью за счет декомпозиции данных на небольшие части, состоящие из тесно связанных между собой фактов, фрагменты знаний. Однако, с дальнейшим развитием теории, а также формализацией локальной, глобальной структуры АБС и аппарата логико-вероятностного вывода появилась острая необходимость в реализации достигнутых математических результатов в программном комплексе, позволяющем проводить вычислительные эксперименты, анализировать полученные результаты, а также визуализировать структуры.
В настоящее время существует ряд программных решений для компьютеризированного представления алгоритмов и структур теории АБС. В 2008 году Тулупьевым А.Л. был реализован программный комплекс на языке Java [7], включающий в себя базу данных для хранений структуры АБС, оценок вероятностей элементов фрагментов знаний, а также иную мета-информацию. Однако, с введением Сироткиным А. В. в 2009 году матрично-векторных уравнений в алгоритмах локального логико-вероятностного вывода данная реализация программного комплекса подверглась переработке с учетом усовершенствованной теории. Предложенные улучшения были воплощены Сироткиным А.В. в программном комплексе на языке C++ [8].
Тем не менее, оба описанных выше программных комплекса были направлены на реализацию структурных и алгоритмических аспектов, но оказались недостаточно адаптированы для использования в учебном процессе в связи с необходимостью переноса и многократной установки большого объема программного обеспечения на учебные компьютеры, а также нехваткой развернутого графического интерфейса и возможности коллаборативной работы. Кроме того, развитие теории за последние годы и финализация математического аппарата АБС форсируют создание нового программного комплекса, реализующего последние алгоритмы, направленные на уменьшение времени обработки данных и увеличение точности результата [9].
В данной работе авторы представляют и проводят краткий анализ составляющих разрабатываемого веб-приложения для кооперативной работы с программным комплексом, реализующим алгоритмы и структуры алгебраических байесовских сетей, а также описывают его задачи и возможности. Описание указанного программного комплекса дополнено диаграммами классов и базы данных, а также снимками экрана пользовательского интерфейса.
Основы теории алгебраических байесовских сетей
Чтобы читателю было проще ориентироваться в структуре описываемого приложения, его задачах и основном функционале, приведем ниже краткую выдержку из теории АБС, дающую представление об основных терминах и понятиях, используемых в статье.
Рассмотрим ситуацию, когда у нас есть несколько атомарных утверждений и есть эксперты, которые могут охарактеризовать взаимосвязи данных утверждений. Количеству утверждений соответствует экспоненциальное количество всех возможных взаимосвязей. Выходит, что при изначально большом количестве утверждений эксперт не сможет оценить все возможные взаимосвязи. Вероятностные графические модели и, в частности, алгебраические байесовские сети - одно из решений. Мы разбиваем множество всех утверждений на небольшие подмножества, называем их фрагментами знаний (ФЗ), и внутри них описываем все возможные взаимосвязи между элементами подмножества. Пример подобного ФЗ изображен на Рис. 1(а).
Рис. 1. (а) Пример ФЗ построенного над алфавитом А = {хг, х2, х3}
(б) Пример вторичной структуры АБС, состоящей из двух ФЗ, построенной над
алфавитом А = {х1, х2, х3, х4} .
Множество всех получившихся ФЗ образуют базу фрагментов знаний (БФЗ). Рассмотрение АБС как множества ФЗ, мы называем первичной структурой. Если мы рассмотрим граф смежности, в котором в качестве узлов будут выступать ФЗ, а ребро между двумя вершинами будет существовать, если у этих вершин, то есть ФЗ, есть общие атомы, то такой граф мы назовем вторичной структурой алгебраической байесовской сети. Пример вторичной структуры алгебраической байесовской сети изображен на Рис. 1(б).
Для определения степени неопределенности для утверждений и связей между ними мы можем использовать точечные (скалярные) или же интервальные оценки вероятности истинности.
Задачи и возможности веб-приложения
Несмотря на заметное количество публикаций по алгебраическим байесовским сетям и известность в профессиональных кругах родственных им байесовских сетей доверия, а также существование курсов по вероятностным графическим моделям [10], отсутствие программного продукта, позволяющего на практике опробовать изученный теоретический материал и провести ряд вычислительных экспериментов, повышает порог вхождения в теорию алгебраических байесовских сетей, что снижает их популярность. Таким образом, проект, описываемый в данной работе, направлен на устранение указанного недостатка и разработку программного комплекса, дополняющего теоретический курс и методические пособия по алгебраическим байесовским сетям.
В качестве модели для новой версии программного комплекса было выбрано веб-приложение, что является отличительной особенностью данного проекта, и этот выбор обусловлен несколькими факторами:
• наличие доступа к приложению и всем сохраненным данным с любого компьютера, подключенного к сети Интернет;
• отсутствие необходимости установки дополнительных компонент на компьютер;
• простота доставки обновлений продукта конечным пользователям. Учитывая, с одной стороны, учебную направленность проекта и необходимость использовать приложение для проведения численных экспериментов с другой стороны, были выявлены следующие основные задачи приложения и требования к нему:
• возможность создавать и изменять алгебраические байесовские сети, фрагменты знаний внутри них, а также оценки вероятности истинности их элементов;
• возможность объединять АБС в проекты и давать доступ к данным проектам другим пользователям;
• возможность отображать локальную и глобальные структуры рассматриваемой АБС в виде графа, в котором вершинами выступают атомарные пропозициональные формулы или ФЗ соответственно;
• возможность проводить логико-вероятностный вывод в выбранной АБС и анализировать полученные результаты.
С учетом поставленных задач сформирована следующая структура разрабатываемого приложения:
Рис. 2. Диаграмма компонент проекта, их взаимосвязей и сфер ответственности.
Следует отметить, что представленные на диаграмме компоненты являются обособленными и для каждой из них разработана и реализована собственная логика работы, отличная от остальных. По этой причине в последующих главах они будут детально рассмотрены по отдельности.
Математическая библиотека
Основополагающим компонентом программного комплекса является математическая библиотека, реализующая локальные и глобальные структуры АБС, а также инкрементальные алгоритмы формирования глобальных структур [11] и алгоритмы логико-вероятностного вывода над ними. Математическая библиотека является своеобразным "ядром" программного комплекса. Диаграмма классов и предоставляемых ими контрактов представлена ниже.
Ba se K n owle d ge Patte rn
abstract void SetProbabilities(doubleQQ estimates);
abstract Tuple<bool,doubleQQ> GetConsistentProbabilitiesO;
abstract doubleQ a priori inference (String formulaName);
¡abstract double] aposteriorilnferenceFirstTask(ConjKP_l evidence);
¡abstract doubleQQ aposteriorilnferenceSecondTask(ConjKP_l evidence);
=abstractTuple<doubleQ,doubleQQ> aposteriorilnference(ConjKP_l evidence};;
S ca la rK n owle d ge Patte rn
ScalarKnowledgePattern(long globallndex); ScalarKnowledgePattern(long globallndex, doubleQQ estimates); void SetProbabilities(doubleQ|Q estimates); Tuple<bool,doubleQQ> GetConsistentProbabilitiesO; doubleQ a priori Inference (String formulaName); doubleQ aposteriorilnferenceFirstTask(ConjKPJ evidence); doubleQQ aposteriorilnferenceSecondTask(ConjKP_l evidence); J"uple<doubleQ,doubleQQ> aposteriorilnference(ConjKP_l evidence);j
I nte rva IК n owle d ge Patte rn
lntervalKnowledgePattern(long globallndex); I nte rva I Knowledge Pattern (long globallndex, doubleQQ estimates); void SetProbabilities(doubleQQ estimates); Tuple<bool,doubleQQ> GetConsistentProbabilitiesO; doubleQ a priori Inference (String formulaName); doubleQ aposteriorilnferenceFirstTask(ConjKPJ evidence); doubleQQ aposteriorilnferenceSecondTask(ConjKP_l evidence): J~uple<doubleQ,doubleQQ> aposteriorilnference(ConjKP_l evidence);j
Рис. 3. Диаграмма классов, контракт функциональности математической библиотеки для REST-уровня
К задачам, решаемым математической библиотекой, относятся все основные операции, определенные теорией АБС для фрагментов знаний над идеалами конъюнктов и пропозициями-квантами. Среди них — поддержание непротиворечивости оценок, априорный вывод и 2 задачи апостериорного вывода — определение вероятности поступления указанного свидетельства и пересчет оценок вероятностей элементов фрагмента знаний с учетом поступившего свидетельства.
REST уровень
Для полноценной работы системы важно, чтобы любой пользователь мог получить доступ к библиотеке, описанной в предыдущей главе, по сети Интернет. Одним из способов организации такого доступа к библиотеке является создание API — набора методов и функций, образующего интерфейс для работы с этой библиотекой через сеть Интернет. Для организации API было решено использовать стиль REST(REpresentational State Transfer — передача состояния представления). Среди основных причин, по которым был выбран именно RESTful API, — простота работы и разработки, независимость от реализации логики клиента и возможность представления результатов работы математической библиотеки в удобном виде.
В качестве платформы для размещения библиотеки была выбрана система Microsoft Azure. Это промышленная «облачная» платформа, отличающаяся высокой защищенностью и отказоустойчивостью. Еще одно преимущество Azure особенно важное для описываемого проекта, — возможность быстро масштабировать сервис, не затрачивая усилий на развёртывание дополнительных вычислительных мощностей.
Рис.4. Пример взаимодействия с библиотекой
Пример взаимодействия с библиотекой представлена на рисунке 4. Рассмотрим его подробнее: для того, чтобы вызвать библиотечный метод add_vertex, клиент отправляет на сервер одноименный HTTP запрос указанными параметрами. При этом интерфейс разработанного API предоставляет клиенту подробную информацию о том, какой метод ему следует вызвать исходя из его целей. Сервер обрабатывает запрос, вызывает соответствующий библиотечный метод и возвращает полученные данные клиенту в виде JSON объекта.
Таким образом реализованный RESTful API позволяет пользователю использовать всю функциональность библиотеки с любого устройства и из любой точки мира, что и требуется для полноценной работы системы.
База данных
Как было сказано ранее одной из причин выбора модели "веб-приложения" при разработке данного проекта является возможность пользователя получить доступ к своим данным с любого компьютера с помощью отправки запросов с пользовательского интерфейса к REST. Для хранения алгебраических байесовских сетей пользователей в системе была разработана база данных, реализованная с
помощью реляционной системы управления базой данных (СУБД) Microsoft SQL Server [12]. Выбор данной технологии обусловлен высокой надежностью, безопасностью, производительностью, а также поддержкой. Также немаловажным критерием выбора являлась возможность ее бесплатного использования в рамках студенческой программы DreamSpark с последующим бесплатным размещением на сервере через Microsoft Azure, в отличие от СУБД PostgreSQL [13].
Разработанная база данных позволяет хранить первичную и вторичную структуры алгебраических байесовских сетей и иную связанную метаинформацию. В частности, каждая алгебраическая байесовская сеть имеет набор фрагментов знаний, из которых она состоит, а каждый фрагмент знаний определен над набором конъюнктов (дизъюнктов или квантов, в зависимости от типа алгебраической байесовской сети). При этом структура АБС в теории такова, что оценки вероятностей элементов соединенных ФЗ на пересечении совпадают, что позволяет избежать дублирования данной числовой информации в базе данных. Для лучшего структурирования данных в приложении над сущностью АБС была введена дополнительная сущность "проект", позволяющая формировать группы АБС по какому-либо признаку и работать уже внутри данных групп. Также в разработанная база данных предоставляет ряд процедур и функций, реализующие основные операции работы с созданными таблицами.
Связывание базы данных, описанной выше, с базой данных пользователей происходит по уникальному идентификатору пользователя, который присваивается ему при регистрации в системе.
На рис.5 показана схема реализованной базы данных. Таблицы с суффиксом Table являются ключевыми:
• ProjectTable — таблица для хранения информации о проектах в системе;
• AbnTable - таблица для хранения алгебраических байесовских сетей
• AlphabetAbnTable - таблица для хранения алфавита, над которым построена алгебраическая байесовская сеть
• KpTable - таблица для хранения фрагментов знаний
• PatternItemTable - таблица для хранения конъюкнтов, дизъюнктов и квантов
• AbnEdgesTable - таблица для хранения вторичной структуры алгебраических байесовских сетей
Таблицы с суффиксом Link являются связующими для двух таблиц для реализации связи 1 ко многим в разработанной базе данных.
Таблицы с суффиксом Enum являются вспомогательными для хранения информации об объектах:
• AbnType - информация о типе алгебраической байесовской сети
• KpType - информация о типе фрагмента знаний
Ранет ItemTable
Id (int, NOT NULL) PK Name (varchar(MAX). NOT NULL) Lower (float, NOT NULL) Upper (float OR NULL) Globallndex (int, NOT NULL)
I
AbnTVpeEnum
KeyName(tlnyint, NOT NULL) PK Value (varctiar(MAX), NOT NULL)
AlphabetAbnTable
Id (int, NOT NULL) PK Abrild (Int, NOT NULL) Atom (varctiar(10), NOT NULL)
Pattern ItemKpLinK
Kpld (int, NOT NULL) FK Patternld (int, NOT NULL) FK
I
KpAbnLinK
Abnld (int, NOT NULL) FK Kpld (Int, NOT NULL) FK
AbnTable
KpTable
Id (Int, NOT NULL) FK Name (varctiar(MAX). NOT NULL) Mask (Int, NOT NULL) Islnterval .tinyint, NOT NULL) FK
I
Id (Int, NOT NULL) PK Name (varctiar(MAX), NOT NULL) T/pe (tlnyint, NOT NULL) FK
AbnEdpesTable
Id (Int, NOT NULL) FK LeftKpId (int, NOT NULL) FK RightKpId (int, NOT NULL) FK Abnld (Int, NOT NULL) FK
Л
л
AbnFrojectLink
KpTVpeEnum
KeyName (tlnyint, NOT NULL) PK Value (varcHar(MAX), NOT NULL)
Project Table
Projectld (int, NOT NULL) FK Name (varctiar(MAX). NOT NULL) Creation Date.: datetlme. NOT NULL) Creatorld (Int, NOT NULL) Description (varctiar(MAX))
Projectld (int, NOT NULL) FK Abnld (Int, NOT NULL) FK UQ
Рис.5. Схема разработанной базы данных
Пользовательский интерфейс
Реализованные ранее компоненты предоставляют пользователю возможность удаленно использовать функционал математической библиотеки с помощью HTTP запросов к RESTful API. Однако подобные запросы являются нетривиальными для рядового пользователя и трудно выполнимыми без графического пользовательского интерфейса, поэтому одной из важных задач является его разработка и реализация.
В качестве основного фреймворка для разработки пользовательского интерфейса приложения был выбран Javascript фреймворк Angular2 [14]. Указанный фреймворк был разработан компанией Google, которая также разрабатывала его предыдущую версию - AngularJS. Angular2 написан полностью на строго типизированном языке программирования TypeScript и поддерживает написание кода, использующего фреймворк, на языках программирования TypeScrpt (выбран нами), Dart и JavaScript. В качестве библиотеки пользовательских компонентов (UI) была выбрана популярная библиотека materializecss [15], следующая основным принципам Material Design [16] - наиболее современному, удобному и наглядному способу представления данных и компонент пользователю.
Одной из ключевых страниц разрабатываемого приложения, выступает страница со списком проектов пользователя. Каждый проект, в свою очередь, представляет из себя список АБС, каждую из которых пользователь может независимо от других редактировать и обрабатывать. У каждого проекта имеется название, описание, а также свойство, указывающее на количество сетей, относящихся к этому проекту. Каждая АБС состоит из множества ФЗ, образующих первичную структуру, и множества вторичных структур. У пользователя имеется возможность создавать и редактировать структуры, а также проводить все виды локального логико-вероятностного вывода, упомянутые выше.
Известно, что в процессе обучения, информация, которая сопровождается визуальным представлением, усваивается лучше. Поэтому для пользователя системы (т.е. обучающегося или исследователя) важна возможность наглядного
представления изучаемого (исследуемого) материала, а также интерактивное взаимодействие с синтезируемыми в процессе работ структурами. Для визуализации графов в приложении была выбрана JavaScript библиотека D3.JS [17], где аббревиатура D3 соответствует Data Driven Documents, позволяющая визуализировать данные с помощью элементов масштабируемой векторной графики (Scalable Vector Graphics), что позволяет достигнуть наилучшего качества изображения при любом разрешении дисплея монитора пользователя.
Основными объектами, над которыми производятся манипуляции в алгоритмах логико-вероятностного вывода и инкрементально-декрементальных алгоритмах, являются локальная структура фрагмента знаний и глобальная структура АБС - именно эти структуры и визуализируются в веб-приложении. В качестве примера, иллюстрирующего визуализацию, рассмотрим ФЗ над атомами A, B, C (Рис.
6) и АБС, состоящую из пяти ФЗ (Рис. 7).
* _
ABN Webapp
<г С û I® focalhost:5555/#/projects/6/abn/Abn
SPIIRAS ABN
] ft ®
PROJECTS PROHLE
AB
Рис. 6. Изображение фрагмента знаний в веб-приложении
На Рис. 6 представлена визуализация 1 фрагмента знаний, построенного над 3 атомами. На рисунке видно, что представленная сеть представляет из себя идеал конъюнктов: она сочетает в себе различные пересечения узлов сети одного "уровня".
Рис.7 . Вторичная структура
На Рис. 7 изображен граф смежности. Как мы видим, между всеми вершинами, сепаратор для которых не пуст, существует путь, нагрузка никакой вершины полностью не входит в нагрузку другой, а также не существует ребер с пустой нагрузкой, следовательно, представленный граф является графом смежности (в том числе и минимальным графом смежности).
Заключение
Описанный в статье программный комплекс соответствует последним технологическим концепциям в разработке программного обеспечения и предоставляет широкие возможности как для обучающихся теории вероятностных графических моделей, так и исследователям, проводящим численные эксперименты.
Реализованная возможность доступа к веб-приложению с любого компьютера, подключенного к сети Интернет существенно упрощает процесс в начале использования приложения за счет отсутствия необходимости установки дополнительных программных компонент на персональный компьютер, а реализованная система общения клиент-сервер позволяет сохранять информацию из веб-приложения в базу данных на удаленном сервере. К возможностям программного комплекса относятся локальный логико-вероятностный вывод, включающий в себя априорный вывод, апостериорный вывод и поддержание непротиворечивости, а также отображение графических локальных и глобальных структур АБС. В дальнейшем планируется развивать графическую составляющую веб-приложения, распространяя ее на третичную и четвертичную структуры и расширять возможности настроек пользовательских групп.
Стоит отметить, что программный комплекс лишь дополняет, но не заменяет
собой полностью курс по вероятностным графическим моделям.
Литература
1. Peng P.X., Tian Y.H., Wang Y.W., Li J., Huang T.J. Robust multiple cameras pedestrian detection with multi-view Bayesian network // Pattern Recognition. —2015.
— No 42. — P. 1760-1772.
2. Borras J., Moreno A., Valls A. Intelligent tourism recommender systems: A survey // Expert Systems with Applications. — 2014. —Vol. 41. N. 16. —P. 7370-7389.
3. Haimelin R., Goerlandt F., Kujala, P., Veitch B. Implications of novel risk perspectives for ice management operations // Cold regions science and technology — 2016. — Vol. 133. — P. 82-93.
4. Murphy F., Sheehan B., Mullins M., Bouwmeester H., Marvin H.J.P., Bouzembrak Y., Costa A.L., Das R., Stone V., Tofail S.A.M. A tractable method for measuring nanomaterial risk using Bayesian networks // Nanoscale research letters. — 2016. — Vol. 11. № 503.
5. Городецкий В.И. Алгебраические байесовские сети — новая парадигма экспертных систем // Юбилейный сборник трудов институтов Отделения информатики, вычислительной техники и автоматизации РАН. —Т. 2. М.: РАН, —1993. — С. 120-141.
6. Городецкий В.И., Тулупьев А.Л. Формирование непротиворечивых баз знаний с неопределенностью // Изв. РАН. Сер. Теория и системы управления. — 1997. — Т. 5. — C. 33-42.
7. Тулупьев А.Л. Алгебраические байесовские сети: реализация логико-вероятностного вывода в комплексе Java-программ // Труды СПИИРАН. —2009. —№ 8. — С. 191-232.
8. Сироткин А.В. Комплекс программ логико-вероятностного вывода в базах фрагментов знаний: реализация фрагмента знаний // Труды СПИИРАН. —2013.
— № 2 (25). — С. 204-220.
9. Золотин А.А., Тулупьев А.Л., Сироткин А.В. Матрично-векторные алгоритмы нормировки для локального апостериорного вывода в алгебраических байесовских сетях // Научно-технический вестник информационных технологий, механики и оптики. — 2015. — Том 15. № 1. — С. 78-85.
10. Probabilistic Graphical Models Course [Электронный ресурс]. — URL: https://ru.coursera.org/learn/probabilistic-graphical-models/(дата обращения: 09.12.2016)
11. Зотов М.А., Левенец Д.Г., Тулупьев А.Л., Золотин А.А. Синтез вторичной структуры алгебраических байесовских сетей: инкрементальный алгоритм и статистическая оценка его сложности // Научно-технический вестник информационных технологий, механики и оптики. — 2016. — Т. 16. № 1. — С. 122-132
12. Документация Microsoft SQL Server. URL: https://msdn.microsoft.com/ru-ru/library/mt590198(v=sql.1).aspx(дата обращения: 09.12..2016)
13. PostgreSql Documentation [Электронный ресурс]. — URL: https://www.postgresql.org/docsA^aTa обращения: 09.12.2016)
14. Angular2 [Электронный ресурс]. — URL: https://angular.io/ (дата обращения: 09.12.2016)
15. Materializecss [Электронный ресурс]. — Режим доступа: http://materializecss.com/ (дата обращения: 09.12.2016)
16. Material Design [Электронный ресурс]. — URL: https://material.io/ (дата обращения: 09.12.2016)
17. D3 [Электронный ресурс]. — URL: https://d3js.org/ (дата обращения: 09.12.2016)
