Научная статья на тему 'Алгебраические байесовские сети: изолированное слияние фрагментов знаний в условиях дефицита информации'

Алгебраические байесовские сети: изолированное слияние фрагментов знаний в условиях дефицита информации Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
201
42
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ВЕРОЯТНОСТНЫЕ ГРАФИЧЕСКИЕ МОДЕЛИ / АЛГЕБРАИЧЕСКИЕ БАЙЕСОВСКИЕ СЕТИ / БАЙЕСОВСКИЕ СЕТИ ДОВЕРИЯ / НЕПОЛНАЯ ИНФОРМАЦИЯ / ФРАГМЕНТ ЗНАНИЙ / СЛИЯНИЕ ФРАГМЕНТОВ ЗНАНИЙ / МАШИННОЕ ОБУЧЕНИЕ / PROBABILISTIC GRAPHICAL MODELS / ALGEBRAIC BAYESIAN NETWORKS / BAYESIAN BELIEF NETWORKS / IMPERFECT INFORMATION / KNOWLEDGE PATTERN / KNOWLEDGE PATTERNS FUSION / MACHINE LEARNING

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Харитонов Н.А., Тулупьев А.Л.

Предмет исследования. При машинном обучении вероятностных графических моделей нередки ситуации, в которых одному объекту оказываются сопоставлены две или более модели, обученные на различных, но пересекающихся наборах данных. Предметом данного исследования является операция слияния таких моделей, представленных фрагментами знаний алгебраической байесовской сети. Целью данного исследования является описание и формализация способов слияния алгебраических байесовских сетей, представленных в виде фрагментов знаний. Метод. Построены модели слияния, семантика которых четко эксплицируется предположениями о соотношении вероятностных семантик рассматриваемых фрагментов знаний. Основные результаты. Определены и систематизированы способы слияния фрагментов знаний, при которых не происходит генерации новых элементов сети. Приведено и доказано утверждение о числе атомов в получаемой сети и теорема о сложности поддержания ее интернальной непротиворечивости. Продемонстрирован пример слияния двух сетей на выборке с шумом. При этом для проведения компаративного анализа теоретическое распределение выборки задано, а сама выборка генерируется методом Монте-Карло. Практическая значимость. Предложенные в исследовании способы слияния алгебраических байесовских сетей могут найти применение при работе с двумя или более обученными сетями, описывающими различные свойства одного объекта. Использование данных способов позволит построить, агрегирующую все данные об исследуемом объекте, оказавшиеся доступными, в комплексную сеть и проводить в ней операции логико-вероятностного вывода.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Харитонов Н.А., Тулупьев А.Л.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Algebraic Bayesian networks: sequestered fusion of knowledge patterns under information deficiency conditions

Subject of Research. The paper deals with situations when two or more models trained on different but crossing datasets are associated with one object in machine learning of probabilistic graphical models. The subject of this study is the fusion of such models, represented by knowledge patterns of algebraic Bayesian network. The study is aimed at description and formalization of the ways for fusion of algebraic Bayesian networks, presented in the form of two knowledge patterns. Method. We created such fusion models that their semantics is clearly explicated by assumptions about the ratio of probabilistic semantics of the considered knowledge patterns. Main Results. We have defined and systematized the ways to fuse knowledge patterns with no generation of new network elements. The statement about the number of atoms in the resulting network and the theorem on the difficulty of maintaining its internal consistency is given and proved. An example of the two networks fusion on a sample with noise is demonstrated. At this, the theoretical distribution of the sample is specified for carrying out comparative analysis, and the sample itself is generated by the Monte Carlo method. Practical Relevance. The methods proposed in the study for algebraic Bayesian networks fusion can be used when applying two or more trained networks describing various properties of a single object. The application of these methods gives the possibility to build a complex network aggregating all accessible data about the object under study and carry out probabilistic-logic operations in it.

Текст научной работы на тему «Алгебраические байесовские сети: изолированное слияние фрагментов знаний в условиях дефицита информации»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2019 Том 19 № 4 ISSN 2226-1494 http://ntv.itmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTCS July-August 2019 Vol. 19 No 4 ISSN 2226-1494 http://ntv.itmo.ru/en/

ИНШОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

УДК 004.8 сЫ: 10.17586/2226-1494-2019-19-4-641-649

АЛГЕБРАИЧЕСКИЕ БАЙЕСОВСКИЕ СЕТИ: ИЗОЛИРОВАННОЕ СЛИЯНИЕ ФРАГМЕНТОВ ЗНАНИЙ В УСЛОВИЯХ ДЕФИЦИТА ИНФОРМАЦИИ Н.А. Харитонов^, А.Л. Тулупьев^

а Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН), Санкт-Петербург, 199178, Российская Федерация

ь Санкт-Петербургский государственный университет, Санкт-Петербург, 199034, Российская Федерация Адрес для переписки: alt@dscs.pro Информация о статье

Поступила в редакцию 29.04.19, принята к печати 31.05.19 Язык статьи — русский

Ссылка для цитирования: Харитонов Н.А., Тулупьев А.Л. Алгебраические байесовские сети: изолированное слияние фрагментов знаний в условиях дефицита информации // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. С. 641-649. Сок 10.17586/2226-1494-2019-19-4-641-649

Аннотация

Предмет исследования. При машинном обучении вероятностных графических моделей нередки ситуации, в которых одному объекту оказываются сопоставлены две или более модели, обученные на различных, но пересекающихся наборах данных. Предметом данного исследования является операция слияния таких моделей, представленных фрагментами знаний алгебраической байесовской сети. Целью данного исследования является описание и формализация способов слияния алгебраических байесовских сетей, представленных в виде фрагментов знаний. Метод. Построены модели слияния, семантика которых четко эксплицируется предположениями о соотношении вероятностных семантик рассматриваемых фрагментов знаний. Основные результаты. Определены и систематизированы способы слияния фрагментов знаний, при которых не происходит генерации новых элементов сети. Приведено и доказано утверждение о числе атомов в получаемой сети и теорема о сложности поддержания ее интернальной непротиворечивости. Продемонстрирован пример слияния двух сетей на выборке с шумом. При этом для проведения компаративного анализа теоретическое распределение выборки задано, а сама выборка генерируется методом Монте-Карло. Практическая значимость. Предложенные в исследовании способы слияния алгебраических байесовских сетей могут найти применение при работе с двумя или более обученными сетями, описывающими различные свойства одного объекта. Использование данных способов позволит построить, агрегирующую все данные об исследуемом объекте, оказавшиеся доступными, в комплексную сеть и проводить в ней операции логико-вероятностного вывода. Ключевые слова

вероятностные графические модели, алгебраические байесовские сети, байесовские сети доверия, неполная информация,

фрагмент знаний, слияние фрагментов знаний, машинное обучение

Благодарности

Работа выполнена в рамках проекта по государственному заданию СПИИРАН № 0073-2019-0003 при финансовой поддержке РФФИ, проект № 18-01-00626 - Методы представления, синтеза оценок истинности и машинного обучения в алгебраических байесовских сетях и родственных моделях знаний с неопределенностью: логико-вероятностный подход и системы графов.

doi: 10.17586/2226-1494-2019-19-4-641-649

ALGEBRAIC BAYESIAN NETWORKS: SEQUESTERED FUSION OF KNOWLEDGE PATTERNS UNDER INFORMATION DEFICIENCY CONDITIONS

N.A.Kharitonova,b, A.L. Tulupyeva,b

a Saint Petersburg Institute for Informatics and Automation of the RAS (SPIIRAS), Saint Petersburg, 199178, Russian Federation b Saint Petersburg State University, Saint Petersburg, 199034, Russian Federation Corresponding author: alt@dscs.pro Article info

Received 29.04.19, accepted 31.05.19 Article in Russian

For citation: Kharitonov N.A., Tulupyev A.L. Algebraic Bayesian networks: sequestered fusion of knowledge patterns under information deficiency conditions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 4, pp. 641-649 (in Russian). doi: 10.17586/2226-1494-2019-19-4-641-649

Abstract

Subject of Research. The paper deals with situations when two or more models trained on different but crossing datasets are associated with one object in machine learning of probabilistic graphical models. The subject of this study is the fusion of such models, represented by knowledge patterns of algebraic Bayesian network. The study is aimed at description and formalization of the ways for fusion of algebraic Bayesian networks, presented in the form of two knowledge patterns. Method. We created such fusion models that their semantics is clearly explicated by assumptions about the ratio of probabilistic semantics of the considered knowledge patterns. Main Results. We have defined and systematized the ways to fuse knowledge patterns with no generation of new network elements. The statement about the number of atoms in the resulting network and the theorem on the difficulty of maintaining its internal consistency is given and proved. An example of the two networks fusion on a sample with noise is demonstrated. At this, the theoretical distribution of the sample is specified for carrying out comparative analysis, and the sample itself is generated by the Monte Carlo method. Practical Relevance. The methods proposed in the study for algebraic Bayesian networks fusion can be used when applying two or more trained networks describing various properties of a single object. The application of these methods gives the possibility to build a complex network aggregating all accessible data about the object under study and carry out probabilistic-logic operations in it. Keywords

probabilistic graphical models, algebraic Bayesian networks, Bayesian Belief Networks, imperfect information, knowledge pattern, knowledge patterns fusion, machine learning

Acknowledgements

The research was carried out in the framework of the project on SPIIRAS governmental assignment No. 0073-2019-0003 under financial support of the RFBR (project No. 18-01-00626—Methods of representation, synthesis of truth estimates and machine learning in algebraic Bayesian networks and related knowledge models with uncertainty: probabilistic-logic approach and graph systems).

Введение

При сборе данных нередки случаи их частичной потери, искажения, отсутствия части информации. Такие данные называются неполными данными, или, в ряде случаев неполной (несовершенной) информацией (imperfect information) [1, 2]. Существуют различные математические модели для работы с ней, в том числе алгебраические байесовские сети, относящиеся к классу вероятностных графических моделей [3-6].

При этом различные наборы данных (в том числе частично пересекающиеся) могут содержать сведения об одном и том же явлении, объекте, процессе или их аспектах, полученные из различных источников, либо различными путями (каналами). Таким образом, при работе с моделями, обучающимися на этих данных, может возникнуть ситуация, при которой построено две модели одного и того же объекта или более, имеющие частичные пересечения по структуре. Разумно предположить, что при анализе ситуации, подготовке и принятии решений, построении прогнозов, оценке последствий вмешательств или иных действиях целесообразно использовать все построенные модели совместно, т.е. как единую систему — более сложную и богатую модель. Таким образом, представляется актуальной проблема слияния уже обученных на различных наборах данных моделей одного и того же объекта.

Настоящая работа преследует базовую цель — предложить и формализовать способы слияния алгебраических байесовских сетей, каждая из которых представлена в виде фрагмента знаний.

Релевантные работы

К вероятностным графическим моделям [5, 6] применяется своя система алгоритмов машинного обучения, которая отличается и построена на других принципах, чем алгоритмы машинного обучения нейронных сетей [7, 8].

К классу вероятностных графических моделей относятся байесовские сети доверия [9-11], марковские сети [12], алгебраические байесовские сети [3, 4] и др. Все эти модели работают со знаниями с неопределенностью.

В работе [13] рассмотрена двойственность байесовских сетей доверия и нейронных сетей с прямой связью, в то время как [14] посвящена их объединению с другими моделями. Ряд работ посвящен использованию байесовских сетей доверия в различных областях, таких как здоровье, инженерия, экология [9-11].

Значительная часть теории алгебраических байесовских сетей (в ее текущем состоянии) подробно изложена в монографиях [15, 16] и учебнике [17]. Структурно алгебраические байесовские сети разделяются на фрагменты знаний, которые могут быть представлены в виде идеала конъюнктов, дизъюнктов или квантов. Операции логико-вероятностного вывода в сетях позволяют получать вероятность истинности формулы (априорный вывод схематично представлен на рис. 1), изменять оценки в сети на основе поступившего свидетельства (апостериорный вывод). Кроме того, при работе с алгебраическими байесовскими сетями выделяется понятие их непротиворечивости, характеризующее корректность (совместность и согласованность с аксиомами вероятности) представленных в сети оценок вероятности истинности [18]. При

этом непротиворечивость может быть как подпирающей, т.е. находящей наибольшие интервалы оценок, содержащиеся в имеющихся, так и накрывающей, т.е. находящей наименьшие интервалы оценок, содержащие имеющиеся [19].

,р(х1Лх2У(х3 ^ X4)) = ?

л

p(xjAx2V(x3 ^ x4)) = 0,12

Рис. 1. Схема априорного вывода (p — вероятность формулы; x2, x3, x4 — атомарные пропозициональные

формулы, над которыми построена сеть)

Ранее в работе [20] были выдвинуты тезисы о возможности слияния алгебраических байесовских сетей. Однако, насколько известно авторам, теоретических исследований в области слияния алгебраических байесовских сетей, построенных над данными, полученными из различных источников и имеющими пересечения по элементам сети, не производились, исключая вопросы инкрементального синтеза вторичной структуры [4, 21].

Знания с неопределенностью

В рамках исследования делается предположение о наличии выборки некоторого числа логических означиваний набора пропозициональных переменных. В идеальной ситуации каждая из переменных имеет означивание true (истина) или false (ложь). Однако в большинстве реальных задач в элементах выборки имеются пропуски: например, если значение элемента получается на основании утверждения <«i ^ x2 истинно», то однозначно можно установить истинность только переменной x2, в то время как xi может принимать как значение true, так и значение false. Пример такой выборки представлен в табл. 1.

Таблица 1. Пример набора значений переменных Xl , X2 с пропусками. Значение Xl Л x2 получено путем применения операции конъюнкции к данным с пропусками

x1 x2 x1 Л x2

* 1 *

0 1 0

1 * *

1 1 1

* 0 0

Таким образом, фактически речь идет о трехзначной логике Клини [22], где помимо констант true (1) и false (0) рассматривается третья константа unknow (*). Ниже приведены таблицы истинности над этими переменными для основных логических операций (отрицание, конъюнкция и дизъюнкция) (табл. 2).

Таблица 2. Таблицы истинности в трехзначной логике Клини

x x x1 Л x2 x2 x1 V x2 x2

0 1 0 * 1 0 * 1

* * 0 0 0 0 0 0 * 1

1 0 x1 * 0 * * x1 * * * 1

1 1 * 1 1 1 1 1

Фактически за набором данных об означивании логических переменных стоит информация о вероятности их истинности. При этом различные модели позволяют по-разному обработать имеющуюся информацию. В данной работе будут рассмотрены алгебраические байесовские сети (рис. 2).

Как уже было сказано выше, одним из представлений алгебраических байесовских сетей является граф, в котором вершинами являются фрагменты знаний, представимые в виде идеала конъюнктов. При этом

каждому конъюнкту приписывается скалярная или интервальная оценка вероятности. Последняя особенность сети позволяет учитывать пропущенные значения, за счет чего и появляются интервалы истинности (подробнее описано в работе [16]). Возможны альтернативные модели алгебраических байесовских сетей, в которых элементами являются пропозиции-дизъюнкты или пропозиции-кванты [15-17].

р(и^) = 0,16 р(н^) = 0,05

р(уН) = 0,2 р(у|н) = 0,02

0,01

р(х|у) = 0,1 р(х|у) = 0,001

р(г|и>х) = 0,95 р(^^х) = 0,25 р(г|Нх) = 0,91 р(г|Нх) = 0,02

Рис. 3. Байесовская сеть доверия V, н, х, у, г — атомарные пропозициональные формулы, над которыми построена

сеть, V, и, х — их отрицания)

Байесовская сеть доверия (рис. 3) представляет собой направленный граф, в котором каждой вершине соответствует случайный элемент. Связь между элементами базируется на условных вероятностях, находящих свое отражение в графической структуре сети.

Особенности структуры байесовских сетей доверия, в том числе скалярные оценки и условные зависимости от вершин-предков, делают процесс изолированного слияния таких сетей невозможным.

Слияние алгебраических байесовских сетей

Формализуем задачу слияния в рамках теории алгебраических байесовских сетей.

Предположим, что имеется некоторый объект (источник информации), данные о котором поступают по различным каналам (рис. 4). На основе полученных данных строятся две алгебраические байесовские сети. Для того чтобы сконцентрироваться на проблемах слияния, а не структурного синтеза, в контексте данной статьи эти сети представлены в виде фрагментов знаний. При этом часть информации, получаемой как по первому, так и по второму каналу, характеризует одни и те же свойства объекта. Поскольку оба фрагмента знаний частично описывают один объект, возникает желание построить на их основе единую алгебраическую байесовскую сеть. Данная задача решается в представленной работе путем выделения и формализации трех способов слияния алгебраических байесовских сетей.

Источник информации

Канал 1 информации

Канал 2 информации

1

Фрагмент знаний 1

I

Фрагмент знаний 2

Рис. 4. Схематичное изображение каналов информации

Также стоит отметить, что изначально суммарное число элементов во фрагментах знаний будет 2п + 2ш, где ш и п — число атомов в каждом из фрагментов знаний. Данный параметр важен, поскольку сложность операций логико-вероятностного вывода зависит от числа элементов в сети. В статье используется сложившаяся система терминов и обозначений [15-17].

Изолированные слияния фрагментов знаний

Введем определение изолированных слияний алгебраических байесовских сетей, т.е. таких слияний, при которых в сети не происходит добавления новых элементов. Первое определение будет дано в развернутом виде, в то время как остальные — в более лаконично в силу сходства их структуры. Пересечение и объединение оценок вероятности истинности элементов схематично представлено на рис. 5.

Определение 1.

Строгим подпирающим слиянием (СП-слиянием) фрагментов знаний назовем процесс объединения двух фрагментов знаний в единую алгебраическую байесовскую сеть, при котором атомы из разных фрагментов знаний (ровно как и все элементы фрагментов знаний, включающие в себя данные атомы и входящие в оба фрагмента знаний элементы), характеризующие одно и то же свойство объекта, в алгебраической байесовской сети представляются в виде одного соответствующего атома (элемента), имеющего оценку вероятности истинности, полученную путем пересечения оценок вероятности истинности исходных атомов (элементов), после которого поддерживается подпирающая непротиворечивость [19].

Определение 2.

Строгим накрывающим слиянием (СН-слиянием) фрагментов знаний назовем процесс объединения двух фрагментов знаний, при котором оценки в получаемой сети являются пересечениями исходных оценок, а после объединения поддерживается накрывающая непротиворечивость [19].

Определение 3.

Мягким подпирающим слиянием (МП-слиянием) фрагментов знаний назовем процесс объединения двух фрагментов знаний, при котором оценки в получаемой сети являются объединениями исходных оценок, а после объединения поддерживается подпирающая непротиворечивость [19].

Определение 4.

Мягким накрывающим слиянием (МН-слиянием) фрагментов знаний назовем процесс объединения двух фрагментов знаний, при котором оценки в получаемой сети являются объединениями исходных оценок, а после объединения поддерживается накрывающая непротиворечивость [19].

О О

[0,5; 0,9] [0,2; 0,7]

I

О

[0,5; 0,7]

о о

[0,5; 0,9] [0,2; 0,7]

о

[0,2; 0,9]

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рис. 5. Пример пересечения (а) и объединения (б) оценок вероятности истинности элементов

Принципиальное различие между строгими и мягкими слияниями заключается в отношении к достоверности каналов информации. В случае, когда оба канала гарантируют корректность представленных границ оценок («Вероятность строго лежит в данном интервале» - было заявлено экспертами), используется строгое слияние. В случае, когда уверенности в корректности границ оценок нет (эксперты сообщили: «Предположительно, вероятность имеет следующие верхние и нижние границы»), используется мягкое слияние.

Схематично изолированные слияния приведены на рис. 6 (стоит отметить, что на них также изображены пустые конъюнкты, изображение которых обычно опускается).

Ю РсЫ

Рей рй(хуг)

■)О ру)

Рй

)рй(^ху) ОЫХ^)

Р01 (^ХГ^р02(Ху^р0(х2К) Р0у) )Р01(У) Ср02(х) 0р02(у) ОР0(2) 1Р0^Х) ОР0(хуг)

Ру) )Р(?)

Рис. 6. Схема изолированных слияний с 1 (а) и с 2 (б) атомами на пересечениях

В силу идентичности структур, получаемых при изолированном слияний сетей, приведенное ниже утверждение сформулировано сразу для всех четырех подтипов слияний. Утверждение

Число элементов в полученной сети при подпирающем (накрывающем) слиянии 2п + 2т - 2к, где к — число атомов, общих во фрагментах знаний (рис. 7).

Рис. 7. Обозначение числа атомов

Сформулируем теорему о сложности поддержания интернальной непротиворечивости полученной алгебраической байесовской сети, как одной из наиболее важных степеней подпирающей непротиворечивости [18].

Теорема.

При поддержании интернальной непротиворечивости сети, полученной при изолированном слиянии фрагментов знаний, содержащих т и п атомов и имеющих к общих атомов, задачи линейного программирования будет иметь:

1) 2п + 2т - 2к - 1 переменных;

2) 2п+1 + 2т+1 - 2к+1 - 2 условий из предметной области;

3) 2п+1 + 2т+1 - 2к+1 условий, накладываемых аксиоматикой теорией вероятностей [15];

4) кроме того, при поддержании интернальной непротиворечивости необходимо будет решить 2п+1 + 2т+1 - 2к+1 задач линейного программирования.

Доказательство. Доказательство теоремы базируется на теоремах из [18].

Пункт 1 теоремы объясняется тем, что число переменных в задачах линейного программирования равно числу различных элементов в сети, т.е. опираясь на приведенное выше утверждение, 2п + 2т - 2к - 1 (-1 соответствует двум совпадающим «пустым» элементам).

Пункт 2 теоремы следует, учитывая первый пункт, из того, что каждому элементу соответствует два условия из предметной области.

Пункт 3 теоремы доказывается следующим образом: число условий из теории вероятностей для каждого из фрагментов знаний будет 2п и 2т. При этом условия для фрагмента знаний на пересечениях будут совпадать, число таких условий 2к. Отсюда общее число условий из теории вероятностей 2п+1 + 2т+1 - 2к+1.

Пункт 4 теоремы следует из первого пункта и того факта, что при поддержании непротиворечивости задача линейного программирования решается два раза относительно каждой переменной.

Конец доказательства.

Подпирающее и накрывающее слияния фрагментов знаний позволяют обобщить информацию о взаимосвязях между элементами. Стоит отметить, что при корректном построении оценок и выборе каналов информации без потерь не может иметь место ситуация, когда произвести СП-слияние невозможно (т. е. когда оценки вероятности элементов во фрагментах знаний представляют собой непересекающиеся интервалы). Этот факт объясняется тем, что оба фрагмента знаний описывают один и тот же непротиворечивый по своей природе объект. Наличие подобных «ошибок» говорит о неполноте данных или некорректности каналов информации, или об их интерпретации, как каналов без потерь информации. Кроме того, данный подход позволяет «сэкономить» на вычислительных мощностях за счет отсутствия дополнительных элементов в сети.

Пример слияния

Приведем пример слияния на выборке, теоретическое распределение вероятности которой задано: возьмем одну из самых простых по структуре алгебраическую байесовскую сеть, состоящую из двух фрагментов знаний (рис. 8) с изначально непротиворечивыми скалярными оценками вероятности истинности элементов. Для представленной сети сгенерируем начальный датасет из 10 выборочных элементов — наборов означиваний, на которых могла быть обучена данная сеть (табл. 3).

р(хуУ) = 0,4 р(уг) = 0,1

Рис. 8. Алгебраическая байесовская сеть со скалярными оценками, на основе которой генерировался датасет

Таблица 3. Начальный датасет

х у 2

1 0 1

0 1 0

1 1 0

1 1 0

0 1 0

0 1 1

1 1 0

0 1 0

1 1 0

0 0 1

Далее разделим датасет на два: для обучения первого и второго фрагментов знаний отдельно. Случайным образом добавим шум (пропуски) в полученные датасеты (табл. 4) и обучим на них два фрагмента знаний (рис. 9). Полученные вероятности обозначим р1 и р2 для атома у в первом и фтором фрагменте знаний соответственно и р0 для остальных элементов.

Таблица 4. Датасеты для обучения фрагментов знаний с шумами

х у у 2

* 0 1 *

* 1 * *

1 * * 0

1 * * 0

0 * 1 0

0 1 1 *

* * 1 0

0 1 * *

1 1 * 0

0 0 * 1

а р0(ху) = [0,1; 0,5] б Лра(уг) = [0; 0,4]

)р1(у) = [0,4; 0,8] ^ р2(у) = [0,3; 0,9] р„(г) = [0,1; 0,5]

Рис. 9. Обученные на датасетах с шумами фрагменты знаний: а — с переменными х, у; б — с переменными у, г

На финальном этапе произведем их СП- и МН-слияние. Результат приведен на рис. 10. Отметим, что исходные параметры (параметры исходной сети) накрываются соответствующими интервальными оценками в сети, сформированной в результате обучения и слияния.

р(уг) = [0; 0,4]

р(г) = [0,1; 0,5]

)р(г) = [0,1; 0,5]

Рис. 10. Результат СП-слияния (а) и МН-слияния (б) фрагментов знаний

а

б

Заключение

Одной из основных задач машинного обучения является построение наиболее точных и корректных суждений с максимальным учетом доступной информации. Вопросы слияния моделей, обученных на неполной информации из различных каналов данных, тесно ассоциированы с данной задачей.

В статье были сформулированы подходы к изолированным слияниям фрагментов знаний, утверждения о числе элементов в получаемой сети и сложности поддержания ее интернальной непротиворечивости. Дальнейшими работами в данном направлении является изучение путей слияния структурно более сложных сетей, а также возможности использования описанных подходов в рамках применения алгебраических байесовских сетей в исследованиях, посвященных социоинженерным атакам [23, 24].

Литература

1. Ackland G.J., Chattoe-Brown E., Hamill H., Hampshire K.R., Mariwah S., Mshana G. The role of trust in a self-organising pharmaceutical supply chain model with variable drug quality and imperfect information // Journal of Artificial Societies and Social Simulation. 2019. V. 22. N 2. doi: 10.18564/jasss.3984

2. Asher N., Paul S. Strategic conversations under imperfect information: epistemic message exchange games // Journal of Logic, Language and Information. 2018. V. 27. N 4. P. 343-385. doi: 10.1007/s10849-018-9271-9

3. Zolotin A.A., Tulupyev A.L. Sensitivity statistical estimates for local a posteriori inference matrix-vector equations in algebraic Bayesian networks over quantum propositions // Vestnik St. Petersburg University-Mathematics. 2018. V. 51. N 1. P. 4248. doi: 10.3103/S1063454118010168

4. Kharitonov N.A., Tulupyev A.L., Zolotin A.A. Software implementation of reconciliation algorithms in algebraic Bayesian networks // Proc. 20th Int. Conf. on Soft Computing and Measurements, SCM 2017. St. Petersburg, Russia, 2017. P. 8-10.

5. Kou F.F., Du J.P., Yang C.X., Shi Y.S., Liang M.Y., Xue Z., Li H.S. A multi-feature probabilistic graphical model for social network semantic search // Neurocomputing. 2019. V. 336. P. 6778. doi: 10.1016/j.neucom.2018.03.086

6. Ramazzotti D., Nobile M.S., Antoniotti M., Graudenzi A. Efficient computational strategies to learn the structure of probabilistic graphical models of cumulative phenomena // Journal of Computational Science. 2019. V. 30. P. 1-10. doi: 10.1016/j.jocs.2018.10.009

7. Tai W.P., Teng Q.Y., Zhou Y.M., Zhou J.P., Wang Z. Chaos synchronization of stochastic reaction-diffusion time-delay neural networks via non-fragile output-feedback control // Applied Mathematics and Computation. 2019. V. 354. P. 115-127. doi: 10.1016/j.amc.2019.02.028

8. Dey M., Rana S.P., Siarry P. A robust FLIR target detection employing an auto-convergent pulse coupled neural network // Remote Sensing Letters. 2019. V. 10. N 7. P. 639-648. doi: 10.1080/2150704X.2019.1597296

9. Li J.J., Song G.B., Semakula H.M., Zhang S.S. Climatic burden of eating at home against away-from-home: A novel Bayesian Belief Network model for the mechanism of eating-out in urban China // Science of the Total Environment. 2019. V. 650. P. 224232. doi: 10.1016/j.scitotenv.2018.09.015

10. Li X.D., Tang W.Y. Structural risk analysis model of damaged membrane LNG carriers after grounding based on Bayesian belief networks // Ocean Engineering. 2019. V. 171. P. 332-344. doi: 10.1016/j.oceaneng.2018.10.047

11. Prishchepov A.V., Ponkina E., Sun Z.L., Muller D. Revealing the determinants of wheat yields in the Siberian breadbasket of Russia with Bayesian networks // Land Use Policy. V. 80. P. 21-31. doi: 10.1016/j.landusepol.2018.09.038

12. Don M.G., Khan F. Dynamic process fault detection and diagnosis based on a combined approach of hidden Markov and Bayesian network model // Chemical Engineering Science. 2019. V. 201. P. 82-96. doi: 10.1016/j.ces.2019.01.060

13. Baggenstoss P.M. On the duality between belief networks and feed-forward neural networks // IEEE Transactions on Neural Networks and Learning Systems. 2019. V. 30. N 1. P. 190-200. doi: 10.1109/TNNLS.2018.2836662

14. Marcot B.G., Penman T.D. Advances in Bayesian network modelling: Integration of modelling technologies //

References

1. Ackland G.J., Chattoe-Brown E., Hamill H., Hampshire K.R., Mariwah S., Mshana G. The role of trust in a self-organising pharmaceutical supply chain model with variable drug quality and imperfect information. Journal of Artificial Societies and Social Simulation, 2019, vol. 22, no. 2. doi: 10.18564/jasss.3984

2. Asher N., Paul S. Strategic conversations under imperfect information: epistemic message exchange games. Journal of Logic, Language and Information, 2018, vol. 27, no. 4, pp. 343385. doi: 10.1007/s10849-018-9271-9

3. Zolotin A.A., Tulupyev A.L. Sensitivity statistical estimates for local a posteriori inference matrix-vector equations in algebraic Bayesian networks over quantum propositions. Vestnik St. Petersburg University-Mathematics, 2018, vol. 51, no. 1, pp. 42-48. doi: 10.3103/S1063454118010168

4. Kharitonov N.A., Tulupyev A.L., Zolotin A.A. Software implementation of reconciliation algorithms in algebraic Bayesian networks. Proc. 20th Int. Conf. on Soft Computing and Measurements, SCM 2017. St. Petersburg, Russia, 2017, pp. 8-10.

5. Kou F.F., Du J.P., Yang C.X., Shi Y.S., Liang M.Y., Xue Z., Li H.S. A multi-feature probabilistic graphical model for social network semantic search. Neurocomputing, 2019, vol. 336, pp. 67-78. doi: 10.1016/j.neucom.2018.03.086

6. Ramazzotti D., Nobile M.S., Antoniotti M., Graudenzi A. Efficient computational strategies to learn the structure of probabilistic graphical models of cumulative phenomena. Journal of Computational Science, 2019, vol. 30, pp. 1-10. doi: 10.1016/j.jocs.2018.10.009

7. Tai W.P., Teng Q.Y., Zhou Y.M., Zhou J.P., Wang Z. Chaos synchronization of stochastic reaction-diffusion time-delay neural networks via non-fragile output-feedback control. Applied Mathematics and Computation, 2019, vol. 354, pp. 115-127. doi: 10.1016/j.amc.2019.02.028

8. Dey M., Rana S.P., Siarry P. A robust FLIR target detection employing an auto-convergent pulse coupled neural network. Remote Sensing Letters, 2019, vol. 10, no. 7, pp. 639-648. doi: 10.1080/2150704X.2019.1597296

9. Li J.J., Song G.B., Semakula H.M., Zhang S.S. Climatic burden of eating at home against away-from-home: A novel Bayesian Belief Network model for the mechanism of eating-out in urban China. Science of the Total Environment, 2019, vol. 650, pp. 224232. doi: 10.1016/j.scitotenv.2018.09.015

10. Li X.D., Tang W.Y. Structural risk analysis model of damaged membrane LNG carriers after grounding based on Bayesian belief networks. Ocean Engineering, 2019, vol. 171, pp. 332344. doi: 10.1016/j.oceaneng.2018.10.047

11. Prishchepov A.V., Ponkina E., Sun Z.L., Muller D. Revealing the determinants of wheat yields in the Siberian breadbasket of Russia with Bayesian networks. Land Use Policy, vol. 80, pp. 21-31. doi: 10.1016/j.landusepol.2018.09.038

12. Don M.G., Khan F. Dynamic process fault detection and diagnosis based on a combined approach of hidden Markov and Bayesian network model. Chemical Engineering Science, 2019, vol. 201, pp. 82-96. doi: 10.1016/j.ces.2019.01.060

13. Baggenstoss P.M. On the duality between belief networks and feed-forward neural networks. IEEE Transactions on Neural Networks and Learning Systems, 2019, vol. 30, no. 1, pp. 190200. doi: 10.1109/TNNLS.2018.2836662

14. Marcot B.G., Penman T.D. Advances in Bayesian network modelling: Integration of modelling technologies. Environmental

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Environmental Modelling and Software. 2019. V. 111. P. 386393. doi: 10.1016/j.envsoft.2018.09.016

15. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006. 607 с.

16. Тулупьев А.Л., Сироткин А.В., Николенко С.И. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах. СПб: СПбГУ, 2009. 400 с.

17. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Основы теории байесовских сетей: учебник. СПб.: СПбГУ, 2019. 399 с.

18. Харитонов Н.А. Поддержание интернальной непротиворечивости алгебраических байесовских сетей с линейной и звездчатой структурой // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 6. С. 1108-1117. doi: 10.17586/2226-1494-2018-186-1108-1117

19. Тулупьев А.Л. Алгебраические байесовские сети: логико-вероятностная графическая модель баз фрагментов знаний с неопределенностью: дис. ... д-ра физ.-мат. наук. СПб.: СПбГУ, 2009. 670 с.

20. Tulupyev A., Kharitonov N., Zolotin A. Algebraic Bayesian networks: Consistent fusion of partially intersected knowledge systems // CEUR Workshop Proceedings. 2018. V. 2258. P. 109115.

21. Levenets D.G., Zotov M.A., Romanov A.V., Tulupyev A.L., Zolotin A.A., Filchenkov A.A. Decremental and incremental reshaping of algebraic Bayesian networks global structures // Proc. 1st Int. Scientific Conference on Intelligent Information Technologies for Industry (IITI'16). Sochi, Russia, 2016. P. 57-67. doi: 10.1007/978-3-319-33816-3_6

22. Malinowski G. Kleene logic and inference // Bulletin of the Section of Logic. 2014. V. 43. N 1/2. P. 43-52.

23. Абрамов М.В. Автоматизация анализа социальных сетей для оценивания защищённости от социоинженерных атак // Автоматизация процессов управления. 2018. № 1(51). С. 34-40.

24. Багрецов Г.И., Шиндарев Н.А., Абрамов М.В., Тулупьева Т.В. Подходы к автоматизации сбора, структурирования и анализа информации о сотрудниках компании на основе данных социальной сети // Труды VII всероссийской научно-практической конференции «Нечеткие системы, мягкие вычисления и интеллектуальные технологии» НСМВИТ-2017. СПб., 2017. Т. 1. С. 9-16.

Modelling and Software, 2019, vol. 111, pp. 386-393. doi: 10.1016/j.envsoft.2018.09.016

15. Tulup'ev A.L., Nikolenko S.I., Sirotkin A.V. Bayesian Networks: Logical-Probabilistic Approach. St. Petersburg, Nauka Publ., 2006, 607 p. (in Russian)

16. Tulup'ev A.L., Sirotkin A.V., Nikolenko S.I. Bayesian Belief Networks: Logical-Probabilistic Inference in the Acyclic Directed Graph. St. Petersburg, SPbSU Publ., 2009, 400 p. (in Russian)

17. Tulupyev A.L., Nikolenko S.I., Sirotkin A.V. Fundamentals of the Theory of Bayesian Networks: A Textbook. St. Petersburg, SPbSU Publ., 2019, 399 p. (in Russian)

18. Kharitonov N.A. Maintaining of internal consistency of algebraic bayesian networks with linear and stellate structure. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 6, pp. 1108-1117. doi: 10.17586/2226-1494-2018-18-6-1108-1117

19. Tulup'ev A.L. Algebraicheskie Baiesovskie Seti: Logiko-Veroyatnostnaya Graficheskaya Model'Baz Fragmentov Znanii s Neopredelennost'yu. Dis. dr. fiz.-mat. nauk [Algebraic Bayesian networks: a logical-probabilistic graphical model of knowledge bases with uncertainty. Diss. Dr. in Phys.-Math. Sci.]. St. Petersburg, SPbGU, 2009, 670 p.

20. Tulupyev A., Kharitonov N., Zolotin A. Algebraic Bayesian networks: Consistent fusion of partially intersected knowledge systems. CEUR Workshop Proceedings, 2018, vol. 2258, pp. 109-115.

21. Levenets D.G., Zotov M.A., Romanov A.V., Tulupyev A.L., Zolotin A.A., Filchenkov A.A. Decremental and incremental reshaping of algebraic Bayesian networks global structures. Proc. 1st Int. Scientific Conference on Intelligent Information Technologies for Industry, IITI'16. Sochi, Russia, 2016, pp. 57-67. doi: 10.1007/978-3-319-33816-3_6

22. Malinowski G. Kleene logic and inference. Bulletin of the Section of Logic, 2014, vol. 43, no. 1/2, pp. 43-52.

23. Abramov M.V. Automating the analysis of social networks for assessing security from socio-engineering attacks. Automation of Management Processes, 2018, no. 1, pp. 34-40. (in Russian)

24. Bagretsov G.I., Shindarev N.A., Abramov M.V., Tulupyeva T.V. Approaches to automate the collection, structuring and analysis of information about company employees based on social network data. Proc. 7th All-Russian Scientific and Practical Conference on Fuzzy Systems, Soft Computing and Intellectual Technologies, NSMVIT. St. Petersburg, 2017, vol. 1, pp. 9-16. (in Russian)

Авторы

Харитонов Никита Алексеевич — младший научный сотрудник, Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН), Санкт-Петербург, 199178, Российская Федерация; студент, Санкт-Петербургский государственный университет, Санкт-Петербург, 199034, Российская Федерация, Scopus ID: 57195327488, ORCID ID: 0000-0001-7531-941X, nak@dscs.pro

Тулупьев Александр Львович—доктор физико-математических наук, доцент, профессор, Санкт-Петербургский государственный университет, Санкт-Петербург, 199034, Российская Федерация; главный научный сотрудник, Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН), Санкт-Петербург, 199178, Российская Федерация, Scopus ID: 13608565400, ORCID ID: 0000-0003-1814-4646, alt@dscs.pro

Authors

Nikita A. Kharitonov — Junior scientific researcher, Saint Petersburg Institute for Informatics and Automation of the RAS (SPIIRAS), Saint Petersburg, 199178, Russian Federation; student, Saint Petersburg State University, Saint Petersburg, 199034, Russian Federation, Scopus ID: 57195327488, ORCID ID: 0000-0001-7531-941X, nak@dscs.pro

Alexander L. Tulupyev — D.Sc., Associate Professor, Professor, Saint Petersburg State University, Saint Petersburg, 199034, Russian Federation; Chief scientific researcher, Saint Petersburg Institute for Informatics and Automation of the RAS (SPIIRAS), Saint Petersburg, 199178, Russian Federation Scopus ID: 13608565400, ORCID ID: 0000-0003-1814-4646, alt@dscs.pro

i Надоели баннеры? Вы всегда можете отключить рекламу.