CC BY
356
УДК 004.032.26, 004.822.2
ИНТЕГРАЦИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ С БАЗАМИ ЗНАНИЙ
В.А. Головко1, a, B.B. Голенков2,ь, В.П. Ивашенко2,с, В.В. Таберко3,й, Д.С. Иванюк3,е, А.А. Крощенко1,1, М.В. Ковалёв2,8
1 Брестский государственный технический университет, Брест, Республика Беларусь [email protected],f [email protected]
2 Белорусский государственный университет информатики и радиоэлектроник, Минск, Республика Беларусь [email protected], [email protected], [email protected]
3 ОАО «Савушкин продукт», Брест, Республика Беларусь [email protected], [email protected]
Аннотация
Статья посвящена вопросам и направлениям интеграции искусственных нейронных сетей с базами знаний. Рассмотрены два направления интеграции: коммуникация через входы и выходы искусственной нейронной сети с целью использования интеграции баз знаний и искусственных нейронных сетей для решения прикладных задач; через представление искусственных нейронных сетей с помощью онтологических структур и их интерпретацию средствами представления знаний в базе знаний с целью создания интеллектуальной среды по разработке, обучению и интеграции искусственных нейронных сетей, совместимых с базами знаний. Базы знаний, с которыми интегрируются искусственные нейронные сети, построены на основе однородных семантических сетей, а обработка знаний в них осуществляется с помощью многоагентного подхода. Предложена онтологическая модель представления искусственных нейронных сетей и их спецификаций в рамках модели унифицированного семантического представления знаний, отличающаяся возможностью представления в базах знаний искусственных нейронных сетей, их динамики и знаний других видов, включая спецификации искусственных нейронных сетей в виде текстов одного языка представления знаний с общей теоретико-модельной семантикой. Предложена многоагентная модель решения задач с использованием искусственных нейронных сетей и знаний других видов, отличающаяся взаимодействием агентов в соответствии с заданной темпоральной моделью через общую память, хранящую знания, интегрированные в единую базу знаний.
Ключевые слова: искусственные нейронные сети, база знаний, интеграция, интеллектуальная среда разработки.
Цитирование: Головко, В.А. Интеграция искусственных нейронных сетей с базами знаний / В.А. Головко, В.В. Голенков, В.П. Ивашенко, В.В. Таберко, Д.С. Иванюк, A.A. Крощенко, М.В. Ковалёв // Онтология проектирования. - 2018. - Т. 8, №3(29). - С.366-386. - DOI: 10.18287/2223-9537-2018-8-3-366-386.
Введение
В задачах, решаемых современными интеллектуальными системами (ИС), используют различных модели представления знаний. Интеграция моделей такого рода в рамках одной системы зачастую сопряжена со значительными трудностями.
К одному из наиболее активно развиваемых направлений в области искусственного интеллекта относится направление, связанное с решением задач на основе методов машинного обучения. Популярность методов решения задач на основе машинного обучения в значительной степени вызвана развитием теоретических моделей искусственных нейронных сетей (ИНС) и производительных аппаратных платформ для их реализации. Постоянно увеличивается многообразие архитектур, методов, направлений и способов применения ИНС.
Становится актуальной разработка подходов по интеграции ИНС и баз знаний (БЗ), использующих онтологии. Такие интегрированные системы способны сочетать возможность семантической интерпретации обрабатываемых ИНС данных, используя представление прикладных задач, решаемых ИНС, спецификацию её входных и выходных данных с представлением самой структуры ИНС, описанием её свойств и состояний, позволяющим упростить понимание её работы.
1 Искусственные нейронные сети и знания
Появление ИНС связывают с работами У. Мак-Каллока и У. Питтса [1], в которых, однако, предпочитается термин сетъ нейронов. Термин «нейронная сеть» («нейронная сетка») закрепился, начиная с работ К. Фукусимы [2].
Особенный интерес имеет применение глубоких нейронных сетей для формирования абстракций. Эти сети обладают преимуществом, отличающим их от поверхностных моделей -возможность формирования сложной иерархии признаков [3]. Впервые эффективный алгоритм обучения глубоких нейронных сетей был предложен Дж. Хинтоном в 2006 году [4]. Начиная с этого момента, появилось много работ, посвящённых обучению такого типа сетей (например, [5, 6]). Были предложены и принципиально иные подходы (см., например, [7, 8]).
В данной работе рассматриваются ИНС, построенные на основе понятия формального нейрона [9]. Формальный нейрон задаётся композицией двух функций:
■ функция синаптического преобразования;
■ функция активации нейрона.
ИНС на основе формальных нейронов задаётся четвёркой компонентов:
■ множество вершин нейронной сети (V);
■ множество рёбер нейронной сети (Е (Е С V х V));
■ множество формальных нейронов, их свойств и параметров нейронной сети (К);
■ множество соответствий между объединением множеств вершин и рёбер нейронной сети и множеством формальных нейронов, их свойств и параметров нейронной сети S.
(1) s с 2(уиЕ)хК
ИНС можно соотносить с понятием знания в соответствии с разными подходами к пониманию знаний. Соотнесение на основе признаков [10]:
■ связность (ИНС имеют связный ориентированный граф, но не всегда сильносвязный);
■ сложная структура (существуют ИНС со сложной структурой, состоящей из множества слоёв, вершин нейронной сети и обратных связей);
■ интерпретируемость (программные реализации ИНС позволяют их интерпретировать);
■ активность (программные реализации ИНС обладают активностью);
■ семантическая метрика (семантическая метрика в общем виде и случае для (вершин) ИНС отсутствует).
В соответствии с IDEF-5 [11] знания выражаются в виде отношений, свойств, видов и атрибутов. В соответствии с этим у ИНС есть только числовые атрибуты и возможно, иногда, виды и отношения, заданные с помощью характеристических функций (предикатов). Однако, в общем случае характеристические функции не определены и не известны.
С точки зрения структурного подхода ИНС - математическая структура (модель), соответствующая принципам коннекционизма, которая соответствует информационному процессу, протекающему в технической (кибернетической) системе, выражаемому в виде соответствия или функции.
С прагматико-математической точки зрения данные, обрабатываемые ИНС, есть элементы некоторого множества, зачастую интерпретируемые как признаковый набор (образ, атри-
буты некоторой сущности), а само множество - как признаковое (векторное) пространство. Под признаком понимается числовой, количественный атрибут объекта, сущности, который может быть выражен, задан с помощью соответствия или функции. Различают бинарные, номинальные, порядковые и количественные признаки.
2 Классификация задач, решаемых ИНС
Задачу можно задать отношением между описанием исходной ситуации и описанием множества целевых ситуаций. Классифицировать задачи можно в соответствии с разными признаками. Исходя из общеметодологических принципов, можно выделить признаки классов задач, которые удобно решать с помощью ИНС:
■ трудноформализуемые задачи, решение которых обладает естественным (векторным) параллелизмом или параллелизмом данных;
■ задачи, решение которых устойчиво к наличию НЕ-факторов в данных и знаниях. Перечислим возможные признаки классов задач, которые невыгодно решать только с
помощью ИНС:
■ сложное концептуальное описание в задаче;
■ наличие НЕ-факторов и неустойчивость решения к ним;
■ преобладание сложно описываемых последовательных процессов в решении задачи;
■ необходимость интроспективного анализа и объяснения полученных результатов в сложных ИНС.
Накопленный опыт показывает, что ИНС успешно применяются для решения задач следующих видов (см. таблицу 1).
Таблица 1 - Классификация видов задач, решаемых с применением ИНС
Концептуально-прагматическая классификация Математическая классификация
аппроксимация:
управление процессами - оптимизация
прогнозирование - экстраполяция
генерация образов
сопоставление образов
выявление аномальных явлений
логический вывод логический вывод:
трансляция образов:
- кластеризация образов - векторное квантование
- сжатие образов - понижение размерности
- линейное разделение образов - повышение размерности
- ассоциирование образов:
- классификация образов
- распознавание образов
Среди классов задач можно выделить классы задач, условно являющиеся специализированно-прикладными, и классы задач, условно являющиеся абстрактно-фундаментальными [12].
3 Интеграция ИНС с базами знаний при решении прикладных задач
ИС с БЗ при решении прикладных задач с помощью нейросетевых алгоритмов могут использоваться как для внутренних задач, таких как обучение нейронной сети или оптимизация её работы, так и для решения целевой задачи путём обработки входных и выходных пара-
метров ИНС. Такие ИС могут использовать нейросетевые методы наравне с другими имеющимися в системе методами для решения только одной, выделенной системой из подзадач, при решении какой-либо прикладной задачи.
Далее будут рассмотрены примеры применения интеграции ИНС с БЗ при решении прикладных задач.
3.1 Интеграция нейронных сетей с базами знаний в системе распознавания маркировки продукции в ОАО «Савушкин продукт»
Одной из производственных задач в ОАО «Савушкин продукт» является задача распознавания маркировки продукции [13]. На базе ИНС [14, 15] разрабатывается модуль, который анализирует изображение с камеры, находящейся над конвейером (рисунок 1), которая распознаёт нанесённую на крышку маркировку - строку с датой изготовления и сроком годности (рисунок 2).
Рисунок 1 - Конвейер с блоком камеры
Рисунок 2 - Бутылка с йогуртом с маркированными крышками
Простейший способ интеграции данного модуля в систему розлива предполагает приостановку конвейера и уведомление об этом инженера КИПиА (Контрольно Измерительные Приборы и Автоматика) посредством аварийной звуковой и световой сигнализации, если модулем будет обнаружено п (например, 5) подряд идущих бутылок с ошибкой распознавания маркировки. Он должен определить причину неисправности и её устранить. В этом случае данный модуль распознаёт строку и передаёт результат в БЗ, в которой действие осуществляется согласно следующим правилам:
■ если распознанная строка не совпадает с эталонной и это единичный случай, то надо просто эту бутылку отбраковать (при наличии модуля отбраковки);
■ если распознанная строка пустая, и это повторяется для п подряд идущих бутылок, то надо остановить конвейер и уведомить инженера КИПиА о необходимости заправить принтер чернилами, которые закончились;
■ если распознанная строка не пустая, но не совпадает с эталонной, и это повторяется для п, то надо остановить конвейер и уведомить инженера КИПиА о необходимости очистить печатающий блок принтера, в котором забились сопла.
Таких правил может быть много. Кроме того, необходимо иметь возможность их просматривать и редактировать (возможно, даже инженером КИПиА).
Так как постоянно меняется потребительская упаковка (и маркировка), возникает вопрос: кто и как будет производить настройку данной системы на новый вид маркировки? Предположим, сегодня печатаются арабские цифры, а завтра маркировать продукцию нужно будет римскими цифрами. Что необходимо для этого сделать - сформировать обучающую выборку, обучить новую ИНС, запустить её. Такую работу не может выполнить инженер КИПиА (недостаточно знаний в данной области). Но если будет существовать некоторый
посредник между ними в виде ИС, то тогда все может выглядеть так: ИС получает от нейронной сети информацию о том, что не удаётся распознать надписи, а от пользователя (инженер КИПиА) информацию о том, что всё в порядке и просто запущен новый вид маркировки, тогда она самостоятельно может выполнить перечисленные ранее задачи для адаптации модуля распознавания к новой упаковке.
3.2 Применение ИНС для поддержки и актуализации базы знаний
Сегодня исследователями в области ИНС предлагаются архитектуры, состоящие из сетей различных типов. Один из путей интеграции ИНС и БЗ лежит в плоскости использования таких архитектур-гибридов, формирующих систему обработки потоков знаний для решения сложных задач. Примером такой структуры является гибридная сеть, использующая свёрточные нейронные сети (CNN - convolutional neural network) и рекуррентные LSTM-сети (long short-term memory) [16]. Схема подобной нейросетевой модели LRCN (Long-term Recurrent Convolutional Network), представлена на рисунке 3.
Рисунок 3 - Долгосрочная рекуррентная свёрточная сеть [16]
Здесь фактически представлено два различных варианта такой архитектуры, каждый из которых решает свою задачу. Первый вариант предполагает усреднение результатов работы LSTM-сети и получение компактного описания производимого действия. Такой результат можно рассматривать как распознавание действия, представленного последовательностью изображений. Во втором варианте осуществляется последовательное применение LSTM-сети для формирования текстового описания к изображению. В обоих вариантах задействовано два типа нейросетевой архитектуры. Первый тип - CNN, которая обрабатывает исходное подаваемое на вход изображение и формирует признаки. Второй тип - LSTM-сеть, принимающая на вход признаки и генерирующая текстовое описание. В соответствии с классификацией, приведённой в разделе 2, такая задача относится к задачам распознавания образов (1-й вариант модели) и задачам генерации образов (2-й вариант модели).
Итоговое текстовое описание, полученное с помощью LRCN, может быть проанализировано, сформулировано в виде правила и интегрировано в семантическую сеть. Семантическая сеть осуществляет накопление полученных знаний в виде конкретных объектов и связей между ними и способна в дальнейшем выполнять логические заключения. Помимо анализа изображений, похожая архитектура применяется для формирования текстовых описаний видеопотока.
Другой вариант использования базируется на применении в качестве базового подхода метода word2vec [17]. Этот метод позволяет осуществлять семантический анализ текста с выделением наиболее близких по смыслу слов. В основе метода лежит использование про-
стой по своей структуре многослойной нейронной сети, которая осуществляет формирование контекста на основе одного целевого слова (вариант skip-grams - рисунок 4 [17]), либо формирование целевого слова на основе передаваемого контекста (вариант CBOW - Continuous Bag of Words).
Под контекстом понимается совокупность слов (слева и справа), окружающая целевое слово, взятая в пределах определённого окна. В результате обученная ИНС осуществляет отображение слова, записанного в виде унитарного кода (и, соответственно, принадлежащего словарю) в пространство меньшей размерности, которое впоследствии используется для оценки семантической близости слов. Полученное погружение может быть использовано для предсказания семантических отношений. Например, король для королевы то же что отец для ? (king is to queen as father is to ?).
Приведём пример визуализации, полученной для выборки из 100000 англоязычных документов Википедии и общего размера словаря 50000 слов. В эксперименте использовалась упрощённая архитектура skip-grams, включающая 50.000 входных нейронов, соответствующих целевому слову, 300 скрытых и 50000 выходных нейронов, соответствующих контекстному слову. При обучении были сформированы пары слов (целевое слово, контекстное слово), которые подавались на нейронную сеть мини-батчами по 128 пар в каждом. После обучения к редуцированным кодам слов был применен алгоритм t-SNE для уменьшения размерности данных. Полученная двумерная карта семантического сходства изображена на рисунке 5.
Рисунок 4 - Вариант skip-gram
available possible®
home
* popular 0«*га1 common
"order
wife
husband
a, -¿su»*?
SO* - •
court
3se e*
special similar •
differen?
. level total •
ime
Г
new
two
thl
n
hlH
r •
»
s m
own
•present currenlf
former
female male
^ housing
preside^
• royal
member —^ #
membel5 median number
capita •
line household • . family*
species»
individuals •«udenti
bod^ life
supportyse • •
histor
research evelopment • eduction *
court
law aA
un IVI
s
any
m*
ba
education schools
churc£®ciety
commun! house
us states union <¿3%
ty countries é countrf
human naturSl
children
ties es^
, males fem au
version
wa^ P°sitiofi
time periotP
"Hage
cent^iÎ
Г
site
young native
ЙЙег middle h!?ti§gic
free •
local national
daystimes ear's 9
yeai age"
mt
story
boAcfiinn • •
cdp district
%
island
wortd
arÂSffïï
international «
Jtan
albuBCord 50ПЛ •
Рисунок 5 - Карта семантического сходства
square
street
road* route*
lake riv*
sea
Метод ,№Огё2уес может использоваться как для формирования БЗ в определённой ПрО (например, [18]), так и извлечения семантических реляций в общем [19].
По классификации, приведённой в разделе 2, эта задача относится к задачам сжатия (понижения размерности).
3.3 Пример использования базы знаний на этапе обучения ИНС
Вариантом интеграции нейронных сетей с БЗ является использование БЗ при обучении ИНС. При таком подходе БЗ содержит в себе описание ПрО, в рамках которых решается задача, и с их помощью можно определить входные и выходные значения ИНС. С БЗ работает машина обработки знаний, которая сможет интерпретировать хранящиеся правила валидации (проверка на соответствие погружаемого значения некоторым условиям), проверки на непротиворечивость (проверка того, что новые знания не нарушают логические правила, хранящиеся в БЗ) и корректировки (замена одних знаний другими) знаний. Такая интеграция может быть использована для выполнения следующих задач.
■ Валидация и корректировка обучающих, тестовых и экзаменационных выборок. Все элементы выборок погружаются в БЗ, что подразумевает проверку на непротиворечивость. В системе также может храниться набор правил по валидации (тестированию) и корректировке значений признаков входных элементов.
■ Проверка непротиворечивости и корректности выхода ИНС на этапе обучения и осуществление соответствующей корректировки обучения. Обучение ИНС корректируется в зависимости от промежуточных результатов, которые с помощью обращения к БЗ проверяются на валидность и противоречивость. Результат может быть скорректирован, для чего в БЗ должны присутствовать соответствующие правила. В зависимости от результата обращения к БЗ может изменяться алгоритм обучения за счёт прямого учёта семантики.
■ Валидация и корректировка результатов работы обученной ИНС. Результат работы ИНС может проверяться на валидность и противоречивость, а также корректироваться как с помощью правил, использовавшихся во время обучения, так и с помощью другого специализированного набора правил.
Для выполнения этих задач может использоваться как уже готовая БЗ некоторой ИС, так и специально разработанная для обучения конкретной ИНС БЗ.
Рассмотрим предлагаемый метод на примере задачи о классификации. Постановка задачи классификации: имеется группа объектов, у которых выделяются п признаков, необходимо отнести каждый объект к одному из р заданных классов. ИНС обучается на некоторой выборке объектов с известными признаками и в зависимости от типа обучения (с учителем или без) с известной принадлежностью к классу.
Процесс обучения можно улучшить, если описать классы объектов и их признаки в БЗ. К примеру, на этапе обучения без учителя ИНС отнесла объект к некоторому классу ]. Так как в БЗ хранится описание этого класса, можно будет проверить, не противоречит ли значение признаков этого объекта описанию класса, в который его отнесли. И уже зная это, можно будет делать вывод о необходимости и способе корректировки весов ИНС, таким образом расширяя алгоритм обучения.
Возьмём условную задачу определения стиля текста. Имеется текст и автор. Из текста извлекаются такие условные признаки, как средняя длина предложений, средняя длина абзацев, наличие прямой речи, частота использования глаголов и существительных. Необходимо определить, какому из пяти традиционных стилей - разговорный, научный, официально-деловой, публицистический, художественный - принадлежит текст. На рисунке 6 представлено схематическое изображение входов и выходов ИНС, решающей эту задачу.
Каждый элемент обучающей выборки погружается в БЗ. Семантическая окрестность погружённых элементов расширяется уже имеющимися в системе знаниями. На рисунке 7 представлен фрагмент БЗ, описывающий погружённый элемент выборки текстов для определения их стиля. Его семантическая окрестность расширяется уже имеющимися в системе знаниями об авторе текста и стилях, которые он использует в своих текстах.
Эта информация может быть использована для валидации и корректировки результатов ИНС во время обучения. К примеру, во время обучения ИНС определила стиль текста как разговорный. В БЗ имеется правило валидации, при котором тексту можно определить только такой стиль, который уже использовал ранее его автор. Также в системе имеется правило корректировки результата, при котором если определен стиль текста, который автор ранее не использовал, то можно заменить его на схожий, который автор использовал. Из фрагмента БЗ, представленного на рисунке 7, система сможет применить описанные правила валидации и корректировки, и заменить разговорный стиль на наиболее близкий ему художественный. Причём в зависимости от того, были ли применены правила валидации и корректировки и от результатов применения этих правил, может меняться алгоритм пересчета весов в ИНС.
Рисунок 6 - Схематическое изображение входов и выходов искусственной нейронной сети для решения задачи определения стиля текста
Рисунок 7 - Фрагмент БЗ, описывающий погружённый элемент выборки текстов для определения их стиля
Описанный подход поможет увеличить степень учёта семантики во время обучения, отбросить или скорректировать заведомо неудачные элементы выборок, а также проверить результат работы ИНС на правдоподобность.
4 Интеллектуальная среда
Интеллектуальная среда - это набор инструментов, способный осуществлять автоматический подбор параметров используемой модели в зависимости от решаемой задачи с минимальным участием конечного пользователя. Такая система способна помочь людям, не являющимися специалистами в области машинного обучения и нейронных сетей, успешно применять последние разработки в своей сфере деятельности.
Успехи в разработке высокоуровневых фреймворков последних лет связаны с возможностями использования в качестве аппаратной платформы для расчётов видеокарт (GPU), а также со способностью выполнять параллелизацию вычислений на разные устройства как одного компьютера, так и целого кластера компьютеров [20].
Известно большое количество различных библиотек, позволяющих успешно внедрять решения на основе интеллектуальных алгоритмов. Однако для этого необходимо иметь набор знаний и навыков, позволяющий модифицировать и улучшать стандартные решения. Выделим часто используемые фреймворки [21].
TensorFlow - одна из самых популярных на настоящий момент библиотек. Была разработана подразделением Google (2015). Позволяет запускать модели на нескольких CPU- и GPU-устройствах (хорошо масштабируется). Доступна для разных платформ, поддерживает разные языки программирования (C++, R, Python).
Caffe/Caffe2 - одна из первых библиотек глубокого обучения. Написана на С++, имеет интерфейс на Python. В основном ориентирована на обучение и использование моделей, построенных на свёрточных и многослойных сетях. Создано большое количество предобучен-ных архитектур для Caffe. Facebook в 2017 году предложил новую версию Caffe2, которая предлагает большую гибкость в построении высокопроизводительных глубоких моделей.
Theano - одна из первых библиотек, реализующих алгоритмы глубокого обучения. Пользуется устойчивой популярностью у специалистов в области глубокого обучения. Часто используется как нижележащий фреймворк для многих высокоуровневых библиотек, которые предоставляют API-обертки (к примеру, Keras).
Keras - предоставляет упрощённый интерфейс для работы с Theano, Tensotflow или CNTK. Очень простой в изучении и использовании. Хорошо документирован. Позволяет описать создание и обучение ИНС в нескольких строчках кода. Написан на Python.
Torch - фреймворк, базирующийся на Lua. Возможно использование библиотек С/С++ и CUDA. Очень простая библиотека, процесс построения моделей максимально упрощен. Есть более современная реализация на Python, называющаяся PyTorch.
Отметим также другие фреймворки, которые активно используются. Это Microsoft CNTK, MXNet и базирующийся на нем Gluon, ONNX, выпущенный в сентябре 2017 года и представляющий собой открытый формат для представления глубоких нейронных моделей.
Основной недостаток разрабатываемых фреймворков — это требование к наличию знаний о структурах моделей, которые должны использоваться для каждой конкретной задачи.
Известно, что выбор нейронной сети для решения задачи — процесс во многом творческий и в большей степени эмпирический, поскольку предполагает получение результатов путём подбора и оценки эффективности различных архитектур сетей. Однако уже сейчас успешно разрабатываются подходы к автоматической генерации моделей нейронных сетей [22], которые показывают преимущество перед ручным подбором параметров.
5 Предметная область ИНС и их денотационная и операционная семантика
Основной частью системы, разрабатываемой с помощью технологии OSTIS [13, 23, 24] является онтологическая модель (эс-модель БЗ), построение которой осуществляется на основе онтологического подхода. Данный подход подразумевает построение онтологий как систем абсолютных и относительных понятий, описывающих ту или иную ПрО. В рамках технологии OSTIS уточняется понятие онтологии как спецификации ПрО [25, 26], выделяется их типология.
5.1 Представление нейронных сетей в базе знаний
Предлагаемый подход основан на использовании БЗ, соответствующих модели унифицированного семантического представления знаний. В рамках этой модели используются однородные семантические сети - семантические сети, в основе которых лежит базовая теоретико-множественная семантическая интерпретация, построенная на отношении (ситуативной) принадлежности (непринадлежности) элемента множеству (единственный базовый тип отношения) [25], связки которого обозначаются эс-дугами. Языки, входящие в модель унифицированного семантического представления знаний, называются эс-языками, тексты которых состоят из эс-элементов, а формируемые из них (ситуативные) множества, структуры и онтологические представления, онтологические модели называются соответственно эс-множествами, эс-структурами и эс-моделями. Семантика языков модели унифицированного семантического представления знаний соответствует модели ситуативных (событийных) множеств. Ситуативные множества представляют собой более гибкий и адекватный аппарат для представления знаний, чем классические множества, позволяя учитывать НЕ-факторы знаний и адаптироваться к представляемой ПрО, сохраняя онтологическую модель и её семантику. Это достигается не только за счёт учёта временных свойств, что позволяет интерпретировать систему ситуативных множеств как развитие систем L-нечётких множеств, но и за счёт того, что в рамках модели унифицированного семантического представления знаний процесс употребления аппарата ситуативных множеств способен иметь динамический характер, поддерживаемый динамикой алфавитных меток.
Поэтому представляется целесообразным употребление ситуативных множеств и их достоинств для представления ИНС средствами модели унифицированного семантического представления знаний. Семантика текстов эс-языков в рамках модели унифицированного семантического представления знаний является модельной, однако возможно её описание в денотационном виде, в этом случае можно говорить о денотационной семантике эс-языков на базе ситуативных множеств.
Таким образом, при представлении ИНС можно трактовать каждую её вершину (узел), не являющу-О ■§■■■-..,..-;.'... ,.,,,. ^...■.■■■юся рецепторной, как обозначение ситуативного л ' множества (эс-множества) всех вершин, из которых
... . ..сигнал приходит в этот узел (рисунок 8). Каждая - .. ''"" рецепторная вершина - это обозначение ситуатив-
. ...» _ ■ ■ ного множества признаков сущностей, которые она
выражает.
ИНС представляется как ситуативное множество эс-элементов, обозначающих вершины, связи, их параметры, функции, свойства, связки и соответ-
<4
Ol
Рисунок 8 - Представление многослойной ИНС
ствия между ними (рисунок 9).
Рисунок 9 - Представление ИНС как ситуативное множество бс элементов
Значения весовых коэффициентов для синаптических связей и выходных сигналов нейронных элементов представляются как ситуативное значение некоторой величины, полученное измерением соответствующих элементов ИНС (рисунок 10).
Для указания функций синаптического преобразования и активации (рисунок 11), значений весовых коэффициентов (рисунок 10) и выходных сигналов нейронных элементов используются ключевые элементы: функция синаптического преобразования*, функция активации*, синапс*, нейронный узел*, обозначающие ситуативные отношения.
Между этими значениями могут быть установлены математические взаимосвязи, выражаемые с помощью математических операций и отношений, таких как сумма и произведение (рисунок 12). Эти математические отношения могут быть заданы в общем виде высказыванием или программой (рисунок 13).
Рисунок 10 - Представление весовых коэффициентов синаптических связей ИНС
Рисунок 11 - Представление функций синаптического преобразования и активации узлов ИНС
Рисунок 12 - Представление выходных значений элементов ИНС и их математических отношений
Рисунок 13 - Представление формального описания зависимости выходных значений элементов ИНС
Представление ИНС со сложной структурой позволяет представлять их отдельные части, такие как скрытые слои в многослойных нейронных сетях (рисунок 14), встречные связи в ИНС встречного распространения (рисунок 15), обратные связи в рекуррентных ИНС (рисунок 10) и т.п.
Рисунок 14 - Представление многослойной ИНС со скрытым слоем
Рисунок 15 - Представление ИНС встречного распространения
Каждая ИНС задаёт соответствие между своими входами и выходами (рисунок 16, рисунок 17), описание этого факта представляется с помощью ключевых элементов соответствие*, область определения соответствия*, область определения', соответствие области определения', область значении соответствия*, область значении', соответствие области значений'. Для уточнения значений входных нейронных элементов ИНС используются ключевые элементы домен', домен*, отношение'.
Рисунок 16 - Описание входов и выходов сети
Перечисленные ключевые элементы наравне с другими используются для спецификации признаков (рисунок 18), значения которых являются значениями входных и выходных нейронных элементов (рецепторов и эффекторов) ИНС.
Рисунок 17 - Описание входного нейронного элемента сети
Рисунок 18 - Описание бинарного признака
5.2 Структура предметной области
ПрО - структура, которая задана на множестве БС-элементов.
На ПрО определены те же отношения, что и на Бс-структурах, которые могут быть связаны отношениями включения (ситуативного подмножества), изоморфного вложения и т.д.
Эти отношения являются аналогом отношений модели спецификации знаний [27]. Следует отличать эти отношения от ситуативных отношений временного включения, гипотетического включения, временного изоморфного вложения и гипотетического изоморфного вложения, которые обуславливаются присутствием таких НЕ-факторов, как неполнота и неопределённость.
ПрО А является частной ПрО В, если А включается в В и её (максимальное) исследуемое множество включается в (максимальное) исследуемое множество В.
Важнейшим этапом разработки БЗ по технологии OSTIS является формирование иерархии ПрО (на основе понятия частной ПрО), определяющей структуру БЗ, и их спецификация [26]. Рассмотрение БЗ с позиции соотношения с ПрО позволяет рассматривать исследуемые объекты на различных уровнях детализации, которые отражаются в различных типах онто-логий, описывающих определенное направление описания свойства объекта в рамках описываемой ПрО. К таким онтологиям относятся: структурная спецификация ПрО, логическая онтология, логическая система понятий и их определений, теоретико-множественная онтология и другие.
Рассмотрим классификацию ИНС, представленную в рамках теоретико-множественной онтологии соответствующей ПрО.
■ Конечнозначные нейронные сети;
■ Комплексно-численные нейронные сети:
■ Вещественно-численные нейронные сети:
■ Рационально-численные нейронные сети: ■ Целочисленные нейронные сети.
■ Рациональные нейронные сети;
■ Повышающие размерность нейронные сети;
■ Понижающие размерность нейронные сети;
■ Прерывные нейронные сети;
■ Непрерывные нейронные сети;
■ Дифференцируемые нейронные сети;
■ Недифференцируемые нейронные сети;
■ Гомогенные нейронные сети;
■ Гетерогенные нейронные сети;
■ Нейронные сети без обратных связей;
■ Нейронные сети с обратными связями;
■ Нейронные сети без скрытых нейронов;
■ Нейронные сети со скрытыми нейронами;
■ Многослойные нейронные сети;
■ Однослойные нейронные сети;
■ Детерминированные нейронные сети;
■ Релаксационные нейронные сети.
Кроме указанных классов ИНС и соответствующих им ПрО можно выделить задачи, классы нейронных сетей и соответствующие ПрО, связанные с обучением ИНС. Можно выделить два основных класса:
■ Обучение ИНС на основе эталонных значений выходных элементов ИНС;
■ Обучение ИНС без использования эталонных значений выходных элементов ИНС. К первому классу можно отнести подклассы:
■ Обучение ИНС на основе дельта-правила;
■ Обучение ИНС на основе градиентных методов:
■ Обучение ИНС методом обратного распространения ошибки;
■ Обучение ИНС методом сопряжённых градиентов;
■ Обучение ИНС методом переменной метрики. К частным классам второго класса относятся:
■ Обучение ИНС без использования эталонных значений на основе правила Хебба [28];
■ Обучение ИНС без использования эталонных значений на основе правила WTA [29].
6 Агенты интеллектуальной среды обработки нейронных сетей
Операционная семантика БЗ, построенных в соответствии с моделью унифицированного семантического представления знаний, выражается в командах эс-машин обработки знаний [30]. Каждая эс-машина соответствует формальной модели обработки информации, языком которой является некоторый Бс-язык. Также каждая эс-машина обладает начальной информационной конструкцией и множеством операций, которые она реализует, которые могут быть запрограммированы в виде процедур.
В соответствии с многоагентным подходом каждая эс-машина может быть реализована в виде совокупности агентов (эс-агентов). Операционная семантика ИНС в БЗ сводится к операционной семантике реализующих её эс-агентов, операционная семантика которых в свою очередь сводится к операционной семантике программ (команд) их операций.
Все операции эс-агентов выполняются асинхронно. Все эс-агенты взаимодействуют через общую память, передавая друг другу данные в виде конструкций семантической сети (текстов эс-языка, состоящих из эс-элементов). Условием запуска операции (инициирования эс-агента) является некоторое событие в общей (графовой) памяти. Такими событиями являются изменения временной непринадлежности на временную (актуальную) принадлежность элемента ситуативному множеству, которое трактуется как множество команд инициирования эс-агентов. Каждая команда представляет собой данные, которые будут обработаны агентом. Такими данными могут быть отдельный эс-элемент и его семантическая окрестность, доступная в общей памяти, или некоторая структура ^-структура), обозначенная таким эс-элементом (рисунок 19).
После того как операция запущена и выполнена, временная принадлежность заменяется на временную (актуальную) непринадлежность. Однако, могут появиться новые временные (актуальные) принадлежности, которые будут инициировать работу других эс-агентов.
Таким образом работа ИНС и процессы обработки знаний в БЗ сводятся к некоторому порядку изменений временной принадлежности на непринадлежность и наоборот. Агенты, которые обеспечивают семантическое протоколирование [31] работы ИНС формируют метазнания в виде структур специального вида, обеспечивающих возможность поиска и анализа порядка работы ИНС, сводящемуся к взаимод ействию эс-агентов в общей графовой памяти. Для реализации ИНС можно выделить агенты следующих классов. Агенты по интерпретации и обработке входов и выходов ИНС; Агенты по обучению ИНС:
■ Агенты управления обучением ИНС;
■ Агенты семантического протоколирования процессов обучения. Агенты по интеграции различных ИНС:
■ Агенты клонирования (агентов) ИНС;
■ Агенты поиска (агентов) рецепторов ИНС;
Рисунок 19 - Передача данных в виде структуры
■ Агенты поиска (агентов) эффекторов ИНС;
■ Агенты синтеза (агентов) ИНС:
■ Агенты синтеза (агентов) слоя ИНС.
■ Агенты синтеза агентов множества нейронов, синаптически связанного с множеством нейронов;
■ Агенты синтеза агентов дуальной сети обратного распространения (ошибок);
■ Агенты удаления (агентов) синаптических связей;
■ Агенты удаления (агентов) ИНС;
■ Агенты трансляции онтологического представления ИНС на языки программирования;
■ Агенты семантического протоколирования интеграции ИНС.
Заключение
Рассмотренные направления применения интеграций ИНС с БЗ ориентированы на учёт семантики решаемых задач, что, с одной стороны, позволит сделать решение этих задач более структурированным и прозрачным для пользователя, с другой стороны, позволит вносить дополнительные корректировки в процесс обучения нейронной сети и решения задачи. Реализация описанной ИС, а также соответствующей интеллектуальной среды, позволит уменьшить порог вхождения разработчиков в область решения задач с помощью ИНС. Предоставляемые интеллектуальной средой возможности интроспекции ИНС и сохранения состояний ИНС во время обучения позволяют обеспечить более глубокий анализ их работы.
Список источников
[1] McCulloch, W. A Logical Calculus of Ideas Immanent in Nervous Activity / W. McCulloch, W. Pitts // Bulletin of Mathematical Biophysics, 1943, p.115-133.
[2] Fukushima, K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position / K. Fukushima // Biological Cybernetics, 1980, p.193-202.
[3] Bengio, Y. Learning deep architectures for AI. Foundations and Trends in Machine Learning / Y. Bengio // Foundations and Trends® in Machine Learning, 2009, Vol. 2: No. 1, p.1-127
[4] Hinton, G.E. A fast learning algorithm for deep belief nets / G.E. Hinton, S. Osindero, Y. Teh // Neural Computation, 2006, p.1527-1554.
[5] Glorot, X. Deep sparse rectifier neural networks / X. Glorot, A. Bordes, Y. Bengio // 14th International Conference on Artificial Intelligence and Statistics, 2011, vol. 15, p.315-323.
[6] Golovko, V.A. Learning Technique for Deep Belief Neural Networks / V.A. Golovko, A.A. Kroshchanka, U. Rubanau, S. Jankowski // Communication in Computer and Information Science, 2014. vol. 440. - p.136-146.
[7] Golovko, V.A. Deep learning: an overview and main paradigms / V.A. Golovko // Optical Memory and Neural Networks (Information Optics), 2017, Vol. 26, Issue 1, - p.1-17.
[8] Golovko, V. The nature of unsupervised learning in deep neural networks: A new understanding and novel approach / V. Golovko, A. Kroschanka // Optical memory and neural networks. 2016. No 3. - p.127-141.
[9] Rosenblatt F. Principles of neurodynamics; perceptrons and the theory of brain mechanisms / F. Rosenblatt // In: Palm G., Aertsen A. (eds) Brain Theory. Springer, Berlin, Heidelberg. 1986. - DOI: https://doi.org/10.1007/978-3-642-70911-1_20.
[10] Поспелов, Д.А. Искусственный интеллект: В 3 книгах. Книга 2. Модели и методы: Справочник, Москва, Радио и связь, 1990, - 304 с.
[11] Information Integration for Concurrent Engineering (IICE), IDEF5 Method Report, Texas, USA, Knowledge Based Systems, Inc., 1994.
[12] Graves, A. Hybrid computing using a neural network with dynamic external memory / A. Graves, G. Wayne, M. Reynolds, T. Harley, I. Danihelka, A. Grabska-Barwinska, S.G. Colmenarejo, E. Grefenstette, T. Ramalho // Nature, 2016, - p.471-476. - DOI:10.1038/nature20101.
[13] Голенков, В.В. Проектирование предприятий рецептурного производства на основе онтологий / В.В. Таберко, Д.С. Иванюк, В.В. Голенков, К.В. Русецкий, Д.В. Шункевич, И.Т. Давыденко, В.В. Захаров,
B.П. Ивашенко, Д.Н. Корончик // Онтология проектирования. - 2017. - Т. 7, №2(24). - С.123-144. - DOI: 10.18287/2223-9537-2017-7-2-123-144..
[14] Diederik P. Kingma. Adam: A Method for Stochastic Optimization / Diederik P. Kingma, Jimmy Lei Ba. -arXiv:1412.6980 [cs.LG], December 2014.
[15] Klambauer G. Self-normalizing neural networks / G. Klambauer, T. Unterthiner, A. Mayr, S. Hochreiter // In Advances in Neural Information Processing Systems (NIPS). arXiv:1706.02515, 7 Sep 2017.
[16] Donahue J. Long-Term Recurrent Convolutional Networks for Visual Recognition and Description, in IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, vol. 39, no. 4, p.677-691.
[17] Mikolov T. Efficient estimation of word representations in vector space / T. Mikolov, K. Chen, G. Corrado, J. Dean // ICLR conference, 2013, arXiv preprint arXiv:1301.3781.
[18] Xiong S. Deep Knowledge Representation based on Compositional Semantics for Chinese Geography / S. Xiong, X. Wang, P. Duan, Z. Yu, A. Dahou // In Proceedings of the 9th International Conference on Agents and Artificial Intelligence - Volume 2: ICAART, 2017, p.17-23.
[19] Pelevina M. Making Sense of Word Embeddings / M. Pelevina, N. Arefyev, C. Biemann, A. Panchenko // 2017, arXiv preprint arXiv:1708.03390.
[20] Goldsborough P. A Tour of TensorFlow / P. Goldsborough // ICLR conference, 2016, arXiv preprint arXiv:1610.01178.
[21] Battle of the Deep Learning frameworks - Part I: 2017, even more frameworks and interfaces. -https://towardsdatascience.com/battle-of-the-deep-learning-frameworks-part-i-cff0e3841750.
[22] Liu H. Hierarchical Representations for Efficient Architecture Search / H. Liu, K. Simonyan, O. Vinyals,
C. Fernando, K. Kavukcuoglu // ICLR conference, 2017, arXiv preprint arXiv:1711.00436.
[23] Голенков, В.В. Проект открытой семантической технологии компонентного проектирования интеллектуальных систем. Часть 1: Принципы создания / В.В. Голенков, Н.А. Гулякина // Онтология проектирования, 2014, № 1(11), с.42-64.
[24] Голенков, В.В. Проект открытой семантической технологии компонентного проектирования интеллектуальных систем. Часть 2: Унифицированные модели проектирования / В.В. Голенков, Н.А. Гулякина // Онтология проектирования, 2014, № 4(14), с.34-53.
[25] Хорошевский, Б.Ф. Базы знаний интеллектуальных систем / Б.Ф. Хорошевский, Т.А. Гаврилова // Санкт-Петербург, Питер, 2001, 384 с.
[26]Давыденко, И.Т. Технология компонентного проектирования баз знаний на основе унифицированных семантических сетей / И.Т. Давыденко // Открытые семантические технологии проектирования интеллектуальных систем (0STIS-2013), 2013. - с.185-190.
[27] Ивашенко, В.П. Модели и алгоритмы интеграции знаний на основании однородных семантических сетей / В.П. Ивашенко // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2015): 2015, с.111-132.
[28] Hebb, D.O. The Organization of Behavior / D.O. Hebb //New York, Wiley \& Sons, 1949, 383p
[29] Grossberg, S. Contour enhancement, short-term memory, and constancies in reverberating neural networks / S. Grossberg // Studies in Applied Mathematics, 52:213, 1973
[30] Шункевич, Д.В. Модели и принципы проектирования компонентов машины обработки знаний на базе семантических сетей / Д.В. Шункевич // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2013): 2013, с.269-280
[31] Ивашенко, В.П. Семантическое протоколирование процессов обработки знаний / В.П. Ивашенко // Информационные технологии и системы 2017 (ИТС 2017) = Information Technologies and Systems 2017 (ITS 2017) : материалы междунар. науч. конф. (Республика Беларусь, Минск, 25 октября 2017 года) / редкол. : Л. Ю. Шилин [и др.]. - Минск : БГУИР, 2017, с.110-111.
INTEGRATION OF ARTIFICIAL NEURAL NETWORKS AND KNOWLEDGE BASES
V.A. Golovko1a, V.V. Golenkov2 b, V.P. Ivashenko2 c, V.V. Taberko3 d, D. S. Ivniuk3 e, A.A. Kroshchanka1f, M. V. Kovalev2'8
1 Brest State Technical University, Brest, Belarus [email protected],f [email protected]
2 Belarussian State University of Informatics and Radioelectronics, Minsk, Belarus [email protected], [email protected], [email protected]
3 JSC «Savushkin product», Brest, Belarus [email protected], [email protected]
Abstract
This article reviews the questions and directions of integration of artificial neural networks with knowledge bases. Two main directions of integration are considered: the inputs and outputs of artificial neural network to use integration of knowledge bases and artificial neural networks for solutions of application problems; by artificial neural network representation on the basis of ontological structures and its interpretation by means of knowledge processing in the knowledge base providing an intelligent environment for the development, training and integration of different artificial neural networks compatible with knowledge bases. The knowledge bases that are integrated with artificial neural networks are built on the basis of homogeneous semantic networks and multiagent approach to represent and process knowledge. An ontological model for representing artificial neural networks and their specifications within the framework of the model of unified semantic representation of knowledge is proposed. It is distinguished by the ability to represent artificial neural networks, its dynamics and other types of knowledge, including the specifications of artificial neural networks, as the common language for the representation of knowledge with a common theoretical-model semantics. A multiagent model for solving problems using artificial neural networks and other types of knowledge is proposed. It is distinguished by the interaction of agents in accordance with a given temporal model through a common memory that stores knowledge integrated into a single knowledge base.
Key words: ANN, knowledge base, integration, frameworks.
Citation: Golovko VA, Golenkov VV, Ivashenko VP, Taberko VV, Ivaniuk, DS, Kroshchanka AA, Kovalev MV. Integration of artificial neural networks and knowledge bases [In Russian]. Ontology of designing. 2018; 8(3): 366-386. - DOI: 10.18287/2223-9537-2018-8-3-366-386.
References
[1] McCulloch W, Pitts W. A Logical Calculus of Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943, p.115-133.
[2] Fukushima K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position, Biological Cybernetics, 1980, p.193-202.
[3] Bengio Y. Learning deep architectures for AI. Foundations and Trends in Machine Learning, Foundations and Trends® in Machine Learning, 2009; 2(1): 1-127.
[4] Hinton GE, Osindero S, Teh Y. A fast learning algorithm for deep belief nets, Neural Computation, 2006, p.1527-1554.
[5] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks, 14th International Conference on Artificial Intelligence and Statistics, 2011; 1: 315-323.
[6] Golovko VA, Kroshchanka AA, Rubanau U, Jankowski S. Learning Technique for Deep Belief Neural Networks, Communication in Computer and Information Science, 2014; 440: 136-146.
[7] Golovko VA. Deep learning: an overview and main paradigms // Optical Memory and Neural Networks (Information Optics), 2017; 26(1): 1-17.
[8] Golovko V, Kroschanka A. The nature of unsupervised learning in deep neural networks: A new understanding and novel approach // Optical memory and neural networks. 2016; 3: 127-141.
[9] Rosenblatt F. Principles of neurodynamics; perceptrons and the theory of brain mechanisms. In: Palm G., Aertsen A. (eds) Brain Theory. Springer, Berlin, Heidelberg. 1986. - DOI: https://doi.org/10.1007/978-3-642-70911-1_20.
[10] Pospelov DA. Iskusstvennyj intellekt: V 3 knigah. Kniga 2. Modeli i metody: Spravochnik (Artificial Intelligence: In 3 books. Book. 2. Models and methods: Handbook [In Russian]), Moscow, Radio i svyaz', 1990, - 304 p.
[11] Information Integration for Concurrent Engineering (IICE), IDEF5 Method Report, Texas, USA, Knowledge Based Systems, Inc., 1994.
[12] Graves A, Wayne G, Reynolds M, Harley T, Danihelka I, Grabska-Barwinska A, Colmenarejo SG, Grefenstette E, Ramalho T. Hybrid computing using a neural network with dynamic external memory, Nature, 2016, p.471-476. - DOI:10.1038/nature20101.
[13] Golenkov VV, Taberko VV, IvanyukDS, Rusetski KV, Shunkevich DV, Davydenko IT, Zakharov VV, Ivashenko VP, Koronchik DN. Designing Batch Manufacturing Enterprises Using Ontologies [In Russian]. Ontology of designing. 2017; 24(2): 123-144. - DOI: 10.18287/2223-9537-2017-7-2-123-144.
[14] Diederik P. Kingma, Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. arXiv:1412.6980 [cs.LG], December 2014.
[15] Klambauer G, Unterthiner T, Mayr A, Hochreiter S. Self-normalizing neural networks. In Advances in Neural Information Processing Systems (NIPS). arXiv:1706.02515, 7 Sep 2017.
[16] Donahue J. Long-Term Recurrent Convolutional Networks for Visual Recognition and Description, in IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017; 39(4): 677-691.
[17] Mikolov T, Chen K, Corrado G, Dean J. Efficient estimation of word representations in vector space, 2013, ICLR conference, arXiv preprint arXiv:1301.3781.
[18] Xiong S, Wang X, Duan P, Yu Z. and Dahou A. Deep Knowledge Representation based on Compositional Semantics for Chinese Geography , In Proceedings of the 9th International Conference on Agents and Artificial Intelligence - Volume 2: ICAART, 2017, p.17-23.
[19] Pelevina M, Arefyev N, Biemann C, Panchenko A. Making Sense of Word Embeddings, 2017, arXiv preprint arXiv:1708.03390.
[20] Goldsborough P. A Tour of TensorFlow, ICLR conference, 2016, arXiv preprint arXiv:1610.01178.
[21] Battle of the Deep Learning frameworks - Part I: 2017, even more frameworks and interfaces. -https://towardsdatascience.com/battle-of-the-deep-learning-frameworks-part-i-cff0e3841750.
[22] Liu H, Simonyan K, Vinyals O, Fernando C, Kavukcuoglu K. Hierarchical Representations for Efficient Architecture Search, ICLR conference, 2017, arXiv preprint arXiv:1711.00436.
[23] Golenkov VV, Guliakina NA. Project of Open Semantic Technology of the Componental Design of Intelligent Systems. Part 1: The Principles of Creation [In Russian]. Ontology of designing, 2014; 1 (11): 42-64.
[24] Golenkov VV, Guliakina NA. Project of Open Semantic Technology of the Componental Design of Intelligent Systems. Part 2: Unified Model Design [In Russian]. Ontology of designing, 2014; 4(14): 34-53.
[25] Horoshevskij BF, Gavrilova TA. Bazy znanij intellektual'nyh system (Intelligent Systems Knowledge Base) [In Russian], St.Petersburg, Piter, 2001, 384 p.
[26] Davydenko IT. Tekhnologiya komponentnogo proektirovaniya baz znanij na osnove unificirovannyh semanticheskih setej (The technology of component design of knowledge bases on the basis of unified semantic networks) [In Russian], Open Semantic Technologies for Intelligent Systems, 2013, p.185-190.
[27] Ivashenko VP. Modeli i algoritmy integracii znanij na osnove odnorodnyh semanticheskih setej(Models and algorithms of knowledge integration based on homogeneous semantic networks) [In Russian], Open Semantic Technologies for Intelligent Systems, 2015, p.111-132.
[28] Hebb DO. The Organization of Behavior, New York, Wiley \& Sons, 1949, 383 p.
[29] Grossberg S. Contour enhancement, short-term memory, and constancies in reverberating neural networks, Studies in Applied Mathematics, 52:213, 1973.
[30] Shunkevich DV. Models and Means of Component Design of Knowledge-Processing Machines on the Basis of Semantic Networks [In Russian]. Open semantic technologies for designing intelligent systems, 2013, p.269-280.
[31] Ivashenko, VP. Semanticheskoe protokolirovanie processov obrabotki znanij (Semantic logging of knowledge processing processes) [In Russian], Information Technologies and Systems 2017 (ITS 2017) = Information Technologies and Systems 2017 (ITS 2017): materials of the international. sci. Conf. (Republic of Belarus, Minsk, 25 October 2017) / Rare. : L. Yu. Shilin [and others]. - Minsk: BSUIR, 2017, p.110-111.
Сведения об авторах
Головко Владимир Адамович 1960 г. рождения. В 1984 году окончил Московское высшее техническое училище им. Н.Э. Баумана по специальности ««Автоматические информационные устройства». В 1986-1989 обучался в аспирантуре Института технической кибернетики АН БССР (г. Минск). Д.т.н. (2003). Профессор (2004). Создал научную школу «Нейроинтеллектуальные технологии обработки информации». Главный редактор журнала «Вестник Брестского технического университета» по серии "Физика, математика и информатика", член редколлегии международного журнала «Компьютинг», российского журнала «Нейроинформатика», американского журнала ««Recent Patents on Signal Processing». Организатор международной научной конференции «Нейронные сети и искусственный интеллект» (ICNNAI). В списке научных трудов более 100 работ в области нейросетевых технологий.
Vladimir Adamovich Golovko (b. 1960). In 1984 he graduated from the Moscow Higher Technical School Named after Bauman on a specialty "Automatic information devices". In 1986-1989 he studied in graduate school of the Institute of Technical Cybernetics of the Academy of Sciences of the BSSR (Minsk), specializing in "Management in technical systems". D.t.sc. (2003). Professor (2004). He created a scientific school "Neuro Intelligence Information Processing Technologies". He is the chief editor of the journal "Bulletin of the Brest Technical University" in the series "Physics, Mathematics and Computer Science", a member of the editorial board of the international journal "Computing", the Russian journal Neuroinformatics, the American journal Recent Patents on Signal Processing. Organizer of the international scientific conference "Neural Networks and Artificial Intelligence" (ICNNAI). In the list of scientific works more than 100 works in the field of neural network technologies.
Голенков Владимир Васильевич, 1949 г. рождения. В 1971 г. с отличием окончил физический факультет Белорусского государственного университета, д.т.н. (1996), профессор, заведующий кафедрой интеллектуальных информационных технологий Белорусского государственного университета информатики и радиоэлектроники, инициатор ежегодной международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем», член Российской ассоциации искусственного интеллекта, член редколлегий журналов «Программные продукты и системы», «Онтология проектирования», «Электроника-ИНФО», «Речевые технологии». В списке научных трудов более 100 работ в области семантических технологий.
Vladimir Vasilievich Golenkov (b. 1949). In 1971 he graduated from the physics department of Belarusian State University with honors diploma, Dr. of science (1996), professor. The head of the department of Intelligent information technologies of Belarusian State University of Informatics and Radioelectronics, initiator of the annual international science and technical conference «Open Semantic technologies for Intelligent Systems» (OSTIS), member of Russian association of artificial intelligence, editorial board member of such journals as «Program products and systems», «Ontology of designing», «Electronics-INFO», «Speech technologies». The list of his published works consists of more than 100 articles on the various aspects of semantic approach in the intelligent systems design.
Ивашенко Валерьян Петрович, 1978 г. рождения. Окончил с отличием Белорусский государственный университет информатики и радиоэлектроники по специальности «Искусственный интеллект» в 2000 г., к.т.н. (2015). Доцент кафедры интеллектуальных информационных технологий Белорусского государственного университета информатики и радиоэлектроники. Имеет более 50 печатных работ в области семантических технологий, информатики и ИИ.
Valerian Petrovich Ivashenko (b. 1978) graduated from the Belarusian State University of Informatics and Radioelectronics in 2000 (Artificial Intelligence), PhD (2015). He is Assistant professor at Belarusian State University of Informatics and Radioelectronics (Department of Intellectual Information Technologies). He is co-author over 50 published works in the field of semantic technologies, CS and AI. Таберко Валерий Васильевич, 1963 г. рождения. В 1985 г. окончил факультет прикладной математики Белорусского государственного университета. С 1985 г. до 1993 г. работал на Брестском электромеханическом заводе, в 1993 г. перешел на предприятие «Брестский молочный комбинат» начальником информационно-вычислительного центра, в настоящее время зам. Ген. директора по логистике на ОАО «Савушкин продукт». Valery Vasilievich Taberko (b. 1963). In 1985 he graduated from the faculty of Applied Mathematics of Belarusian State University. Since 1985 till 1993 worked at Brest electromechanical plant, in 1993 moved to a new job at Brest milk plant as Head of Information and Computing Center, now works as Deputy Director for Logistics at JSC «Savushkin product».
Иванюк Дмитрий Сергеевич, 1982 г. рождения. В 2005 г. с отличием окончил факультет электронно-информационных систем Брестского государственного технического университета, исследователь технических наук, ведущий инженер-программист отдела программирования ОАО «Савушкин продукт», старший преподаватель кафедры интеллектуальных информационных технологий Брестского государственного технического университета. Имеет 10 работ в области нейронных сетей и семантических технологий. Dzmitry Sergeevich Ivanyuk (b. 1982). In 2005 he graduated from the intelligent information technologies department of Brest State Technical University with honors diploma, Researcher of technical sciences. Lead software development engineer at JSC «Savushkin product», senior lecturer at department of Intelligent Information Technologies in Brest State Technical University. He has 10 published works on the subject of semantic technologies and artificial neural networks.
Крощенко Александр Александрович. 1985 г. рождения. Окончил математический факультет Брестского государственного университета имени А.С. Пушкина по специальности «Прикладная математика (научно-производственная деятельность)». Магистр физико-математических наук (2009). Работал преподавателем кафедры информатики и прикладной математики с 2009 года. Обучался в аспирантуре Брестского государственного технического университета с 2013 по 2016 гг. С 2016 г. - преподаватель кафедры прикладной математики и информатики. Имеет свыше 30 публикаций.
Alexander Alexandrovich Kroshchenko (b. 1985). Graduated from the Faculty of Mathematics of the Brest State University named after A.S. Pushkin specialty "Applied mathematics (research and production activities)." Master of Physical and Mathematical Sciences (2009). Worked as a teacher of the Department of Informatics and Applied Mathematics since 2009. Studied at the post-graduate course of the Brest State Technical University from 2013 to 2016. (the supervisor of studies is VA Golovko). Since 2016 - lecturer of the Department of Applied Mathematics and Informatics. He has over 30 publications.
Ковалёв Михаил Владимирович. 1995 г. рождения. Окончил Белорусский государственный университет информатики и радиоэлектроники по специальности «Искусственный интеллект» в 2017 г., магистрант кафедры интеллектуальных информационных технологий БГУИР с 2017 г. Имеет 4 печатные работы в области нейронных сетей и семантических технологий.
Mikhail Vladimirovich Kovalev (b. 1995). Graduated from the Belarusian State University of Informatics and Radioelectronics, specializing in Artificial Intelligence in 2017, master student of the Department of Intelligent Information Technologies of the Belarusian State University of Information Technologies (BSUIR) since 2017. He has 4 published works on the subject of semantic technologies and artificial neural networks.
