CC BY-NC-ND
56
DOI: 10.17323/2587-814X.2021.3.7.23
Интегрированные нейросимволические системы поддержки принятия решений: проблемы и перспективы
А.В. Демидовский ©
E-mail: ademidovskij@hse.ru
Э.А. Бабкин
E-mail: eababkin@hse.ru
Национальный исследовательский университет «Высшая школа экономики» Адрес: 603155, г. Нижний Новгород, ул. Большая Печерская, д. 25/20
Аннотация
В работе рассматривается актуальный вопрос развития новых видов систем поддержки принятия решений для различных категорий управленческого персонала. Существенной характеристикой таких систем является их распределенная структура, которая позволяет строить информационные системы нового поколения в виде многоагентных систем, систем интернета вещей или туманной вычислительной архитектуры. В таких условиях структурным элементам и алгоритмам коммуникации, используемым в параллельных моделях динамики искусственных нейронных сетей, могут быть поставлены в прямое соответствие определенные элементы вычислительных инфраструктур (например, нейроны — агенты). Модели динамики искусственных нейронных сетей обладают огромным потенциалом при решении самых разных задач. Поэтому в рамках данной работы ставится задача критического анализа проблемы интеграции искусственных нейронных сетей и систем поддержки принятия решений на основе актуальной научной литературы. Для решения этой задачи была выбрана методология исследований Design Science Research Methodology (DSRM), которая определяет основные требования к стратегии систематического сбора и анализа актуальной научной литературы, а также к формам получаемых результатов. В соответствии с этой методологией была определена стратегия поиска литературы, проведен сбор и анализ научных публикаций, выделены критерии сравнения различных решений. По итогам анализа были определены наиболее значимые результаты, открытые проблемы и перспективные направления фундаментальных и прикладных исследований. Была выявлена устойчивая тенденция к построению систем поддержки принятия решений на основе интегрированных нейросетевых подходов, что является практически возможным и экономически целесообразным, поскольку позволяет получать распределенные и обучаемые системы поддержки принятия решений, устойчивые во времени и умеющие адаптироваться к изменчивому корпоративному ИТ-ландшафту.
Ключевые слова: лингвистическое принятие решений; многокритериальный выбор; системы поддержки принятия решений; нейросимволические системы; искусственный интеллект.
Цитирование: Демидовский А.В., Бабкин Э.А. Интегрированные нейросимволические системы поддержки принятия решений: проблемы и перспективы // Бизнес-информатика. 2021. Т 15. № 3. С. 7—23. DOI: 10.17323/2587-814Х.2021.3.7.23
Введение
Радикально новые условия обработки информации, планирования и стратегического управления в цифровых организациях, основанные на принципах самоорганизации, приводят к необходимости реализации таких гибких организационных форм, как виртуальные организации [1], гибкие организации [2] и распределенные организации [3]. В подобных организациях существенно ускоряется скорость производственных процессов и частота изменений самих процессов. Поэтому на этапе массовой цифровизации повышается актуальность развития новых видов систем поддержки принятия решений (СППР), предназначенных для различных категорий управленческого персонала. При этом существенной характеристикой новых видов СППР становится распределенная структура таких систем. Это обусловлено несколькими причинами.
Одной из таких существенных причин является активное развитие различных массивно-параллельных и распределенных вычислительных технологий и коммуникационных решений в контексте корпоративного ИТ-ландшафта. Это приводит к практической возможности и экономической целесообразности построения новых поколений информационных систем на принципах многоагент-ных систем (МАС), сетей интернета вещей и так называемой «туманной» вычислительной архитектуры [4]. Перечисленные типы распределенных вычислительных инфраструктур могут содержать миллионы автономных элементов, взаимодействующих друг с другом децентрализированным образом в условиях динамически и программно определяемой сетевой коммуникации.
В таких условиях структурным элементам и алгоритмам коммуникации, используемым в параллельных моделях динамики искусственных нейронных сетей (ИНС), могут быть поставлены в прямое соответствие определенные элементы вычислительных инфраструктур (например, нейроны — агенты) [5—12]. Действительно, различные исследователи [13—16] сходятся в том, что отдельное устройство (в сетях интернета вещей, в туманной вычислительной инфраструктуре) или отдельный интеллектуальный агент (в МАС) играет роль отдельного нейрона или реализует определенный фрагмент глобальной многоуровневой нейронной сети. В таком случае динамика ИНС может быть эффективно реализована с помощью механизмов общей памяти или передачи сообщений.
Поэтому можно считать, что магистральным направлением в проектировании и реализации распределенных СППР является нейросетевой подход. Интеграция ИНС в СППР важна и перспективна, поскольку в этом случае появляется практическая возможность совместного использования символических и суб-символических вычислений. Вообще, направление интеграции ИНС в различные системы уже давно существует и называется нейросим-волизмом [17].
В рамках настоящей работы ставится задача критического анализа проблемы интеграции ИНС и СППР на основе актуальной научной литературы. Для решения этой задачи была выбрана хорошо известная методология исследований Design Science Research Methodology (DSRM), которая определяет основные требования к стратегии систематического сбора и анализа актуальной научной литературы, а также к формам получаемых результатов [18]. В соответствии с этой методологией была определена стратегия литературного поиска, проведен сбор и анализ научной литературы, выделены основные критерии сравнения различных решений. По итогам анализа стало возможным определить наиболее значимые результаты, открытые проблемы и перспективные направления фундаментальных и прикладных исследований.
Статья состоит из четырех разделов. В первом разделе («Основы») излагаются основные сведения о различиях символического и коннективисткого подходов к обработке информации, особенностях СППР и нейронных сетях. Во втором разделе («Методология») рассматриваются ключевые принципы организации исследований по методологии DSRM, кратко описываются процесс и результаты систематического сбора и анализа литературы. Третий раздел («Результаты анализа») содержит выводы в отношении роли и места нейросетевых СППР в процессах поддержки принятия решений, а также определяет наиболее значимые направления дальнейших исследований. В заключительном разделе подводятся итоги исследования.
1. Основы
1.1. Системы поддержки принятия решений
Актуальность создания систем поддержки принятия решений (СППР) определяется возросшей сложностью принятия решений в условиях изменяющейся среды, растущих объемов данных, а также количества взаимосвязанных элементов, влияю-
щих на деятельность лица, принимающего решение (ЛПР). СППР представляет собой интерактивную информационную систему, которая использует данные и модели выбора решений, обеспечивает пользователям удобный и эффективный доступ к информационным ресурсам и предоставляет им разнообразные возможности в части обработки информации и принятия решений [19—20].
Существует множество различных классификаций СППР. В рамках данного исследования наиболее целесообразным критерием классификации является тип доминирующего технологического компонента или драйвера СППР [21]. Согласно этой классификации, выделяют следующие типы СППР:
1. Управляемые данными СППР (data-driven). Центральным элементом таких СППР является анализ больших объемов структурированных данных. Примером таких систем являются разнообразные хранилища данных. Часто подобные СППР используются в сочетании с OLAP-системами [19, 22].
2. Управляемые моделями СППР (model-driven). Ключевую роль в подобных СППР играют вычислительные модели, параметры которых задает ЛПР. Примером таких систем являются СППР, прогнозирующие спрос и цены на продукцию.
3. Управляемые знаниями СППР (knowledge-driven). Такие СППР используют бизнес-правила и базы знаний для помощи ЛПР. Примером таких систем являются экспертные системы.
4. Управляемые документами СППР (document-driven). Основным строительным блоком подобных систем является массив неструктурированных данных, а основной задачей — помощь ЛПР в поиске необходимых материалов. Примером таких систем являются поисковые машины.
5. СППР на основе коммуникаций (communications-driven, group). Данные СППР предназначены для поддержки принятия решений группой ЛПР. Примерами таких систем являются интегрированные решения для совместной работы: системы редактирования документов, видео-конференции, чаты и т.д.
Отметим, что значительная часть современных СППР является гибридной, имея в своем ядре сразу несколько ключевых технологических компонентов, таких как данные, модели и знания. В таком случае недостаток данных на этапе создания СППР может компенсироваться бизнес-правилами и заранее заданными сценариями, в то время как по-
степенное накопление данных позволит применять технологии OLAP для анализа данных и новые математические модели для формирования более эффективных рекомендаций для ЛПР.
Как будет показано ниже, наблюдается тенденция внедрения в СППР методов искусственного интеллекта (ИИ), таких как искусственные нейронные сети (ИНС) и рассуждения на базе прецедентов (case-based reasoning, CBR), так как эти методы позволяют повысить прогностический потенциал СППР и выявить скрытые закономерности в имеющихся данных [23]. СППР с элементами ИИ в последнее время называют интеллектуализированны-ми СППР (ИСППР). Анализ научной литературы показывает, что задаче многокритериального выбора (multi-criteria decision making, MCDM) посвящено большое количество исследований в области СППР. Например, по набору ключевых слов «multi-criteria AND decision AND decision support systems» в базе научного цитирования Scopus на момент начала данного исследования (январь 2021 г.) имелось 3516 статей. При построении ИСППР для MCDM необходимо учитывать наличие неопределенности информации и знаний о проблемной ситуации, а также применять различные способы снижения неопределенности, например, за счет внедрения свертки или ранжирования противоречивых критериев и экспертных оценок [24]. Кроме того, процесс принятия решений может быть итеративным.
Таким образом, помимо традиционных требований к СППР, таким как высокая скорость разработки с использованием стандартных строительных программных блоков, высокая скорость разворачивания СППР, а также надежность и корректность рекомендаций, необходимо сформулировать ряд новых требований. В первую очередь, необходимо обеспечить высокое быстродействие СППР для обеспечения ЛПР необходимой помощью в режиме реального времени. Во-вторых, СППР должна обладать способностью обучаться. В идеале СППР также должна уметь обучаться в режиме реального времени на данных, появляющихся в системе. В-третьих, СППР должна уметь работать с априорной неопределенностью контекста, знаний и логики. Это особенно актуально в условиях слабоструктурированных проблемных ситуаций, а также при интеграции интеллектуальных систем автоматизированного проектирования [25]. В-четвертых, любая СППР должна быть интерпретируема и понятна как ЛПР, так и другим стейкхолдерам. Данный вопрос остро возникает для СППР, использующих
ИНС, работу и решения которых трудно интерпретировать.
Проектирование СППР с учетом вышеуказанных требований должно осуществляться согласно иерархическому подходу [25], когда каждому уровню соответствуют свои модели, а модель принятия решения состоит из циклически повторяющихся этапов:
сбор всех видов информации (четкой и нечеткой);
♦ анализ данных;
♦ преобразование данных;
4- разработка критериев оценки решений;
♦ получение вариантов решений (альтернатив);
♦ исследование альтернатив и выбор подмножества вариантов (или одного из них) на основе заданных критериев.
Отдельно отметим требование к интерпретируемости результатов, предоставляемых современными системами с элементами ИИ. Данное требование формируется на государственном уровне и уровне мировых организаций. Так, например, цель Директивы об автоматизированном принятии решений Канады заключается в «обеспечении развертывания автоматизированных СППР таким образом, чтобы <результат работы СППР> приводил к <...> интерпретируемым решениям <...> с предоставлением объяснений после принятия решений» [26]. Согласно принципам Организации Экономического Сотрудничества и Развития, в которую входит 38 стран, «в отношении систем ИИ должна быть прозрачность и ответственное раскрытие информации, чтобы люди понимали результаты, основанные на ИИ, и могли оспаривать их» [27]. Таким образом, современные СППР, которые на этапе проектирования насыщаются элементами ИИ, также находятся в зоне регулирования этих и многих других нормативно-правовых документов. В свою очередь, это ставит вопрос о подходах к проектированию ИСППР, поиску баланса между использованием элементов ИИ, внедряемых для повышения устойчивости и улучшения предиктивных способностей СППР, и сохранением высокого уровня интерпретируемости получаемых результатов.
1.2. Символический и коннективистский подходы
Одним из ключевых вопросов построения СППР является представление и моделирование знаний, умение анализировать информацию и строить за-
ключения на основе имеющихся знаний. То, как знания представляются и моделируются человеческим мозгом, на данный момент определяет два различных течения научной мысли.
В рамках символической школы считается, что познавательная функция человека опирается на представление знаний в виде символов, которые затем обрабатываются и при необходимости разбиваются на более мелкие составляющие [28]. Символы могут разбиваться или объединяться в другие символы. С позиций символических вычислений человеческое познание — пример манипуляции символами. При этом представляется достаточно трудным формализовать и реализовать вычислительные операции над символическими отношениями.
С другой стороны, суб-символические системы опираются на такую абстракцию как нейрон [18]. Данный подход основан на том, что человеческий мозг рассматривается как естественная нейронная сеть огромного масштаба, которая работает с распределенным представлением знаний и умеет осуществлять осмысленные операции над таким представлением. Суб-символические системы строятся из базовых строительных блоков — нейронов, которые работают параллельно и состояние которых в каждый момент времени хранит лишь частичное представление входного импульса. Тогда общее представление входного импульса, хранимое ИНС и изменяемое ею, является распределенным. Такой подход к представлению знаний и операциями над ними называется суб-символическим, или коннек-тивистским.
Следует отметить, что сосуществование двух этих парадигм обусловлено набором взаимных преимуществ и недостатков. Например, субсимволические системы обладают способностью обучаться и адаптироваться к изменяющимся данным. Символические системы такими способностями к автономности не обладают и требуют ручного кодирования внутренних правил. Последнее может приводить к проблеме символьного основания (symbol grounding problem), когда картина мира программиста системы отражается в правилах, которыми эта система пользуется. Суб-символические подходы по своей природе распределены и имеют высокую эффективность и надежность. Кроме того, они включают важный компонент обучения, позволяя обучать суб-символические методы для решения конкретной задачи и постоянно модифицировать их по мере поступления новой информации. В то же время такой подход представляется
сложным для интерпретации. Для этого формируется отдельная область знаний, называемая объясняемым ИИ (explainable AI, xAI) и посвященная разработке методов извлечения смысла из сложных вычислительных моделей.
Другим недостатком суб-символических методов является их неспособность артикулировать сложные взаимосвязи в связи с ограничениями современных методов распределенного представления информации [28—29]. Некоторые достижения в этой области позволили решить ряд проблем распределенного представления, связанных с суб-символьными архитектурами. К ним относятся тензорные представления [30], способные представлять рекурсию в символьных структурах, дальнейшее развитие идей о более компактных распределенных представлениях с помощью голографических сокращенных представлений (holographic reduced representations, HRR) [31] и других методов символьных вычислений. Как правило, этот класс методов называют векторными символьными архитектурами (vector symbolic architectures, VSA) [32—33].
В современных научных работах, посвященных изучению и развитию идей по построению сильного или общего ИИ, констатируется необходимость создания интегрированных решений, которые основывались бы и на глубоком обучении, и на символических рассуждениях [18]. Это связано с тем, что система, включающая элементы общего ИИ, должна быть семантически обоснована, интерпретируема и надежна, а ее решения должны вызывать полное доверие у всех заинтересованных сторон. Согласно вышеуказанным свойствам символического и коннективистского подходов, а также определению общего ИИ, становится понятным, что создание общего ИИ невозможно без взаимной интеграции этих подходов и развития нейросим-волических методов. Как уже отмечалось, создается нормативно-правовая база, в которой явно указывается на необходимость полной интерпретируемости результатов, что является требованием к внедряемым системам. Данные действия усложняют внедрение чисто коннективистских подходов в связи с тем, что объяснить причины формирования нейронной сетью предлагаемого решения зачастую не представляется возможным. Следовательно, даже внедрение систем с элементами слабого ИИ требует использования символических методов в дополнение к нейросетевым, что делает задачу создания и развития нейросимволических методов еще более актуальной и востребованной.
При построении нейросимволических систем степень интеграции двух парадигм может сильно различаться. Согласно таксономии Кауца, существует шесть типов таких систем [34] (сохранено авторское именование типов систем):
Тип 1: Symbolic-Neuro-Symbolic. Системы, основывающиеся на идеях традиционного глубокого обучения, принимающие на вход символы (например, текст с вопросом) и выдающие в качестве результата символы (например, текст с ответом на поставленный вопрос).
Тип 2: Symbolic[Neuro]. Подобные системы характеризуются символическими рассуждениями (например, выбор действия при управлении автономным автомобилем) с подключением ИНС для решения узкой задачи (например, обнаружения объектов на дороге).
Тип 3: Neuro-Union-compile[Symbolic]. В качестве входа такой нейросетевой системы используются символические правила (например, математическое выражение интеграла), а в качестве выхода также формируются символические правила (например, решение математической задачи вычисления интеграла).
Тип 4: Neuro-Symbolic. Данный тип представляет собой каскад из суб-символической и символической систем, где символическая система также способна обучаться (например, Neuro-Symbolic Concept Learner [35]).
Тип 5: Neuro[Symbolic]. Символические рассуждения выполняются на суб-символическом уровне (примеры подобных систем пока отсутствуют).
Таким образом, при проектировании СППР с элементами ИИ неизбежно использование как элементов символического, так и суб-символического подходов. В зависимости от поставленных задач и требований к итоговой СППР может требоваться различная степень интеграции суб-символических подходов. При этом, полностью суб-символической СППР стать не может в связи с требованиями к интерпретируемости результатов работы систем, а также к необходимости задавать априорные правила принятия решений.
Далее рассмотрим существующие СППР и проанализируем тенденции развития данной предметной области. Затем сформулируем предложения по построению нейросимволических СППР с точки зрения ключевых элементов нейросимволической парадигмы. В частности, рассмотрим вопрос о том,
как представлять знания одновременно в распределенном и символическом видах и как выражать символические рассуждения на суб-символическом уровне.
2. Принципы исследования в соответствии с методологией DSRM
Предметом данного исследования является разработка новых моделей и алгоритмов распределенных нейросетевых СППР. Подобные исследования относятся к области инженерно-ориентированных наук об искусственном интеллекте. В этой предметной области принято использовать методологию Design Science Research Methodology (DSRM) [19, 36-40].
При проведении научных исследований в области бизнес-информатики по методологии DSRM важное значение имеет разработка стратегии систематического сбора и анализа актуальной научной литературы, характеризующей различные ИТ-решения изучаемой проблемы [36-40]. Целью систематического сбора и анализа актуальной научной литературы является максимально точное определение исследовательской проблемы и стимулирующих факторов (актуальность, нерешенность проблемы, появление новых технологий).
Международное научное сообщество выработало определенные рекомендации и форму для определения стратегии исследования литературы. В данной работе используется наиболее подробная и детальная методология, предложенная в работе [40]. Эта методология позволяет полностью обосновать критерии выбора литературы для анализа, объективно представить результаты анализа и выделить ключевые причины необходимости проведения собственных исследований и новых разработок (в нашем случае — обосновать необходимость фундаментальных и прикладных исследований в области распределенных СППР на основе нейро-парадиг-мы).
Стратегия систематического поиска и анализа литературы [36, 40] основана на делении всех научных статей на две категории: конфигуративные и агрегативные публикации. Конфигуративные статьи помогают понять, в каких условиях определенный артефакт лучше всего проявляет полезное качество. Агрегативные статьи помогают понять, какие артефакты чаще использовались для решения данной проблемы. Требование к формирова-
нию корпуса статей, который должен включать как конфигуративные, так и агрегативные статьи, обеспечивает необходимые условия верификации выдвигаемых тезисов о применимости вновь разрабатываемых артефактов в условиях изучаемой проблемной ситуации, а также обеспечивает аргументы в пользу предлагаемых исследователями функциональных возможностей разрабатываемого решения. Делению научных статей на две категории соответствует определение двух категорий новых результатов, которые необходимо выделить и проанализировать. Эти две категории результатов носят названия эвристики конструкции и эвристики ожиданий соответственно [8]. Эвристики конструкции — это требования к надлежащему функционированию внутренней среды артефакта в соответствии с внешней средой. На этом этапе раскрываются внутренние механизмы и их организация с учетом желаемого воздействия на внешнюю среду. Кроме того, эвристика содержит конкретные знания, которые также могут быть использованы для разработки новых артефактов в будущем. Эвристики ожиданий — это определение пределов применимости артефакта, условия его использования и ситуации, в которых он будет полезен. Эвристика характеризует внешнюю среду артефакта, то есть контекст, в котором артефакт может использоваться, и пределы его производительности. Знания, созданные на этом этапе, могут использоваться для проектирования и создания новых артефактов.
Исследователи в области наук об искусственном предлагают структурировать результаты поиска и анализа литературы в виде двух аналитических таблиц. В первой (промежуточной) аналитической таблице информация представляется в разрезе каждой отдельной проанализированной работы. Для каждой работы указывается ключевая проблематика, категория статьи, важнейшие эвристики конструкции, итоговый результат применения предлагаемых эвристик и метрики для сравнения результатов статьи с собственными решениями.
Вторая (заключительная) аналитическая таблица позволяет сформировать агрегированное представление результатов анализа литературы в разрезе ключевых повторно исследуемых проблем. Это дает возможность аргументации выбора проблематики и применяемых методов в собственном исследовании.
С учетом изложенных выше методологических принципов в рамках настоящего исследования
была сформирована следующая стратегия поиска и анализа литературы по теме распределенных ней-росетевых СППР:
♦ горизонт поиска — 1991—2021 гг. (период появления наиболее значимых фундаментальных и прикладных работ в рассматриваемой области);
♦ источники информации — базы научного цитирования Scopus и Web of Science (публикации по теме исследований наиболее полно индексируются в этих базах цитирования в разделах Computer Science, Décision Sciences и Management Information Systems);
♦ язык поиска и статей — английский;
♦ ключевые запросы — "decision support systems", "intelligent decision support systems". Первый запрос является более общим по отношению ко второму, необходимость его использования объясняется относительно небольшим числом статей, которые удается найти в базах цитирования с применением второго (более конкретного) запроса. В частности, второй (более конкретный) запрос без применения критериев исключения позволил найти 300 работ в базе Web of Science и 1269 работ в базе Scopus. В то же время использование первого (более общего) запроса позволило найти 20 003 работы в Web of Science и 108 131 работу в Scopus;
♦ критерии исключения статей из корпуса текстов:
— низкая релевантность, определенная на основе изучения реферата статьи;
— отсутствие или сложность повторного воспроизведения результатов статьи;
— сложность повторного использования программных артефактов, представленных в статье;
— невозможность анализа статьи из-за использования языка, отличного от русского и английского;
— отсутствие использования элементов искусственного интеллекта (таких как нечеткие множества или ИНС) при построении предлагаемых методов.
В результате применения разработанной стратегии был сформирован корпус статей со следующими характеристиками (таблица 1). Корпус был разбит на интервалы по пять лет, начиная с 1991 года.
Таблица 1. Состав корпуса анализируемых статей
Горизонт Агрегативные Конфигуративные
поиска статьи статьи
1991-1995 6 Z
1996-2000 6 В
2001-2005 Z Z
2006-2010 В 2В
2011-2015 Z 20
2016-2021 19 34
Общее количество статей, отобранных для анализа, составило 157. Обратим внимание на тот факт, что изначальное количество работ, удовлетворяющих выбранному поисковому запросу в базе цитирования Web of Science, составило 303. Однако применение критериев исключения к найденным работам в обеих базах цитирования (Scopus и Web of Science) позволило сократить число работ для анализа до 157. Поскольку исследование проводилось с января по май 2021 года, этот показатель соответствует аналогичным исследованиям, проводимых по методологии DSRM в тех же временных рамках [41—43]. Из таблицы 1 видно, что, начиная с 2006 года, количество конфигуративных статей заметно превышает число аггрегативных работ по данной тематике.
Опережающий рост конфигуративных статей может быть объяснен расширением перечня задач, в которых используются СППР. Как уже отмечалось ранее, конфигуративные статьи — это статьи, в которых описываются условия предметной области и задачи, которые способствуют успешному применению того или иного артефакта. Чем больше сценариев использования — тем больше число публикуемых статей. Полнотекстовый анализ статей из сформированного корпуса позволил получить результаты исследования. Избранные статьи представлены в таблице 2. Эти статьи были выбраны из общего корпуса по таким критериям, как репрезентативность выборки по каждому из временных интервалов для демонстрации постоянного интереса к данной теме и использование в статьях описаний реальных ситуаций, которые могли бы быть повторно проанализированы независимым исследователем с получением тех же результатов. Иначе говоря, были выбраны работы, где обеспечивается воспроизводимость результата. При этом в колонке «Артефакт» таблицы 2 характеристика «Тип 1» оз-
начает общую поддержку принятия решений с явным указанием на возможность многокритериального выбора, а «Тип 2» означает общую поддержку принятия решений без явного указания на возможность многокритериального выбора.
Как видно из представленных таблиц, анализ корпуса статей в целом подтверждает гипотезу об актуальности и нерешенности проблемы разработки нейросетевых распределенных СППР в различных предметных областях. Подробному анализу выявленных эвристик конструкции и формулированию ключевых направлений собственных исследований посвящены последующие разделы настоящей статьи. Согласно методологии DSRM, в «каноническую» структуру таблицы должен включаться столбец, содержащий метрики сравнения с аналогами, предлагаемые авторами работ. Однако в таблице 2 этот столбец отсутствует, поскольку ни в одной из рассматриваемых статей какие-либо явно определенные критерии сравнения различных походов к разработке нейросетевых распределенных СППР не представлены. Это затрудняет объективный анализ существующих решений и выбор близких аналогов. Поэтому разработка и апробация объективных критериев сравнения нейросетевых СППР уже на этапе предварительного анализа литературы может быть включена в состав перспективных тем исследований.
3. Результаты анализа
3.1. Применение нейросимволической парадигмы к построению современных СППР
Как уже было отмечено ранее, при создании ИСППР необходимо решить два принципиальных вопроса. Первый вопрос касается представления информации и знаний в таком виде, чтобы было возможно использование этих знаний как в символических, так и в суб-символических системах. Второй вопрос посвящен выражению символических рассуждений на суб-символическом уровне. Без решения этих вопросов создание нейросимво-лических систем невозможно.
В силу того, что любая нейросимволическая система состоит из символических и суб-символических модулей, вопросы коммуникации между ними играют важнейшую роль. Иначе говоря, требуется возможность перевода символического знания в распределенный вид и обратно. Такой двусто-
ронний перевод оправдан тем, что ИНС не могут функционировать на высоких уровнях абстракции: рассуждения на высоких уровнях абстракции могут быть исключительно символическими. Кроме того, возникает вопрос о расположении этого закодированного знания в суб-символических модулях: возможно кодирование знания в веса ИНС, в функцию потерь ИНС или в представление в виде факторных моделей [60]. Выбор способа представления знаний в виде, понятном для нейронной сети входит в актуальную повестку данной области знаний на ближайшие 10 лет [18]. Помимо технических вопросов конструирования распределенных представлений, также существуют актуальные вопросы выражения связей между элементами кодируемой символической структуры, а также кодирования выражений логики первого порядка [61].
Существуют различные варианты построения распределенных представлений для символических структур. Одним из таких подходов являются тензорные представления [30], которые мы отмечали ранее. Этот метод позволяет строить распределенные представления довольно сложных и рекурсивных символьных структур, например, двоичных деревьев. Уникальным свойством этого подхода по сравнению, например, с парадигмой VSA (Vector Symbolic Architectures) является декодирование структуры из распределенного представления без потерь. Вторым важным свойством является возможность выражения ряда символических операций в виде тензорных манипуляций.
Это позволяет тензорным представлениям стать основой для нейросимволических алгоритмов, поскольку скомпилированная ИНС может служить универсальным исполнителем тензорных операций. Важно отметить, что создание нейронных сетей, не требующих обучения, но позволяющих выполнять сложные задачи, является сложной и перспективной задачей [62, 63]. Таким образом, нейросимволические системы, использующие тензорные представления, позволяют выражать определенный символический алгоритм в виде компилируемых сетей, не требующих обучения, и являются системами пятого типа, согласно рассмотренной выше классификации. Однако известно, что тензорные представления характеризуются взрывным ростом размерности по мере роста глубины кодируемой структуры. Поэтому существуют другие подходы, которые позволяют кодировать символические структуры в вектор фиксированного
Таблица 2.
Заключительная аналитическая таблица. Избранные работы, посвященные созданию ИСППР
Проблема Артефакт Эвристики конструкции Эвристики ожидания Источник
Оценка характера беременности Тип 1 Нечеткая логика 24ир!е Наличие экспертных оценок [44]
Выбор поставщика Тип 1 Нечеткая логика Наличие исторических данных и критериев [45]
Выбор лауреата стипендии Тип 1 Нечеткая логика. Рассуждения, основанные на правилах Наличие заявок учащихся [46]
Оценка риска заболевания Тип 2 Рассуждения, основанные на правилах. Генетические алгоритмы Наличие экспертных оценок и исторических данных [47]
Рекомендации клиентам Тип 1 Нечеткая логика Наличие исторических данных [48]
Схема паллетизации грузов на борту самолета Тип 2 Рассуждения, основанные на правилах. Генетические алгоритмы Наличие ограничений [49]
Выбор наиболее важного риска для митигации Тип 1 Нечеткая логика 24ир!е. Метод выбора порядка предпочтения по сходству с идеальным решением (ТОРБ^) Наличие экспертных оценок и альтернатив [50]
Оценка скорости водного потока Тип 2 ИНС Наличие исторических данных [51]
Оценка риска наводнения Тип 2 Метод анализа иерархий Наличие экспертных оценок [52]
Выбор модели перевода вычислений в облачную инфраструктуру Тип 1 Нечеткая логика 24ир!е. Метод выбора порядка предпочтения по сходству с идеальным решением (ТОРБ^) Наличие экспертных оценок и альтернатив [53]
Предотвращение аварий Тип 2 Нечеткая логика.ИНС Наличие исторических данных [54]
Поиск поставщика Тип 1 Нечеткая логика 24ир!е Наличие экспертных оценок и альтернатив [55]
Поиск лучшей ЕЯР-системы Тип 1 ИНС. Метод анализа иерархий Наличие экспертных оценок и альтернатив [56]
Поиск лучшего проекта Тип 1 Функции доверия. Теория Демпстера-Шафера Наличие экспертных оценок и альтернатив [57]
Анализ исковых заявлений Тип 2 Рассуждения, основанные на правилах. Рассуждения, основанные на примерах Наличие базы правил и базы примеров [58]
Анализ возможностей использования возобновляемых источников энергии Тип 1 Рассуждения, основанные на правилах Наличие цифровых карт [59]
размера. Это семейство подходов называется VSA/ HD (Vector Symbolic Architectures / High Dimensional Computing). Фиксированность длины результирующего вектора одновременно является недостатком таких подходов: может оказаться, что размерности вектора может не хватить для того, чтобы хранить необходимую информацию для восстановления символической структуры без потерь.
Тензорные представления также можно использовать для решения второго актуального вопроса, возникающего при построении нейросимволиче-ских систем — выражения символических рассуждений на суб-символическом уровне. Было показано, что простые алгоритмы (такие как арифметические операции) могут быть выражены в виде последовательности скомпилированных нейронных сетей
[64, 65]. Однако, существуют и другие подходы, позволяющие выражать сложные символические алгоритмы в виде нейросетевых архитектур. К таким архитектурам относятся, например, нейронные машины Тьюринга (neural Turing machine, NTN). Они впервые были предложены в 2014 году [66] и с тех пор получили широкое распространение в различных задачах, начиная от простых алгоритмических задач и заканчивая обучением с подкреплением [67], последовательными рекомендациями [68], трансдукцией естественного языка [69] и др.
В нейросимволических СППР обучение играет критическую роль, так как этим системам необходимо предлагать решения, в том числе основываясь на исторических данных (например, задавать веса критериям или оценкам экспертов согласно предыдущим примерам принятия решений). Кроме того, результаты рассуждений на суб-символическом уровне также должны быть извлекаемыми из субсимволической системы (ИНС). С одной стороны, это позволит получить полностью обучаемую систему, а с другой — в любой момент становится возможным воспользоваться символическими рассуждениями и перейти на более высокий уровень абстракции. Это в очередной раз поднимает вопрос об интерпретируемости результатов, получаемых с помощью нейросимволических систем.
В нейросимволических системах необходимо учитывать различные требования, такие как модульность, возможность работать с символическим языком, возможность выражения рассуждений и удовлетворения ограничений как на символическом, так и на суб-символическом уровнях. Вопросы унифицированного выражения знаний и рассуждений являются актуальными, в том числе, при построении нейросимволических СППР.
3.2. Возможный процесс внедрения
В задачах многокритериального принятия решений знание проблемной ситуации имеет иерархический характер [26, 50, 53, 70] и может быть описано в виде дерева, где в качестве листьев выступают лингвистические оценки, а узлами являются соответствующие элементы, такие как критерии, группы критериев, эксперты и альтернативы. Выбор лингвистических оценок определяется необходимостью учитывать неопределенность контекста, неструктурированность экспертных оценок и другие факторы. Таким образом, кодируя знание проблемной ситуации с помощью дерева, воз-
можно его выражение в распределенном виде без потери информации при условии использования тензорных представлений. Согласно вышеуказанным свойствам тензорных представлений, становится возможным при необходимости извлекать из распределенного представления символические структуры и представлять определенный символический алгоритм на суб-символическом уровне. Использование распределенных представлений и рассуждений на суб-символическом уровне позволяет представить определенные части СППР в виде высокоэффективных распределенных модулей.
Кодирование дерева, а также извлечение структурных элементов может выполняться в виде скомпилированных ИНС, построенных в соответствии с правилами тензорных представлений. В терминах нейросимволической парадигмы шаг агрегации оценок является примером рассуждений. Представление рассуждений на суб-символическом уровне является актуальной задачей. Шаг агрегации, рассматриваемый как рассуждения в нейросимволических СППР, предлагается выполнять с помощью обучаемой распределенной нейросетевой архитектуры, такой как нейронные машины Тьюринга. Как было показано ранее, с помощью этой архитектуры возможно выражение математического алгоритма поиска взвешенной суммы и некоторых других. Соответственно, становится возможным создание полностью обучаемого нейросетевого агрегатора лингвистических оценок, который адаптировался бы во времени к новым данным и использовал бы исторические данные. В частности, такой алгоритм мог бы самостоятельно назначать веса экспертов и критериев (а также групп критериев) согласно многоуровневой методологии принятия решений на основе лингвистических оценок [70]. В таком случае результатом работы сети становится экземпляр тензорных представлений, который после декодирования превращается в лингвистическую оценку. Таким образом, достигается одно из важнейших требований к СППР — интерпретируемость результатов.
Построение нейросимволических СППР является интересной научной и практически значимой задачей. Текущий набор технологических решений позволяет создавать как символические, так и субсимволические модули для нейросимволических СППР, которые характеризуются отказоустойчивостью, распределенностью и высокой эффективностью вычислений, а также высоким уровнем интерпретируемости, что крайне важно при принятии ЛПР стратегических решений.
Заключение
В рамках данной работы было проведено выявление и исследование новых направлений развития систем поддержки принятия решений в соответствии с методологией DSRM. В результате сбора и анализа большого количества актуальных научных источников получила поддержку первоначальная гипотеза о существенном повышении значимости распределенных СППР в условиях глобальной цифровиза-ции и развития новых организационных форм. Была выявлена устойчивая тенденция к построению подобных систем на основе интегрированных нейро-сетевых подходов. К числу наиболее значимых выводов следует отнести следующее:
♦ в настоящее время чаще всего ИНС используются в СППР в качестве модуля, решающего задачи прогнозирования и классификации;
♦ в большом количестве приложений используются распределенные представления на основе тензорных представлений, в силу возможности выражения символов и символических опера-
ций на тензорном уровне и извлечение символов из таких представлений без потери информации.
При этом анализ показывает, что наиболее перспективными направлениями фундаментальных и прикладных исследований являются:
♦ реализация объясняющих способностей для распределенных СППР;
♦ модификация базовых моделей тензорных представлений для случаев большой размерности;
♦ интегрирование в СППР перспективных ней-росетевых архитектур, таких как нейронные машины Тьюринга;
♦ разработка номенклатуры конфигураций и возможных вариантов внедрения нейросимволи-ческих СППР на основе анализа, проведенного в данной работе. ■
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-37-90058.
Литература
1. Challenges for the cyber-physical manufacturing enterprises of the future / H. Panetto [et al.] // Annual Reviews in Control. 2019. Vol. 47. P. 200-213. DOI: 10.1016/j.arcontrol.2019.02.002.
2. Moreira M.E. The agile enterprise: Building and running agile organizations. New York: Apress, 2017. DOI: 10.1007/978-1-4842-2391-8.
3. MacDonald T.J., Allen D.W.E., Potts J. Blockchains and the boundaries of self-organized economies: Predictions for the future of banking // Banking beyond banks and money. New economic window. Cham: Springer, 2016. P. 279-296. DOI: 10.1007/978-3-319-42448-4_14.
4. Hu P., Dhelim S., Ning H., Qiu T. Survey on fog computing: Architecture, key technologies, applications and open issues // Journal of Network and Computer Applications. 2017. Vol. 98. P. 27-42. DOI: 10.1016/j.jnca.2017.09.002.
5. Neuron as an agent / S. Ohsawa [et al.] // Proceedings of the 6th International Conference on Learning Representations (ICLR 2018), Vancouver, Canada, 30 April — 3 May 2018. [Электронный ресурс]: https://openreview.net/forum?id=BkfEzz-0- (дата обращения 05.07.2021).
6. Fitzgerald S. Design and implementation of a distributed neural network platform utilising crowdsource processing (MAI Thesis). Dublin: Trinity College Dublin, 2018.
7. Arcand J.-F., Pelletier S.-J. ADN-analysis and development of distributed neural networks for intelligent applications // Proceedings of the 1994 IEEE International Conference on Neural Networks (ICNN '94). Orlando, USA, 27-29 June 1994. Vol. 3. P. 1519-1524. DOI: 10.1109/ICNN.1994.374513.
8. James M., Hoang D. Design of low-cost, real-time simulation systems for large neural networks // Journal of Parallel and Distributed Computing. 1992. Vol. 14. No 3. P. 221-235. DOI: 10.1016/0743-7315(92)90065-U.
9. Pi Y., Yuan Q., Meng X. A flexible implementation method of distributed ANN // Proceedings of the 2012 International Conference on Brain Inspired Cognitive Systems (BICS 2012). Shenyang, China, 11-14 July 2012. P. 345-350. DOI: 10.1007/978-3-642-31561-9_39.
10. Meng X., Yuan Q., Pi Y., Wang J. A novel method of constructing ANN // Proceedings of the 2007 International Symposium on Neural Networks (ISNN 2007). Nanjing, China, 3-7 June 2007. P. 493-499. DOI: 10.1007/978-3-540-72393-6_59.
11. Khouzam B. Neural networks as cellular computing models for temporal sequence processing (PhD Thesis). Supelec, 2014.
12. Machine learning at the network edge: A survey / M. Murshed [et al.]. Working paper arXiv:1908.00080, 2019.
13. Ghosh J., Hwang K. Mapping neural networks onto message-passing multicomputers // Journal of Parallel and Distributed Computing. 1989. Vol. 6. No 2. P. 291-330. DOI: 10.1016/0743-7315(89)90063-4.
14. Suresh S., Omkar S., Mani V. Parallel implementation of back-propagation algorithm in networks of workstations // IEEE Transactions on Parallel and Distributed Systems. 2005. Vol. 16. No 1. P. 24-34. DOI: 10.1109/TPDS.2005.11.
15. Tollenaere T., Orban G. Simulating modular neural networks on message-passing multiprocessors // Parallel Computing. 1991. Vol. 17. No 4—5. P. 361—379. DOI: 10.1016/S0167-8191(05)80142-5.
16. Failout: Achieving failure-resilient inference in distributed neural networks /A. Yousefpour [et al.]. Working paper arXiv:2002.07386, 2020.
17. Garcez A., Lamb L. Neurosymbolic AI: The 3rd wave. Working paper arXiv:2012.05876, 2020.
18. Peffers K., Tuunanen T., Rothenberger M.A., Chatterjee S. A design science research methodology for information systems research // Journal of Management Information Systems. 2007. Vol. 24. No 3. P. 45—77. DOI: 10.2753/MIS0742-1222240302.
19. Плетняков В.А. Развитие современных технологий поддержки принятия управленческих решений стратегического характера в инновационной сфере // Terra Economicus. 2012. Т. 10. № 2.2. С. 56—59.
20. Селютина Л.Г. Развитие современных технологий поддержки принятия управленческих решений в предпринимательской деятельности в сервисной экономике // Экономика XXI века. Сб. материалов Международной научно-практической конференции. Новосибирск, 23 октября 2020 г. С. 387—393.
21. Power D.J. Supporting decision-makers: An expanded framework // Informing Science. 2001. Vol. 1. P. 1901—1915. DOI: 10.28945/2384.
22. Power D.J. Understanding data-driven decision support systems // Information Systems Management. 2008. Vol. 25. No 2. P. 149—154. DOI: 10.1080/10580530801941124.
23. Применение методов искусственного интеллекта для выявления и прогнозирования осложнений при строительстве нефтяных и газовых скважин: проблемы и основные направления решения / Черников А.Д. и [др.] // Георесурсы. 2020. Т. 22. № 3. С. 87—96. DOI: 10.18599/grs.2020.3.87-96.
24. Бондаренко И.С. Концепция имитационной модели системы поддержки принятия решений угольного предприятия // Вестник университета. 2021. № 2. С. 42—50. DOI: 10.26425/1816-4277-2021-2-42-50.
25. Курейчик В.М. Особенности построения систем поддержки принятия решений // Известия ЮФУ. Технические науки. 2012. № 7. С. 92—98.
26. Kuziemski M., Misuraca G. AI governance in the public sector: Three tales from the frontiers of automated decision-making in democratic settings // Telecommunications Policy. 2020. Vol. 44. No 6. Article ID 101976. DOI: 10.1016/j.telpol.2020.101976.
27. Yeung K. Recommendation of the council on artificial intelligence (OECD) // International Legal Materials. 2020. Vol. 59. No 1. P. 27—34. DOI: 10.1017/ilm.2020.5.
28. Kelley T.D. Symbolic and sub-symbolic representations in computational models of human cognition: What can be learned from biology? // Theory & Psychology. 2003. Vol. 13. No 6. P. 847—860. DOI: 10.1177/0959354303136005.
29. Pylyshyn Z.W. Computing in cognitive science. Foundations of cognitive science. Cambridge, MA: MIT Press, 1989. P. 51—91.
30. Smolensky P., Legendre G. The harmonic mind: From neural computation to optimality-theoretic grammar. Vol. 1: Cognitive architecture. Cambridge, MA: MIT Press, 2006.
31. Plate T.A. Holographic reduced representations // IEEE Transactions on Neural Networks. 1995. Vol. 6. No 3. P. 623—641. DOI: 10.1109/72.377968.
32. Kanerva P. Hyperdimensional computing: An introduction to computing in distributed representation with high-dimensional random vectors // Cognitive Computation. 2009. No 1. P. 139—159. DOI: 10.1007/s12559-009-9009-8.
33. Schlegel K., Neubert P., Protzel P. A comparison of vector symbolic architectures. Working paper arXiv:2001.11797, 2020.
34. Kautz H. The third AI summer: AAAI 2020 Robert S. Engelmore memorial award lecture. 2020. Available at: https://youtu.be/_ cQITY0SPiw (дата обращения 05.07.2021).
35. Mao J., Gan C., Kohli P., Tenenbaum J.B., Wu J. The neuro-symbolic concept learner: Interpreting scenes, words, and sentences from natural supervision. Working paper arXiv:1904.12584, 2019.
36. Johannesson P., Perjons E. An introduction to design science. Cham: Springer, 2014. DOI: 10.1007/978-3-319-10632-8.
37. Hockmayr B.S. Engineering service systems in the digital age. Wiesbaden: Springer Gabler, 2019. DOI: 10.1007/978-3-658-26203-7.
38. vom Brocke J., Havner A., Maedche A. Design science research: cases. Cham: Springer, 2020. DOI: 10.1007/978-3-030-46781-4.
39. Dresch A., Lacetda D.P., Antunes J.A.V. Jr. Design science research. A method for science and technology advancement. Cham: Springer, 2014. DOI: 10.1007/978-3-319-07374-3.
40. Alismail S., Zhang H., Chatterjee S. A framework for identifying design science research objectives for building and evaluating IT artifacts // Proceedings of the International Conference on Design Science Research in Information System and Technology. Karlsruhe, Germany, 30 May — 1 June 2017. P. 218—230. DOI: 10.1007/978-3-319-59144-5_13.
41. An overview of clinical decision support systems: benefits, risks, and strategies for success / R.T. Sutton [et al.] // NPJ Digital Medicine. 2020. No 3. Article ID 17. DOI: 10.1038/s41746-020-0221-y.
42. Kasie F.M., Bright G., Walker A. Decision support systems in manufacturing: a survey and future trends // Journal of Modelling in Management. 2017. Vol. 12. No 3. P. 432—454. DOI: 10.1108/JM2-02-2016-0015.
43. Zhai Z., Mart nez J.F., Beltran V., Martnez N.L. Decision support systems for agriculture 4.0: Survey and challenges // Computers and Electronics in Agriculture. 2020. Vol. 170. Article ID 105256. DOI: 10.1016/j.compag.2020.105256.
44. An interpretable knowledge-based decision support system and its applications in pregnancy diagnosis / K. Song [et al.] // Knowledge-Based Systems. 2021. Vol. 221. Article ID 106835. DOI: 10.1016/j.knosys.2021.106835.
45. Alavi B., Tavana M., Mina H. A dynamic decision support system for sustainable supplier selection in circular economy // Sustainable Production and Consumption. 2021. Vol. 27. P. 905-920. DOI: 10.1016/j.spc.2021.02.015.
46. Fuzzy logic implementation using the Tsukamoto method as a decision support system in scholarship acceptance / S.T.M.T. Sukenda [et al.] // Turkish Journal of Computer and Mathematics Education (TURCOMAT). 2021. Vol. 12. No 11. P. 1411-1417. DOI: 0.17762/ turcomat.v12i11.6054.
47. Aggarwal L., Goswami P., Sachdeva S. Multi-criterion intelligent decision support system for COVID-19 // Applied Soft Computing. 2021. Vol. 101. Article ID 107056. DOI: 10.1016/j.asoc.2020.107056.
48. Zong K., Yuan Y., Montenegro-Marin C.E, Kadry S.N. Or-based intelligent decision support system for e-commerce // Journal of Theoretical and Applied Electronic Commerce Research. 2021. Vol. 16. No 4. P. 1150-1164. DOI: 10.3390/jtaer16040065.
49. Lee N.-S., Mazur P., Bittner M., Schoder D. An intelligent decision-support system for air cargo palletizing // Proceedings of the 54th Hawaii International Conference on System Sciences. Maui, Hawaii, 5-8 January 2021. P. 1405. DOI: 10.24251/HICSS.2021.170.
50. APOLLO: A fuzzy multi-criteria group decision-making tool in support of climate policy / A. Labella [et al.] // International Journal of Computational Intelligence Systems. 2020. Vol. 13. No 1. P. 1539-1553. DOI: 10.2991/ijcis.d.200924.002.
51. Artificial neural network incorporated decision support tool for point velocity prediction / S. Simsek [et al.] // Journal of Business Analytics. 2020. Vol. 3. No 1. P. 67-78. DOI: 10.1080/2573234X.2020.1751569.
52. GIS-based MCDM-AHP modeling for flood susceptibility mapping of arid areas, southeastern Tunisia. / D. Souissi [et al.] // Geocarto International. 2020. Vol. 35. No 9. P. 991-1017. DOI: 10.1080/10106049.2019.1566405.
53. Sohaib O., Naderpour M., Hussain W., Martinez L. Cloud computing model selection for e-commerce enterprises using a new 2-tuple fuzzy linguistic decision-making method // Computers & Industrial Engineering. 2019. Vol. 132. P. 47-58. DOI: 10.1016/j. cie.2019.04.020.
54. Dwi Putra M.S., Andryana S., Fauziah, Gunaryati A. Fuzzy analytical hierarchy process method to determine the quality of gemstones // Advances in Fuzzy Systems. 2018. Vol. 2018. Article ID 9094380. DOI: 10.1155/2018/9094380.
55. Jimenez Moya G.E., Zulueta Veliz Y. A 2-tuple linguistic multi-period decision making approach for dynamic green supplier selection // DYNA. 2017. Vol. 84. No 202. P. 199-206. DOI: 10.15446/dyna.v84n202.58032.
56. Yazgan H.R., Boran S., Goztepe K. An ERP software selection process with using artificial neural network based on analytic network process approach // Expert Systems with Applications. 2009. Vol. 36. No 5. P. 9214-9222. DOI: 10.1016/j.eswa.2008.12.022.
57. Weidong Z., Shiping G. Intelligent decision support system and its application in science research project selection // Proceedings of the 2009 First International Workshop on Education Technology and Computer Science. NW Washington, USA, 7-8 March 2009. Vol. 1.
P. 858-862. DOI: 10.1109/ETCS.2009.194.
58. Pal K., Palmer O. A decision-support system for business acquisitions // Decision Support Systems. 2000. Vol. 27. No 4. P. 411-429. DOI: 10.1016/S0167-9236(99)00083-4.
59. Voivontas D., Assimacopoulos D., Mourelatos A., Corominas J. Evaluation of renewable energy potential using a GIS decision support system // Renewable Energy. 1998. Vol. 13. No 3, P. 333-344. DOI: 10.1016/S0960-1481(98)00006-8.
60. A meta-transfer objective for learning to disentangle causal mechanisms / Y. Bengio [et al.]. Working paper arXiv:1901.10912, 2019.
61. Bader S., Hitzler P., H lldobler S., Witzel A. A fully connectionist model generator for covered first-order logic programs // Proceedings of the Twentieth International Joint Conference on Artificial Intelligence (IJCAI-2007). Hyderabad, India, 6-12 January 2007. P. 666-671.
62. Pinkas G. Reasoning, nonmonotonicity and learning in connectionist networks that capture propositional knowledge // Artificial Intelligence. 1995. Vol. 77. No 2. P. 203-247. DOI: 10.1016/0004-3702(94)00032-V.
63. Pinkas G., Lima P., Cohen S. Representing, binding, retrieving and unifying relational knowledge using pools of neural binders // Biologically Inspired Cognitive Architectures. 2013. Vol. 6. P. 87-95. DOI: 10.1016/j.bica.2013.07.005.
64. Demidovskij A.V., Babkin E.A. Towards designing linguistic assessments aggregation as a distributed neuroalgorithm // Proceedings of the 2020 XXIII International Conference on Soft Computing and Measurements (SCM). St. Petersburg, Russia, 27-29 May 2020,
pp. 161-164. DOI: 10.1109/SCM50615.2020.9198767.
65. Demidovskij A., Babkin E. Designing arithmetic neural primitive for sub-symbolic aggregation of linguistic assessments // Journal of Physics: Conference Series. 2020. Vol. 1680. No 1. Article ID 012007. DOI: 10.1088/1742-6596/1680/1/012007.
66. Hybrid computing using a neural network with dynamic external memory / A. Graves [et al.] // Nature. 2016. No 538. P. 471-476. DOI: 10.1038/nature20101.
67. Zaremba W., Sutskever I. Reinforcement learning neural Turing machines-revised. Working paper arXiv:1505.00521, 2015.
68. Sequential recommendation with user memory networks / X. Chen [et al.] // Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining (WSDM '18), New York, 5-9 February 2018, pp. 108-116. DOI: 10.1145/3159652.3159668.
69. Grefenstette E., Hermann K. M., Suleyman M., Blunsom P. Learning to transduce with unbounded memory. Working paper arXiv:1506.02516, 2015.
70. Demidovskij A.V., Babkin E.A. Developing a distributed linguistic decision making system // Business Informatics. 2019. Vol. 13. No 1. P. 18-32. DOI: 10.17323/1998-0663.2019.1.18.32.
Об авторах
Демидовский Александр Владимирович
аспирант кафедры информационных систем и технологий, Национальный исследовательский университет «Высшая школа экономики», 603155, г. Нижний Новгород, ул. Большая Печерская, д. 25/20; E-mail: ademidovskij@hse.ru ORCID: 0000-0003-3605-6332
Бабкин Эдуард Александрович
кандидат технических наук, PhD (Computer Science);
профессор кафедры информационных систем и технологий, Национальный исследовательский университет «Высшая школа экономики», 603155, г. Нижний Новгород, ул. Большая Печерская, д. 25/20; E-mail: eababkin@hse.ru ORCID: 0000-0003-2597-9043
Integrated neurosymbolic decision support systems: problems and opportunities
Alexander V. Demidovskij
E-mail: ademidovskij@hse.ru
Eduard A. Babkin
E-mail: eababkin@hse.ru
National Research University Higher School of Economics
Address: 25/12, Bolshaya Pecherskaya Street, Nizhny Novgorod 603155, Russia
Abstract
The current problem of developing new kinds of decision support systems for different categories of management personnel is addressed in this study. A critical feature of such systems is their distributed and decentralized nature, which enables the construction of next-generation information systems in the form of Multi-Agent Systems, Internet of Things, or Fog Computing Architectures. Parallel models of the dynamics of artificial neural networks are produced under such realistic circumstances, demonstrating their potential for addressing a variety of issues. The purpose of this study is to conduct a critical analysis of the problem of integrating Artificial Neural Networks with decision support systems using a corpus of relevant scholarly literature. To tackle this question, the Design Science Research methodology was considered. According to this methodology, a literary search strategy was established, scientific literature was collected and analyzed, and key comparisons between different solutions were emphasized. The study resulted in the presentation of the most important findings, outstanding issues, and potential areas of fundamental and applied solutions. A consistent trend toward the development of decision support systems based on integrated neural-network methods has been observed, which is efficient and cost-effective since it enables the creation of distributed and trainable decision support systems.
Key words: linguistic decision-making; multi-criteria decision-making; decision support systems; neurosymbolic systems; artificial intelligence.
Citation: Demidovskij A.V., Babkin E.A. (2021) Integrated neurosymbolic decision support systems: problems and opportunities. Business Informatics, vol. 15, no 3, pp. 7-23. DOI: 10.17323/2587-814X.2021.3.7.23
References
1. Panetto H., Iung B., Ivanov D., Weichhart G., Wang X. (2019) Challenges for the cyber-physical manufacturing enterprises of the future. Annual Reviews in Control, vol. 47, pp. 200-213. DOI: 10.1016/j.arcontrol.2019.02.002.
2. Moreira M.E. (2017). The agile enterprise: Building and running agile organizations. New York: Apress. DOI: 10.1007/978-1-4842-2391-8.
3. MacDonald T.J., Allen D.W.E., Potts J. (2016) Blockchains and the boundaries of self-organized economies: Predictions for the future of banking. Banking beyond banks and money. New economic window. Cham: Springer, pp. 279-296. DOI: 10.1007/978-3-319-42448-4_14.
4. Hu P., Dhelim S., Ning H., Qiu T. (2017) Survey on fog computing: Architecture, key technologies, applications and open issues. Journal of Network and Computer Applications, vol. 98, pp. 27-42. DOI: 10.1016/j.jnca.2017.09.002.
5. Ohsawa S., Akuzawa K., Matsushima T., Bezerra G., Iwasawa Y., Kajino H., Takenaka S., Matsuo Y. (2018) Neuron as an agent. Proceedings of the 6th International Conference on Learning Representations (ICLR 2018), Vancouver, Canada, 30 April — 3 May 2018. Available at: https://openreview.net/forum?id=BkfEzz-0- (accessed 5 July 2021).
6. Fitzgerald S. (2018) Design and implementation of a distributed neural network platform utilising crowdsource processing (MAI Thesis). Dublin: Trinity College Dublin.
7. Arcand J.-F., Pelletier S.-J. (1994) ADN-analysis and development of distributed neural networks for intelligent applications. Proceedings of the 1994 IEEE International Conference on Neural Networks (ICNN '94). Orlando, USA, 27—29 June 1994, vol. 3, pp. 1519-1524. DOI: 10.1109/ICNN.1994.374513.
8. James M., Hoang D. (1992) Design of low-cost, real-time simulation systems for large neural networks. Journal of Parallel and Distributed Computing, vol. 14, no 3, pp. 221-235. DOI: 10.1016/0743-7315(92)90065-U.
9. Pi Y., Yuan Q., Meng X. (2012) A flexible implementation method of distributed ANN. Proceedings of the 2012International Conference on Brain Inspired Cognitive Systems (BICS2012). Shenyang, China, 11-14 July 2012, pp. 345-350. DOI: 10.1007/978-3-642-31561-9_39.
10. Meng X., Yuan Q., Pi Y., Wang J. (2007) A novel method of constructing ANN. Proceedings of the 2007International Symposium on Neural Networks (ISNN2007). Nanjing, China, 3-7 June 2007, pp. 493-499. DOI: 10.1007/978-3-540-72393-6_59.
11. Khouzam B. (2014) Neural networks as cellular computing modelsfor temporal sequence processing (PhD Thesis). Supelec.
12. Murshed M., Murphy C., Hou D., Khan N., Ananthanarayanan G., Hussain F. (2019) Machine learning at the network edge: A survey. Working paper arXiv:1908.00080.
13. Ghosh J., Hwang K. (1989) Mapping neural networks onto message-passing multicomputers. Journal of Parallel and Distributed Computing, vol. 6, no 2, pp. 291-330. DOI: 10.1016/0743-7315(89)90063-4.
14. Suresh S., Omkar S., Mani V. (2005) Parallel implementation of back-propagation algorithm in networks of workstations. IEEE Transactions on Parallel and Distributed Systems, vol. 16, no 1, pp. 24-34. DOI: 10.1109/TPDS.2005.11.
15. Tollenaere T., Orban G. (1991) Simulating modular neural networks on message-passing multiprocessors. Parallel Computing, vol. 17, no 4-5, pp. 361-379. DOI: 10.1016/S0167-8191(05)80142-5.
16. Yousefpour A., Nguyen B.Q., Devic S., Wang G., Kreidieh A., Lobel H., Bayen A., Jue J. (2020) Failout:Achievingfailure-resilient inference in distributed neural networks. Working paper arXiv:2002.07386.
17. Garcez A., Lamb L. (2020) Neurosymbolic AI: The 3rd wave. Working paper arXiv:2012.05876.
18. Peffers K., Tuunanen T., Rothenberger M.A., Chatterjee S. (2007) A design science research methodology for information systems research. Journal of Management Information Systems, vol. 24, no 3, pp. 45-77. DOI: 10.2753/MIS0742-1222240302.
19. Pletnyakov V.A. (2012) The development of modern technologies to support management decision-making in strategic innovation. Terra Economicus, vol. 10, no 2.2, pp. 56-59 (in Russian).
20. Selyutina L.G. (2020) Development of modern technologies to support management decision-making in the service economy business. Proceedings of the International Scientific and Practical Conference "Economics of XXI century", Novosibirsk, 23 October 2020, pp. 387-393 (in Russian).
21. Power D.J. (2001) Supporting decision-makers: An expanded framework. Informing Science, vol. 1, pp. 1901-1915. DOI: 10.28945/2384.
22. Power D.J. (2008) Understanding data-driven decision support systems. Information Systems Management, vol. 25, no 2, pp. 149-154. DOI: 10.1080/10580530801941124.
23. Chernikov A.D., Eremin N.A., Stolyarov V.E., Sboev A.G., Semenova-Chashchina O.K., Fitsner L.K. (2020) Application of artificial intelligence methods for identifying and predicting complications in the construction of oil and gas wells: Problems and solutions. Georesources, vol. 22, no 3, pp. 87-96 (in Russian). DOI: 10.18599/grs.2020.3.87-96.
24. Bondarenko I.S. (2021) The concept of the simulation model of the decision support system of the coal enterprise. Vestnik Universiteta, no 2, pp. 42-50. DOI: 10.26425/1816-4277-2021-2-42-50 (in Russian).
25. Kureichik V.M. (2012) Features of decision making support system design. Izvestiya SFedU: Engineering Sciences, vol. 7, pp. 92-98 (in Russian).
26. Kuziemski M., Misuraca G. (2020) AI governance in the public sector: Three tales from the frontiers of automated decision-making in democratic settings. Telecommunications Policy, vol. 44, no 6, article ID 101976. DOI: 10.1016/j.telpol.2020.101976.
27. Yeung K. (2020) Recommendation of the council on artificial intelligence (OECD). International Legal Materials, vol. 59, no 1, pp. 27-34. DOI: 10.1017/ilm.2020.5.
28. Kelley T.D. (2003) Symbolic and sub-symbolic representations in computational models of human cognition: What can be learned from biology? Theory & Psychology, vol. 13, no 6, pp. 847-860. DOI: 10.1177/0959354303136005.
29. Pylyshyn Z.W. (1989) Computing in cognitive science. Foundations of cognitive science. Cambridge, MA: MIT Press, pp. 51—91.
30. Smolensky P., Legendre G. (2006) The harmonic mind: From neural computation to optimality-theoretic grammar. Vol. 1: Cognitive architecture. Cambridge, MA: MIT Press.
31. Plate T.A. (1995) Holographic reduced representations. IEEE Transactions on Neural Networks, vol. 6, no 3, pp. 623—641. DOI: 10.1109/72.377968.
32. Kanerva P. (2009) Hyperdimensional computing: An introduction to computing in distributed representation with high-dimensional random vectors. Cognitive Computation, no 1, pp. 139-159. DOI: 10.1007/s12559-009-9009-8.
33. Schlegel K., Neubert P., Protzel P. (2020) A comparison of vector symbolic architectures. Working paper arXiv:2001.11797.
34. Kautz H. (2020) The third AI summer: AAAI2020Robert S. Engelmore memorial award lecture. Available at: https://youtu.be/_cQITY0SPiw (accessed 5 July 2021).
35. Mao J., Gan C., Kohli P., Tenenbaum J.B., Wu J. (2019) The neuro-symbolic concept learner: Interpreting scenes, words, and sentences from natural supervision. Working paper arXiv:1904.12584.
36. Johannesson P., Perjons E. (2014) An introduction to design science. Cham: Springer. DOI: 10.1007/978-3-319-10632-8.
37. HOckmayr B.S. (2019) Engineering service systems in the digital age. Wiesbaden: Springer Gabler. DOI: 10.1007/978-3-658-26203-7.
38. vom Brocke J., Havner A., Maedche A. (2020) Design science research: cases. Cham: Springer. DOI: 10.1007/978-3-030-46781-4.
39. Dresch A., Lacetda D.P., Antunes J.A.V. Jr. (2014) Design science research. A method for science and technology advancement. Cham: Springer. DOI: 10.1007/978-3-319-07374-3.
40. Alismail S., Zhang H., Chatterjee S. (2017) A framework for identifying design science research objectives for building and evaluating IT artifacts. Proceedings of the International Conference on Design Science Research in Information System and Technology. Karlsruhe, Germany, 30May - 1 June 2017, pp. 218-230. DOI: 10.1007/978-3-319-59144-5_13.
41. Sutton R.T., Pincock D., Baumgart D.C., Sadowski D.C., Fedorak R.N., Kroeker, K.I. (2020) An overview of clinical decision support systems: benefits, risks, and strategies for success. NPJDigital Medicine, no 3, article ID 17. DOI: 10.1038/s41746-020-0221-y.
42. Kasie F.M., Bright G., Walker A. (2017) Decision support systems in manufacturing: a survey and future trends. Journal of Modelling in Management, vol. 12, no 3, pp. 432-454. DOI: 10.1108/JM2-02-2016-0015.
43. Zhai Z., Martinez J.F., Beltran V., Martinez N.L. (2020) Decision support systems for agriculture 4.0: Survey and challenges. Computers and Electronics in Agriculture, vol. 170, article ID 105256. DOI: 10.1016/j.compag.2020.105256.
44. Song K., Zeng X., Zhang Y., Jonckheere J., Yuan X., Koehl L. (2021) An interpretable knowledge-based decision support system and its applications in pregnancy diagnosis. Knowledge-Based Systems, vol. 221, article ID 106835. DOI: 10.1016/j.knosys.2021.106835.
45. Alavi B., Tavana M., Mina H. (2021) A dynamic decision support system for sustainable supplier selection in circular economy. Sustainable Production and Consumption, vol. 27, pp. 905-920. DOI: 10.1016/j.spc.2021.02.015.
46. Sukenda S.T.M.T., Puspitarani Y., Wahyu A.P., Yustim B., Sunjana (2021) Fuzzy logic implementation using the Tsukamoto method as a decision support system in scholarship acceptance. Turkish Journal of Computer and Mathematics Education (TURCOMAT), vol. 12, no 11, pp. 1411-1417. DOI: 0.17762/turcomat.v12i11.6054.
47. Aggarwal L., Goswami P., Sachdeva S. (2021) Multi-criterion intelligent decision support system for COVID-19. Applied Soft Computing, vol. 101, article ID 107056. DOI: 10.1016/j.asoc.2020.107056.
48. Zong K., Yuan Y., Montenegro-Marin C.E, Kadry S.N. (2021) Or-based intelligent decision support system for e-commerce. Journal of Theoretical and Applied Electronic Commerce Research, vol. 16, no 4, pp. 1150-1164. DOI: 10.3390/jtaer16040065.
49. Lee N.-S., Mazur P., Bittner M., Schoder D. (2021) An intelligent decision-support system for air cargo palletizing. Proceedings of the 54th Hawaii International Conference on System Sciences. Maui, Hawaii, 5-8 January 2021, p. 1405. DOI: 10.24251/HICSS.2021.170.
50. Labella A., Koasidis K., Nikas A., Arsenopoulos A., Doukas H. (2020) APOLLO: A fuzzy multi-criteria group decision-making tool in support of climate policy. International Journal of Computational Intelligence Systems, vol. 13, no 1, pp. 1539-1553. DOI: 10.2991/ijcis.d.200924.002.
51. Simsek S., Genc O., Albizri A., Dinc S., Gonen B. (2020) Artificial neural network incorporated decision support tool for point velocity prediction. JournalofBusiness Analytics, vol. 3, no 1, pp. 67-78. DOI: 10.1080/2573234X.2020.1751569.
52. Souissi D., Zouhri L., Hammami S, Msaddek M.H., Zghibi A., Dlala M. (2020) GIS-based MCDM-AHP modeling for flood susceptibility mapping of arid areas, southeastern Tunisia. Geocarto International, vol. 35, no 9, pp. 991-1017. DOI: 10.1080/10106049.2019.1566405.
53. Sohaib O., Naderpour M., Hussain W., Martinez L. (2019) Cloud computing model selection for e-commerce enterprises using a new 2-tuple fuzzy linguistic decision-making method. Computers & Industrial Engineering, vol. 132, pp. 47-58. DOI: 10.1016/j.cie.2019.04.020.
54. Dwi Putra M.S., Andryana S., Fauziah, Gunaryati A. (2018) Fuzzy analytical hierarchy process method to determine the quality of gemstones. Advances in Fuzzy Systems, vol. 2018, article ID 9094380. DOI: 10.1155/2018/9094380.
55. Jimenez Moya G.E., Zulueta Veliz Y. (2017) A 2-tuple linguistic multi-period decision making approach for dynamic green supplier selection. DYNA, vol. 84, no 202, pp. 199-206. DOI: 10.15446/dyna.v84n202.58032.
56. Yazgan H.R., Boran S., Goztepe K. (2009) An ERP software selection process with using artificial neural network based on analytic network process approach. Expert Systems with Applications, vol. 36, no 5, pp. 9214-9222. DOI: 10.1016/j.eswa.2008.12.022.
57. Weidong Z., Shiping G. (2009) Intelligent decision support system and its application in science research project selection. Proceedings of the 2009 First International Workshop on Education Technology and Computer Science. NW Washington, USA, 7-8March 2009, vol. 1, pp. 858-862. DOI: 10.1109/ETCS.2009.194.
58. Pal K., Palmer O. (2000) A decision-support system for business acquisitions. Decision Support Systems, vol. 27, no 4, pp. 411—429. DOI: 10.1016/S0167-9236(99)00083-4.
59. Voivontas D., Assimacopoulos D., Mourelatos A., Corominas J. (1998) Evaluation of renewable energy potential using a GIS decision support system. Renewable Energy, vol. 13, no 3, pp. 333-344. DOI: 10.1016/S0960-1481(98)00006-8.
60. Bengio Y., Deleu T., Rahaman N., Ke R., Lachapelle S., Bilaniuk O., Goyal A., Pal C. (2019) A meta-transfer objective for learning to disentangle causal mechanisms. Working paper arXiv:1901.10912.
61. Bader S., Hitzler P., HÖlldobler S., Witzel A. (2007) A fully connectionist model generator for covered first-order logic programs. Proceedings of the Twentieth International Joint Conference on Artificial Intelligence (IJCAI—2007). Hyderabad, India, 6—12 January 2007, pp. 666-671.
62. Pinkas G. (1995) Reasoning, nonmonotonicity and learning in connectionist networks that capture propositional knowledge. Artificial Intelligence, vol. 77, no 2, pp. 203-247. DOI: 10.1016/0004-3702(94)00032-V.
63. Pinkas G., Lima P., Cohen S. (2013) Representing, binding, retrieving and unifying relational knowledge using pools of neural binders. Biologically Inspired Cognitive Architectures, vol. 6, pp. 87-95. DOI: 10.1016/j.bica.2013.07.005.
64. Demidovskij A.V., Babkin E.A. (2020) Towards designing linguistic assessments aggregation as a distributed neuroalgorithm. Proceedings of the 2020XXIIIInternational Conference on Soft Computing and Measurements (SCM). St. Petersburg, Russia, 27—29May 2020, pp. 161-164. DOI: 10.1109/SCM50615.2020.9198767.
65. Demidovskij A., Babkin E. (2020) Designing arithmetic neural primitive for sub-symbolic aggregation of linguistic assessments. Journal of Physics: Conference Series, vol. 1680, no 1, article ID 012007. DOI: 10.1088/1742-6596/1680/1/012007.
66. Graves A., Wayne G., Reynolds M., Harley T., Danihelka I., Grabska-BarwÜlska A., Colmenarejo S.G., Grefenstette E., Ramalho T., Agapiou J., Badia A.P., Hermann K.M., Zwols Y., Ostrovski G., Cain A., King H., Summerfield C., Blunsom P., Kavukcuoglu K., Hassabis D. (2016) Hybrid computing using a neural network with dynamic external memory. Nature, no 538, pp. 471-476.
DOI: 10.1038/nature20101.
67. Zaremba W., Sutskever I. (2015) Reinforcement learning neural Turing machines-revised. Working paper arXiv:1505.00521.
68. Chen X., Xu H., Zhang Y., Tang J., Cao Y., Qin Z., Zha H. (2018) Sequential recommendation with user memory networks. Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining (WSDM '18), New York, 5—9 February 2018, pp. 108-116. DOI: 10.1145/3159652.3159668.
69. Grefenstette E., Hermann K. M., Suleyman M., Blunsom P. (2015) Learning to transduce with unbounded memory. Working paper arXiv:1506.02516.
70. Demidovskij A.V., Babkin E.A. (2019) Developing a distributed linguistic decision making system. Business Informatics, vol. 13, no 1, pp. 18-32. DOI: 10.17323/1998-0663.2019.1.18.32.
About the authors
Alexander V. Demidovskij
Doctoral Student, Department of Information Systems and Technologies, National Research University Higher School of Economics, 25/12, Bolshaya Pecherskaya Street, Nizhny Novgorod 603155, Russia; E-mail: ademidovskij@hse.ru ORCID: 0000-0003-3605-6332
Eduard A. Babkin
Cand. Sci. (Tech.), PhD (Computer Science);
Professor, Department of Information Systems and Technologies, National Research University Higher School of Economics, 25/12, Bolshaya Pecherskaya Street, Nizhny Novgorod 603155, Russia; E-mail: eababkin@hse.ru ORCID: 0000-0003-2597-9043
