Объяснимый искусственный интеллект как часть искусственного интеллекта третьего поколения Текст научной статьи по специальности «Компьютерные и информационные науки»

4

Объяснимый искусственный интеллект как часть искусственного интеллекта третьего поколения

Аверкин А. Н., ведущий научный сотрудник Вычислительного центра им. А. А. Дородницына Федерального исследовательского центра «Информатика и управление» РАН, averkin2003@inbox.ru

Проводится краткий обзор и анализ существующих методов объяснимого искусственного интеллекта и методов извлечения правил из нейронных сетей и истории этих направлений. Обосновывается, что объяснимый искусственный интеллект является основной частью искусственного интеллекта третьего поколения. Описывается роль Лотфи Заде в создании направления объяснимого искусственного интеллекта. Делается акцент на связи наиболее распространенных в искусственном интеллекте систем объяснений на основе правил с нейронечеткими системами и возможности создания гибридных моделей. Методы извлечения правил из нейронных сетей являются одним из связующих элементов между символьными и коннекционист-скими моделями представления знаний в искусственном интеллекте.

• объяснимый искусственный интеллект • нейронечеткие системы • DARPA • третье поколение искусственного интеллекта •

Один из основных принципов развития и использования технологий искусственного интеллекта (ИИ), приведенных в Национальной стратегии развития искусственного интеллекта на период до 2030 г., является прозрачность: объяснимость работы искусственного интеллекта и процесса достижения им результатов, недискриминационный доступ пользователей продуктов, которые созданы с использованием технологий искусственного интеллекта, к информации о применяемых в этих продуктах алгоритмах работы искусственного интеллекта.

Каждое десятилетие в технологиях происходят революционные сдвиги, которые становятся новыми платформами, на которых строятся новые прикладные технологии. Так, искусственный интеллект перешел от экспертного обучения первого поколения и экспертных систем к системам искусственного интеллекта второго поколения на основе нейросетей глубокого обучения, требующих больших обучающих выборок. Теперь мы вступаем в третье поколение ИИ, в котором система искусственного интеллекта сможет интерпретировать и объяснить алгоритм принятия решений, даже если он имеет природу «черного ящика». Объяснимый искусственный интеллект является основной

частью третьего поколения ИИ. В 2030-х годах мы увидим ИИ четвертого поколения с интеллектуальными системами, которые будут сами обучаться (учиться) и динамически накапливать новые знания и навыки. К 2040-м годам ИИ пятого поколения создаст системы искусственного интеллекта с воображением, которые больше не будут полагаться на людей в обучении.

Объяснимый ИИ устроен таким образом, что наблюдающий со стороны пользователь может понять, почему именно алгоритм принял то или иное решение. Такие методы приходят на смену принципу «чёрного ящика», в котором даже сами создатели ИИ не всегда в состоянии объяснить принципы его работы. Объяснительный интеллект — важная часть общего тренда, который Gartner называют Trust in Algorithm, то есть «доверие алгоритму». Чем больше ИИ заменяет человеческие решения, тем больше он усиливает положительные и отрицательные последствия таких решений. Оставленные без контроля подходы на основе ИИ могут увековечить предвзятость, ведущую к проблемам, потере производительности и доходов. Двигаясь вперед, организации должны разрабатывать и эксплуатировать системы искусственного интеллекта на принципах справедливости и прозрачности и заботиться о безопасности, конфиденциальности и обществе в целом.

Большинство существующих моделей объяснимого ИИ связаны с начавшейся в 2018 г. программой управления перспективных исследовательских проектов Министерства обороны США (DARPA), которая в настоящее время инвестирует более 2 млрд долл. в создание искусственного интеллекта третьего поколения, которую DARPA назвало контекстуальной адаптацией, требующей не только прогресса в представлении знаний и рассуждений, машинном обучении, технологиях человеческого языка, зрения и робототехники, но также тесной интеграции каждого компонента для реализации надежных и прозрачных интеллектуальных систем, способных работать автономно или в команде с людьми и уметь объяснить людям свои решения. Программа DARPA по созданию систем объяснимого ИИ объединяет 11 групп университетов США и стремится создать такие системы ИИ, чьи модели обучения и решения могут быть понятны и должным образом проверены конечными пользователями. Команды разработчиков объяснимого ИИ решают эту проблему путем создания и развития технологий объяснимого машинного обучения, разрабатывая принципы, стратегии и методы взаимодействия человека и компьютера для получения эффективных объяснений.

В России также уделяется большое внимание направлению объяснимого ИИ. Так, Нижегородский государственный университет в 2020 г. стал победителем в конкурсе крупных научных проектов от Минобрнауки РФ с проектом «Надежный и логически прозрачный искусственный интеллект: технология, верификация и применение при социально значимых и инфекционных заболеваниях». Главным результатом проекта стала разработка новых методов и технологий, позволяющих преодолеть два основных барьера систем машинного обучения и искусственного интеллекта: проблему ошибок и проблему явного объяснения решений. В 2022 году РЭУ им. Г. В. Плеханова выиграл проект РНФ «Гибридные модели поддержки принятия решений на основе методов дополненного искусственного интеллекта, когнитивного моделирования и нечеткой логики в задачах персонализированной медицины», посвященный созданию медицинских систем нового поколения, основанных на применении методов объяснимого ИИ для нейросетей глубокого обучения в задачах медицинской диагностики.

5

6

Следует отметить роль Л. Заде в создании Z Advanced Computing, Inc. (ZAC). ZAC является «пионером» технологий когнитивного объяснимого ИИ (искусственного интеллекта) (Cognitive XAI), например для детального распознавания сложных 3D-изобра>кений/объектов под любым углом обзора.

ZAC продемонстрировала крупные достижения в области искусственного интеллекта и машинного обучения (ML) в недавних проектах для ВВС США (USAF) и для Bosch/BSH (крупнейшего производителя бытовой техники в Европе): ZAC добился детального сложного распознавания 3D-изобра>кений, используя всего несколько обучающих образцов и используя только средний ноутбук с процессором с низким энергопотреблением как для обучения, так и для распознавания. Это резко контрастирует с другими алгоритмами в отрасли (такими как глубокие сверхточные нейронные сети (CNN) или ResNets), которые требуют от тысяч до миллиардов обучающих выборок, обучаемых на больших серверах GPU.

В настоящее время XAI является выдающейся и плодотворной исследовательской областью, где многие результаты Л. Заде могут стать решающими, если они будут тщательно рассмотрены и разработаны. Стоит отметить, что около 30% публикаций в Scopus, связанных с XAI, датированных 2017 г. или ранее, принадлежат авторам, хорошо признанным в области нечеткой логики. В основном это связано с приверженностью нечеткого сообщества к созданию интерпретируемых нечетких систем, поскольку интерпретируемость глубоко укоренена в основах нечеткой логики.

Последней попыткой Л. Заде облегчить взаимодействие с людьми и помочь им понять функционирование модели рассуждений было использование того, что он назвал восприятиями. В повседневной жизни люди заменяют ими точные измерения: они используют восприятие расстояния, размера, цвета, вероятности для принятия решений и действий, точных или неточных. Построение модели рассуждений, которая учитывает восприятие таких характеристик при принятии решений, безусловно, является хорошим способом заставить людей понять, как принимаются решения.

Наиболее интересным направлением в области разработки объяснительных моделей ИИ является извлечение правил с использованием нейроне-четких моделей. Системы, основанные на нечетких правилах (FRBS), разработанные с помощью нечеткой логики, стали полем активных исследований за последние несколько лет. Эти алгоритмы доказали свои сильные стороны в таких задачах, как управление сложными системами, создание нечетких элементов управления. Взаимоотношения между обоими подходами (ANN и FRBS) были тщательно изучены и показана их эквивалентность. Это позволяет сделать два важных вывода. Во-первых, можно применить то, что было обнаружено для одной из моделей, к другой. Во-вторых, мы можем перевести знания, встроенные в нейронную сеть, на более когнитивно-приемлемый язык — нечеткие правила. Другими словами, получаем семантическую интерпретацию нейронных сетей [1].

Для того чтобы получить семантическую интерпретацию «черного ящика» глубокого обучения, нейронечеткие сети могут быть использованы вместо последнего полносвязного слоя. Например, ANFIS (адаптивная нейронечеткая система) является многослойной сетью прямого распространения. Эта архитектура имеет пять слоев, таких как нечеткий слой, продукционный слой, слой нормализации, слой дефаззификации и выходной слой. ANFIS сочетает преимущества нейросети и нечеткой логики. Далее приведем классификацию наиболее известных нейронечетких подходов.

Рассматривая архитектуры нейронечетких моделей, можно выделить три методики объединения искусственных нейронных сетей (ИНС) и нечетких моделей [2]:

• neuгo-FIS, в которых ИНС используется как инструмент в нечетких моделях;

• нечеткие ИНС, в которых классические модели ИНС фаззифицированы;

• нейронечеткие гибридные системы, в которых нечеткие системы и ИНС объединены в гибридные системы [3].

Исходя из данных методик, нейронечеткие модели можно разделить на три класса [4].

1. Кооперативные нейронечеткие модели. В данном случае часть ИНС изначально используется для определения нечетких множеств и /или нечетких правил, где впоследствии выполняется только полученная нечеткая система. В процессе обучения определяются функции принадлежности, а также формируются нечеткие правила на основе обучающей выборки. Здесь основная задача нейронной сети заключается в подборе параметров нечеткой системы.

2. Параллельные нейронечеткие модели. Нейронная сеть в данном типе модели работает параллельно с нечеткой системой, предоставляя входные данные в нечеткую систему или изменяя выходные данные нечеткой системы. Нейронная сеть может являться также и постпроцессором выходных данных из нечеткой системы.

3. Гибридные нейронечеткие модели. Нечеткая система использует метод обучения, как это делает и ИНС, чтобы настроить свои параметры на основе обучающих данных. Среди представленных классов моделей наибольшей популярностью пользуются модели именно данного класса, доказательством тому служит их применение в широком спектре реальных задач [5].

Среди наиболее популярных гибридных моделей можно выделить следующие архитектуры:

• сеть управления нечетким адаптивным обучением (FALCON) [6], которая имеет пятислойную архитектуру. На одну выходную переменную приходится по два лингвистических узла. Первый узел работает с обучающей выборкой (паттерном обучения), второй является входным для всей системы. Первый скрытый слой размечает входную выборку в соответствии с функциями принадлежности. Второй слой задает правила и их параметры. Обучение происходит на основе гибридного алгоритма без учителя для определения функции принадлежности, базы правил и использует алгоритм градиентного спуска для оптимизации и подбора итоговых параметров функции принадлежности;

7

8

адаптивная нейронечеткая система вывода ANFIS — это хорошо известная нейронечеткая модель, которая применялась во многих приложениях и исследовательских областях [7]. Более того, сравнение архитектур нейронечетких сетей показало, что ANFIS показывает минимальную ошибку в задаче прогнозирования. Основным недостатком модели ANFIS является то, что она предъявляет серьезные требования к вычислительной мощности;

система обобщенного приближенного интеллектуального управления на основе рассуждений (GARIC) [8] представляет собой нейроне-четкую систему, использующую два нейросетевых модуля, модуль выбора действия и модуль оценки состояния, который отвечает за оценку качества выбора действий предыдущим модулем. GARIC — пятислой-ная сеть прямого распространения;

нейронный нечеткий регулятор (NEFCON) [9] был разработан для реализации системы нечеткого вывода типа Мамдани. Связи определяются с помощью нечетких правил. Входной слой является фаззифи-катором, а выходной решает задачу дефаззификации. Обучается сеть на основе гибридного алгоритма обучения с подкреплением и алгоритма обратного распространения ошибки;

система нечеткого вывода и нейронной сети в программном обеспечении нечеткого вывода (FINEST) [10] представляет собой систему настройки параметров. Производится настройка нечетких предикатов, функции импликации и комбинаторной функции;

система для автоматического построения нейронной сети нечеткого вывода (SONFIN) [11] по своей сути аналогична NEFCON контроллеру, но вместо реализации нечеткого вывода типа Мамдани реализует вывод типа Такаги-Сугено. В данной сети входная выборка обрабатывается с помощью алгоритма выровненной кластеризации. При идентификации структуры части предварительного условия входное пространство разделяется гибким образом в соответствии с алгоритмом, основанным на выровненной кластеризации. Настройка параметров системы частично реализована на базе метода наименьших квадратов, предварительные условия настраиваются с помощью метода обратного распространения ошибки;

динамически развивающаяся нечеткая нейронная сеть (dmEfuNN) и (EFuNN) [12]. В EFuNN все узлы создаются в процессе обучения. Первый слой передает обучающие данные на второй, который вычисляет степень соответствия с заранее определенной функцией принадлежности. Третий слой содержит в себе наборы нечетких правил, являющихся прототипами входных-выходных данных, которые можно представить в качестве гиперсфер нечеткого входного и выходного пространств. Четвертый слой рассчитывает степень, с которой выходная функция принадлежности разметила входные данные, а пятый слой производит дефаззификацию и подсчитывает числовые значения выходной переменной. DmEfuNN представляет собой модифицированную версию EFuNN. Основная идея состоит в том, что для всех входных векторов динамически подбирается набор правил, значения

активации которых используются для расчета динамических параметров выходной функции. В то время как EFuNN реализует нечеткие правила типа Мамдани, dmEFuNN применяет тип Такаги-Сугено.

Извлечение правил является одним из способов помочь понять нейронные сети. Повышение прозрачности нейронных сетей путем извлечения из них правил имеет два основных преимущества. Это дает пользователю некоторое представление о том, как нейронная сеть использует входные переменные, чтобы принять решение, и позволяет выявить скрытые функции в нейросетях, когда правила применяются для объяснения работы отдельных нейронов. Таким образом, в дальнейших исследованиях мы планируем заняться разработкой моделей извлечения правил из различных архитектур нейронных сетей путем создания гибридных нейро-не-четких глубоких моделей искусственных нейронных сетей.

Список использованных источников

1. Averkin A., Yarushev S. Hybrid Neural Networks and Time Series Forecasting // Artificial Intelligence. Communication in Computer and Information Sciences, 2018. V. 934. P. 230-239.

2. Jin X.-H. Model for Efficient Risk Allocation in Privately Financed Public Infrastructure Projects Using Neuro-Fuzzy Techniques // J. Constr. Eng. Manag., 2011. P. 1003-1014.

3. Борисов В. В., Федулов А. С., Зернов М. М. Основы гибридизации нечетких моделей. Серия «Основы нечеткой математики». Книга 9. — М.: Горячая линия — Телеком, 2017. — 100 с.

4. Rajab S., Sharma V. A Review on the Applications of Neuro-Fuzzy Systems in Business // Artif. Intell. Rev., 2018. V. 49, P. 481-510.

5. Shihabudheen K. V., Pillai G. N. Recent Advances in Neuro-Fuzzy System: A Survey // Knowl.-Based Syst., 2018, V. 152. P. 136-162.

6. Lin C. T., Lee C. S. G. Neural Network based Fuzzy Logic Control and Decision System // IEEE Transactions on Comput., 1991. V. 40 (12). P. 1320-1336.

7. Jang J.-S. R. ANFIS: Adaptive-Network-Based Fuzzy Inference System // IEEE Trans. Systems & Cybernetics. 1993. V. 23. P. 665-685.

8. Bherenji H. R., Khedkar P. Learning and Tuning Fuzzy Logic Controllers through Reinforcements // IEEE Transactions on Neural Networks, 1992. V. (3). P. 724-740.

9. Nauck D., Kruse R. Neuro-Fuzzy Systems for Function Approximation // Fuzzy Sets and Systems, 1999. V.101 (2), P. 261-271.

10. Tano S., Oyama T., Arnould T. Deep combination of Fuzzy Inference and Neural Network in Fuzzy Inference // Fuzzy Sets and Systems, 1996. V. 82 (2). P. 151-160.

11. Juang Chia Feng, Lin Chin Teng. An Online Self Constructing Neural Fuzzy Inference Network and its Applications // IEEE Transactions on Fuzzy Systems, 1998. V. 6. No1. P. 12-32. Gunning et al., 2019. Gunning, D., Aha, D. DARPA's Explainable Artificial Intelligence (XAI) Program // AI Magazine. 2019. V. 40 (2). P. 44-58.

12. Kasabov N., Qun Song Dynamic Evolving Fuzzy Neural Networks with 'm-out-of-n' Activation Nodes for On-line Adaptive Systems. Technical Report TR99 /04, Department of information science. University of Otago. Otago, 1999.

9

10

EXPLICABLE ARTIFICIAL INTELLIGENCE AS PART OF 3RD GENERATION ARTIFICIAL INTELLIGENCE

Averkin A. N., Leading researcher A. A. Dorodnitsyn Computing Center of the Federal Research Center «Informatics and Management» of the Russian Academy of Sciences, averkin2003@inbox.ru

A brief review and analysis of existing methods of explicable artificial intelligence and methods of extraction of rules from neural networks and the history of these directions are carried out. It is proved that explicable artificial intelligence is the main part of the 3rd generation artificial intelligence. The role of Lotfi Zadeh in the creation of the direction of explainable artificial intelligence is described. Emphasis is placed on the connection of the most common rule-based explanation systems in artificial intelligence with neurofuzzy systems and the possibility of creating hybrid models. Methods of rule extraction from neural networks are one of the connecting elements between symbolic and connectionist models of knowledge representation in artificial intelligence.

• explainable artificial intelligence generation of artificial intelligence <

neurofuzzy systems • DARPA • third