CC BY
46
ОРИГИНАЛЬНАЯ СТАТЬЯ
DOI: 10.26794/2408-9303-2020-7-2-17-29 УДК 658(045) JEL M21
(CC) ]
BY 4.0
Стоит ли увлекаться Большими Данными?
Е.Л. Шуремов
Международный инновационный университет, Сочи, Россия https://orcid.org/0000-0002-2307-2336
АННОТАЦИЯ
Статья посвящена анализу разработки систем искусственного интеллекта (СИИ). При проведении исследования применены методы анализа, сравнения, дедукции. Несмотря на важные достижения при решении некоторых частных задач и большое финансирование, отрасль в целом сталкивается с серьезными проблемами развития. Уже в ближайшее время ограничением глубокого машинного обучения станет нехватка вычислительных мощностей. Проведенный обзор литературных источников показал, что коммерциализация разработок искусственного интеллекта и больших данных негативно сказывается на решении фундаментальных проблем развития отрасли. Показано, что приоритеты разработчиков СИИ все больше смещаются в сторону реализации простых потребительских сервисов, в то время как решение действительно важных для всего человечества задач не реализуется. Непонимание людьми механизмов выработки решений интеллектуальными компьютерными системами может привести к возникновению масштабных экономических проблем из-за развивающегося пессимизма инвесторов в отношении перспектив компаний, занятых в рассматриваемой сфере. Принципиальные результаты исследования рекомендованы специалистам по разработке СИИ в рамках создания больших данных.
Ключевые слова: искусственный интеллект; вычислительные мощности; машинное обучение; экспертные системы; экономический кризис; нейронные сети
Для цитирования: Шуремов Е.Л. Стоит ли увлекаться Большими Данными? Учет.Анализ.Аудит = Accounting.Analysis. Auditing. 2020;7(2):17-29. DOI: 10.26794/2408-9303-2020-7-2-17-29
ORIGINAL PAPER
Whether it is Worth Being Fond of Big Data?
E. L. Shuremov
International Innovative University, Sochi, Russia https://orcid.org/0000-0002-2307-2336
ABSTRACT
The paper considers the analysis of the development of artificial intelligence systems. There were methods of analysis, comparison and deduction applied. Despite important achievements at the solution of some private tasks and big financing, the industry in general faces serious problems of development. Already in the nearest future the shortage of computing power will become serious restriction of deep machine learning. A review of literature showed that the commercialization of artificial intelligence and big data negatively affects the solution of fundamental problems in the industry development. The author shows that priorities of developers of systems of artificial intelligence are more and more displaced towards realization of simple consumer services while the solution of tasks, really important for all mankind, is not implemented. Dangers of misunderstanding by people of mechanisms of decisions development are revealed by intellectual computer systems. It is specified the signs allowing to assume possibility of global economic problems because of the developing pessimism of investors concerning prospects of the companies engaged in this field. The principal results of the study are recommended to specialists in the development of artificial intelligence systems as a part of a big data creation. Keywords: artificial intelligence; computing power; machine learning; expert systems; economic crisis; neural networks
For citation: Shuremov E. L. Whether it is worth being fond of Big Data? Uchet.Analiz.Audit = Account.Analysis.Audit. 2020;7(2):17-29. (In Russ.). DOI: 10.26794/2408-9303-2020-7-2-17-29
© Шуремов Е.Л., 2020
ВВЕДЕНИЕ
В последние годы в мире за счет значительных инвестиционных вложений активно развиваются исследования в области разработки СИИ, растет число публикаций, посвященных проблемам глубокого машинного обучения, увеличивается спрос на IT-специалистов. Однако критический анализ полученных результатов показывает, что они не соответствуют первоначальным ожиданиям инвесторов и широкой общественности, поскольку системные исследования нередко подменяются решением лишь частных проблем.
Исследование, результаты которого рассматриваются в настоящей статье, проводилось в Международном инновационном университете (г. Сочи) и Московском инновационном университете (г. Москва) в 2017-2019 гг. методом критического анализа опубликованной литературы и интернет-источников. В итоге выдвинута гипотеза о возможности возникновения глобальных экономических проблем из-за развивающегося пессимизма инвесторов в отношении перспектив компаний, занятых в сфере искусственного интеллекта. Правда, наши выводы существенно расходятся с мнением ряда специалистов, испытывающих чрезмерный оптимизм в отношении перспектив развития СИИ за счет глубокого машинного обучения.
МЕТОДИКА И РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
В публикациях СМИ, научных фолиантах, выступлениях политиков и ученых на различных международных конгрессах и форумах1 много говорится о так называемой цифровой экономике. Нет сомнения, компьютеризация очень полезна для экономики. Развитие систем коммуникаций, особенно через интернет, делает повседневную жизнь миллионов людей более комфортной. В настоящее время у огромного числа людей имеются смартфоны, фактически представляющие собой карманный компьютер, существенно превосходящий по мощности настольные персональные компьютеры 15-20-летней давности. К тому же, одной из наиболее перспективной сфер экономики является искусственный интеллект (Artificial Intelligence, AI, ИИ), теория которого основатель-
1 Производство, наука и образование России: системный подход. Сборник материалов IV Международного конгресса (ПНО-ГУ). С. Д. Бодрунов, ред. М.: ИНИР им. Витте; 2018. 540 с.
но раскрыта в работах западных и отечественных специалистов, например С. Рассела, П. Норвига, Дж. Баррата., Дж. Люгера, А. Потапова и др. [1-4]. Причем число публикаций, посвященных ИИ, растет бурными темпами (рис. 1).
Как следует из рис. 2, показатель роста числа публикаций по ИИ начиная с 2000 г. превысил аналогичный по другим разделам информатики почти в 9 раз.
Начиная с 2000 г. число стартапов в области ИИ выросло примерно в 14 раз (рис. 3).
Объем инвестиций в стартапы, ориентированные на разработку систем ИИ, вырос более чем в 6 раз, по сравнению с 2000 г. (рис. 4).
Бурно растет спрос на специалистов, имеющих навыки работы по созданию приложений в различных сферах ИИ, в частности касающихся машинного обучения (рис. 5).
Крупнейшие мировые корпорации (Google, Amazon, Microsoft, IBM, Intel и др.) ежегодно вкладывают десятки миллиардов долларов в разработки, связанные с ИИ: только с 2011 по 2017 г. объем инвестиций в эту сферу вырос примерно в 7 раз2. Казалось бы: вот отрасль будущего. Однако в этой отрасли совсем не так радужно, как с первого взгляда представляется технократам-оптимистам, поэтому для начала рассмотрим некоторые безусловные достижения в сфере ИИ.
В 1997 г. компьютерная система IBM Deep Blue обыграла действующего в то время чемпиона мира по шахматам Гарри Каспарова, что действительно является выдающимся триумфом информационных технологий (ИТ), хотя в настоящее время даже шахматные программы для обычных смартфонов на высших уровнях «играют» в силу мастера спорта, а некоторые программы даже на уровне гроссмейстера. Не стоит забывать и того, что ученые-компьютерщики уже в 1950-х гг. предсказывали победу компьютера над чемпионом мира по человеческим шахматам к 1967 г., но этот результат был достигнут только в 1997 г. Впрочем, здесь нет ничего удивительного: известно, что специалисты в области ИТ всегда были чересчур оптимистичны — до сих пор более половины ИТ-проектов заканчиваются с затягиванием сроков и превышением бюджета, а до трети — так и остаются нереализованными, поскольку их по этим же причинам бросают на полпути.
2 AI Index 2017 Annual Report. URL: https://www.aiindex. org/2017-report.pdf (дата обращения: 17.07.2019).
Рис. 1 /Fig. 1. Рост числа публикаций, посвященных ИИ / Growth of publications number devoted to AI
Источник / Source: AI Index 2017 Annual Report. URL: https://www.aiindex.org/2017-report.pdf (дата обращения: 17.07.2019 / accessed on 17.07.2019).
Рис. 2 /Fig. 2. Сравнение темпов роста числа публикаций, посвященных ИИ, другим разделам информатики и публикациям по другим сферам деятельности / Comparison of growth rates of publications number devoted to AI, other sections of informatics and publications on other activity fields
Источник / Source: AI Index 2017 Annual Report. URL: https://www.aiindex.org/2017-report.pdf (дата обращения: 17.07.2019 / accessed on 17.07.2019).
Рис. 3/Fig. 3. Рост числа стартапов в сфере ИИ / Growth of startups number in the sphere of AI
Источник / Source: AI Index 2017 Annual Report. URL: https://www.aiindex.org/2017-report.pdf (дата обращения: 17.07.2019 / accessed on 17.07.2019).
Рис. 4/Fig. 4. Рост годовых инвестиций в ИИ-стартапы / Annual investments growth into AI startups
Источник/Source: AI Index 2017 Annual Report. URL: https://www.aiindex.org/2017-report.pdf (дата обращения: 17.07.2019 / accessed on 17.07.2019).
Особенно быстрый рост инвестиций в сферу ИИ начался после 2011 г. Тогда за потраченную сотню миллиардов долларов бизнесу удалось достичь следующих важнейших (по мнению составителей отчета) результатов: в 2016 г. компьютерная система стала лучше человека распознавать картинки базы данных ImageNet — проект по созданию и сопровождению аннотированных изображений; в 2017 г. — достигнут уровень компетентности врачей-дерматологов
в классификации рака кожи; распознавание речи по телефону на уровне человека; уверенное обыгрывание людей в покер и получение абсолютного максимума выигрышных очков в видеоигре Рас-Мап3.
Самим разработчикам систем ИИ перечисленные результаты ценны для всего человечества, особенно
3 AI Index 2017 Annual Report. URL: https://www.aiindex. org/2017-report.pdf (дата обращения: 17.07.2019).
Рис. 5/Fig. 5. Рост числа вакансий в сферах разработки систем ИИ / Growth in vacancies in AI system
development
Источник / Source: AI Index 2017 Annual Report. URL: https://www.aiindex.org/2017-report.pdf (дата обращения: 17.07.2019 / accessed on 17.07.2019).
учитывая миллиардные затраты на реализацию этих проектов.
В 1950 г. английский математик и кибернетик Алан Тьюринг опубликовал небольшую статью [5], вызвавшую мировой научный ураганный резонанс. Не менее сенсационной стала работа А. Тьюринга, неоднократно издававшаяся в нашей стране [6]. В частности, в данной работе он предложил эмпирический тест, позволяющий определить: может ли машина мыслить. В стандартной интерпретации тест формулируется следующим образом.
Эксперт, взаимодействуя с компьютером и человеком, на основании ответов на задаваемые им вопросы должен определить, с кем он общается: с человеком или компьютерной системой. Общение участников тестирования осуществляется по переписке с помощью компьютера-посредника через контролируемые промежутки времени, чтобы эксперт не мог ориентироваться на скорость ответов. Если эксперт не может уверенно установить, кто с ним беседует, то это означает, что система являет собой подлинный ИИ.
Недавно тест, предложенный А. Тьюрингом, был пройден в китайском подразделении корпорации Microsoft, где была создана система XiaoIce — социальный чат, в котором основным собеседником человека является компьютерная система. В чатах системы обычно представляется 18-летней девушкой. На основе сложных алгоритмов, реализующих методы анализа Больших Данных, XiaoIce
«обучилась» эмоциональному интеллекту, благодаря которому может вести беседу с пользователями, имеющими разные интересы и потребности.
Эмоциональный интеллект включает эмпатию и социальные навыки. Система XiaoIce «настраивается» на ощущения человека-собеседника, «погружая» себя в его настроение, может проявлять чувство юмора и обнадеживать собеседника. Такое «поведение» реализуется специальной подсистемой эмпатических вычислений, динамически распознающей чувства и намерения человека и реагирующей на изменение его желаний в ходе «беседы». Если диалог затухает, предлагается другая тема разговора. Алгоритм работы учитывает интеллектуальный (10) и эмоциональный (ЕО) коэффициенты собеседника. Имеется также подсистема выявления черт характера человека. Система принятия решений XiaoIce реализует методы вовлечения людей в длительное общение, основанные на марковских процессах.
Система XiaoIce уверенно «проходит» тест Тьюринга и пользователи не могут опознать, что беседуют с компьютером, а не с человеком. При этом уровень «подстройки» под конкретного человека во многих случаях достигал такого уровня, что ему хотелось общаться с XiaoIce больше, чем с другими людьми. С 2014 г. система общалась почти с 700 млн человек и со многими из них были установлены длительные отношения, возврат к общению с ней превзошел аналогичный показатель возвращения к беседам между людьми в чатах.
Это действительно весьма впечатляющий результат для тех, кому хочется «убить время» в беседах «обо всем и ни о чем». Однако вряд ли он сильно впечатлит людей, разделяющих идею известного индийского мыслителя о том, что если ты не научился быть счастливым в одиночестве, то не будешь им никогда.
Подчеркнув преимущества технологий ИИ, перейдем к рассмотрению бурно развивающегося направления, связанного с Большими Данными, т.е. технологией Data Mining. Одним из основных ограничителей развития этих технологий являются вычислительные мощности. В настоящее время потребности в них при машинном обучении удваиваются каждые 3,5 месяца. С 2012 по 2017 г. число транзисторов на кристалле увеличилось примерно в 12 раз, а объем собственно вычислений, связанных с машинным обучением, вырос в 300 тыс. раз (рис. 6). Таким образом, решение всего спектра задач обработки данных на стандартных современных процессорах в скором времени станет нереальным, при этом вскоре прекратится и рост числа приложений СИИ.
Решение проблемы нехватки вычислительных ресурсов IT- специалисты пытаются найти с помощью новой архитектуры процессоров, разрабатываемых для решения задач моделирования нейросетей [7]. В частности, компания Intel для решения задачи сложных вычислений для ИИ открыла новое направление разработок — нейроморфный процессор Intel Loihi, который ориентирован на имитацию основного (по нынешним предположениям) механизма работы мозга. Его применение делает машинное обучение существенно более эффективным. По заверениям компании, процессор Loihi способен осуществлять машинное обучение в миллион раз быстрее, чем традиционные вычислительные системы, используемые для обучения нейронных сетей. Попутно отмечалось, что если в 2017 г. версия чипа Loihi содержала 130 тыс. искусственных нейронов и 130 млн искусственных синапсов, то ожидаемый в 2019 г. процессор должен содержать более 100 млрд синапсов. Между тем по данным исследовательских центров IBM Almaden Research Center и Lawrence Berkeley National Laboratory:
• для моделирования структуры мозга уровня мыши (0,125 трлн синапсов) нужно 512 таких процессоров;
• для моделирования структуры мозга уровня кота (6,1 трлн синапсов) нужно уже 24 756 процессоров;
• только 4,5% коры человеческого мозга содержат 9 трлн синапсов, а полностью в коре больших полушарий человека имеется около 125 трлн синапсов, что в 1500 раз больше, чем звезд в нашей Галактике4.
Отсюда следует вполне банальный вывод: человеку с его технологиями еще очень далеко до потенциала, достигнутого природой. И это даже при полностью механистическом моделировании процессов работы мозга, без учета неизвестных нам более глубоких механизмов мышления, поэтому никакими кардинально новыми аппаратными архитектурами типа Intel Loihi в ближайшее время проблему очень низкой скорости машинного обучения на больших данных решить не получится.
B мае 2011 г. отмечалось 150-летие Массачусет-ского технологического института (МТИ). Одним из центральных мероприятий программы празднования был симпозиум, посвященный развитию СИИ под названием «Мозги, умы и машины» ("Brains, Minds and Machines"). МТИ был одним из основных основоположников развития технологий ИИ и именно здесь 1950-1960-х гг. Уоррен МакКаллох и Уолтер Питтс создали первые сети искусственных нейронов, а Джон Маккарти и Марвин Мински предложили сам термин «искусственный интеллект» и создали "AI Group", которая обозначила цели и основные направления исследований в этой области5.
По замыслу организаторов, симпозиум должен был стать площадкой подведения итогов по результатам 50-летнего изучения проблем создания ИИ и привлечь внимание исследователей разных научных направлений. Предполагалось акцентировать внимание общественности на том, что всего за 50 лет были достигнуты выдающиеся успехи по созданию действительно интеллектуальных компьютерных систем: Deep Blue, Google search, IBM Watson и др. Организаторы хотели показать, что исследования в области машинного обучения позволили создать невероятно успешные приложения, принимающие решения успешнее человека. На обсуждение на симпозиуме были вынесены следующие вопросы:
• какие нужны усилия ученых для понимания работы интеллекта и мозга;
4 Хостинг и выделенные серверы. URL: https://habr.com/ ru/company/ua-hosting/blog/407285 (дата обращения: 15.07.2019).
5 Марвин Мински и эмоциональные машины. URL: https:// postnauka.ru/faq/5.8727 (дата обращения: 15.07.2019).
Рис. 6 /Fig. 6. Рост потребностей в вычислительных мощностях для реализации машинного обучения в крупных проектах разработки систем ИИ / Growth of needs for computing power for implementation of machine learning in large AI systems development projects
Источник / Source: AI and computer. URL: https://openai.com/bLog/ai-and-compute (дата обращения: 17.07.2019 / accessed on 17.07.2019).
• какие необходимы новые фундаментальные исследования для создания синергетического эффекта на стыках компьютерных, когнитивных и социальных наук;
• как можно интегрировать различные формы приложений ИИ.
Однако результат форума оказался совсем не таким, как его хотели видеть организаторы. Многие из приглашенных ученых с мировым именем скептически отнеслись к достигнутым успехам, указав, что, несмотря на коммерчески успешные проекты в сфере ИИ, реального прорыва в познании и моделировании процессов работы человеческого мозга нет.
В частности, Марвин Мински — основоположник создания нейронных сетей еще в 1950-х гг. обратил внимание присутствующих на то, что сейчас даже студенты могут создавать роботов, умеющих танцевать, играть в футбол и баскетбол и даже управлять мимикой «лица», но почему-то
аварию на ядерном реакторе в Фукусиме устраняли люди, а не роботы.
Выступая на симпозиуме, директор лаборатории ИИ в МТИ с 1972 по 1997 г. Патрик Уинстон подчеркнул, что за последние 20 лет прогресс в ИИ мог бы быть значительнее, но причиной стагнации стало то, что в 1980-е гг. произошло дробление научных исследований в области ИИ на решение частных вопросов развития технологий нейронных сетей или генетических алгоритмов в целях коммерциализации разработок. Именно тогда перестали заниматься фундаментальными проблемами систем ИИ, сосредоточив внимание на их отдельных механизмах.
Справедливости ради отметим, что главным критиком использования машинного обучения на больших данных является американский ученый Ноам Хомски (Noam Chomsky), утверждающий, что существующие методы обработки огромных массивов данных (Data Mining) хороши толь-
ко для ограниченного круга инженерных задач, вроде работы поисковой системы. Но для науки статистический подход неприемлем, поскольку в принципе не позволяет научить компьютер понимать семантику языка. Целью инжиниринга является реализация самого простого, дешевого и надежного решения конкретной задачи, а целью науки — понимание устройства исследуемой системы, закономерностей ее функционирования и развития, только исходя из которого становится возможным поиск решений конкретных задач. В этой связи совершенно бессмысленно обрабатывать огромные массивы данных, чтобы понять, как устроена сама система обработки. Даже если при этом можно решить некоторую конкретную задачу, то это никак не позволит понять саму систему. Для этого нужно выйти на иной уровень абстракции. И чем выше этот уровень, тем на большие объяснительные возможности абстрактной модели можно рассчитывать. Важно понимать, что нельзя найти вычислительные единицы мозга, если их искать в схеме усиления синаптических связей или в картировании нейронных связей, где делается попытка отразить «проведение» связей нейронов по всей нервной системе.
По мнению ученого, знание нельзя описать вычислительными алгоритмами, поскольку оно не является вычислительным процессом. Отсюда следуют принципиальные различия научного и инжинирингового подходов: ученый хочет понять принципы функционирования системы, определяющие ее ключевые свойства, а инженеру достаточно способов воспроизведения части этих свойств в некоторых конкретных целях. В этой связи теория вероятностей и математическая статистика являются хорошим инструментом для решения инженерных задач, но малопродуктивны для построения объясняющих моделей [8-10].
После конференции МТИ в ответ на критику современных направлений развития систем ИИ Питер Норвиг — директор по исследованиям корпорации Google — опубликовал эссе с критикой позиции Ноама Хомски [11]. Суть его аргументов сводилась к следующему:
• Н. Хомски прав, разделяя инженерный и научный подходы, но их нельзя противопоставлять, поскольку они развиваются параллельно, способствуя взаимному развитию;
• наука не сводится только к сбору и обобщению фактов до уровня теорий, но также требует
и их обоснования. При этом инжиниринг может показать, какие теории верны, а какие нет;
• современные компьютерные модели отражают взаимодействие большого числа переменных, связывая их большим числом уравнений и иных зависимостей. Из-за этого полученные на их основе результаты выходят за рамки человеческого понимания. Но они дают возможность получать представление о поведении исследуемых систем;
• большинство явлений природы имеют стохастический характер, поэтому для их исследования должны применяться вероятностные модели;
• для изучения языка также широко применяется статистический анализ;
• прогнозирование событий — это во многом процесс интуитивного озарения, не имеющий объяснений, в который также следует включить и поддающиеся человеческому объяснению предсказания, и математическую модель с целью способствовать развитию науки.
Ведущие корпорации, занятые в сфере разработки СИИ, сделали все возможное, чтобы дискуссия в МИТ не стала достоянием широкой общественности. Однако уже начиная с 2011 г. начался резкий рост финансирования разработок в сфере ИИ и их массовая пропаганда в СМИ. Только Alphabet (материнская компания Google) ежегодно вкладывает десятки миллиардов долларов, при этом ежегодно неся огромные убытки по всем направлениям исследований ИИ. То же касается и других крупных участников рынка. При этом ставка, как и прежде, делается на разработку частных решений, имеющих довольно сомнительную ценность.
Так, в 2018 г. была представлена СИИ Google Duplex6. С ее помощью человек, поговорив с роботом по телефону и не понимая, что говорит не с человеком, может решить следующие задачи «чрезвычайной» важности:
• зарезервировать стол в ресторане;
• записаться к парикмахеру;
• узнать часы работы заведения в праздники.
Для достижения этого «выдающегося» результата был потрачен труд огромного числа высококвалифицированных специалистов и десятки миллиардов долларов. Так ли нужны такого рода
6 Невероятная функция или что такое Google Duplex? URL: https://zen.yandex.ru/media/id/5b070673dd24845157cc2e66/ neveroiatnaia-funkciia-ili-chto-takoe-google-duplex-5b22bbc72400f400a97a56b0 (дата обращения: 17.07.2019).
технологии, если намного проще и надежнее для решения перечисленных задач просто заполнить форму на сайте соответствующего заведения?
В свое время компания IBM анонсировала проект IBM Watson, одной из важнейших целей которого провозглашалось существенное продвижение в решении задачи борьбы с раком7. К сожалению, основной результат проекта, несмотря на миллиардные инвестиции, оказался довольно скромным: система достигла уровня компетентности врачей-дерматологов в классификации рака кожи, т.е. СИИ научилась по снимкам распознавать гораздо быстрее врача средней квалификации, но предложить какое-то более эффективное лечение она пока не может. Поэтому многие врачи, сначала возлагавшие большие надежды, отказываются от применения платформы IBM Watson.
Пока получается, что правы ученые, критиковавшие на симпозиуме МИТ современные методы развития ИИ. Во всяком случае, уже сейчас становится очевидным, что приоритеты инвестирования в СИИ полностью смещаются в простые потребительские сервисы (ИИ-ассистент забронирует вам столик в ресторане по телефону), а сложные индустриальные проекты постепенно замораживаются. Ведь очевидно, что интеллектуальные «часы здоровья» от Apple или запись к парикмахеру с помощью «помощника» от Google вряд ли можно считать обещанной ИИ-революцией, способной, например, помочь вылечивать рак. Между тем усилия по инерции продолжаются в том же направлении.
Разумеется, совсем не заметить мнения известных ученых на форуме МИТ было нельзя. По итогам симпозиума был создан научный центр, унаследовавший его название: Center for Brains, Minds and Machines (CBMM). Национальный научный фонд США ежегодно выделяет ему 3-5 млн долл. Для сравнения, ежегодно на Инициативу BRAIN (картирование активности мозга) выделяются гранты на сумму примерно 140 млн долл., а инвестиции в ИИ-разработки бизнесом превышают финансирование CBMM более чем на 3 порядка.
Главная проблема развития СИИ состоит в том, что до сих пор отсутствует системное понимание работы человеческого интеллекта, поэтому нет и возможности его адекватного алгоритмического воспроизведения в компьютерных системах.
7 IBM Watson. URL: https://ru.wikipedia.org/wiki/IBM_Watson (дата обращения: 17.07.2019).
Такая ситуация уже давно привела к кризису в развитии одной из разновидностей СИИ — экспертных систем, где на основе базы знаний в некоторой предметной области делалась попытка обеспечить автоматизированное решение возникающих задач путем применения правил логического вывода к системе формализованных знаний. На текущий момент создано множество экспертных систем, ориентированных на решение задач в большом числе узкоспециализированных предметных областей. Наиболее успешными являются проекты в хорошо изученных сферах деятельности с давно сложившимися достаточно четкими и хорошо формализуемыми стратегиями выработки решений. Однако сейчас развитие таких систем существенно затормозилось по ряду принципиально важных проблем, которые пока не могут найти своего разрешения.
Во-первых, это сложность формализации эвристических знаний экспертов. До настоящего времени ей поддаются только четко параметризованные представления специалистов о предметной области и поддающиеся алгоритмизации правила вывода суждений. Однако оценки качественного уровня, не имеющие явного количественного выражения, а также многие, интуитивно очевидные опытному эксперту взаимосвязи объектов и явлений формализации практически не поддаются, хотя именно они часто делают его высококлассным, способным творчески решать самые неожиданные задачи.
Во-вторых, неспособность предоставить осмысленные объяснения выводов. Соответствующие блоки экспертных систем могут предоставить пользователю только данные о последовательности шагов получения итоговых выводов, сопровождая их формальными комментариями, скомбинированными из заранее подготовленных текстовых шаблонов, но не способные дать своим рассуждениям осмысленные разъяснения [12].
Хорошим примером такого рода комментариев являются автоматически формируемые «заключения» программ поддержки решения задач финансового анализа, которыми весьма гордятся их разработчики. Однако выводы типа «в текущем году прибыль упала на п% по сравнению с предыдущим годом», «коэффициент текущей ликвидности снизился на к% по сравнению с прошлым годом, что свидетельствует об ухудшении финансового состояния организации» и т.д. вряд ли можно считать содержательно исчерпывающим анализом проблем, тем более сборником полезных рекомендаций. Любой хорошо отучившийся студент
напишет куда как более содержательное заключение, привлекая для этого не только данные расчетов, но и внесистемную, плохо формализуемую, но хорошо понятную человеку хотя бы с небольшим кругозором информацию.
В-третьих — сложность тестирования. Даже для обычных больших компьютерных программ отладка и тестирование пока являются больше искусством, чем наукой. Тестирование же экспертных систем более затруднительно, поскольку надо проверять не только корректность программной реализации детерминированных алгоритмов, но и оценивать адекватность заложенной в систему методологии их автоматического конструирования применительно к тем классам задач, на решение которых система ориентирована. Особенно сложна эта проблема для систем, применяемых в военном деле, ядерной энергетике, химической промышленности, управлении транспортом.
В-четвертых, неспособность к самообучению. Экспертные системы до сих пор не научились учиться самостоятельно. Для актуализации базы знаний необходимо постоянное участие инженеров по знаниям, которые должны заносить в нее новые факты, формализуя их в соответствии с требованиями системы. Поэтому очень часто успешно внедренные системы быстро теряют востребованность при прекращении поддержки разработчиками.
В-пятых, невозможность воспринимать сенсорную информацию. Экспертные системы могут эффективно обрабатывать только символьные алфавитно-цифровые данные, но пока не могут полноценно принимать в расчет весь комплекс визуальных, звуковых, осязательных, обонятельных и тактильных ощущений, которые во многих случаях могут существенно влиять на оценку ситуации специалистом.
В-шестых, узкоспециализированные знания. Базы знаний, как правило, содержат только те факты и эвристики, которые непосредственно связаны с данной предметной областью. Поэтому знания из смежных областей не принимаются во внимание при формировании выводов и оценок, в то время как внешнее окружение может оказывать существенное влияние на данную предметную область. Эксперты-люди могут учитывать все аспекты возникшей проблемы и соотнести с ней множество потенциально влияющих внешних факторов. Узкоспециализированная экспертная система на это не способна и потому ее выводы
и рекомендации могут основываться только на очень ограниченном подмножестве строго формализованных знаний.
Вследствие перечисленных проблем сложившаяся в 1970-1980 гг. механистическая концепция построения экспертных систем переживает глубокий кризис, выход из которого возможен только в результате революционного прорыва в понимании механизмов работы человеческого мозга.
Системы ИИ в настоящее время в каком-то смысле преодолевают ограничения экспертных систем, связанные с их неспособностью к самообучению. Это достигается за счет алгоритмов раскопки данных (прежде всего, нейронных сетей). Непрерывно поступающие новые данные обрабатываются этими алгоритмами, и механизм принятия решений в СИИ как бы постоянно «дообучается». Однако другие ограничения продолжают оставаться актуальными и поныне [13].
Системы раскопки данных могут только перемалывать огромные объемы данных, самосовершенствуясь для решения узкоспециализированных задач. Для новой задачи нужно начинать обучение ИИ-системы с нуля. Но и с обработкой больших объемов данных есть принципиальная проблема. Компьютерная ИИ-система не может сама выбирать нужные данные, а может лишь очень быстро обрабатывать все, поступающее на вход. Но ведь давно известно: мусор на входе — мусор на выходе. По мнению авторов [14], огромные затраты вычислительных ресурсов в системах машинного обучения как раз и свидетельствуют о том, что нынешние алгоритмы ИИ по-настоящему отнюдь не интеллектуальны, ибо они базируются на пока весьма примитивной модели мозга как совокупности нейронов и их связей.
Другая важная проблема состоит в том, что многие просто не понимают, как работает пресловутый «черный ящик» систем ИИ. Хорошие экспертные системы хотя бы сообщали пользователю схему логического вывода, но теперь эта последовательность полностью «спрятана» в «черном ящике» и нет никакой возможности хоть как-то восстановить «порядок рассуждений» таких алгоритмов.
В конце 2017 г. междисциплинарный исследовательский центр изучения социальных последствий ИИ "AI Now Institute" однозначно предложил государственным учреждениям США, деятельность которых связана с принятием ответственных решений, отказаться от использования
ИИ-систем, являющихся, по сути, «черными ящиками» с непонятной людям логикой вырабатываемых ими рекомендаций. Составители основывались на отчете "AI Now 2017 Report"8, содержащем ссылки на множество авторитетных источников. Рекомендации экспертов распространяются не только на правительство и оборонные ведомства, но и на структуры правосудия, здравоохранения, социального обеспечения, образования, подбора и оценки кадров.
Проблема в том, что применение воспетых кибернетикой «черных ящиков» влечет за собой слишком высокие риски, которые недопустимы при принятии особо ответственных персональных и коллективных решений. В этой связи правомерно ставится вопрос о том, что если междисциплинарные группы специалистов не могут понять и подтвердить обоснованность, логичность и правильность решений ИИ-систем, то такие решения должны быть исключены из практики госучреждений.
Особенно проблематичными являются военные применения СИИ. По мнению военных США, основной проблемой использования ИИ-систем является не точность вырабатываемых компьютерной системой решений, не отсутствие необходимых данных и не скорость принятия решений, а нарастающее непонимание людьми: почему машина принимает именно эти, а не какие-то другие решения. Поэтому военные кураторы проекта XAI (программа Пентагона "Explainable Artificial Intelligence") в DARPA вполне резонно ставят следующие вопросы: почему машина выбрала или предложила именно такое решение, а не другое? как понять человеческой логикой, что оно лучшее из возможных? к каким последствиям привело бы иное решение? можно ли доверять выбору конкретного компьютерного заключения? как исправить ситуацию, если выработанная системой ИИ рекомендация окажется ошибочной?
А примеров ошибочных выводов военных СИИ уже довольно много: например, когда беспилот-ник принимал свадебную процессию за группу террористов и автоматически уничтожал мирных людей «интеллектуальной» ракетой с самонаведением. Проблемы применения ИИ-систем у военных намного сложнее, чем у гражданских служащих. Последние могут просто затормозить
8 AI Index 2017 Annual Report. URL: https://www.aiindex. org/2017-report.pdf (дата обращения: 17.07.2019).
использование непонятных человеку рекомендаций или хотя бы отменить их. Но если СИИ своим решением запустит ядерные ракеты, то последствия уже будут необратимы. Таким образом, бурное развитие СИИ с 2011 г. оказалось не только весьма скромным с точки зрения результатов, но и довольно опасным.
Есть и другие, свершившиеся, но пока не заметные большинству людей опасные проявления роботизации9. Например, огромное число людей на всей Земле пользуется поисковыми системами. Без сомнения — это великое благо, поскольку они позволяют очень быстро найти в интернете информацию практически по любой тематике. Однако если зайти на любой сайт, посвященный поисковой оптимизации, то даже совершенно не погруженному в тему, но обладающему элементарной логикой человеку, довольно быстро станет понятно, что большая часть участников обсуждает практически одну и ту же тему: «Чего изволите, робот?». То есть люди обсуждают, как писать тексты, чтобы поисковый робот дал им как можно более высокую оценку с точки зрения соответствия тому или иному набору ключевых слов. Разумеется, это нужно, чтобы ссылка на написанный текст вышла на первую страницу, поскольку дальше первой-третьей большинство пользователей не заходят. Обсуждают, как подбирать публикуемые материалы, чтобы поисковик не «обиделся» на автора текста и не исключил его творение из поискового запроса. К сожалению, правила поведения, «диктуемые» роботами, распространяются все шире. Например, уже несколько тысяч человек выступают авторами текстов на платформе Яндекс. Дзен. Никто из простых смертных писателей не понимает в точности, как работает «черный ящик» отбора статей для показа читателям. Но они вовсю обсуждают собственные гипотезы о том, каковы хотя бы принципы поведения программных роботов и как им угодить лучше. Это никак не похоже на восстание машин, про которое любили писать фантасты. Роботы диктуют людям правила поведения, и они им добровольно следуют.
9 Роботы уже наши хозяева. Часть 1. URL: http://trickster-zone.ru/index.php?act=60&id=50 (дата обращения: 17.07.2019); Роботы уже наши хозяева. Часть 2. URL: http:// trickster-zone.ru/index.php?act=60&id=79 (дата обращения: 17.07.2019); Светлое будущее человечества. URL: http:// trickster-zone.ru/index.php?act=60&id=82 (дата обращения: 17.07.2019).
ЗАКЛЮЧЕНИЕ
Будем надеяться, что глобальный ИИ-апокалипсис в ближайшее время все же не наступит, а беспилотные автомобили, строго соблюдающие правила дорожного движения, не станут сбивать иногда отступающих от правил пешеходов и велосипедистов, несмотря на формальную и необъяснимую правоту принятия решений их «черными ящиками». Однако есть основание полагать, что менее масштабные, но довольно ощутимые экономические последствия кризиса все же могут случиться. Симптомы налицо: бурный рост общественного интереса к исследованиям в области ИИ, нарастающее финансирование соответствующих разработок и существенное расхождение ожидаемых оптимистами результатов с реальностью.
Подобное уже было в конце 1990-х гг.: резкий рост общественного интереса к доткомам, огромные объемы финансирования, бешеный рост курсовой стоимости акций предприятий «новой экономики» и их полный провал с точки зрения получения реальных прибылей, что и завершилось в 2000-2001 гг. крахом рынка NASDAQ.
В этой связи стоит упомянуть, что по неподтвержденным данным Уоррен Баффет10 распродал большую часть принадлежащих его фонду акций компаний, занятых в сфере ИИ, и даже публично признался в том, что совершил ошибку, ранее поверив заверениям их создателей. Возможно, стоит вспомнить и том, как когда-то мультимиллионер Джон Морган за несколько часов до биржевого кризиса сбросил акции компаний-аутсайдеров, услышав от чистильщика обуви, что тот тоже держит акции. Рассуждая по аналогии, можно предположить, что вслед за «ошибкой Баффета» разочарование в СИИ постигнет и множество других инвесторов, которые начнут массовые распродажи принадлежащих им акций со всеми вытекающими из этого последствиями.
Надеемся, что публикация этой статьи заставит задуматься специалистов разного уровня — инвесторов, разработчиков СИИ и 1Т-систем, управленцев — в части приема решений по разработке и использованию конкретных информационных технологий.
10 7 правил инвестирования от Уоррена Баффетта. URL: https:// bcspremier.ru/knowledge/basics/pravila-investirovaniya-ot-uorrena-baffeta (дата обращения: 17.07.2019).
СПИСОК ИСТОЧНИКОВ
1. Рассел С., Норвиг П. Искусственный интеллект: современный подход. Пер. с англ. М.: Вильямс; 2016. 1408 с. ISBN 978-5-8459-1968-7
2. Баррат Дж. Последнее изобретение человечества: искусственный интеллект и конец Homo Sapiens. Пер. с англ. М.: Альпина нон-фикшн; 2015. 304 с. ISBN 978-5-9167-1436-4.
3. Люгер Дж. Ф. Искусственный интеллект: стратегия и методы решения сложных проблем. Пер. с англ. СПб.: Вильямс; 2005. 864 с. ISBN 5-8459-0437-4.
4. Потапов А. С. Искусственный интеллект и универсальное мышление. СПб.: Политехника; 2012. 711 с.
5. Тьюринг А. М. Вычислительные машины и разум. Пер. с англ. М.: Изд-во АСТ; 2018. 128 с. ISBN 978-517-105970-5.
6. Тьюринг А. Может ли машина мыслить? Пер. с англ. М.: Едиториал УРСС; 2016. 128 с. ISBN 978-5-97102758-4.
7. Николенко С. И., Кадурин А. А., Архангельская Е. В. Глубокое обучение. Погружение в мир нейронных сетей. СПб.: Питер; 2018. 480 с. ISBN 978-5-496-02536-2.
8. Хомский Н., Бервик Р. Человек говорящий. Эволюция и язык. Пер. с англ. СПб.: Питер; 2018. 287 с. ISBN 978-5-496-02939-1.
9. Chomsky N. On nature and language. Cambridge: Cambridge University Press; 2002. 218 р.
10. Chomsky N. Three models for the description of language. IRE Transactions on Information Theory. 1956;(2):113-124.
11. Norvig P. On Chomsky and the two cultures of statistical learning. In: Pietsch W., Wernecke J., Ott M., eds. Berechenbarkeit der Welt? Springer VS, Wiesbaden. DOI: 10.1007/978-3-658-12153-2_3
12. Домингос П. Верховный алгоритм. Как машинное обучение изменит наш мир. Пер. с англ. М.: Изд-во «МИФ»; 2016. 336 с. ISBN 978-5-00100-172-0.
13. Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. Пер. с англ. М.: Изд-во «МИФ»; 2016. 100 с. ISBN 978-5-00057-810-0
14. Бринк Х., Ричардс Дж., Феверолф М. Машинное обучение. Пер. с англ. СПб.: Питер; 2017. 336 с. ISBN: 978-5-496-02989-6.
REFERENCES
1. Rassel_S., Norvig_P. Artificial intelligence: A modern approach. Transl. from Eng. Moscow: LLC P. H. Williams; 2016. 1408 p. (In Russ.). ISBN 978-5-8459-1968-7.
2. Barrat J. Our final invention. Artificial intelligence and the end of the human Era. Transl. from Eng. Moscow: Alpina non-fiction; 2015. 304 p. (In Russ.). ISBN 978-5-9167-1436-4.
3. Luger G. F. Artificial intelligence. Structures and strategies for complex problem solving. Transl. from Eng. St. Petersburg: Williams; 2005. 864 p. (In Russ.). ISBN 5-8459-0437-4.
4. Potapov A. S. Artificial intelligence and universal thinking. St. Petersburg: Polytechnic; 2012. 711 p. (In Russ.).
5. Turing A. M. Computing machinery and intelligence. Transl. from Eng. Moscow: AST Publishing House; 2018. 128 p. (In Russ.). ISBN 978-5-17-105970-5.
6. Turing A. M. Can the machine think? Transl. from Eng. Moscow: Editorial URSS; 2016. 128 p. (In Russ.). ISBN 978-5-9710-2758-4.
7. Nikolenko S. I., Kadurin A. A., Arkhangel'skaya E. V. Deep learning. Immersion in the world of neural networks. St. Petersburg: Piter; 2018. 480 p. (In Russ.). ISBN 978-5-496-02536-2.
8. Chomsky N., Bervic R. Why only us: Language and evolution. Transl. from Eng. St. Petersburg: Piter; 2018. 287 p. (In Russ.). ISBN 978-5-496-02939-1.
9. Chomsky N. On nature and language. Cambridge: Cambridge University Press; 2002. 218 р.
10. Chomsky N. Three models for the description of language. IRE Transactions on Information Theory. 1956;(2):113-124.
11. Norvig P. On Chomsky and the two cultures of statistical learning. In: Pietsch W., Wernecke J., Ott M., eds. Berechenbarkeit der Welt? Springer VS, Wiesbaden. DOI: 10.1007/978-3-658-12153-2_3
12. Domingos P. The master algorithm. How the quest for the ultimate learning machine will remake our world. Transl. from Eng. Moscow: MIF Publishing House; 2016. 336 p. (In Russ.). ISBN 978-5-00100-172-0.
13. Bostrom N. Superintelligence. Paths, dangers, strategies. Transl. from Eng. Moscow: MIF Publishing House; 2016. 100 p. (In Russ.). ISBN 978-5-00057-810-0.
14. Brink H., Richards J., Fetherolf M. Real-world machine learning. Transl. from Eng. St. Petersburg: Piter; 2017. 336 с. (In Russ.). ISBN 978-5-496-02989-6.
ИНФОРМАЦИЯ ОБ АВТОРЕ
Евгений Леонидович Шуремов — доктор экономических наук, профессор, заведующий кафедрой информационных технологий, Международный инновационный университет, Сочи, Россия shurem@mail.ru
ABOUT THE AUTHOR
Evgenii L. Shuremov — Dr. Sci. (Econ.), Professor, Head of the Department of Information Technologies,
International Innovative University, Sochi, Russia
shurem@mail.ru
Статья поступила в редакцию 27.09.2019; после рецензирования 20.11.2019; принята к публикации 22.01.2020. Автор прочитал и одобрил окончательный вариант рукописи.
The article was submitted on 27.09.2019; revised on 20.11.2019 and accepted for publication on 22.01.2020. The author read and approved the final version of the manuscript.
www.Accounting.fa.ru
_
