CC BY
191
Компьютерные инструменты в образовании, 2017 № 6: 25-31 УДК: 004.032.26 http://ipo.spb.ru/journal
ИСКУССТВЕННЫЕ НЕЙРОСЕТИ В КОНТЕКСТЕ НАУКИ И ОБРАЗОВАНИЯ
Павлов Д. А.1
1 Институт прикладной астрономии РАН, Санкт-Петербург, Россия
Аннотация
Возросшая популярность искусственных нейросетей (ИНС) в образовании, науке и бизнесе может создать впечатление свершившейся революции в компьютерном моделировании и алгоритмах оптимизации. Данный короткий обзор призван обратить внимание на фундаментальные ограничения ИНС и потенциальный вред, который может нанести поощрение изучения ИНС в ущерб строгим математическим методам.
Ключевые слова: нейронные сети, нелинейная оптимизация, алгоритмы искусственного интеллекта.
Цитирование: Павлов Д. А. Искусственные нейросети в контексте науки и образования // Компьютерные инструменты в образовании. 2017. № 6. С. 25-30.
1. ВВЕДЕНИЕ
В июне 2017 г. автор присутствовал на защитах дипломов бакалавров и магистров кафедры прикладной математики ИПММ СПбПУ, а в феврале 2018 — на Балтийском научно-инженерном конкурсе для школьников. Из 40 студенческих работ две были посвящены нейросетевым методам. Среди школьников популярность нейросетей выше: 10 работ из 39 в секции программирования. Если предположить, что возникший тренд сохранится, то через 5-10 лет четверть работ студентов, обучающихся по специальности «Прикладная математика», будут посвящены нейросетям. Хорошо ли это?
Совершим краткий экскурс в прошлое. Идея ИНС возникла в начале 1950-х и получила первые практические воплощения в конце 1950-х в США [1, 2]. В начале 1960-х нейросети пришли и в СССР. Далее в течение полувека популярность этой технологии попеременно угасала и вспыхивала вновь. Энтузиасты в академической среде сочиняли различные усложнения, доказывали теоремы, строили планы светлого будущего искусственного интеллекта (ИИ). Периодически изобретались новые виды ИНС. Примечателен пример ИНС с обратным распространением ошибки, которые привлекали внимание и предавались забвению дважды (первый раз в 1970-х, второй раз в 1980-х годах), прежде чем захватили мир в 2010-х (об этом чуть позже).
В основе ИНС лежала следующая красивая идея: есть мозг1, в нём есть нейроны, как мозг работает — непонятно, но, сделав компьютерную модель с нейронами, мы получим
1Ранние (да и многие нынешние) эксперименты в области ИНС относились к компьютерному зрению, что не противоречит «мозговой» аналогии: сетчатка состоит из нейронов, и с определённой точки зрения её можно считать частью мозга, вынесенной наружу.
компьютерный мозг. Это одна из таких вещей, которые должны решать задачи, традиционно сложные для компьютера, но лёгкие для человека. То есть задачи ИИ.
Тем не менее, долгое время ИНС не давали результатов, применимых для серьёзных практических задач из области ИИ.
В начале 2000-х появились графические ускорители (Graphics Processing Unit, GPU) с особой архитектурой, существенно превосходящей архитектуру обычных процессоров для задач типа вычисления освещённости при рендеринге 3D-картинки. Пришло осознание, что GPU можно использовать не только для 3D. В 2007 году возникла Nvidia CUDA [3], позволяющая писать программы для GPU практически на обычном Си. Незадолго до этого был предложен особый вид нейросетей и соответствующая методика их обучения под названием «глубокое обучение» (deep learning, DL) [4, 5]. Совмещение глубокого обучения и CUDA привело к ошеломляющему результату: впервые в истории ИНС оказались более выгодными в массовой практике, чем конкурирующие методы ИИ. В последующие годы возник взрыв интереса к DL, как в бизнесе, так и в науке. Новости о новых барьерах, взятых глубоким обучением, появляются с устрашающей частотой. Для DL есть современные средства на языке Питон, доступные даже школьникам, что приносит свои плоды: ИНС проникают и в образовательную среду. Не исключено, что следующее поколение программистов будет считать DL и в целом ИНС передовой технологией, а другие математические методы — нишевыми инструментами вчерашнего дня.
Оправдан ли этот ажиотаж?
2. НЕЙРОСЕТЬ НЕ МОЖЕТ ПОБЕДИТЬ ДРУГИЕ АЛГОРИТМЫ
Точнее, может — если эти алгоритмы такие же глупые, как она. Генетические алгоритмы, например. Но не о них речь. Нейросети уместны там, где не придумано алгоритмов, использующих специфику задачи. Нейросети не используют специфику задачи и поэтому могут решить любую задачу. В этом сила нейросетей и одновременно их слабость. Никакую задачу нейросети не могут решить хорошо и математически доказуемо.
Нейросеть — это абстрактная модель, под которую можно подогнать любые данные. Размер модели (и, соответственно, её дискриминирующие свойства) можно настраивать путём добавления нейронов или целых слоёв. Нейросеть «обучается» аппроксимировать некоторую функцию, которая якобы имеет какое-то отношение к требуемому результату (на самом деле не имеет, так как никакие свойства предметной области не находят прямого отражения в получившейся функции).
Заметим, что нейросеть — не единственный подход такого рода. Можно назвать метод опорных векторов (Support Vector Machine, SVM), метод Монте-Карло с цепями Маркова (Markov chain Monte Carlo, MCMC), кластерный анализ. Все эти вещи в принципе не хуже нейросетей и друг друга.
На этот счёт есть известная теорема об отсутствии бесплатных завтраков (No free lunch) [6]. Вкратце эта теорема звучит так: все методы оптимизации в среднем одинаково вычислительно (не)эффективны по всем возможным входным данным. То есть метод, одинаково подходящий для любых задач оптимизации, подходит для всех задач одинаково и уступает методам, предназначенным для конкретной задачи и не применимым к другим.
Оговоримся, что в некоторых случаях специфика задачи всё же используется, например свёрточные (convolutional) нейронные сети рассчитаны на то, что исходные данные являются двумерным изображением. Также в ряде алгоритмов исходные данные подвергаются специально придуманному препроцессингу перед передачей их в нейросеть.
С каждым таким шагом алгоритм становится дальше от нейросетей и ближе к задаче. Можно предположить, что через многие годы дальнейшего развития нейросеть окажется вовсе не нужна2.
Машинное обучение на нейросетях вырвалось вперёд по сравнению с другими глупыми методами по одной основной причине: те самые GPU. Оказалось, что нейросетевые вычисления хорошо параллелятся и позволяют максимально эффективно использовать вычислительные ресурсы. Победа нейросетей — это победа видеокарт. Этот факт не противоречит теореме об отсутствии бесплатных завтраков: речь в этой теореме идёто вычислительной эффективности. Если один алгоритм по техническим причинам имеет доступ к большему количеству вычислительных ресурсов, то теорема не запрещает ему быть более успешным на практике, чем другие.
3. ПОЛЬЗА НЕЙРОСЕТЕЙ ПРЕУВЕЛИЧИВАЕТСЯ
Большая часть задач оптимизации решается более адекватными средствами, чем ИНС: хоть линейная регрессия, хоть теорема Байеса, хоть алгоритм Дейкстры для поиска кратчайшего пути. Нейросеть, как правило, на таких задачах с треском проваливается. Если можно применить математически обоснованный метод, его нужно применять, и он будет выгоднее нейросети. Использование нейросети равнозначно печальному признанию в том, что приличного алгоритма придумать не получилось.
В задачах с динамикой процессов ИНС бесполезны. Нейросеть не знает, что такое время и динамическая модель [7].
Классификацию или дорисовывание изображений давно можно было успешно делать и без ИНС методами математической статистики, которые применяются для этих задач и сейчас [8, 9].
Неиспользование специфики задачи приводит к тому, что ИНС распознаёт изображения не хуже человека лишь на данных, похожих на обучающее множество. На изображениях, не похожих на обучающее множество, нейросеть ошибается. Более того, известны специальные процедуры формирования изображения для «одурачивания» ИНС, с которыми крайне сложно бороться [10]. В работе [11] показано, что для изображений размером 32x32 в большинстве случаев достаточно изменить цвет лишь одного пикселя, чтобы заставить нейросеть выдать неверный результат классификации.
Произвели фурор достижения самообучаемых ИНС в области игры в Го и шахматы, превосходящие способности всех других известных программ, а также людей [12, 13]. Автор не пытается умалить эти достижения (хотя известны осторожные вопросы к научной обоснованности заявляемых результатов [14]), но всё же выражает сомнение в том, что алгоритмы для настольных игр имеют практическую ценность и относятся к ИИ.
Распространено мнение, что современная робототехника не обходится без ИНС. Это далеко не так: например, алгоритмы управления известного робота Atlas, созданного в компании Boston Dynamics, используют развитие традиционных методов нелинейной оптимизации, а не ИНС [15].
Увлечение ИНС проникло даже в такую консервативную область, как астрономия. Публикуются результаты экспериментов по поиску экзопланет [16] и резонансов в движении астероидов [17] с помощью ИНС. В сопутствующем информационном шуме зачастую теряется информация о том, сколько экзопланет и резонансов было открыто тради-
2
2См. русскую народную сказку «Каша из топора».
ционными более специфичными методами (подавляющее большинство). Налицо пример захвата течения научной мысли вихрем моды.
4. НЕЙРОСЕТИ И МОЗГ
Изначальная идея о том, что ИНС может каким-то образом симулировать мозг, абсолютно несостоятельна. Мозг — это не нейросеть, а, выражаясь простым языком, неизвестно что. Наука до сих пор открывала лишь то, чем мозг не является. В III веке до н.э. люди изобрели гидравлику и предположили, что мозг — это гидравлическое устройство. В XVI-XVII веках с развитием механизмов появились фантазии на тему мозга как механизма. Электричество, телеграф, первые вычислительные машины — всё находило место в гипотезах о происхождении мысли [18]. Сейчас настал черёд нейросетей. А мозг всё так же непостижим.
Швейцарский профессор Генри Маркрам в 2013 г. получил от Евросоюза 1.3 миллиарда долларов на проект, посвящённый симуляции мозга человека (!) на компьютере. В2015 г. профессора исключили из проекта в связи с сомнительностью его научной базы, завышенными амбициями и управленческими проблемами. Сам проект не был закрыт, видимо, из-за репутационных рисков. Маркрам успел симулировать часть неокортекса крысы объёмом 0,3 мм3 [19]. Ещё одним выдающимся проектом в этой области является симуляция нервной системы червя-нематоды [20].
5. НЕЙРОСЕТИ В ОБРАЗОВАНИИ
Все школьные и студенческие работы, известные автору, в которых результаты получены с помощью ИНС, звучат так: «мы взяли фреймворк, выбрали и настроили вручную какие-то параметры, достали где-то обучающее и тестовое множества, и что-то получилось». Наиболее продвинутые работы включают сравнение различных ИНС между собой или результаты внедрения. Фактически студенты и школьники отчитываются не о научном исследовании (даже самом простом), не об изобретении какого-либо алгоритма и даже не о собственной реализации известного алгоритма. Работы посвящены играм с инструментами. Почему это считается стоящим занятием? Потому что конфигурирование и запуск фреймворков — большая работа, есть над чем потрудиться и испытать гордость за хорошо сделанное дело.
Но инструменты — вещь преходящая (особенно в области ИНС). В интересах профессионального будущего учащихся хотелось бы, чтобы они изучали фундаментальные особенности задач и алгоритмов, безотносительно реализации. И с этим в ИНС есть большая проблема. Любая попытка изучения особенностей ИНС блокируется тем обстоятельством, что алгоритм работы ИНС не имеет отображения в предметной области решаемой задачи. Фактически на вопрос «почему ИНС неправильно решила данный экземпляр задачи» возможные ответы таковы:
1) не повезло, но 85,7 % экземпляров из тестового множества решаются успешно,
2) слишком маленькое обучающее множество,
3) неудачная конфигурация ИНС, но достаточно добавить ещё пять ничего не значащих слоёв, и тогда данный экземпляр будет решён верно, и общая успешность повысится до 85,8 %.
6. ЗАКЛЮЧЕНИЕ
Применение ИНС обосновано для решения узкого круга задач и для ещё более узкого круга практически полезных задач. Фактическое применение ИНС далеко выходит за рациональные рамки, а информационный шум вокруг этого применения вовсе неадекватен. Набирающая обороты популярность ИНС в школах и вузах вряд ли окажет благотворный образовательный эффект.
В поддержке популярности нейросетей есть существенная экономическая подоплёка: продажи GPU, продажи обучающих и тестовых множеств, продажи обученных моделей. Не исключено, что рынок продуктов, относящихся к ИНС, переоценён в глазах инвесторов, как и истинные возможности ИНС. В области ИИ такое случается не впервые: ещё в 1970-х нагрянула «зима искусственного интеллекта» (AI Winter), в результате которой было практически прекращено финансирование языка программирования Лисп и экспертных систем. (В то время всем казалось, что за этими технологиями будущее.) Придёт ли вторая зима, после которой упадёт популярность языка Питон и нейросетей на GPU?
Список литературы
1. Widrow B. An Adaptive "Adaline" Neuron Using Chemical "Memistors". TR № 1553-2. Stanford University, California, USA, 1960. URL: http://www-isl.stanford.edu/~widrow/papers/ t1960anadaptive.pdf (дата обращения: 22.12.2017).
2. Rosenblatt F. Perceptron Simulation Experiments // Proceedings of the IRE. 1960. Vol. 48. Issue 3. P. 301-309.
3. NickoRs J., Buck I., Garland M., Skadron K. Scalable Parallel Programming with CUDA. Queue // GPU Computing. 2008. Vol. 6. Issue. 2. P. 40-53.
4. Hinton G. E., Osindero S., Teh Y. A fast learning algorithm for deep belief nets // Neural Computation. 2006. № 18. P. 1527-1554.
5. Hinton G. E., Salakhutdinov R. R. Reducing the dimensionality of data with neural networks // Science. 2006. Vol. 313. P. 504-507.
6. Wolpert D. H., Macready W. G. No Free Lunch Theorems for Search, Technical Report SFI-TR-95-02-010. Santa Fe Institute. USA, 1995.
7. Rackauckas C. Algorithm efficiency comes from problem information. 2018. URL: http:// www.stochasticlifestyle.com/algorithm-efficiency-comes-problem-information/ (дата обращения: 22.12.2017).
8. Golyandina N., Korobeynikov A., Shlemov A., Usevich K. Multivariate and 2D Extensions of Singular Spectrum Analysis with the Rssa Package // Journal of Statistical Software. 2015. Vol. 67. Is. 2. P. 1-78.
9. Jin K. H., Ye J. C. Annihilating Filter-Based Low-Rank Hankel Matrix Approach for Image Inpainting // IEEE Transactions on Image Processing. 2015. Vol. 24. Issue 11. P. 3498-3511.
10. Simonite T. AI Has a Hallucination Problem that's Proving Hard to Fix. WIRED (2018). URL: https: //wwwwLred.com/story/ai-has-a-hallucination-problem-thats-proving-tough-to-fix/ (дата обращения: 22.12.2017).
11. Su J. Vargas D. V., Kouichi S. One pixel attack for fooling deep neural networks (2017). URL: http: //arxiv.org/pdf/1710.08864 (дата обращения: 22.12.2017).
12. Silver D. et al. Mastering the game of Go without human knowledge // Nature. 2017. № 550. P. 354359.
13. Silver D. et al. Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm (2017). URL: http://arxiv.org/pdf/1712.01815 (дата обращения: 22.12.2017).
14. Collados J. C. Is AlphaZero really a scientific breakthrough in AI? Medium (2017). URL: https://medium.com/@josecamachocollados/is-alphazero-really-a-scientific-breakthrough-in-ai-bf66ae1c84f2 (дата обращения: 22.12.2017).
15. Kuindersma S. et al. Optimization-based locomotion planning, estimation, and control design for the atlas humanoid robot // Autonomous Robots. 2016. Vol. 40. Issue 3. P. 429-455.
16. Shallue C.J., Vanderburg A. Identifying Exoplanets with Deep Learning: A Five Planet Resonant Chain around Kepler-80 and an Eighth Planet around Kepler-90 (2017). URL: http://arxiv.org/pdf/1712.05044 (дата обращения: 22.12.2017).
17. Smirnov E. A., Markov A. B. Identification of asteroids trapped inside three-body mean motion resonances: a machine-learning approach // Monthly Notices of the Royal Astronomical Society. 2017. Vol. 469. Issue 2. P. 2024-2031.
18. Epstein R. The empty brain. Aeon (2016). URL: https://aeon.co/essays/your-brain-does-not-process-information-and-it-is-not-a-computer (дата обращения: 22.12.2017).
19. Markram H. et al. Reconstruction and Simulation of Neocortical MicrocircuitryMicrocircuitry // Cell, 2015. Vol. 163 (2), P. 456-492.
20. Szigeti B. OpenWorm: an open-science approach to modeling Caenorhabditis elegans // Frontiers in Computational Neuroscience, 2014. Vol. 8. P. 137.
Поступила в редакцию 16.11.2017, окончательный вариант — 22.12.2017.
Artificial Neural Networks in the Context of Science and Education
Computer tools in education, 2017 № 6: 25-31
http://ipo.spb.ru/journal
ARTIFICIAL NEURAL NETWORKS IN THE CONTEXT OF SCIENCE AND EDUCATION
Pavlov D. A.1
11nstitute of Applied Astronomy RAS, Saint Petersburg, Russia Abstract
The increasing popularity of artificial neural networks (ANNs) in education, science, and commerce may give the impression of a revolution that has taken place in computer modeling and optimization algorithms. This short review highlights the fundamental shortcomings of ANNs and the potential harm that can be caused by encouraging the study of ANNs to the detriment of strict mathematical methods.
Keywords: neural networks, nonlinear optimization, algorithms of artificial intelligence.
Citation: D. A. Pavlov "Artificial Neural Networks in the Context of Science and Education," Computer tools in education, no 6, pp. 25-30, 2017 (in Russian).
Received 16.11.2017, the final version — 22.12.2017.
Dmitry A. Pavlov, Senior researcher at the Laboratory of Ehemeris Astronomy, Institute of Applied Astronomy RAS; 191187 Russia, St. Petersburg, Kutuzova Embankment 10, Institute of Applied Astronomy RAS, dpavlov@iaaras.ru
Павлов Дмитрий Алексеевич, кандидат физико-математических наук, старший научный сотрудник Лаборатории эфемеридной астрономии Института прикладной астрономии РАН; 191187 Санкт-Петербург, наб. Кутузова 10, Институт прикладной астрономии РАН dpavlov@iaaras.ru
© Наши авторы, 2017. Our authors, 2017.
