CC BY
308УДК 004.8(075.4)
Москвин Виктор Андреевич,
д-р экон. наук, профессор
ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ НЕ ХВАТАЕТ
ИНТЕЛЛЕКТА
Россия, г. Москва vamoskvin@mail.ru
Аннотация. Рассматривается версия причины недавних катастроф, произошедших с самолетом Boeing 737 Max. как следствие чрезмерного оснащения управления самолетами автоматикой, представляющей собой системы со слабым искусственным интеллектом. Эти системы недостаточно согласованы между собой и не могут полноценно заменить человеческий интеллект при возникновении сложных ситуаций.
Ключевые слова: Искусственный интеллект, система управления, самолет, авиакатастрофы.
Viktor A. Moskvin,
Doctor of Economic Sciences, Professor
ARTIFICIAL INTELLIGENCE LACKS BRAIN
Russia, Moscow vamoskvin@mail.ru
Abstract. One of the versions of recent air crashes of Boeing 737 Max is highly likely to be linked with excessive equipment of aircraft navigation with automatic gadgets that represent systems with weak artificial intelligence. All these systems are poorly adjusted to each other and are unable to replace human brain in aggravated circumstances.
Keywords: Artificial intelligence, system, management, plane, air crash.
Введение
С 13 марта 2019 г. не летает весь мировой парк новейшей модели Boeing 737 Max 8. Его остановили регуляторы и авиакомпании после крушения 10 марта самолета авиакомпании Ethiopian Airlines. 29 октября 2018 г. похожую катастрофу потерпел другой Boeing 737 Max 8 - малазийской Lion Air. Лайнеры останутся на земле, до появления результатов расследования, которое займет несколько месяцев. Также Boeing пообещал обновить программное обеспечение системы управления самолетом, которая предположительно стала причиной трагедии.
Возможно расследование этих трагедий продлится много месяцев и еще неизвестно, какие результаты, в смысле причин аварий, будут объ-
явлены. Однако, в некоторых обстоятельствах этих аварий, имеющих глубокие системные корни, можно разобраться уже сейчас. Попробуем это сделать.
1. Вероятная причина катастроф
Обе катастрофы произошли аналогично. Самолет оторвался от земли, начал набирать скорость, вдруг пошел вниз и врезался в землю.
Для того, чтобы это произошло закрылки поднимающегося самолета должны поменять свое положение и направить самолет к земле. Наверняка это произошло внезапно для пилотов и без их команды, а они не успели среагировать и исправить положение в ручном режиме.
Почти наверняка, пилотов подвел искусственный интеллект (ИИ) -совокупность автоматических систем с датчиками, которыми буквально нашпиговано система управления самолетом, которая предназначена помогать пилотам при взлете и посадке самолета. При благоприятных или нормальных условиях эти системы действительно могут помогать управлять самолетом, решая некоторые задачи управления в автоматическом режиме. Создатели этой системы считали, что оснастив Boeing 737 Max набором электронного оборудования, позволяющего решать целый ряд задач по управлению самолетом, вплоть до автоматической посадки и взлета лайнера, они создали виртуального совершенного автопилота, добавив его в кабину самолета к двум летчикам.
Но в этом была серьезная системная ошибка. Начинив лайнер системами со слабым искусственным интеллектом, предназначенными для решения частных задач, разработчики систем, управляющим самолетом, не учли, что этим системам необходимо обеспечить хорошее сопряжение между собой и общее автоматическое управление в рамках единой системы. Качественно такое общее управление может обеспечить только система более высокого интеллектуального уровня, чем системы, решающие частные задачи. А это уже проблема.
Кроме того, нужно учитывать, что пилотирование самолетов иногда приходится осуществлять в очень трудных условиях. Например, некоторое время назад, на Ю Тубе было размещено видео, снятое в кабине Boeing 737, на котором польский пилот сажал самолет при сильном боковом ветре. Штурвал в руках пилота рвался из его рук, напоминая рога свирепого быка. Это было жутковатое зрелище, но пилот удержал штурвал, справился с посадкой и самолет побежал по взлетной полосе, а летчик улыбнулся и облегченно вздохнул. Так что не все просто с управлением, даже самым современным самолетом, могут быть трудности и «сюрпризы».
То, что летчикам при подъеме помогала система ИИ с программным обеспечением, которое обещано обновить, известно из приведенного выше заявления самой компании Boeing.
Выходит, что если исключить банальные механические поломки системы управления, а что они произошли - это не очень вероятно, то можно полагать, что в обоих случаях системы ИИ не справились с ситуацией и неадекватно решали возникшие задачи. Это и стало причиной обеих катастроф. Но почему такое могло произойти?
Вполне можно полагать, что возникшие в реальности задачи по управлению самолетом оказались значительно сложнее тех, на которые была рассчитана разработанная система ИИ. Поэтому она и выдала неверные решения по пространственной ориентации закрылков, что привело к падению обоих лайнеров. Это означает, что роковой неисправности в системах управления самолетами не было, просто эти системы не справились с более сложными задачами, чем те, на которые были рассчитаны.
Но если это так, то вина за катастрофы ложится не на пилотов или технический персонал, обслуживающий самолеты, а на разработчиков системы управления самолетом Boeing 737 Max 8, создавших неадекватные реальности системы. Кстати, возможно и то, что экипаж индонезийского лайнера, управлявший тем же самолетом в рейсе, который предшествовал катастрофе, справившийся с отказом датчика угла атаки, но не описавший ситуацию в отчете о полете, может иметь простое объяснение. Возможно, что в практике этого экипажа такой отказ датчика ранее уже происходил и может быть неоднократно.
Итак, почему же система управления не справилась с возникшими ситуациями? Что можно предполагать.
2. Предел возможностей системы искусственного интеллекта
Очевидно, что свои пределы возможностей есть у любой системы в нашем мире. Имеются они и у системы управления самым современным лайнером.
Система управления современным лайнером фактически не является полностью автоматической. Она сочетает автоматическое решение некоторых задач с ручным управлением решением других задач экипажем самолета. Это значит, что между автоматикой или системами искусственного интеллекта и людьми все задачи должны быть четко распределены и выполняться согласованно. При этом надо хорошо понимать, что может передаваться системе ИИ, и что передавать нельзя, например, потому, что она с такой задачей качественно пока не справится.
Теперь рассмотрим рис. 1, на котором показана гипотеза автора о взаимосвязи интеллектуальной сложности свойств интеллекта и силы их
проявления в текущий момент времени, которые представлены соответствующими координатными осями [1].
Интеллектуальная сложность
Способности человека
Сверхспособности
1
3
Сильный ИИ
Слабый ИИ
2
-1-►
Сила проявления
Рис. 1 Взаимосвязь интеллектуальной сложности свойств интеллекта и силы их проявления в текущий момент времени.
Вертикальной пунктирной линией отделены область способностей человека от области способностей, а точнее сверхспособностей, которых может в данный момент времени достигать искусственный интеллект (ИИ). Горизонтальной пунктирной линией, в области искусственного интеллекта, разделены зоны сильного и слабого искусственного интеллекта. Фактически на рис.1 представлены три совершенно разные зоны, обозначенные цифрами 1, 2 и 3.
В зоне 1 представлен широкий спектр способностей, которыми наделен интеллект человека. В реальной действительности мы знаем многие свойства человеческого интеллекта, но не знаем и вряд ли когда-то узнаем их полный состав. Всегда есть возможность, что люди выявят в себе какие-то еще способности или свойства, о которых раньше не думали.
Среди исследователей ИИ до сих пор не существует какой-либо доминирующей точки зрения на критерии интеллектуальности, систематизацию решаемых целей и задач, нет даже строгого определения этой
науки, поскольку существуют разные точки зрения на вопрос, что считать интеллектом.
Интеллект как способность обычно реализуется при помощи других способностей. Таких как: способности познавать, обучаться, мыслить логически, систематизировать информацию путем ее анализа, определять ее применимость (классифицировать), находить в ней связи, закономерности и отличия, ассоциировать ее с подобной и т. д. И здесь существует одно принципиальное условие - о наличии интеллекта можно говорить при совокупности всех этих способностей, в отдельности каждая из них не формирует интеллект. При этом интеллектом может обладать система, составляющие элементы которой каждый в отдельности интеллектом не обладают.
Существенное качество ума индивида - предвидение возможных последствий предпринимаемых им действий, способность предупреждать и избегать ненужных конфликтов. В этом плане одной из основных особенностей развитого интеллекта является способность к интуитивному решению сложных проблем.
Наиболее горячие споры в философии искусственного интеллекта вызывает вопрос возможности мышления творения человеческих рук. Известный вопрос «Может ли машина, мыслить?», который подтолкнул исследователей к созданию науки о моделировании человеческого разума, был поставлен Аланом Тьюрингом в 1950 году [2]. Две основных точки зрения на этот вопрос носят названия гипотез сильного и слабого искусственного интеллекта.
Термин «сильный искусственный интеллект» ввел Джон Серль, его же словами подход и характеризуется: более того, такая программа будет не просто моделью разума; она в буквальном смысле слова сама и будет разумом, в том же смысле, в котором человеческий разум - это разум [3].
При этом нужно понять, возможен ли «чистый искусственный» разум («метаразум»), понимающий и решающий реальные проблемы и, вместе с тем, лишенный эмоций, характерных для человека и необходимых для его индивидуального выживания.
Напротив, сторонники слабого ИИ предпочитают рассматривать программы лишь как инструмент, позволяющий решать те или иные задачи, которые не требуют полного спектра человеческих познавательных способностей.
Как можно видеть из данного сопоставления человеческого интеллекта и искусственного, между ними имеются существенные качественные различия. Ведь систем с сильным ИИ пока еще нет, а системы слабого ИИ могут очень существенно уступать человеку в
возможности решать сложные интеллектуальные задачи. Именно такими системами и наполнены системы управления современными Boeing 737 Max.
В зоне 2 показаны сверхспособности, относимые к слабому искусственному интеллекту. Здесь, так же как, и в зоне 1, соблюдается зависимость - чем выше интеллектуальная сложность какого-то проявления искусственного интеллекта, тем менее выражена сила его проявления.
В зоне 3 для сверхспособностей сильного искусственного интеллекта ничего не представлено, поскольку в мире нет пока качественных разработок сильного искусственного интеллекта. По-видимому, это у человечества где-то еще впереди. Когда появятся такие системы ИИ, точно сказать никто не может. Называются разные сроки, от 10 до 100 лет, но, по мнению автора, более вероятно, что от 50-ти лет и более. Но когда-то такие системы искусственного сверхинтеллекта, вероятно, появятся, и никто сейчас не может точно сказать, что тогда будет на Земле.
Имеется очень большое количество задач, качественное решение которых возможно с помощью человеческого интеллекта, в зоне 1. Немалое количество очень сложных для решения человеком задач или вообще находящихся за гранью человеческих возможностей, попадает в зону 3, т.е. в зону сильного искусственного интеллекта, без привлечения которого они не могут быть качественно решены.1
Нужно себе четко представлять, что задачи в зоне 3 объективно существуют. Более того при усложнении условий некоторые задачи из области 1 могут перемещаться в область 3 и не могут качественно решаться только человеком, без привлечения систем сильного ИИ, которых пока ещё нет.
Известно, что в сфере управления самолетом наиболее сложными считаются задачи, связанные с взлетом самолета и его посадкой. Причем, например, при резком усложнении метеоусловий или авариях на борту, некоторые из этих задач, находящихся в зоне 1, настолько усложняются, что перемещаются в зону 3, требуя привлечения для своего решения систем сильного искусственного интеллекта, которые ещё не созданы. Поэтому на практике эти задачи либо не решаются вообще, либо решаются человеком с большим риском, как задачи зоны 1, хотя на самом деле таковыми не являются.
Таким образом, можно полагать, что в нашей реальной жизни существует множество задач, связанных с управлением системами, которые мы не можем пока качественно решать, либо ввиду недостаточных
1 При управлении самолетом можно выявить немало очень сложных и даже невероятных задач, но это вовсе не значит, что на практике они должны решаться. Прим. автора.
возможностей человеческого интеллекта, либо в связи с отсутствием возможности передать такое решение системе сильного ИИ. Поэтому, если такая задача передается для решения системе слабого ИИ, то она ею адекватно не решается и может возникнуть катастрофическая ситуация, как в случае применения системы слабого ИИ для решения сложной задачи, связанной с управлением самолетом. Ибо происходит существенное превышение предела возможностей системы со слабым ИИ.
3. Теперь вернемся в кабину самолета
Современные лайнеры оснащены большим количеством систем ИИ, помогающим пилотам управлять самолетом. Есть даже автопилоты, управляющие лайнером без участия человека. В крупнейших аэропортах мира современные лайнеры уже сейчас можно сажать по лазерному лучу. Но есть одно важное условие - системы автоматики управляют самолетом только при наличии явно благоприятных условий, когда нет каких-либо внешних угроз. И системы управления со слабым ИИ с этим вполне справляются.
Если при наличии сложных условий в системе управления самолетом используется система со слабым ИИ, то она не может обеспечить качественное решение задачи и могут наблюдаться нарушения в системе управления, в частности, закрылки вместо обеспечения подъема лайнера переходят в другое положение и направляют его к земле. Например, это может происходить, когда падает скорость самолета и уменьшается подъемная сила. Датчики угла атаки могут давать сигнал, что у самолета очень большой угол атаки, автоматика начинает переводить стабилизатор в режим пикирования. Автоматическая система направляет самолет вниз, в крутое пикирование для быстрого набора необходимой скорости. При этом ввиду рассогласования автоматических устройств система управления может «не понимать», что для набора скорости в пикировании нет достаточной высоты полета. При этом показания приборов могут дезориентировать пилотов. Что происходит дальше - известно. В частности, в Эфиопии самолет, быстро теряя скорость и высоту, вошел в землю под углом 70-80 градусов.
Таким образом, причиной катастрофы становится существенное усложнение задач, которые должна решать автоматическая система управления и произошедшее существенное превышение предела возможностей системы со слабым искусственным интеллектом.
Возможно, поэтому вопрос о том, что самолеты могут эксплуатироваться в беспилотном режиме, сегодня даже не ставится. И наверняка не будет практически решаться, по крайней мере, в XXI веке.
4. Кто виноват в катастрофе?
Пройдет время, и виновник катастрофы будет назван. Возможно, им окажется компания Boeing, оснастившая свою модель 737 Max системой ИИ, не позволяющей качественно решать задачи по управлению самолетом в сложных условиях. Возможно, виновником будет названа техническая служба аэропорта, не обеспечившая качественное обслуживание самолета. Возможно, виновником будет назван человеческий фактор, т.е. техническая служба и сами пилоты, не справившиеся с управлением. На кого укажет комиссия, это сейчас, весной 2019 г., сказать трудно. Но кое что, с определенной долей вероятности, все-таки сказать можно.
Во-первых, нужно упростить управление Boeing 737 Max, существенно упростив эту задачу для человеческого интеллекта. Для этого нужно добиться того, чтобы все автоматические системы самолета работали между собой согласованно и не противоречили друг другу. Если какие-то автоматические системы не удастся надежно согласовать между собой, значит надо что-то выводить из автоматического режима и передавать, а точнее возвращать человеку.
Во-вторых, чтобы подобные катастрофы не повторялись впредь, при разработке авиационной техники следует не допускать превышения предела возможностей устанавливаемых систем со слабым искусственным интеллектом. Риск недовложения интеллекта в систему управления должен быть минимальным, а лучше - исключен совсем. Именно это и является самым трудным, поэтому необходимо соблюдать еще одно требование.
В-третьих, все постановки задач для создания автоматических и автоматизированных систем управления сложной техникой, обязательно должны подвергаться независимой экспертизе специалистами, в том числе и на предмет их соответствия реально существующим условиям, включая и экстремальные. Это должно делаться до передачи этих постановок программистам.
5. ИИ и человеческий фактор в управлении самолетом
Нужно прямо признать, что этот фактор имеет для обеспечения безопасности полетов решающее значение.
Ошибки или неправильные действия пилотов являются основной причиной большинства авиакатастроф. Следует отметить, что с увеличением автоматизации управления лайнерами и расширением сфер использования систем с ИИ, возникает ряд повторяющихся ошибок и нарушений. Особенно это относится к взаимодействию пилотов с ИИ. Отметим некоторые из них.
1. Пилоты лайнеров не всегда получают качественное обучение по использованию ИИ. В результате у некоторых возникает внутренняя боязнь систем ИИ.
2. Пилоты лайнеров не всегда умеют правильно пользоваться средствами автоматизации управления, в частности, вводить в системы управления нужную информацию или корректировать ее, быстро отключать автоматику, переводя управление в ручной режим.
3. В большинстве случаев у пилотов отсутствуют качественные инструкции по управлению приборами, написанные на русском языке.
4. Пилоты должны периодически проходить обучение на тренажере, в том числе и с разбором выходов из критических ситуаций.
5. Необходимо усилить контроль над авиакомпаниями, в части соблюдения режима труда и отдыха пилотов. Здесь приходится учитывать, что авиаотрасль относится к числу малодоходных, поэтому компании пытаются экономить на всем, в том числе и на отдыхе и подготовке пилотов.
Можно ли считать случайностью, что пилоты Boeing 737 Max 8, разбившегося в Эфиопии, которые накануне пилотировали этот самолет не сообщили об отказе в системе управления? Ведь они обязаны были об этом сообщить сразу же после прилета в аэропорт. Есть основания полагать, что это не случайность, а сознательное стремление не информировать о происходящих неполадках авиационное начальство. Причина может объясняться просто - летчики не хотят ставить под сомнение свою компетентность в управлении лайнером, что они не справляются нормально с какими-то приборами. Вероятно, что такие сбои пилоты склонны относить на свой счет, считая, что они что-то не так настроили или что-то не учли.
Если это так, то возможно сокрытие отказов и сбоев автоматических систем управления в авиации носит не единичный характер.
Естественно, что работа современных авиакомпаний полностью вписывается в рамки западной концепции построения и организации пассажирских перевозок. Поэтому экономить компании стремятся на всем. Но проще всего экономить на персонале компании, на его подборе, обучении и содержании. В этом плане растущая автоматизация управления рассматривается как средство упростить труд пилотов, сделав его менее квалифицированным, со всеми вытекающими отсюда последствиями. Но что-то идет не так, и вместо небольшой прибыли авиакомпании несут большие убытки. Новейшие автоматические системы для управления самолетом усложняют работу пилотов, при этом они не превосходят интеллект людей-летчиков, готовых при необходимости стабилизировать самолет с помощью обычного стакана во-
ды, ведь к уровню в стакане прикладывается человеческий интеллект, которого у автоматов нет.1
Заключение
Сейчас все чаще стало высказываться мнение, что обычных профессиональных пилотов, на самолетах, напичканных автоматикой, нужно заменять высококвалифицированными специалистами в области использования искусственного интеллекта. На это хорошо ответил в середине марта Дональд Трамп в своем Twitter - «Я не хочу, чтобы моим пилотом был Альберт Эйнштейн. Я просто хочу отличного профессионала, который может легко и быстро управлять самолетом» [4]. Пожалуй, это очень верно сказано.
Управление автоматическими системами со слабым ИИ требует отвлечения на них человеческого интеллекта. И, когда таких систем становится слишком много или они достаточно сложны в управлении, то возникает проблема - ошибки человека.
Независимо от того, какие причины и виновники катастроф будут названы, можно полагать, что значительные инвестиции в разработку ИИ автоматических систем управления транспортными средствами малоперспективны и вряд ли в обозримом будущем окупятся. Сдерживающее влияние на развитие автоматических систем будет оказывать недостаточное интеллектуальное развитие систем со слабым ИИ. Для обеспечения развития систем с сильным искусственным интеллектом пока еще не решены многие научные задачи из нескольких областей знаний.2
Список литературы
1. Москвин В.А. Опасности и риски искусственного интеллекта (анализ и практические рекомендации): монография - М.: КУРС, 2018. - С. 21-23.
2. Turing Alan (October 1950), "Computing Machinery and Intelligence", Mind Т. LIX (236): 433 - 460.
3. Джон Серль Разум мозга - компьютерная программа? https://psychosearch.ru/teoriya/psikhika/338-searle-john-razum-mozga-kompyuternaya-programma.
4. Twitter.
1 Ориентация по уровню в стакане воды, например, происходила 07.09.2010 г., когда обесточенный самолет ТУ-154 с неработающими двигателями, совершил аварийную посадку на заброшенный маленький аэродром в поселке Ижма, Республики Коми.
Ряд задач приведен в работе [1] - С. 30-79.
