CC BY
402
Восприятие популяций и их субструктур в качестве брендов становится неотъемлемой частью биомедицинских исследований. Исследования редких заболеваний и популяционное сравнение генетического материала могут унифицировать или дифференцировать людей. На сегодняшний день существует ряд исследований, посвященных способам осуществления национализации человеческого и нечеловечесчкого генетического материала. Исследования генома вносят все больший вклад в создание основных нарративов национальной идентичности. Популяции становятся в один ряд с новыми формами производства научного знания. Они концептуализируются как товар, как продукт, который можно поставлять на рынок. Хотя взгляд на популяцию как на бренд или продукт не прозрачен по своей природе, он вызывает процессы, в которых натурализация популяций фигурирует в качестве новой формы брендов, специфические характеристики которых имеют более широкие политические последствия. Такие нарративы порождают новые формы дискриминации, а также являются причиной маркетизации научных и медицинских коллекций и информации о здоровье пациента.
О. В. Полякова
2018.02.004. МП. БУЛАВИНОВА. РИСКИ И УГРОЗЫ НОВЫХ ТЕХНОЛОГИЙ, ОСНОВАННЫХ НА ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ. (Обзор).
Ключевые слова: искусственный интеллект; технологическая сингулярность; закон ускорения отдачи; закон Мура; трансгуманизм; эмулирование мозга; роботы; автономные и полуавтономные системы вооружений.
Новые, или перспективные, технологии всегда вызывали большое беспокойство и даже протест в обществе, но сегодня самую большую тревогу порождают возможные последствия широкого применения искусственного интеллекта (ИИ). Некоторые известные ученые предупреждают, что ИИ уже находится на пути превращения роботов в мастер-класс, который подчинит человечество, а может быть, и уничтожит его. Другие эксперты опасаются, что с помощью ИИ некоторые страны смогут производить автономное оружие - «машины для убийства», которые будут выбирать
цели самостоятельно, включая и невинных граждан. Известные экономисты озабочены тем, что ИИ, в отличие от предыдущих технологий, уничтожит гораздо больше рабочих мест, чем создаст, и это приведет к серьезным экономическим проблемам.
Развитие технологий, связанных с ИИ, стремительно ускоряется. Компьютеры теперь с легкостью побеждают чемпионов в шахматах, го и покере. В 1997 г. разработанный компанией IBM суперкомпьютер Deep Blue выиграл шахматный матч у чемпиона мира Гарри Каспарова. Политики и общественность глубоко впечатлены возможностями беспилотных автомобилей, которые уже проехали миллионы миль, различных видов роботов, применяемых в самых разных областях - в промышленности, медицине, быту и т.д. Практически в каждой сфере новые технологии могут принести неоценимую пользу - они помогают повысить точность, избавить людей от опасностей и монотонного труда, преодолеть границы человеческих возможностей и т.д.
Однако ученые и общественность активно призывают правительства к принятию срочных мер - к разработке регулирующих норм в отношении исследований и разработок (ИР) в области ИИ. И хотя технологии ИИ, несомненно, заслуживают такого серьезного внимания, по мнению Амитаи и Орена Этциони (6), следует согласиться с выводами комиссии, организованной в рамках исследования ИИ Стэнфордского университета: «Попытки регулировать ИИ в целом будут ошибочными, поскольку нет четкого определения ИИ... а риски и соображения очень разные в разных областях» (цит. по: 6, с. 1).
Широко известно следующее определение: «Искусственный интеллект - это деятельность, направленная на то, чтобы сделать машины интеллектуальными, а интеллект - это качество, которое позволяет сущности функционировать адекватно и обладать предвидением в своей среде» (цит. по: 6, с. 1). Популярная формулировка -ИИ предоставляет компьютеру способность думать, как человек. На базовом уровне ИИ - это попытка воссоздать подобие человеческого мышления с помощью искусственных устройств. Знаменитый тест Тьюринга показывает, что ИИ достигается, когда невозможно понять, был ли ответ на заданный вопрос сделан человеком или компьютером. Некоторые эксперты используют термин «ИИ» для обозначения компьютеров, которые применяют алгоритмы для об-
работки большого количества информации, делают определенные выводы и способны учиться на основании этого опыта (6, с. 1).
По мнению ученых, можно создать интеллектуальные машины, которые будут иметь гораздо больше способностей и возможностей, чем люди. Достигнув точки «технологической сингулярности», компьютеры будут продолжать совершенствоваться, что значительно ускорит технический прогресс. Однако это может привести к драматическим и непредсказуемым изменениям для человечества. Футурологи предсказывают, что сингулярность наступит приблизительно в 2030 г. (4, с. 1).
Можно было бы отвергнуть эти идеи как научную фантастику, если бы не тот факт, что их разделяют многие знаменитые ученые и специалисты в области ИИ. Команда исследователей Оксфордского университета, занимающаяся разработками ИИ, предупредила: «Такие экстремальные типы интеллекта не могут быть легко контролируемы... интеллект будет направлен на создание мира без людей или без значимых черт человеческого существования. Это делает экстремально интеллектуальные ИИ уникальным риском... » (цит. по: 6, с. 1). И. Маск, основатель «Теслы», написал в Твиттере следующее: «Нам нужно быть очень осторожными с ИИ. Это потенциально более опасная технология, чем ядерное оружие... » (6, с. 1). Оксфордский философ Н. Бостром считает, что, так же как люди превзошли и почти полностью уничтожили горилл, ИИ опередит развитие человека и в конечном итоге будет доминировать.
Многие ученые, серьезно озабоченные этой проблемой, выступают за срочное принятие мер, направленных на регулирование и строжайший контроль над этой областью исследований. Адвокат и юрист М. Шерер Scherer) призывает к разработке закона об искусственном интеллекте и созданию правительственного агентства для сертификации безопасности программ на основе ИИ. В 2016 г. Белый дом организовал четыре семинара по проблемам ИИ, одной из главных тем которых стал вопрос регулирования этой сферы. Не осталось в стороне и научное сообщество: в 2009 г. президент Ассоциации по развитию ИИ назначил группу ее ведущих членов для формулирования принципов руководства исследованиями и стратегий, направленных на сдерживание и регулирование поведения автономных и полуавтономных систем, основанных на ИИ.
Однако регулирование ИИ на международном уровне - весьма сложная задача, так как «джинн уже выпущен из бутылки». Работы по созданию ИИ, в которые вовлечено множество различных участников - ученых, инженеров, государственных служащих, деловых людей, - уже ведутся во многих странах. ИИ активно используется в большом количестве машин - от пассажирских самолетов до поисковых систем, от промышленных роботов до виртуальных медсестер. Программы ИИ помогают выявлять рак, снижать риск столкновений с самолетами и внедряться в старомодное (т.е. неавтономное) программное обеспечение автомобилей, что делает их намного более безопасными. Поэтому следует учитывать, что ограничения на развитие ИИ налагают очень высокие человеческие и экономические издержки.
В эксперименте, в котором роботу и хирургам была поставлена одна и та же задача - сшить части разрезанного кишечника, -робот опередил людей. Несмотря на то что хирурги помогали автономному роботу Smart Tissue в 40% испытаний, робот выполнил задание без вмешательства человека в 60% случаев, а качество его работы было значительно выше (6, с. 2).
ИИ активно используется в поисковых и спасательных работах, например для аэрофотосъемки в зонах бедствия, для быстрого определения районов, где нужно спасать людей, а быстрота определения дает больше шансов найти их живыми. Устройства, оснащенные ИИ, часто используются для ухода за детьми, пожилыми или больными людьми. Например, существуют роботизированные «домашние животные», которые хорошо снижают стресс у пожилых пациентов с деменцией. Они запрограммированы таким образом, чтобы научиться вести себя по-разному с каждым отдельным пациентом с помощью положительной и отрицательной обратной связи. ИИ также применяется при разработке виртуальных психотерапевтов. Люди более охотно делятся информацией с компьютером, потому что они не чувствуют осуждения с его стороны так, как они чувствовали бы его со стороны человека.
Компьютеризированные персональные помощники, такие как Siri от компании «Apple», Cortana от компании «Microsoft» и Alexa от компании «Amazon», используют ИИ для изучения поведения своих пользователей с целью лучшего обслуживания. ИИ применяется всеми основными компаниями кредитных карт в программах
обнаружения мошенничества. Системы безопасности используют программы ИИ для слежения за несколькими экранами от камер наблюдения и т. д.
Экспертам следует взвешивать все «за» и «против» применения ИИ в этих и других областях, считают многие ученые, если они принимают решение ограничить исследования ИИ с целью борьбы против угрозы сингулярности. Из этого следует, что, хотя и существуют некоторые причины, чтобы бдительно следить за работой ИИ, на данный момент угрозу сингулярности лучше всего оставить ученым для обсуждения на конференциях и семинарах. Сингулярность по-прежнему остается слишком спорным вопросом, чтобы быть причиной навязывания всевозможных мер контроля для ограничения или замедления развития ИИ по всем направлениям.
Технологическая сингулярность. Объем человеческих знаний накапливался тысячелетиями, одновременно расширялись возможности его распространения с помощью устной передачи, письма, печати, Интернета. Но орган, который производит все эти знания - мозг человека, - за этот период практически не изменился. Сегодня появляется уникальная возможность создания искусственного интеллекта, который станет не только источником технологий, но и их продуктом. Вследствие этого может возникнуть цикл обратной связи с непредсказуемыми последствиями. Сконструированный интеллект, который одновременно является и автором такого конструирования, может начать самосовершенствоваться и воспроизводиться. Человек в такой ситуации может сойти со сцены, поскольку просто будет не в состоянии соперничать с машинами на основе искусственного или биологического интеллекта с улучшенными когнитивными способностями (4, с. XIV).
В основе этой гипотезы лежит «закон ускорения отдачи», который работает, когда скорость, с которой совершенствуется технология, пропорциональна качеству самой технологии (4, с. XVI). Другими словами, чем совершеннее технология, тем быстрее она улучшается, что и дает экспоненциальное во времени совершенствование. Хорошим примером этого закона служит закон Мура, по которому количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается примерно каждые полтора года (4, с. XVI). Этот закон действует уже на протяжении нескольких десятилетий. Ускорение технологического прогресса наблюдается не
только в информационной сфере. Например, в медицине стоимость секвенирования ДНК падает экспоненциально одновременно с экспоненциальным увеличением скорости секвенирования, а в области сканирования мозга наблюдается экспоненциальный рост разрешения.
В истории тенденции ускорения развития можно наблюдать не только в сфере технологий, но и в земной эволюции: техническому прогрессу предшествовали точки эволюции живого, следующие одна за другой с сокращающимися периодами времени между ними: появление эукариотов, позвоночных, приматов и, наконец, homo sapiens. В последнее время мир усложняется с огромной быстротой, и если экстраполировать технологическую часть кривой растущей сложности в будущее, можно увидеть переломный момент - точку технологической сингулярности (4, с. XVII).
Если развитие технологий на основе ИИ и нейротехнологий сохранит свой темп, ученые научатся синтезировать интеллект и манипулировать им. В действие вступит закон ускорения отдачи и отсюда остается один шаг до точки технологической сингулярности. Технологии совершенствования человека, его интеллекта сделают человека безнадежно устаревшим с технологической точки зрения, и появится угроза самому выживанию человека. Многие эксперты предсказывают наступление этого момента уже в середине XXI в.
Однако не все ученые согласны с этой точкой зрения. Многие считают, что технологии, основанные на ИИ, дадут возможность выйти за биологические пределы и ограничения, главная из которых - смертность. Живое тело подвержено болезням и разрушению, а мозг - это всего лишь часть тела. И если ученые научатся восполнять ущерб, нанесенный телу, или воссоздавать его с нуля, может быть, и не на биологической основе, продлевать жизнь, тогда ничто не сможет остановить процесс расширения сознания.
В настоящее время этими проблемами интенсивно занимаются исследователи такого направления, как трансгуманизм. Они активно ищут способы улучшения качеств и способностей человека и продления его жизни. Возможность полностью перепроектировать мозг, надеются они, поможет не только радикально улучшить его, но и реорганизовать процессы познания. Это снизит экзистенциальный риск со стороны суперинтеллектуальных машин, и человек
сможет успеть за их развитием, однако при этом он может измениться до неузнаваемости (4, с. Х1Х-ХХ). Трансгуманисты активно поддерживают разработку новых технологий. Они работают на стыке разных наук и особенно перспективными считают нанотех-нологию, биотехнологию, информационные технологии, разработки в области ИИ, загрузки сознания в память компьютера и крио-нику. По мнению Рэймонда Курцвейла, известного американского изобретателя и футуролога, уже к 2050 г. непрерывно ускоряющееся технологическое развитие позволит создать постчеловека, киборга, имеющего способности, кардинально отличные от способностей современных людей. И в этом должны помочь генная инженерия, нанотехнологии, создание нейропротезов и прямых сопряжений «компьютер-мозг» (3).
Способы создания ИИ. Реальный шаг вперед на пути создания универсального ИИ и загрузки сознания - эмулирование, т.е. копирование, всего мозга. Эта идея состоит в создании точной копии конкретного работающего мозга на небиологической основе, например на компьютере (4, с. 15). Но человеческий мозг - это уникальнейшая, сложнейшая система, и сегодня изучена только ее часть. Мозг насчитывает 80 млрд нейронов, его деятельность основана на сочетании электрической и химической активностей. Его работу обеспечивает сосудистая система, которая переносит кровь ко всем его частям, доставляющую энергию, необходимую для генерации всех электрических сигналов. В мозге также находится огромное количество глиальных клеток, которые выполняют собственную сигнальную функцию. Неотъемлемое свойство мозга -пластичность. На протяжении всей жизни человека связи в его мозге постоянно меняются, фундаментально перестраиваются, создаются новые связи (4, с. 16-17). Это создает большие трудности для ученых, занимающихся его изучением.
Эмулирование мозга состоит из трех этапов: 1) картирование: формируется карта мозга с высоким пространственным разрешением в определенный момент времени; 2) моделирование: строится модель реального времени, которая воспроизводит электрохимическую активность всех нейронов и их связей; 3) материализация: создается интерфейс между полученной моделью и внешней средой. Получается сложное бестелесное вычислительное устройство. Чтобы заполнить пробел между моделированием внутри этого уст-
ройства и эмуляцией с демонстрацией внешнего поведения, нужно создать тело. Эта модель ожидает входящих сигналов и генерирует исходящие (4, с. 21). Однако мозг - система хаотическая, и очень небольшие различия начальных условий могут со временем приводить к огромным расхождениям в поведении системы. Поэтому в процессе картирования небольшие неточности и другие ошибки в вычислениях могут приводить к отклонению модели от ее прототипа.
Чтобы точно смоделировать миллиарды нейронов и их связи в реальном времени, необходимы огромные вычислительные ресурсы. Пока самый быстрый процессор не может смоделировать все нейроны головного мозга даже мыши. Помочь в этом может принцип параллелизма. Моделирование можно осуществить с помощью множества процессоров, работающих одновременно, каждый из которых моделирует тысячи нейронов.
Сегодня ученые задумываются и о создании суперинтеллекта человеческого и более высокого уровня. Если с помощью метода эмуляции мозга или проектирования с нуля будет создан ИИ человеческого уровня, то при наличии достаточных ресурсов можно будет построить целое общество, состоящее из большого числа таких ИИ, работающих на сверхчеловеческих скоростях. И то, что реализовано в виде компьютерной программы, можно скопировать и ускорить, поэтому в отличие от биологического мозга цифровой мозг можно будет копировать в неограниченном количестве. А отсюда недалеко до суперинтеллекта. Но что угрожает человечеству, если такой суперинтеллект будет создан? Какую опасность он представляет для него? Этими вопросами сегодня задаются не только писатели-фантасты, но и многие ведущие ученые всего мира.
Военное применение ИИ. Предложения ограничить некоторые специфические применения ИИ заслуживают пристального изучения и активных действий. Важная область, в которой ведутся сегодня интенсивные разработки, - создание автономного оружия. Здесь ИИ используется для решения военных задач: когда стрелять, сколько силы применять и какие цели выбирать.
Группа исследователей в области робототехники и ИИ, многие известные ученые и общественные деятели подписали открытое письмо, которое было представлено на Международной конференции по искусственному интеллекту в 2015 г. В нем содержится
настойчивый призыв к ООН запретить дальнейшее развитие вооружений, основанных на ИИ, которые могли бы функционировать без строгого человеческого контроля. Письмо подписали более 20 тыс. человек, среди которых Стивен Хокинг, Илон Маск и Ноам Хомски. Но еще в 2013 г. Кристоф Хейнс, специальный докладчик ООН по юридическим вопросам, сделал заявление, в котором призвал к мораторию на разработку и тестирование вооруженных роботов. К. Хейнс утверждал, что «разрешение разработки и развертывания машин для уничтожения людей во всем мире, независимо от того, какое оружие они используют, заслуживает коллективной паузы» (6). Пауза в разработке машин для убийства необходима до тех пор, пока страны не договорятся об ограничениях на развертывание автономного оружия. Большинство стран мира подписали Договор о нераспространении ядерного оружия. Многие государства, включая Южную Африку, Бразилию и Аргентину, отказались от своих программ по разработке ядерного оружия, а те, кто уже их имел, сократили свои ядерные арсеналы. Другие соответствующие договоры включают запрет на биологическое и химическое оружие и запрет на наземные мины.
Эти договоры касаются пунктов, где линия между тем, что запрещено, и тем, что не раскрывается, относительно ясна. Но когда дело касается автономного оружия, такую линию провести чрезвычайно трудно. Некоторая степень автономии встроена во все программное обеспечение, в котором используются алгоритмы, и такое программное обеспечение включено в многочисленные системы оружия. Существует три уровня автономии для систем вооружений. Оружие первого уровня автономии, или «человека в системе управления» (human-in-the-loop systems), широко используется сегодня и требует человеческой команды для выбора роботом цели и развертывания силы. Оружие второго уровня автономии, «человека над системой управления» (human-on-the-loop systems), может выбирать цели и развертывать силы без помощи человека, однако человек может проконтролировать или вообще отменить решения робота. Оружие третьего уровня автономии, «человека вне системы управления» (human-out-of-the-loop systems), - полностью автономное оружие, которое никак не зависит от человеческого контроля (6).
Многие технологически развитые страны, такие как США и Великобритания, вводят ограничения на развертывание автономного и полуавтономного оружия. В 2013 г. на слушаниях в парламенте Великобритании лорд Дж. Астор (3d Baron Astor of Hever) заявил, что «министерство обороны не намерено разрабатывать системы вооружений, действующие без вмешательства человека... необходимо прояснить, что системы вооружений всегда будут применяться только под контролем человека» (цит. по: 7, с. 306). В первом документе министерства обороны США, касающемся использования автономного оружия, говорится: «Автономное и полуавтономное оружие должно быть спроектировано таким образом, чтобы командиры и операторы могли осуществлять должный уровень человеческого суждения относительно использования силы» (цит. по: 7, с. 306). Однако так до сих и не было разъяснено, что означают понятия «человеческий контроль» или «должный уровень человеческого суждения». Какова степень вмешательства человека? Это может означать всего лишь участие человека в программировании системы оружия или даже просто нажатие кнопки.
Более того, термины «автономный» и «полуавтономный» не вполне понятны. Например, военно-морской флот США использует системы трех уровней автономности, а сухопутные войска - десяти уровней. Это может вызывать большие затруднения у командующих, работающих с несколькими системами разных уровней. Поэтому в рекомендациях министерства обороны сказано, что следует отказаться от употребления термина «уровень автономии», поскольку основной упор делается на возможностях компьютера, а не на взаимодействие компьютера и человека.
Альтернативный подход в классификации автономности и полуавтономности - реструктурировать это понятие в терминах типов человеческого участия и контроля, представленного в различных видах автоматизированных систем оружия. Научные исследования в области человеческого контроля над роботами позволили разработать классификацию, состоящую из пяти уровней:
1) человек включен в процесс, выбирает цель и начинает атаку;
2) программа предлагает альтернативные цели, а человек выбирает, какие атаковать; 3) программа выбирает цель, а человек должен одобрить, прежде чем атаковать; 4) программа выбирает цель, а человек имеет ограниченный период времени на вето; 5) программа
выбирает цель и начинает атаку без участия человека. Эта классификация предлагает транспарентность и помогает прояснить, когда и кто осуществляет контроль (7, с. 308).
Контроль над системами вооружений на основе компьютерных программ требует совместной работы человека и машины, чтобы были оптимизированы сильные стороны каждого из них. И компьютер, и человек имеют свои сильные и слабые стороны: одни задания компьютер выполняет лучше, а другие может выполнить только человек. В таблице приводится список заданий, в решении которых показана эффективность компьютера и человека.
Таблица (7, с. 308)
Примеры заданий, в решении которых выявлена эффективность компьютера или человека
Компьютер Человек
Подсчет чисел Совещательные рассуждения
Поиск больших баз данных Восприимчивость к новым моделям
Быстрый ответ на контрольное задание Метапознание
Выполнение рутинных повторяющихся заданий Индуктивная аргументация
Дедуктивная аргументация Применение полученных знаний и опыта к новым заданиям
Сортировка данных Тестирование решений
Некоторые эксперты считают, что создание более точного автономного оружия позволит снизить нанесение ущерба. Но это всего лишь один из незначительных аспектов основной цели создания оружия - более эффективное убийство с наименьшим количеством орудий. Поэтому главной, по мнению разработчиков, должна стать гуманитарная составляющая в разработке оружия, поскольку чем совершеннее технологии, тем выше должна быть ответственность по отношению к гражданскому населению, гражданской инфраструктуре и тем, кто стоит вне боя (7, с. 309).
Кроме того, требуется совершенно новое развитие ИИ, которое применяется ко многим, если не ко всем так называемым интеллектуальным технологиям. Необходимо, по мнению многих экспертов, ввести в мир ИИ такую же базовую структуру, которая существует практически во всех нецифровых системах, - многоуровневую систему принятия решений. На одном уровне находятся
операционные системы («рабочие пчелы»), которые выполняют различные миссии. Над ними - разнообразные системы надзора, гарантирующие, что работа выполняется в определенных параметрах. Системы надзора ИИ, так называемые хранители ИИ, должны обеспечивать, чтобы решения, принятые автономным оружием, оставались в пределах предопределенного набора параметров. Например, им не будет позволено ориентироваться на цели, запрещенные армией США, - мечети, школы, плотины и т.д. Кроме того, это оружие не должно полагаться на разведку только из одного источника.
Можно утверждать, что вместо создания новых уровней ИИ с решением сложных задач могли бы справиться люди-«надзирате-ли». Проблема в том, что с развитием системы ИИ становятся все более непрозрачными, черным ящиком. Как отмечают В. Майер-Шёнбергер и К. Кукьер в своей книге «Большие данные: Революция, которая изменит то, как мы живем, работаем и мыслим» (2), «сегодняшний компьютерный код можно открыть и проверить... Однако при анализе больших данных проследить его становится намного сложнее. Основа предсказаний алгоритма часто слишком сложна для понимания большинством людей... алгоритмы и наборы данных станут черным ящиком, который не поддается отчетности, отслеживанию или доверию» (цит. по: 6, с. 4).
Дж. Баррелл из Школы информации в Калифорнийском университете (Беркли) различает три способа, с помощью которых алгоритмы становятся непрозрачными: 1) преднамеренная непрозрачность (например, правительство или корпорации хотят сохранить в тайне некоторые собственные алгоритмы); 2) техническая неграмотность (сложность и функциональность алгоритмов выходят за рамки понимания общественности, даже экспертов без помощи ИИ); 3) масштабы применения («машинное обучение» или количество задействованных различных программистов, или те и другие делают алгоритм непрозрачным даже для программистов). Следовательно, людям понадобятся новые программы контроля над ИИ - надзорные системы, чтобы понимать и сдерживать основанные на нем оперативные системы (6, с. 4).
Но не сталкиваются ли надзорные системы ИИ с теми же проблемами, с которыми сталкиваются системы первой линии. Прежде всего, следует определить цель и дизайн различных кате-
горий ИИ. Программы ИИ первой линии создаются для повышения эффективности машин, которых они ведут. Напротив, системы надзора разработаны и используются для контроля за ИИ. Более того, как и аудиторы-люди, различные программы имеют репутацию как более или менее надежные, и менее надежные используются в меньшей степени теми, кто надзирает. И так же как и в аудиторском бизнесе, есть категории ИИ для третьего уровня надзирателей, которые контролируют все подотчетные им системы. Однако невозможно ответить на вопрос, заданный древними философами: «Кто устережет самих сторожей?» В конце концов совершенной системы пока еще не построили.
Наконец, по мнению А. и О. Этциони (6), люди не должны выйти из строя. Они не только разрабатывают и совершенствуют операционные и надзорные системы ИИ, но и должны оставаться высшим авторитетом, «стеречь стражей ИИ». Только люди должны принимать решение об отключении как оперативных, так и надзорных систем ИИ, например остановить оружие, когда противник сдается, или позволить беспилотному автомобилю двигаться быстрее, если пассажир серьезно болен и его нужно доставить в больницу.
В последнее время немало внимания уделяется исследованиям в области взаимодействия робота и человека. Многие видят в сотрудничестве компьютеров и человека решение многих проблем. Как отмечают в своем обзоре 2013 г. Р. Мерфи (R. Murphy) и Д. Шрекенхост (D. Schreceknghost), авторитетные исследователи в области изучения робототехники, «показатели системного взаимодействия "человек-робот" часто искажаются в ходе наблюдений за роботом или человеком, внося в анализ помехи и ошибки... текущие показатели не позволяют определить, какие из возможностей автономной работы и взаимодействия подходят для тех или иных задач» (цит. по: 1, с. 186). Ученым нужно найти и согласовать стандартные показатели для оценки совместной работы компьютера и человека. Из 42 показателей, предложенных в обзоре, семь применимы к людям, шесть - к роботам, а 29 - к взаимодействию между ними (1, с. 187). Изучение взаимодействия роботов и людей -относительно молодая область исследований, и ее центральный вопрос - каковы общие социальные механизмы общения и взаимопонимания между людьми и роботами (1, с. 187).
Использование технологий на основе ИИ и роботов имеет широкое распространение сегодня и огромный потенциал в будущем. Роботы идеально подходят для поисково-спасательных работ в загрязненной среде, в воздухе, на земле, на воде и под водой. Перспективная область применения поисково-спасательных роботизированных систем - использование совместных групп, состоящих из роботов и людей. Широко используются и будут использоваться новые технологии в медицине, например в хирургии, как компьютерно-механическое дополнение человеческих возможностей (экзоскелеты), в повседневной жизни (роботы-помощники, роботы-компаньоны) и т.д. Поэтому изучению партнерства человека и робота нужно уделить самое пристальное внимание.
Занятость. Отдельная тема, связанная с широким применением технологий, основанных на ИИ, - возможная безработица. Как ни странно, область, в которой ИИ уже оказывает значительное влияние и, как ожидается, будет иметь серьезные глобальные, трансформирующие последствия, чаще всего обсуждается экономистами, а не компьютерщиками. Имеются убедительные доказательства того, что киберреволюция разрушает многие рабочие места: сначала рабочие места голубых воротничков (роботы на сборочной линии), затем - белых воротничков (банки сокращают штат своих работников), а теперь - и профессионалов (юридические исследования). По данным Бюро статистики труда, рабочие места в секторе услуг, в котором в настоящее время числятся 2/3 всех работников, «уничтожаются новыми технологиями». В период с 2000 по 2010 г. исчез 1,1 млн секретарских рабочих мест, а также 500 тыс. рабочих мест для бухгалтеров и аудиторов (6, с. 309). Другие работники, такие как агенты турфирм и операторы ввода данных, также теряют свои рабочие места вследствие внедрения технических достижений.
Последняя жертва - юриспруденция. Технологии электронного обнаружения сократили потребность во многих группах юристов и специалистов, проверяющих миллионы документов. М. Линч (M. Lynch), основатель компании по электронному обнаружению «Autonomy», считает, что переход к технологиям электронного обнаружения позволит одному юристу выполнять работу, для которой ранее требовалось 500 человек (6, с. 309).
Конечно, разрушение рабочих мест происходило на протяжении всей истории человечества: ткацкий станок заменил ручное плетение, паровые суда вытеснили парусные лодки, а автомобили заменили лошадей. Однако сегодня самую большую обеспокоенность вызывает то, что на этот раз новые технологические разработки создадут совсем мало новых рабочих мест. Программное обеспечение, написанное несколькими программистами, выполнит работу, которую ранее делали несколько сотен тысяч человек. Поэтому все чаще раздаются голоса, что в скором времени мир столкнется с крахом работы и даже экономическим армагеддоном. Более того, безработица и растущее неравенство в доходах могут привести к серьезным социальным последствиям. Высокий уровень безработицы является основным фактором разжигания беспорядков, роста насилия, политической фрагментации и поляризации общества.
Некоторые экономисты, однако, выражают меньше беспокойства, они уверены, что благодаря новым технологиям возникнет множество новых рабочих мест. Например, люди будут разрабатывать новые вкусы для продуктов или предлагать услуги, которые не смогут обеспечить или произвести даже суперкомпьютеры: повара, органические фермеры и личные тренеры. Многие считают, что уровень безработицы в США довольно низок и нет повода для беспокойства, однако на новых рабочих местах платят меньше, предлагают меньше льгот и они гораздо менее безопасны.
Важная особенность нынешней ситуации состоит в том, что данных о влиянии, например, компьютеров или роботов на труд и занятость очень мало. Э. Бринйолфсон (E. Brynjolfsson) и Э. Мака-фи (A. McAfee) из Массачусетского технологического института в своей книге «Наперегонки с машиной»1 пишут, «что скорость и массовость цифровых инноваций таковы, что они не позволяют большинству людей (поскольку опыт и знания растут медленно) и организаций (бизнес-задачи и бизнес-процессы тоже меняются недостаточно быстро) успевать за темпом перемен» (цит. по: 1, с. 169).
1 Brynjolfsson E., McAfee A. Race against the machine: How the digital revolution is accelerating innovation, driving productivity, and irreversibly transforming employment and the economy. - Lexington, MA: Digital frontier press, 2011.
И все же для решения новых профессиональных задач требуются люди, так как они обладают многими чертами, недоступными машинам, - гибкостью, способностью приспосабливаться, анализировать и импровизировать. Когда задача становится более понятной и документированной, ее можно передать машинам, но многие вещи могут сделать только люди. В экономике труда существует так называемый эффект «провала посередине». Он относится к рабочим местам, которые не имеют отношения ни к тяжелому физическому низкооплачиваемому труду, ни к высокооплачиваемому интеллектуальному, поэтому они наиболее уязвимы. Сотрудники, потерявшие такие места, с трудом находят работу в других областях.
В 1992 г. Р. Райх (R. Reich) предсказал появление трехуровневого рынка рабочей силы в развитых странах: 1) сфера персональных услуг (здравоохранение, розничная торговля); 2) промышленный сектор (производство); 3) «символьная аналитика» (финансовые службы, инжиниринг, программное обеспечение, юриспруденция). После резкого роста объемов данных последний уровень автоматизируется.
Со времен прогнозов Р. Райха дифференциация доходов в США усилилась. Некоторые экономисты утверждают, что рост высоких доходов и усиление неравенства доходов - результат большей отдачи от капитала, а не от труда. Смещение в сторону роста доходов, связанных с инвестициями, сильно влияет на разрыв между заработной платой и производительностью. Иными словами, инвестиции в новые технологии и автоматизацию приводят к росту эффективности производства, но выгоду от этого получают в основном владельцы капитала, а не работники. Учитывая влияние двух тенденций: автоматизации все более сложных задач и роста окупаемости капиталовложений относительно зарплат, - получится, что новые технологии и роботизация несут плохие новости для наемных работников (цит по: 1, с. 177).
Эксперты выделяют четыре обстоятельства, негативно влияющие на занятость: 1) в связи с эффектами масштаба, накопления опыта и закона Мура для производительности микропроцессоров роботы и компьютерные технологии дешевеют; 2) возможности роботов и компьютерных технологий растут с каждым годом благодаря успехам в разработке ПО, усовершенствованию машин-
ного зрения и т.д.; 3) человеческая рабочая сила становится все дороже (расходы на медицинское страхование, на кондиционирование помещений и т.д.); 4) технологиям не нужно дублировать производительность труда, а нужно быть просто хорошими (цит по: 1, с. 179).
Учитывая важность и масштаб экономических и социальных проблем, поставленных ИИ, А. и О. Этциони (6) предлагают некоторые варианты их решения, в частности в применении к США. Прежде всего необходимо, чтобы исследовательское сообщество предоставило полный обзор всей имеющейся информации о том, предстоит ли обществу столкнуться с высоким дефицитом рабочих мест в самом ближайшем будущем. Это - задача для таких организаций, как национальные академии наук или исследовательские службы Конгресса. Если выводы обзора будут заключаться в том, что необходимо предпринять срочные действия для устранения побочных эффектов ускоряющейся киберреволюции, президент должен назначить комиссию высокого уровня для изучения того, что можно сделать, кроме как пытаться замедлить развитие новых технологий. Эта комиссия, например с названием «Киберэра», должна быть очень влиятельной и включать представителей самых разных областей - должностных лиц, экономистов в области труда, руководителей бизнеса и, конечно, экспертов в области ИИ. Они рассмотрят альтернативные варианты решения проблем, связанных с надвигающимся кризисом и его последствиями.
В прошлом такие вопросы уже успешно решались, например предоставление помощи работникам в поиске новых рабочих мест. Еще одним вариантом были бы усилия правительства по созданию рабочих мест посредством крупных инвестиций в укрепление национальной инфраструктуры или стимулирование экономического роста путем печати большего количества денег. Другие возможные меры включают гарантирование каждому индивиду базового дохода; более короткая рабочая неделя; шестичасовой рабочий день; налоги на сверхурочную работу. Однако следует принять во внимание, что каждый из этих ответов может столкнуться с серьезными проблемами, возникающими из глубоко укоренившихся убеждений и мощных корыстных интересов.
Реакция на киберреволюцию должна быть гораздо более глубокой и кардинальной, чем прежде. В ближайшем будущем обще-
ству, возможно, придется адаптироваться к миру, в котором роботы, технологии ИИ станут основным рабочим классом, а люди будут тратить больше времени на духовные и культурные занятия, на общение со своими детьми и семьями, друзьями и соседями, на общественную деятельность. Это преобразование потребует некоторой комбинации двух основных изменений. Во-первых, люди получат большую удовлетворенность от деятельности, которая стоит меньше и, следовательно, требует скромного дохода (такое изменение гораздо более экологично, чем нынешнее стремление к достижению все более высоких уровней потребления материальных благ); во-вторых, доходы, получаемые от технологий, основанных на ИИ, будут распределяться более равномерно путем введения прогрессивного налога на добавленную стоимость или налога на выбросы углерода, или того и другого, а также очень небольшого сбора по всем краткосрочным финансовым операциям.
Важным шагом, по мнению многих мировых экспертов, было бы содействие запуску и развитию широкого общественного диалога, касающегося решения проблем, связанных с внедрением новых технологий. Выбор какого курса развития предпочитает общество? Может ли оно оказать всемерную поддержку в решении важных вопросов? Если прогнозы того, что наибольшие проблемы со стороны ИИ находятся в экономической и социальной сфере, верны, необходимо принять политические меры и ввести культурные изменения, которые понадобятся для обсуждения предстоящей трансформации общества в мир ИИ.
Список литературы
1. Джордан Дж. Роботы / Пер. с англ. - М.: Издательская группа «Точка»: Аль-пина Паблишер, 2017. - IX, 272 с.
2. Майер-Шёнбергер В., Кукьер К. Большие данные: Революция, которая изменит то, как мы живем, работаем и мыслим / Пер. с англ. - М.: Издательство «Манн, Иванов и Фербер», 2014. - 240 с.
3. Трансгуманизм // Википедия. - Режим доступа: Шр8://т.ш11аре111а.ог§/дак1/% В0%А2%В1%80%В0%Б0%В0%БВ%В1%81%В0%Б30/оВ1%830/оВ0%БС%В0 %Б0%В0%ВВ%В0%В8%В0%В7%В0%БС
4. Шанахан М. Технологическая сингулярность / Пер. с англ. - М.: Издательская группа «Точка»: Альпина Паблишер, 2017. - XX, 256 с.
5. Brynjolfsson E., McAfee A. The second machine age: Work, progress, and prosperity in a time of brilliant technologies. - N.Y.: W.W. Norton & Company, 2014. - 306 p.
6. Etzioni A., Etzioni O. Should artificial intelligence be regulated // Issues in science and technology. - 2017. - Summer, vol. 33, N 4. - Mode of access: www.issues. org/33-4/perspective-should-artificial-intelligence-be-regulated/
7. Sharkey N. Towards a principle for the human supervisory control of robot weapons // Politica & societa. - 2014. - N 2. - P. 305-324. - D0I:10.4476/77105
8. Scharre P. Autonomous weapons and operational risk: Ethical autonomy project / Center for a new American security. - 2016. - 55 p.
