CC BY
27
в рамки ППО. Л. Чейнс (L. Chaînes) и Л.Ф. Бэррет (L.F. Barrett) представили отличающуюся от стандартной концепцию реализации этой схемы в мозге1. Если согласно стандартной точке зрения, ГНРП связано с активностью префронтально-теменной сети мозга, то, по Л. Чейнс и Л.Ф. Бэррет, кора лимбической системы формирует «лимбическое рабочее пространство», которое поддерживает сознательную обработку информации. Согласно Л. Чейнс и Л.Ф. Бэррет, лимбическая кора, соединенная двусторонними связями с подчиненными структурами (такими как гипоталамус и амигдала), выбирает среди одномодальных (unimodal) репрезентаций наиболее релевантную текущим целям организма и интегрирует ее в ГРП.
В заключение автор отмечает, что в настоящий момент не имеется достаточного количества эмпирических свидетельств, чтобы определить правоту какой-либо из этих альтернатив. Нахождение подобного рода свидетельств потребует систематического изучения сознательной обработки информации, относящейся к различным сенсорным модальностям, у пациентов с поражениями лимбической коры, а также метаанализа нейровизуализационных экспериментов такого же рода сознательной обработки информации и др. Однако автор выражает уверенность в способности модели ПГНРП направлять будущие теоретические и эмпирические исследования роли механизмов минимизации ошибки в предсказании в сознательной обработке информации.
М.А. Сущин
2020.01.010. ТАДДЕО М. ТРИ ЭТИЧЕСКИХ ВЫЗОВА ПРИЛОЖЕНИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ОБЛАСТИ КИ-БЕРБЕЗОПАСНОСТИ.
TADDEO M. Three ethical challenges of applications of artificial intelligence in cybersecurity // Minds and machines. - 2019. - Vol. 29, N 2. - P. 187-191. - Mode of access: https://doi.org/10.1007/s11023-019-09504-8
Ключевые слова: искусственный интеллект; кибербезопас-ность; киберпространство; глубинное обучение; этика.
1 Chaines L., Barrett L.F. Redefining the role of limbic areas in cortical processing // Trends in cognitive sciences. - 2016. - Vol. 20, N 2. - P. 96-106.
Заместитель руководителя Лаборатории цифровой этики Оксфордского института Интернета Мариаросария Таддео обсуждает вопросы этической оценки интенсивно развивающихся приложений искусственного интеллекта (ИИ) в области кибербезо-пасности.
Распространение компьютерных вирусов WannaCry и NetPe-tya в 2017 г. продемонстрировало, что целенаправленные атаки на киберинфраструктуру, сервисы, а также мобильные и персональные компьютеры могут обладать серьезным разрушительным потенциалом для цифрового общества. Например, борьба с последствиями заражения компьютерным вирусом NetPetya каждой из компаний Merck, Maersk и FedEx обошлась приблизительно в 300 млн долл. Каждый год бизнес несет многомиллиардные потери вследствие кибератак.
Статистика 2018 г. показывает, что более 2,6 млн пользователей компьютеров каждый день сталкивались с новым вредоносным программным обеспечением (ПО). «В кибератаках использовалось более 1,7 млн различных типов вредоносного ПО, и более 60% атак продолжалось менее одного часа» [с. 187]. При этом ки-бератаки становятся все более частыми, ухищренными и разрушительными. Этому в большой степени способствует то, что в кибер-пространстве легче нападать, чем защищаться, а также то, что большая часть атак остаются неидентифицированными и, как следствие, безнаказанными. В связи с этим разработки в области ИИ с целью усовершенствовать защиту сервисов и пользователей и уменьшить разрушительное воздействие вредоносного ПО привлекают большое внимание специалистов и простых пользователей.
Использование приложений ИИ в области кибербезопасно-сти сопряжено как с негативными, так и с позитивными факторами. Негативная сторона применения приложений ИИ (в форме машинного или глубинного обучения) заключается в усилении рисков эскалации кибератак, которые могут стать более точными, быстрыми и разрушительными. Системы ИИ способны обнаруживать уязвимости в ПО, которые часто ускользают от внимания экспертов, и использовать их для атаки выбранной цели. Повсеместное распространение систем ИИ делает контроль работы таких систем все менее эффективным и увеличивает риски непредвиден-
ных следствий и ошибок. Поэтому, считает автор, важно начать разрабатывать регулятивные нормы использования приложений ИИ в области кибербезопасности как для частного, так и для публичного секторов, пока эта технология находится в стадии развития. В противном случае киберпространство может стать нестабильным, небезопасным и насыщенным вредоносным ПО с применением алгоритмов ИИ.
Позитивным эффектом внедрения разработок ИИ в области кибербезопасности может стать значительное улучшение механизмов защиты от кибератак и, соответственно, существенно возросшая стабильность киберпространства. С точки зрения системного уровня приложения ИИ для кибербезопасности могут оказать наибольший эффект в трех областях: 1) надежности систем; 2) сопротивляемости (resilience) систем; 3) ответа систем (system response). Для каждого из этих аспектов потенциал разработок ИИ связан с серьезными этическими рисками, игнорирование которых может замедлить внедрение систем ИИ в сферу защиты от кибера-так или создать значительные проблемы для общества. Автор статьи рассматривает каждый из этих аспектов.
Надежность систем. Вопрос повышения надежности систем встает в связи с широким распространением систем ИИ. Использование алгоритмов ИИ для проверки ПО - новая область ИР, которая занимается созданием программ, «способных к самотестированию и самовосстановлению» [с. 188]. Применение разработок ИИ в этой области упрощает проверку ПО, делая ее более аккуратной и быстрой и, таким образом, освобождая экспертов от утомительной работы. Благодаря новым приложениям ИИ проверка ПО может выйти на новый уровень, существенно снизив опасность так называемых эксплойтов и уязвимостей нулевого уровня (zero-days). Вместе с тем активное использование алгоритмов ИИ в целях проверки ПО может привести к полной утрате навыков обычных экспертов. Соответственно, эксперты в области кибербе-зопасности должны продолжать проверять системы так же, как «врачи продолжают осматривать рентгенограммы, чтобы быть в состоянии осуществлять свою деятельность, если ИИ не работает или работает ошибочно» [с. 188].
Сопротивляемость систем. В последнее время алгоритмы ИИ все чаще используются для обнаружения угроз и аномалий.
Такие системы способны классифицировать угрозы в соответствии с возможной степенью исходящего от них риска и помещать вредоносное ПО в карантин. Такого рода сканеры используются для обследования файлов, электронной почты, мобильных и персональных компьютеров или трафика в сети. Однако им можно найти и более широкое применение - для мониторинга действий самих пользователей. В частности, эти системы могут использоваться для аутентификации пользователей на основе зарегистрированных биометрических профилей, например уникальных для каждого пользователя паттернов движения компьютерной мышью. Поэтому, несмотря на то что применение алгоритмов ИИ для обнаружения угроз и аномалий способно в значительной степени повысить сопротивляемость систем и сервисов к атакам, здесь возникает очевидный риск тотальной слежки за рядовыми пользователями. Массированный сбор информации может поставить под угрозу неприкосновенность личных данных.
Ответ систем. С одной стороны, активное распространение приложений ИИ может сделать кибератаки более ухищренными и опасными, с другой - наработки ИИ должны помочь в усовершенствовании ответных мер киберзащиты. В настоящее время уже продаются автономные системы, способные выучивать алгоритмы действия вредоносных программ и генерировать ловушки для их разработчиков. Кроме того, в недавнее время появились прототипы кибероружия с использованием технологий ИИ, включая автономное вредоносное ПО и автономные атакующие транспортные средства. Все это, подчеркивает автор, имеет большое значение для государственных стратегий киберзащиты, уже реализованных в некоторых странах.
Приложения ИИ в области ответа систем несут с собой самые серьезные вызовы для стабильности киберпространства. Учитывая новые способности ИИ, в 2018 г. группа сенаторов США предложила разрешить компаниям производить ответные взломы в случае кибератак. Эта инициатива не была одобрена, однако за ней прослеживается опасная тенденция к эскалации атак и последующих откликов с применением новейших разработок из области ИИ. Чтобы предотвратить гонку вооружений в киберпространстве, утверждает автор, международное сообщество должно разработать нормы, регулирующие действия стран в киберпространстве. Необ-
ходимо также «учредить ответственные органы, которые могут: 1) договориться о международных нормах; 2) подтвердить соблюдение этих норм странами на национальном и международном уровнях; 3) инициировать расследования предполагаемых поддерживаемых (или спонсируемых) государством кибератак; 4) разоблачать нарушения и отслеживать источники предполагаемых кибератак; 5) налагать адекватные виды санкций и наказания» [с. 189-190].
По мнению автора, все заинтересованные стороны должны принять участие в широком обсуждении этого вопроса и провести глубокий этический анализ, для того чтобы избежать вызванные развитием ИИ всевозможные риски: потерю навыков специалистами; массовую слежку за пользователями; потерю контроля систем ИИ. Альтернативная возможность заключается в том, что риски могут перевесить выгоду, и общество откажется от использования разработок ИИ в области кибербезопасности. Координированные усилия гражданского общества, политиков, бизнесменов и ученого сообщества, пишет в заключение автор, помогут найти наилучшие стратегии для использования достижений в области исследования ИИ на благо человечеству.
М.А. Сущин
2020.01.011. БЕДЕССЕМ Б., РУФИ С. НАУЧНАЯ АВТОНОМИЯ И НЕПРЕДСКАЗУЕМОСТЬ НАУЧНОГО ИССЛЕДОВАНИЯ: НЕОЖИДАННОЕ МОЖЕТ БЫТЬ НЕ ТАМ, ГДЕ ВЫ ОЖИДАЛИ. BEDESSEM B., RUPHY S. Scientific autonomy and the unpredictability of scientific inquiry: The unexpected might not be where you would expect // Studies in history and philosophy of science. - 2019. -Vol. 73. - P. 1-7. - DOI: https://doi.org/10.1016/j.shpsa.2018.08.002.
Ключевые слова: научная автономия; научное исследование; эндогенные и экзогенные факторы; непредсказуемое; М. Полани.
Авторы из Франции рассматривают вопрос непредсказуемости научных исследований и его тесной связи с внутренними и внешними факторами в науке. Согласно традиционной точке зрения, непредсказуемое является отличительной чертой подлинных креативных пионерских исследований в науке: значительные научные открытия представляют собой незапланированные, случай-
