CC BY
97
Этические аспекты применения программного обеспечения с технологией искусственного интеллекта
Хохлов А.Л.1,2, Белоусов Д.Ю3
1 — ФГБОУ ВО «Ярославский государственный медицинский университет», Ярославль, Россия 2 — Совет по этике при Министерстве здравоохранения Российской Федерации 3 — ООО «Центр фармакоэкономических исследований», Москва, Россия
Аннотация. Сегодня технологии с искусственным интеллектом (ИИ) могут предложить решения многих социальных проблем, в том числе применяться для диагностики и лечения болезней. Однако для этого необходимо обеспечить соответствующую правовую базу. В статье представлена краткая история развития ИИ, объясняется понятийный аппарат, описывается правовая основа для его развития и внедрения в российское здравоохранение, методология проведения клинических испытаний программных медицинских изделий (ПМИ) с технологией ИИ, даётся их классификация. Особое внимание уделено этическим принципам проведения клинических испытаний ПМИ. Подробно рассмотрена этическая экспертиза проектов клинических испытаний ПМИ Комитетом по этике.
Ключевые слова: биомедицинские исследования; искусственный интеллект; системы искусственного интеллекта; технологии искусственного интеллекта; клинические испытания; этическая экспертиза; медицинские изделия; нейронная сеть; глубокое машинное обучение; большие данные; экспериментальный правовой режим; программное обеспечение; медицинские изделия; программные медицинские изделия Для цитирования:
Хохлов А.Л., Белоусов Д.Ю. Этические аспекты применения программного обеспечения с технологией искусственного интеллекта. Качественная клиническая практика. 2021;(1):70-84. https://doi.org/10.37489/2588-0519-2021-1-70-84
Ethical aspects of using software with artificial intelligence technology
Khokhlov AL1'2, Belousov DYu3 1 — Yaroslavl State Medical University of the Ministry of Health of Russia, Yaroslavl, Russia 2 — Ethics Council under the Ministry of Health of the Russian Federation 3 — LLC "Center for pharmacoeconomics research", Moscow, Russia
Abstract. Today, artificial intelligence (AI) technologies can offer solutions to many social problems, including those used to diagnose and treat diseases. However, for this it is necessary to provide an appropriate legal basis. The article presents a brief history of the development of AI, explains the conceptual apparatus, describes the legal basis for its development and implementation in Russian healthcare, the methodology for conducting clinical trials of AI systems, and gives their classification. Particular attention is paid to the ethical principles of clinical trials of AI systems. The ethical examination of projects of clinical trials of AI systems by the Ethics Committee is considered in detail.
Keywords: biomedical research; artificial intelligence; artificial intelligence systems; clinical trials; ethical review; medical devices; neural networks; deep learning; big data; experimental legal regime; software; medical device; software as a medical device For citation:
Khokhlov AL, Belousov DYu. Ethical aspects of using software with artificial intelligence technology. Kachestvennaya klinicheskaya praktika = Good Clinical Practice. 2021;(1):70-84. (In Russ). https://doi.org/10.37489/2588-0519-2021-1-70-84
Введение
Искусственный интеллект (ИИ, англ. artificial intelligence; AI) имеет относительно долгую историю. Так, в 1833 году английский математик Чарльз Бэб-бидж (Charles Babbage) задумался о создании программируемой вычислительной машины (прообраз современного компьютера), которую он назвал аналитической.
В 1936 году Алан Тьюринг (Alan Turing) предложил абстрактную вычислительную машину — «ма-
шина Тьюринга» — модель компьютера общего назначения, которая позволила формализовать понятие алгоритма, и которая до сих пор используется во множестве теоретических и практических исследованиях. В своей работе «Вычислительная техника и интеллект» (англ. Computing Machinery and Intelligence) [1] он обратился к проблеме искусственного интеллекта и предложил эксперимент, ставший впоследствии известным как «тест Тьюринга». Его идея заключалась в том, что можно считать, что компьютер «мыслит», если человек, взаимодействую-
щий с ним, не сможет в процессе общения отличить компьютер от другого человека. В этой работе Тьюринг предположил, что вместо того, чтобы пытаться создать программу, симулирующую разум взрослого человека, намного проще было бы начать с разума ребёнка, а затем обучать его [2].
Летом 1956 года в Дартмутском колледже (англ. Dartmouth College) в США прошёл двухмесячный научный семинар — полевое исследование по вопросам искусственного интеллекта. В ходе семинара, в итоге был сформулирован один из основных принципов создания искусственного интеллекта — меняющиеся ответы на переменную среду. Нужно разработать машину, которая бы демонстрировала определённый вид обучения. Пытаясь проникнуть в суть работы мозга, учёные пришли к выводу, что на данный момент не установлено, каким образом активность нейронов способствует решению задач. Перенося эту проблему на программирование, становится понятной необходимость создания нелинейного механизма решения задач путём обучения машины создавать и манипулировать концептами, абстракциями.
Одним из важных мест исследований ИИ в 1950-х и 1960-х годах была компания Rand Corporation, которая наняла философа Хьюберта Дрейфуса (Hubert Dreyfus) в качестве консультанта в 1964 году. В следующем году он представил критический отчёт под названием «Алхимия и искусственный интеллект» (англ. Alchemy and Artificial Intelligence) [3]. Позже Дрейфус расширил отчёт до книги «Что компьютеры не могут делать» (англ. What computers can't do) [4], в которой он утверждал, что важная часть человеческого знания является неявной, следовательно, его нельзя сформулировать и реализовать в компьютерной программе. Дрейфус считал, что для создания интеллекта, схожего с человеческим (то есть способность мыслить логически, воспринимать и запоминать новое, решать новые непривычные проблемы), необходимо, чтобы устройство имело более или менее схожее с человеком тело и социальную адаптацию: «компьютеры, у которых нет тела, детства и культурных практик, вообще не могут обрести интеллект». Один из основных аргументов Дрейфуса заключался в том, что человеческое знание частично неявно и поэтому не может быть сформулировано и включено в компьютерную программу [3].
В 1976 году Джозеф Вейценбаум (Joseph Weizenbaum), в то время профессор информатики Массачусетского технологического института и создатель знаменитой программы ELIZA1, опубликовал книгу «Компьютерная мощь и человеческий разум» (англ. Computer Power and Human Reason) [5].
Как видно из названия, он проводил различие между мощностью компьютера и человеческим разумом. Компьютерная мощность, в сегодняшней терминологии, — это способность использовать алгоритмы с огромной скоростью. Компьютерная мощь никогда не перерастёт в человеческий разум, потому что они принципиально разные, поскольку человек обладает благоразумием, то есть способностью принимать правильные решения в конкретных ситуациях, и мудростью — способностью видеть целое. Эти способности не алгоритмические, и поэтому мощность компьютера не может и не должна заменять человеческий разум [6, 7].
В 1980-х годах в исследованиях ИИ стала доминировать другая парадигма. В его основе лежала идея нейронных сетей (англ. neural networks) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Нейронные сети представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи. Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумлён-ных», частично искажённых данных. Нейронная сеть может обучаться, не получая явных инструкций [8].
В конце 2000-х годов появились технологические возможности анализировать огромные массивы данных и соответственно термины «большие данные»
ELIZA — виртуальный собеседник, компьютерная программа Джозефа Вейценбаума, написанная им в 1966 году, которая пародирует диалог с психотерапевтом, реализуя технику активного слушания. Программа была названа в честь Элизы Дулитл, героини из пьесы «Пигмалион» Бернарда Шоу, которую обучали языку «язык Шекспира, Мильтона и Библии».
(англ. big data) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия, эффективно обрабатываемых горизонтально масштабируемыми программными инструментами; технологии глубокого машинного обучения (англ. deep learning) — совокупность методов машинного обучения (с учителем, с частичным привлечением учителя, без учителя, с подкреплением), основанных на обучении представлениям, а не специализированным алгоритмам под конкретные задачи; позволяющие решать широкий спектр задач, не поддававшихся ранее эффективному решению, например, в компьютерном зрении, машинном переводе, распознавании речи, причём качество решения во многих случаях теперь сопоставимо, а в некоторых случаях превосходит эффективность человека.
Сегодня технологии ИИ могут предложить решения многих социальных проблем, в том числе применяться для диагностики и лечения болезней. Однако имеется множество препятствий на пути широкого внедрения ИИ в практическое здравоохранение. К ним относятся проблемы прозрачности и интерпретируемости ИИ-алгоритмов, определённая предвзятость их решений вследствие ограничений наборов данных, на которых производится машинное обучение, недостаточная для реальной клинической практики точность работы моделей, проблемы конфиденциальности и этичности ИИ. В этой связи остро возникают вопросы обеспечения безопасности и предоставления достоверных данных о клинической эффективности в проектах внедрения ИИ в повседневной клинической практике [9].
В целях развития ИИ в России указом Президента РФ от 10 октября 2019 г. № 490 утверждена «Национальная стратегия развития искусственного интеллекта до 2030 года» (далее — Стратегия), в которой определено, что «использование технологий ИИ в социальной сфере способствует созданию условий для улучшения уровня жизни населения, в том числе за счёт повышения качества услуг в сфере здравоохранения (включая профилактические обследования, диагностику, основанную на анализе изображений, прогнозирование возникновения и развития заболеваний, подбор оптимальных дозировок лекарственных препаратов, сокращение угроз пандемий, автоматизацию и точность хирургических вмешательств)» [10].
К основным принципам развития и использования технологий ИИ в здравоохранении, соблюдение которых обязательно при реализации Стратегии, относятся [10]:
1) защита прав и свобод человека: обеспечение защиты гарантированных российским и международным законодательством прав и свобод человека, в том числе права на труд, и предоставление гражданам возможности получать знания и при-
обретать навыки для успешной адаптации к условиям цифровой экономики;
2) безопасность: недопустимость использования ИИ в целях умышленного причинения вреда гражданам и юридическим лицам, а также предупреждение и минимизация рисков возникновения негативных последствий использования технологий ИИ;
3) прозрачность: объяснимость работы ИИ и процесса достижения им результатов, недискриминационный доступ пользователей продуктов, которые созданы с использованием технологий ИИ, к информации о применяемых в этих продуктах алгоритмах работы ИИ;
4) технологический суверенитет: обеспечение необходимого уровня самостоятельности РФ в области ИИ, в том числе посредством преимущественного использования отечественных технологий ИИ и технологических решений, разработанных на основе ИИ;
5) целостность инновационного цикла: обеспечение тесного взаимодействия научных исследований и разработок в области ИИ с реальным сектором экономики;
6) разумная бережливость: осуществление и адаптация в приоритетном порядке существующих мер, направленных на реализацию государственной политики в научно-технической и других областях;
7) поддержка конкуренции: развитие рыночных отношений и недопустимость действий, направленных на ограничение конкуренции между российскими организациями, осуществляющими деятельность в области ИИ.
В «Национальной стратегии развития искусственного интеллекта до 2030 года» подчёркивается, что «для стимулирования развития и использования технологий ИИ необходимы адаптация нормативного регулирования в части, касающейся взаимодействия человека с искусственным интеллектом, и выработка соответствующих этических норм. При этом избыточное регулирование в этой сфере может существенно замедлить темп развития и внедрения технологических решений» [10]. Основными направлениями создания комплексной системы регулирования общественных отношений, возникающих в связи с развитием и внедрением технологий ИИ, являются:
1) обеспечение благоприятных правовых условий (в том числе посредством создания экспериментального правового режима) для доступа к данным, преимущественно обезличенным, включая данные, собираемые государственными органами и медицинскими организациями;
2) обеспечение особых условий (режимов) для доступа к данным, включая персональные, в целях проведения научных исследований, создания технологий ИИ и разработки технологических решений на их основе;
3) создание правовых условий и установление процедур упрощённого тестирования и внедрения технологических решений, разработанных на основе ИИ, а также делегирования информационным системам, функционирующим на основе ИИ, возможности принятия отдельных решений (за исключением решений, которые могут ущемлять права и законные интересы граждан), в том числе при исполнении государственными органами государственных функций (за исключением функций, направленных на обеспечение безопасности населения и государства);
4) устранение административных барьеров при экспорте продукции (работ, услуг) гражданского назначения, созданной на основе ИИ;
5) создание единых систем стандартизации и оценки соответствия технологических решений, разработанных на основе ИИ, развитие международного сотрудничества РФ по вопросам стандартизации и обеспечение возможности сертификации продукции (работ, услуг), созданной на основе ИИ;
6) стимулирование привлечения инвестиций посредством совершенствования механизмов совместного участия инвесторов и государства в проектах, связанных с разработкой технологий ИИ, а также предоставления целевой финансовой поддержки организациям, осуществляющим деятельность по развитию и внедрению технологий ИИ;
7) разработка этических правил взаимодействия человека с ИИ.
К 2024 году должны быть созданы необходимые правовые условия для достижения целей, решения задач и реализации мер, предусмотренных Стратегией, а к 2030 году в РФ уже должна функционировать гибкая система нормативно-правового регулирования в области ИИ, в том числе гарантирующая безопасность населения и направленная на стимулирование развития технологий ИИ [10].
Правовая основа
Поиск баланса между созданием условий для ускоренного внедрения программных продуктов на основе ИИ и обеспечением разумного и обоснованного контроля потенциальных рисков причинения вреда здоровью пациентов практически во всех странах рассматривается через нормативно-правовое и техническое регулирование [9].
Основу правовых подходов к регулированию программного обеспечения для здравоохранения, которую поддерживают практически все государственные регуляторы ведущих стран мира, определяет Международный форум регуляторов медицинского оборудования (англ. International Medical Device Regulators Forum; IMDRF) — ведущее мировое сообщество регуляторов медицинских изделий,
созданное в 2011 г. Основной задачей IMDRF является сближение регуляторной деятельности стран — участниц в целях обеспечения безопасности, эффективности и качества медицинских изделий, а также разумное содействие внедрению инноваций [9].
IMDRF воспринимает программное обеспечение (ПО), предназначенное для применения в лечебно-диагностических целях, как программное медицинское изделие (ПМИ, англ. Software as a Medical Device; SaMD) — программное обеспечение, предназначенное изготовителем для применения в одной или нескольких медицинских целях и достигающее эти цели, не являясь частью оборудования медицинского изделия [11].
В январе 2016 г. в России принят Федеральный закон от 31.01.2016 № 4-ФЗ «О ратификации Соглашения о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза» [12, 13], которым предусмотрена выработка общей скоординированной политики обращения МИ на основе правил и рекомендаций IMDRF. Все страны-члены ЕАЭС должны перейти на регулирование рынка МИ на основе этих правил к 01.01.2022 году.
Определение. Федеральный закон от 21 ноября 2011 г. № 323 «Об основах охраны здоровья граждан в Российской Федерации» содержит статью 38, в которой специальное программное обеспечение, созданное для применения в медицинских целях, включено в состав термина «медицинское изделие» [14].
Медицинские изделия (МИ) — это любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, которые применяются в медицинских целях отдельно или в сочетании между собой, а также с принадлежностями, необходимыми для применения указанных изделий по назначению (включая специальное программное обеспечение), предназначены производителем для профилактики, диагностики, лечения заболеваний, медицинской реабилитации и мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности и функциональное назначение которых не реализуется путём фармакологического, иммунологического, генетического или метаболического воздействия на организм человека, однако может поддерживаться лекарственными средствами [12, 13].
Классификация. ПМИ подразделяются в зависимости от потенциального риска применения медицинского изделия — вероятной частоты возникновения опасности или вероятного усиления степени тяжести состояния от причинённого вреда [15].
Приказом Минздрава России от 06.06.2012 № 4н предусмотрено 4 класса риска [16]; каждое МИ мо-
жет быть отнесено только к одному классу. Степень потенциального риска применения медицинского изделия возрастает в указанном ниже порядке перечисления классов:
• класс 1 — медицинские изделия с низкой степенью риска;
• класс 2а — медицинские изделия со средней степенью риска;
• класс 2б — медицинские изделия с повышенной степенью риска;
• класс 3 — медицинские изделия с высокой степенью риска.
На основе правил классификации получают ответы на вопросы, позволяющие принять решение об отнесении МИ к соответствующему классу по этому правилу [16].
На момент написания данной статьи (март 2020 г.) в России было зарегистрировано 3 программных обеспечения с технологией искусственного интеллекта:
1. Платформа прогнозной аналитики и управления рисками в здравоохранении на основе ИИ Webiomed [17].
2. Платформа для анализа и обработки медицинских изображений с технологиями ИИ Botkin.Ai [18].
3. Сервисная платформа лучевой диагностики на ос нове ИИ Care Mentor Ai [19].
Платформа Botkin.AI и Care Mentor AI получили в России регистрационное удостоверение Росздрав-надзора как радиологические медицинские изделия (программное обеспечение) с технологией искусственного интеллекта с повышенной степенью риска класса 2б, хотя сами ПМИ являются неинвазивными медицинскими изделиями, однако для программного обеспечения, являющегося самостоятельным продуктом и используемого с МИ, устанавливают тот же класс, что и для самого МИ [15].
Система Webiomed была зарегистрирована Росздравнадзором как МИ по 1 классу с низким потенциальным риском применения.
Оговоримся, что применительно к упомянутым выше программным медицинским изделиям, понятие «искусственный интеллект» весьма условно, речь идёт о нейронных сетях, то есть об самообучающихся системах.
Экспериментальный правовой режим. 24 апреля 2020 г. был подписан и опубликован Федеральный закон № 123-Ф3 «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации — городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона "О персональных данных"», согласно которому с 1 июля 2020 г. в Москве начал действовать специальный правовой
режим для более эффективного использования искусственного интеллекта [20]. Экспериментальное регулирование вводится на 5 лет не только для разработки и внедрения технологий ИИ, но и последующего «возможного использования результатов» применения ИИ. Согласно подп. 2 п. 1 ст. 2 Закона под искусственным интеллектом понимается комплекс технологических решений, позволяющий имитировать когнитивные функции человека и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Такой комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение, а также процессы и сервисы по обработке данных и поиску решений.
28 января 2021 года вступил в силу разработанный Минэкономразвития Федеральный закон № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций» [21]. Впервые у государства, научного и бизнес-сообщества появился системный механизм тестирования в реальных правоотношениях технологий, которые в силу разных причин (прежде всего — инертность законодательства) использовать сегодня нельзя (искусственный интеллект, блокчейн, большие данные, нейротехнологии, квантовые технологии, виртуальная реальность). В рамках экспериментальных правовых режимов в сфере цифровых инноваций Правительство может дать ограниченному числу компаний на определённой территории и на определённое время соблюдать действующее законодательство с рядом особенностей. Эти особенности как раз и позволят применять соответствующие технологии.
Закон «О персональных данных». В интересах экспериментального правового режима скорректирован Федеральный закон №152-ФЗ «О персональных данных» [22]:
• часть 1 ст. 6 дополнена п. 9.1, согласно которому обработка персональных данных, полученных в результате обезличивания персональных данных, осуществляется в целях повышения эффективности государственного или муниципального управления, а также в иных целях, предусмотренных Федеральным законом № 123-Ф3, в порядке и на условиях, которые предусмотрены указанным нормативным актом;
• в ст. 10 появилось указание на то, что обработка персональных данных, касающихся состояния здоровья, полученных в результате обезличивания персональных данных, допускается в целях повышения эффективности государственного или муниципального управления, а также в иных целях, предусмотренных Законом № 123-Ф3.
Государственная регистрация медицинских изделий и контроль за их обращением на территории Российской Федерации осуществляются Федеральной службой по надзору в сфере здравоохранения (Росздравнадзор). Общие правила государственной регистрации медицинских изделий описаны в постановлении Правительства РФ от 27.12.2012 г. № 1416 [23], в том числе с применением технологий ИИ.
Действующее российское законодательство устанавливает, что государственная регистрация медицинских изделий осуществляется на основании технических и клинических испытаний с учётом потенциального риска применения и в соответствии с номенклатурной классификацией МИ, которые определены приказом Минздрава России от 06.06.2012 № 4н [16]. При отнесении программного обеспечения к классам в зависимости от потенциального риска применения учитываются виды информации и условия применения ПО.
Вначале производителю ПО, которое планируется для применения в медицинских организациях, необходимо определить — является ли его продукт ПМИ. Для этого разработаны 4 базовых критерия, представленные в информационном письме Росздравнадзора от 13.02.2020 г. № 02И-297/20 [24]:
1) ПО представляет собой программу для ЭВМ или её модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;
2) ПО не является составной частью другого медицинского изделия;
3) ПО предназначено производителем для оказания медицинской помощи;
4) результат действия программного обеспечения заключается в интерпретации в автоматическом режиме, в том числе с использованием технологий ИИ, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных, полученных от медицинских изделий, допущенных к обращению в установленном порядке или введённых медицинскими работниками в целях оказания медицинской помощи.
Для того, чтобы ПО было признано ПМИ, оно должно соответствовать всем предусмотренным критериям. Если ПО не соответствует хотя бы одному из них — оно не является ПМИ, а значит не подлежит государственной регистрации и может быть выпущено на рынок без неё [9].
При использовании критериев отнесения ПО к ПМИ целесообразно учитывать несколько важных нюансов. Во-первых, ПМИ может быть любое программное обеспечение вне зависимости от того, на каком аппаратном обеспечении оно работает и как пользователь получает к нему доступ и использует. Например, ПО, работающее по модели БааБ («облачные системы»),
Web-сервисы, встраиваемые программные компоненты (модули), может быть ПМИ точно также, как и обычное настольное ПО. Если какое-то ПО разработано для другого (чаще всего аппаратного) медицинского изделия, то такое ПО является составной частью этого изделия и поэтому освобождается от отдельной регистрации: такое ПО не является самостоятельным ПМИ [9].
Очень важно учитывать цели применения: только если ПО специально предназначено производителем для применения именно при оказании медицинской помощи, оно признаётся ПМИ. Если производитель выпускает ПО для применения в медицинских организациях, но не при оказании медицинской помощи, это ПО не является ПМИ [9].
Наконец, самым главным критерием является степень обработки медицинской информации. Логика этого критерия состоит в следующем: если ПО осуществляет изменение информации или создаёт новую информацию путём интерпретации медицинских данных, и затем результаты такого ПО используются медицинскими работникам при оказании медицинской помощи и влияют на принятие ими решений, то ошибки или некачественная работа такого ПО может потенциально причинить вред больному, поэтому такое ПО следует воспринимать как ПМИ. Если же такой обработки медицинской информации нет, например, если ПО просто передаёт или хранит «как есть» медицинские данные, то и риска причинить вред у такого ПО нет, а значит оно не относится к ПМИ [9]. Например, системы ведения электронных медицинских карт (ЭМК), медицинские информационные системы (МИС) и программные средства для просмотра медицинских изображений, представленных в формате DICOM (DICOM-viewer) не являются ПМИ, если они не интерпретируют внесённую в них информацию и не формируют на основе этой интерпретации подсказки для врачей [9].
Если ПО создаёт новую медицинскую информацию или выполняет машинную интерпретацию полученных данных, тем более если такая информация выводится для принятия клинических решений (неважно — врача, медсестры), то такое ПО однозначно относится к ПМИ. Примерами ПМИ являются практически все системы поддержки принятия решений (англ. Decision Support System; DSS), так называемые системы поддержки принятия врачебных решений, в том числе созданные с применением ИИ, системы анализа и интерпретации медицинских данных, включая медицинские изображения (большинство современных PACS/РИС-систем), развитые лабораторные информационные системы (ЛИС), системы назначения и контроля лекарственной терапии [9].
Системы поддержки принятия врачебных решений (СППВР) — это программный алгоритм, помогающий медицинским сотрудникам на основе взаимосвязи данных о пациенте и медицинской информации, определить диагноз пациента [25].
Если программное обеспечение использует технологии ИИ, но предназначено для самостоятельного использования гражданами (различные мобильные приложения для поддержания здорового образа жизни, питания, занятий физкультурой) или для применения в сфере управления здравоохранением, например, для поддержки принятия управленческих решений, прогнозной аналитики, то такое ПО скорее всего не будет являться ПМИ [9], например:
• ПО, предназначенное для автоматизации административно-хозяйственной деятельности медицинской организации;
• ПО, включая мобильные приложения, предназначенное производителем для целей содействия здоровому образу жизни и для формирования у людей ответственного отношения к сохранению и укреплению здоровья, поддержанию активного долголетия, которое измеряет/рассчитывает количество шагов, скорость ходьбы/бега, пульс, количество потраченных и/или потреблённых калорий/жидкости, вес, индекс массы тела и т. п.;
• медицинские информационные системы медицинской организации, лабораторные информационные системы, ПО для ведения электронных медицинских карт, системы архивирования и передачи изображений, если такое программное обеспечение не содержит функций интерпретации данных;
• ПО, включая его обновление, применяемое для управления медицинским изделием и контроля за его работоспособностью;
• ПО, которое использует данные, полученные от одного или нескольких медицинских изделий, но не предназначено для оказания медицинской помощи. Например, ПО, которое шифрует и(или) объединяет данные (в том числе и данные пациентов), полученные от одного или нескольких медицинских изделий, для их дальнейшей передачи;
• ПО для обмена текстовыми и(или) голосовыми сообщениями, электронными документами, фотографическими изображениями, видео-, аудио- записями/потоками и иными данными между медицинским работником и пациентом, их регистрации, хранения и предоставления к ним доступа при оказании медицинской помощи, в том числе с применением телемедицинских технологий, или для записи на приём;
• ПО для учёта, планирования и контроля за выполнением мероприятий регламентного технического обслуживания и планового ремонта медицинских изделий;
• ПО для неограниченного круга пользователей в образовательных, научно-популярных, спра-вочно-информационных целях, в том числе для выбора медицинского специалиста.
Основная сложность применения критериев отнесения ПО к МИ состоит в ответе на вопрос: «Какую обработку данных можно считать интерпретацией, имеющей реальный риск причинения вреда здоровью пациента?» Такой интерпретацией предложено считать обработку клинических данных о пациенте, в результате которой продуцируется (формируется) отсутствующая в исходных данных, содержательно новая, клинически значимая информация, необходимая и используемая при принятии клинического решения и/или выполнении медицинского вмешательства [26].
Большинство ПМИ, за исключением отдельных случаев, не оказывают непосредственного воздействия на пациентов и медицинский персонал, вместо этого выполняют только интерпретацию при обработке данных и предоставляют вывод результата работы пользователю, в том числе с целью поддержки принятия решений [25]. Однако медицина — консервативная отрасль, поэтому к каждой новой методике, лекарственному препарату или медицинскому инструменту относятся с насторожённостью и подозрением, задаваясь вопросом: «Л не несёт ли это новшество неизвестные риски, скрытые дефекты или прямой вред здоровью?» В этом смысле разработчики ПМИ должны чётко отдавать себе отчёт в том, что они создают продукты, результаты работы которых будут использованы в диагностике и лечении реальных и чаще всего больных людей. И это не просто анализ какого-то набора цифр. Врачами они могут восприниматься как знания и даже руководства к действию. Поэтому разработчики должны доказать, что их решение улучшает существующую практику ведения пациентов, и что это безопасно [9].
Таким образом, если производитель на основании установленных критериев отнесения ПО к МИ определил, что его продукт является ПМИ, то до вывода такого продукта на рынок необходимо пройти его государственную регистрацию. Началом подготовительной работы является определение класса потенциального риска применения ПМИ. Это необходимо уточнить в самом начале работы, так как от класса риска зависят особенности выполнения следующих этапов, включая разработку документов и проведение испытаний [9].
Порядок проведения испытаний. После подготовки необходимого пакета документов производителю программного обеспечения необходимо пройти:
1) технические испытания — испытания с целью определения соответствия характеристик (свойств) медицинского изделия требованиям нормативной документации, технической и эксплуатационной документации производителя (изготовителя) и принятия последующего решения о возможности проведения клинических испытаний;
2) клиническое испытание — разработанное и запланированное систематическое исследование, предпринятое в том числе с участием человека
в качестве субъекта для оценки безопасности и эффективности медицинского изделия. Провести клинические испытания можно только после успешного проведения технических испытаний.
Для ПМИ не требуется проведение токсикологических исследований, а также испытаний для утверждения типа средств измерений, хотя такие мероприятия предусмотрены законодательством для аппаратных медицинских изделий [9].
Также, согласно Постановления Правительства РФ от 27.12.2012 г. № 1416 (с изменениями на 24 ноября 2020 года) программное обеспечение, являющееся медицинским изделием (ПМИ), в том числе программное обеспечение с применением технологий искусственного интеллекта, не требует получения предварительного разрешения Росздравнадзора на проведение клинических испытаний, и не требует заключения об этической обоснованности проведения клинических испытаний [9].
Порядок проведения технических и клинических испытаний ПМИ определён приказом Минздрава России от 09.01.2014 № 2н [27].
Клинические испытания ПМИ проводятся в форме сбора, анализа и оценки клинических данных, полученных при проверке испытуемого образца ПМИ в условиях клинической практики и/или на основании обработки ПМИ готовых размеченных наборов данных. Порядок и другие детали клинических испытаний описываются в документе «Программа клинических испытаний». Он разрабатывается производителем ПМИ совместно с той медицинской организацией, в которой планируется проведение клинических испытаний, с учётом заявленных производителем положений технических условий и эксплуатационной документации. Сложность, продолжительность и другие параметры клинических испытаний зависят от сложности самого ПМИ [9].
Основная задача специалистов, которые проводят клинические испытания, состоит в том, чтобы убедиться и собрать достаточные, информативные и заслуживающие доверие доказательства безопасности и эффективности ПМИ. Нередко для доказательства эффективности испытуемый продукт сравнивают с его аналогами. Если в ходе клинических испытаний необходимых доказательств собрать не удаётся, или если будут выявлены несоответствия ПМИ заявленным показаниям к применению и другим разделам документации производителя, либо установлены факты, что ПМИ может приводить к реальной угрозе жизни и здоровью пациентов, то по такому ПО выносится решение об отрицательном результате испытаний. В остальных случаях выносится положительное решение [9].
Итогом успешного проведения клинических испытаний является «Протокол оценки результатов клинических испытаний медицинского изделия»,
оформленный в виде специальных актов по образцам, предусмотренным приказом Минздрава России от 09.01.2014 № 2н [27]. В нём описываются полученные клинические доказательства эффективности и безопасности ПМИ. Данный документ впоследствии станет главным основанием, на базе которого эксперты на этапе государственной регистрации будут принимать решение о допуске продукта на рынок [9].
Проект Национального стандарта
В сентябре 2020 года на сайте Росстандарта был опубликован проект первой редакции национального стандарта ГОСТ Р «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания» [28], который должен будет регулировать методологическую основу процесса клинических испытаний, порядок их проведения, показателей точности, аудита и контроля качества медицинских систем искусственного интеллекта.
Определения. В ГОСТ дано определение искусственному интеллекту — это комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма экспертом (врачом-пользователем), включающего элементы интуиции, и получать при выполнении обработки дан-ныхрезультаты, сопоставимые как минимум с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает методы машинного обучения, процессы и сервисы по обработке данных и поиску решений с использованием информационно-коммуникационной инфраструктуры [28].
В ГОСТ термин аналогичный «программному медицинскому изделию» (ПМИ) звучит как медицинская система искусственного интеллекта (СИИ) — техническая система, в которой используются технологии искусственного интеллекта. СИИ может использоваться в клинической медицине как отдельно, так и в составе другого медицинского изделия [28].
Разрабатываемые стандарты. В настоящее время также ведутся работы по разработке и других, последующих основополагающих стандартов:
• «Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний»;
• «Системы искусственного интеллекта в клинической медицине. Часть 3. Применение менеджмента качества к дообучаемым программам. Протокол изменения алгоритма»;
• «Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров»;
• «Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов»;
• «Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации»;
• «Системы искусственного интеллекта в клинической медицине. Часть 7. Процессы жизненного цикла».
Эти национальные стандарты будут регулировать ключевые аспекты применения ИИ в здравоохранении и его роли в принятии врачебных решений.
Проведение клинических испытаний. СИИ, используемая в клинической медицине как отдельно, так и в составе другого МИ, может оказывать значительное воздействие на общество и здоровье пациента. В целях получения доказательств соответствия СИИ требованиям эффективности и безопасности МИ проводится его клиническая оценка, которая наряду с фактическими данными даёт возможность продемонстрировать, что СИИ способна выдавать клинически значимый результат при её эксплуатации надлежащим образом, а также не несёт риска причинения вреда жизни, здоровью человека и окружающей среде при использовании её по назначению и в условиях, заявленных изготовителем [28].
Для каждого МИ клиническая оценка осуществляется в течение его жизненного цикла2 в ходе проведения клинических испытаний. Общие принципы клинической оценки должны быть одинаковы для всех МИ, в том числе СИИ, с целью соблюдения основополагающих принципов технологической открытости и независимости [28].
Для этого проверяют эффективность и безопасность СИИ в клинических испытаниях, которые необходимо выполнять с соблюдением ГОСТ Р ИСО 14155 «Клинические исследования. Надлежащая клиническая практика» [29]. Поэтому, все заявления изготовителя в отношении уровней эффективности и безопасности изделия (в том числе указанные в маркировке и сопроводительной документации) должны быть подтверждены соответствующими доказательствами в ходе проведения клинического испытания [28].
Для СИИ можно проводить клинические испытания с применением ретроспективного дизайна без привлечения человека как субъекта испытаний, а в сравнении с аналогами. В таком случае Комитет по этике должен быть проинформирован о проведении клинического испытания без привлечения человека как субъекта испытания, а в форме анализа и оценки данных СИИ [28]. Поскольку СИИ (например, СППВР) используют алгоритмы, построенные на нейронных сетях, то должны быть независимые наборы данных из разных регионов, разных медицинских организаций, чтобы попы-
Жизненный цикл (англ. life cycle) - развитие системы, продукции, мысла до списания [30].
таться найти все ошибки, которые могут влиять на алгоритм, например, с точки зрения особенности пациента, особенностей ведения данных и реальной клинической практики.
Клинические испытания СИИ с привлечением человека как субъекта испытаний должны проводиться в соответствии с этическими принципами, касающимися прав, безопасности и благополучия людей, которые должны преобладать над интересами науки и общества [28], согласно ГОСТ Р ИСО 14155 «Клинические исследования. Надлежащая клиническая практика» [29].
Клинические испытания с участием человека должны проводиться в соответствии с этическими принципами, основанными на Хельсинкской декларации. Эти принципы защищают права и обеспечивают безопасность и благополучие людей, что является наиболее важным аспектом и должно превалировать над интересами науки и общества. Эти принципы следует понимать, соблюдать и применять на каждом этапе клинических испытаний [28].
Все стороны, вовлечённые в проведение клинических испытаний СИИ, должны разделять ответственность за соблюдение этических принципов в соответствии с ролью каждой стороны в клинических испытаниях [28].
До начала клинических испытаний СИИ с привлечением человека как субъекта необходимо получить документально подтверждённое одобрение или положительное заключение Комитета по этике с указанием документов и поправок, на основании которых принято данное решение [28].
Если требования Комитетов по этике являются менее жёсткими, чем требования Национального стандарта «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания» [28], заявитель должен применять требования данного стандарта в максимально допустимой степени независимо от любых менее жёстких требований и должен регистрировать эти меры (ГОСТ Р ИСО 14155 «Клинические исследования. Надлежащая клиническая практика» [29] и действующими нормативно-правовыми актами).
Рассмотрение Комитетом по этике. Следуя основополагающим этическим нормам, Комитеты по этике, имеющие соответствующие СОП по экспертизе проектов клинических испытаний СИИ, а также некоторый опыт такой работы, могут руководствоваться следующими установками.
Документы, предоставляемые в Комитет по этике. Заявитель должен представить в Комитет по этике все документы, необходимые для полной и тщательной экспертизы планируемого испытания [28].
луги, проекта или другой создаваемой изготовителем сущности от за-
Эти документы должны включать в себя:
1) заявление на рассмотрение;
2) предыдущие решения, принятые другими Комитетами по этике;
3) список медицинских организаций, в которых планируется проведение испытаний;
4) Программу планируемых испытаний;
5) индивидуальные регистрационные карты, дневники и вопросники, которые предстоит заполнять исследователям;
6) описание данных по безопасности МИ, испытания которого запланированы, а также его технические характеристики, данные проведённых технических испытаний с описанием существующего на данный момент клинического опыта применения МИ;
7) Брошюру исследователя;
8) текущую редакцию резюме исследователя и (или) другие материалы, подтверждающие его квалификацию;
9) План статистического анализа данных (может быть запрошен Комитетом по этике);
10) План управления рисками (может быть запрошен Комитетом по этике);
11) материалы (включая рекламные), используемые для привлечения потенциальных субъектов испытаний;
12) процедуры, обеспечивающие конфиденциальность;
13) форму информированного согласия с описанием процесса его получения и документирования, а также другие формы, содержащие информацию для потенциальных субъектов испытаний;
14) описание всех компенсаций и условия их получения за участие в испытаниях для участников испытаний, включая покрытие расходов и медицинскую помощь;
15) описание условий страхования участников испытаний;
16) положение о согласии следовать этическим принципам, изложенным в соответствующих руководствах.
Решения Комитета по этике. Комитет по этике должен рассмотреть вопрос о проведении предлагаемых клинических испытаний медицинских СИИ в соответствующие сроки и дать заключение в письменном виде, в котором должны быть идентифицированы испытания с указанием рассмотренных документов и даты принятия решения [28]:
1) об одобрении (выдаче заключения) на проведение испытаний;
2) внесении изменений в представленную документацию для получения одобрения (выдачи заключения) на проведение испытаний;
3) отказе в одобрении (выдаче заключения) на проведение испытаний;
4) отмене (приостановлении) сделанного ранее одобрения (выданного заключения) на проведение испытаний.
Последующий обмен информацией с Комитетом по этике. Следующая информация должна быть предоставлена в Комитет по этике и регулирующий орган, если это требуется национальными регулирующими требованиями, Программой клинических испытаний СИИ или Комитетом по этике, в зависимости от того, кто из них выдвигает более строгие требования [28]:
1) серьёзное неблагоприятное событие;
2) запросы на одобрение отклонений, отчёты об отклонениях, если отклонения затрагивают права, безопасность или благополучие человека, или научную целостность клинического испытания;
3) отчёты о ходе работ, включая сводку по безопасности и отклонениям;
4) поправки к любым документам, уже одобренным Комитетом по этике.
В чрезвычайных ситуациях для защиты прав, безопасности и благополучия субъектов-людей может быть отклонение от Программы клинических испытаний СИИ. Такое отклонение должно быть задокументировано и представлено в Комитет по этике так быстро, насколько это возможно [28], согласно ГОСТ Р ИСО 14155-2014 «Клинические исследования. Надлежащая клиническая практика» [29].
Сроки предоставления информации Комитету по этике. В случае наступления серьёзного неблагоприятного явления Комитет по этике должен быть оповещён в максимально короткие сроки [28].
К серьёзному неблагоприятному событию (СНС, англ. serious adverse event; SAE) относится неблагоприятное событие, которое приводит к летальному исходу; приводит к серьёзному нарушению здоровья субъекта, которое, в свою очередь может привести к заболеванию или травме, угрожающей жизни; увечью; госпитализации или её продлению; медицинскому или хирургическому вмешательству для предотвращения заболевания, угрожающего жизни, или увечья; приводит к травме плода, гибели плода или аномалиям, или порокам его развития [29].
Заявитель должен незамедлительно уведомить всех занятых в испытании участников (медицинских организаций), а также Комитет по этике и регулирующие органы о полученных данных, которые могут неблагоприятно отразиться на безопасности субъектов, повлиять на проведение исследования либо изменить одобрение (заключение) Комитета по этике на продолжение испытаний [28].
Вместе с информацией о возникшем событии в Комитет по этике должны быть предоставлены [28]:
1. Направительное письмо.
2. Описание произошедшего события.
3. План управления рисками (ПУР).
4. Пересмотренная Брошюра исследователя (если
необходимо, но не реже 1 раза в год).
Дискуссионные аспекты
Применение ПМИ изменят отношения между пациентом и врачом, но остаются вопросы, а именно связанные с получением информированного согласия на использование ПМИ, безопасностью, надёжностью и достоверностью наборов данных, прозрачностью алгоритмов, алгоритмической справедливостью и непредвзятостью, собственностью на данные, конфиденциальностью данных. Рассмотрим их более подробнее.
Вопросы, связанные с получением информированного согласия на использование ПМИ:
• При каких обстоятельствах врач должен уведомить пациента о том, что ПМИ вообще используется для диагностики, постановки диагноза и выбора метода лечения?
• При каких обстоятельствах принципы информированного согласия должны применяться в сфере ПМИ?
Безопасность — одна из самых серьёзных проблем для искусственного интеллекта в здравоохранении. Представленный ниже пример с IBM Watson for Oncology из реальной жизни показал эту область в негативном свете, и поставил вопрос:
• В какой степени врачи несут ответственность за обучение ПМИ, включая форму машинного обучения, тип вводимых данных и возможность предвзятости или других недостатков в данных, которые могут быть использованы?
IBM Watson for Oncology использует алгоритмы искусственного интеллекта для оценки информации из медицинских записей пациентов и помощи врачам в изучении вариантов лечения онкологических заболеваний. Однако недавно IBM Watson for Oncology подвергся критике из-за того, что дал «небезопасные и неправильные» рекомендации по лечению рака. Проблема, похоже, заключалась в обучении Watson for Oncology: вместо использования реальных данных о пациентах программа была обучена только нескольким «синтетическим» случаям рака, которые были разработаны врачами онкологического центра Memorial Sloan Kettering (MSK). Однако MSK заявила, что ошибки возникали только в ходе тестирования системы, и, следовательно, реальным пациентам не было дано неправильных рекомендаций по лечению [31-33].
Чтобы реализовать потенциал ИИ разработчики должны убедиться в нескольких ключевых вещах: 1) надёжность и достоверность наборов данных:
используемые наборы данных должны быть на-
дёжными и действительными, поскольку чем качественнее обучающие размеченные данные, тем лучше будет работать ИИ;
2) совместное использование данных: необходимость в огромных объёмах данных для анализа требует широкого обмена данными;
3) обеспечение прозрачности алгоритмов: в интересах безопасности и доверия клиницистов и пациентов необходимо обеспечить некоторую степень прозрачности алгоритмов, хотя в реальном мире возникают проблемы, связанные с защитой инвестиций и интеллектуальной собственности, а также с кибербезопасностью.
Особую озабоченность вызывают рекомендации по использованию большего количества систем ИИ типа «чёрного ящика», однако, возможно, нет необходимости открывать «чёрный ящик»: может оказаться, что по крайней мере в некоторых случаях положительные результаты рандомизированных клинических исследований или других форм тестирования будут служить достаточной демонстрацией безопасности и эффективности ИИ, или возможным решением может быть сторонний или государственный аудит таких систем.
ИИ способен улучшить здравоохранение не только в странах с высоким уровнем дохода, но и демократизировать экспертные знания, «глобализировать» здравоохранение и распространять его даже в отдалённые районы. Однако любая система машинного обучения или алгоритм, обученный человеком, будут настолько надёжными, эффективными и справедливыми, насколько и данные, на которых они обучаются. ИИ также несёт в себе риск предвзятости и, следовательно, дискриминации. Поэтому жизненно важно, чтобы производители ПМИ знали об этом риске и сводили к минимуму потенциальные предубеждения на каждом этапе процесса разработки продукта.
В частности, они должны учитывать риск предвзятости при принятии решения:
1) Какие технологии и/или процедуры машинного обучения они хотят использовать для обучения алгоритмов?
2) Какие наборы данных (в том числе с учётом их качества и разнообразия) они хотят использовать для программирования?
Алгоритмы могут проявлять предвзятость, которая может привести к несправедливости в отношении этнического происхождения, цвета кожи или пола, возраста или наличия инвалидности. Объяснения таких предубеждений различны и могут быть многогранными. Они могут, например, возникать из самих наборов данных (которые не являются репрезентативными), из того, как специалисты по обработке данных и системы машинного обучения выбирают и анализируют
данные, из контекста, в котором используется ПМИ и так далее. Где используется информация, связанная с фенотипом, а иногда и с генотипом, предвзятый ПМИ может, например, привести к постановке неверного диагноза и сделать лечение неэффективным для некоторых субпопуляций и, таким образом, поставить под угрозу их здоровье и безопасность. Например, представьте себе систему поддержки принятия врачебных решений на основе искусственного интеллекта, которое помогает клиницистам найти лучшее лечение для пациентов с раком кожи. Тем не менее, алгоритм преимущественно обучался на пациентах из европеоидной расы. Таким образом, ПМИ, вероятно, будет давать менее точные или даже неточные рекомендации для субпопуляций, для которых данные обучения были недостаточно информативными, например для больных с чёрным цветом кожи [34].
Некоторые из этих предубеждений могут быть устранены за счёт увеличения доступности данных и попыток лучше собрать данные о группах меньшинств и точнее указать, для каких групп населения алгоритм используется или не используется надлежащим образом. Однако остаётся проблема в том, что множество алгоритмов сложны и непрозрачны. Кроме того, некоторые компании-разработчики ПО, будут сопротивляться раскрытию информации и заявлять о коммерческой тайне в своей работе. Следовательно, сбор данных и выявление предубеждений может быть предоставлено неправительственным организациям [34].
В случае алгоритмов «чёрного ящика» многие учёные утверждали, что объяснимость необходима, когда ПМИ даёт рекомендации по здоровью, особенно для выявления предубеждений. Однако действительно ли эта точка зрения верна? Некоторые утверждают, что важно не то, как ПМИ принимает своё решение, а то, что оно является точным, по крайней мере, с точки зрения диагностики [35].
Использование алгоритмов «чёрного ящика», которые врачам очень трудно полностью понять, может вызывать ряд вопросов:
• В какой степени врачу необходимо раскрыть, что он не может полностью интерпретировать рекомендации ПМИ по диагностики или лечению?
• Как быть насчёт случаев, когда пациент может неохотно разрешать использование определённых категорий данных (например, генетические данные и семейный анамнез)?
• Как правильно сбалансировать конфиденциальность пациентов с безопасностью и эффективностью ПМИ?
Безопасность и эффективность МПИ, которые являются «чёрными ящиками», можно, например, продемонстрировать путём проведения рандомизированных клинических испытаний [34].
Как насчёт собственности (владения) на данные? Ценность данных о состоянии здоровья может достигать миллиардов долларов США, и некоторые данные свидетельствуют о том, что общественность недовольна тем, что компании или правительство продают конфиденциальные данные о пациентах с целью получения прибыли [36].
В июле 2017 года Управление комиссариата по информации Великобритании (англ. UK Information Commissioner's Office; ICO) постановило, что Фонд Royal Free NHS Foundation нарушил Закон Великобритании о защите данных 1998 года, когда предоставил Google DeepMind личные данные примерно 1,6 млн пациентов [37, 38]. Обмен данными произошёл в ходе клинического тестирования безопасности приложения Streams, которое призвано помочь в диагностике и обнаружении острого повреждения почек [37, 38]. Однако пациенты не были должным образом проинформированы об обработке их данных в рамках теста [37, 38]. Комиссар по информации Элизабет Денхэм (Elizabeth Denham) правильно отметила, что «цена инноваций не обязательно должна быть подрывом фундаментальных прав на неприкосновенность частной жизни» [38]. Хотя приложение Streams не использует ИИ, этот пример выявил потенциальную опасность нарушения прав на неприкосновенность частной жизни при разработке технологических решений. Если пациенты и врачи не доверяют ИИ, то их успешная интеграция в клиническую практику в конечном итоге не удастся. Принципиально важно адекватно информировать пациентов об обработке их данных и способствовать открытому диалогу для повышения доверия. Судебный процесс Dinerstein против Google [39] и Project Nightingale от Google и Ascension [40] представляют собой недавние тематические исследования, демонстрирующие проблемы конфиденциальности пациентов в контексте обмена данными и использования ИИ [34].
Помимо вопроса: «Что собирается?», крайне важно защитить пациентов от использования вне взаимоотношений между врачом и пациентом, которое может пагубно повлиять на пациентов, например, на оказание медицинской помощи по обязательному медицинскому страхованию, возможности трудоустройства или даже на личные отношения [34]. Некоторые из них потребуют строгого антидискриминационного закона — аналогично действующим законам о защите генетической информации о человеке [41].
Два других вопроса заключаются в том:
• Имеют ли пациенты право отзывать свои данные и если да, то при каких обстоятельствах?
• Могут ли пациенты запросить удаление данных, которые уже были собраны в анонимизи-рованном виде и проанализированы в агрегированной форме?
Заключение
По своей сути, современное программное обеспечение с технологией искусственного интеллекта не представляет из себя ничего сверхъестественного. Когда утверждается, что компьютеры способны дублировать деятельность человека, часто оказывается, что это утверждение предполагает серьёзное упрощённое и искажённое описание этой деятельности. Произошла переоценка технологий и недооценка людей [8].
В упрощённом виде программные медицинские изделия с технологиями искусственного интеллекта (или медицинские системы искусственного интеллекта) относятся к слабому ИИ, поэтому, с технической точки зрения, большая часть устоявшейся нормативно-правовых актов разработанных для медицинских изделий применима для регулирования ПМИ (медицинских СИИ), в том числе и большинства связанных с ним этических аспектов.
Слабый искусственный интеллект (англ. artificial narrow intelligence, ANI) — это ИИ в сегодняшнем понимании. Слабый ИИ не обладает человеческими чувствами и сознанием, а работает лишь в заранее заданном диапазоне. Все окружающие нас ИИ-решения — это примеры слабого ИИ, потому что они слишком далеки от человеческого интеллекта, но способны обрабатывать данные и выполнять задачи значительно быстрее, чем любой человек [43].
Остаётся ещё так называемый сильный ИИ (эквивалент «искусственного разума»), но он пока обитает только в научно-фантастических произведениях, так что регулировать тут на сегодняшний день нечего [42]. А пока компьютеры не растут как дети, не принадлежат культуре и не действуют в мире, они никогда не приобретут интеллект, подобный человеческому [8].
Сильный искусственный интеллект (англ. artificial general intelligence, AGI) схож с человеческим интеллектом, т.е., он может успешно выполнять любые умственные задачи, которые под силу людям. Именно такие системы мы видим в научно-фантастических фильмах, посвящённых взаимодействию человека с компьютерами, обладающими чувствами и сознанием. Но пока компьютеры могут лишь обрабатывать данные быстрее, чем мы, однако они не способны мыслить абстрактно, продумывать стратегию, а также использовать мысли и воспоминания, чтобы принимать обоснованные решения или выдвигать творческие идеи. Благодаря этому типу интеллекта мы превосходим компьютеры. В то же время работу этих когнитивных механизмов сложнее всего понять, а значит, и сложнее всего воспроизвести. Ожидается, что сильный ИИ сможет рассуждать, справляться с проблемами, выносить суждения в условиях неопределённости, планировать, учиться, интегрировать предыдущие знания в процесс принятия решений, а также предлагать новаторские идеи. Но для достижения всех этих целей исследователи должны придумать, как наделить компьютеры сознанием [43].
В России сейчас ведётся активная работа по созданию нормативно-правовой и этической базы по использованию ПМИ (медицинских СИИ), в которых необходимо зафиксировать тезис о том, что человек имеет право на любом этапе разработки, внедрения или применения ИИ отменять или запрещать любые действия или решения, принимаемые ИИ; при этом за государством остаётся приоритет в обеспечении своих граждан таким правом [42].
Кроме того, нетрудно отметить в соответствующих документах и важность баланса между развитием новейших технологий и защитой общечеловеческих ценностей и в целом понятия «человечность», в которое входят отсутствующие в компьютерных алгоритмах любовь, внимание к человеку, уважение к человеческой личности, доброе отношение ко всему живому, человеколюбие, эмоции, спонтанность, интуиция, духовность и т.д.; в основе которой лежат такие нравственные ценности, как благородство, доброта, снисходительность, умение прощать, альтруизм, гуманность, милосердие и другие.
Руководство Российской Федерации придерживается незыблемости фундаментального права выбора, сохраняющего за ней возможность «идти своим путём». Своё отражение эта тема нашла как в национальной Стратегии ИИ, так и в Федеральном проекте по искусственному интеллекту национальной программы «Цифровая экономика».
Стоит также отметить, что в 2020 году в России был создан Национальный Комитет по этике искусственного интеллекта при Комиссии Российской Федерации по делам ЮНЕСКО. Это первый в мире подобный орган при Национальной комиссии по делам ЮНЕСКО. В состав Комитета вошли ведущие специалисты и известные учёные в области цифровых и информационных технологий, руководители научных, образовательных и коммерческих структур, вовлечённых в разработку технологий искусственного интеллекта и разработчики Национальной стратегии развития искусственного интеллекта на период до 2030 г. Председателем Комитета был избран ректор Сколковского института науки и технологий, академик РАН Кулешов Л.П. [44].
В связи с динамичным развитием этого направления вопросы правового регулирования и этической оценки в области искусственного интеллекта будут постоянно развиваться, соприкасаться со многими сферами научных исследований, в том числе в области биологии и медицины. Ещё более сложный вопрос связан с социальной адаптацией ИИ, разделением ролей человека и ИИ в реальных секторах экономики и социальной сфере, взаимном интеллектуальном влиянии человеческого и искусственного интеллекта, что может привести не только к взаимному обогащению, но новым рискам и вызовам для будущих поколений. Эти риски обязательно должны учитываться и анализироваться с биоэтических позиций.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ Конфликт интересов: авторы декларируют отсутствие конфликта интересов.
Участие авторов: Хохлов А.Л., Белоусов Д.Ю. — написание текста, редактирование, финальное утверждение рукописи.
СВЕДЕНИЯ ОБ АВТОРАХ ABOUTE THE AUTORS
Хохлов Александр Леонидович
e-mail: [email protected] ORCID ID: 0000-0002-0032-0341 SPIN-код: 9389-8926
д. м. н., член-корр. РАН, зав. кафедрой клинической фармакологии ФГБОУ ВО «Ярославский государственный медицинский университет» Минздрава России, Ярославль, Россия
Белоусов Дмитрий Юрьевич Автор, ответственный за переписку
e-mail: [email protected] ORCID ID: 0000-0002-2164-8290 SPIN-код: 6067-9067
Ведущий специалист ООО «Центр фармакоэкономиче-ских исследований», Москва, Россия
Khokhlov Alexander L.
e-mail: [email protected] ORCID ID: 0000-0002-0032-0341 SPIN code: 9389-8926
Dr. Sci. (Med.), Corresponding Member of the Russian Academy of Sciences, Professor of the Department of the Clinical Pharmacology, Yaroslavl State Medical University of the Ministry of Health of Russia, Yaroslavl, Russia
Belousov Dmitry Yu. Corresponding author
e-mail: [email protected] ORCID ID: 0000-0002-2164-8290 SPIN code: 6067-9067
Leading specialist in pharmacoeconomics LLC «Center for Pharmacoeconomics Research», Moscow, Russia
Литература / References
1. Turing A. M., I. Computing machinery and intelligence, Mind, Volume LIX, Issue 236, October 1950, Pages 433—460. DOI: 10.1093/mind/ LIX.236.433 Режим доступа: https://clck.ru/Ta9eN
2. Newman MHA. Alan Mathison Turing. 1912—1954 (англ.) // Biographical Memoirs of Fellows of the Royal Society. 1955;(1):253._DOI: 10.1098/rsbm.1955.0019.
3. Dreyfuss Hubert. «Alchemy and Artificial Intelligence». Режим доступа: https://clck.ru/TxCVv
4. Dreyfus HL (1972) What computers can't do. Harper & Row, New York, NY. Режим доступа: https://clck.ru/TxCXG
5. Weizenbaum J (1976) Computer power and human reason. Freeman & Company, San Francisco
6. Penrose R (1989) The emperor's new mind. Concerning computers, minds, and the laws of physics. Oxford University Press, Oxford
7. Penrose R (1994) Shadows of the mind. A search for the missing science of consciousness. Oxford University Press, Oxford
8. Fjelland R. Why general artificial intelligence will not be realized. Humanit Soc Sci Commun 7, 10 (2020). _DOI: 10.1057/s41599-020-0494-4
9. Гусев А.В., Морозов С.П., Кутичев В.А., Новицкий Р.Э. Нормативно-правовое регулирование программного обеспечения для здравоохранения, созданного с применением технологий искусственного интеллекта, в Российской Федерации. Медицинские технологии. Оценка и выбор. 2021;43(1):36-45. [Gusev AV, Morozov SP, Kutichev VA, Novitsky RE. Legal regulation of artificial intelligence software in healthcare in the Russian Federation. Medical Technologies. Assessment and Choice. 2021;43(1):36-45. (In Russ).] _DOI: 10.17116/medtech20214301136
10. Национальная стратегия развития искусственного интеллекта на период до 2030 года. Утверждена указом Президента Российской Федерации № 490 от 10 октября 2019 года «О развитии искусственного интеллекта в Российской Федерации». [National strategy for the development of artificial intelligence for the period up to 2030. Approved by Decree of the President of the Russian Federation No. 490 of October 10, 2019 «O razvitii iskusstvennogo intellekta v Rossijskoj Federacii». (In Russ).] Режим доступа: https://clck.ru/TUnRQ
11. IMDRF/SaMD WG/N10:2013. Software as a Medical Device (SaMD): Key Definitions. Режим доступа: https://clck.ru/TxCY7
12. Федеральный закон от 31.01.2016 г. № 4-ФЗ «О ратификации Соглашения о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза». [Federal Law No. 4-FZ of 31.01.2016 «O ratifikacii Soglasheniya o edinyh principah i pravilah obrashcheniya medicinskih izdelij (izdelij medicinskogo naznacheniya i medicinskoj tekhniki) v ramkah Evrazijskogo ekonomicheskogo soyuza». (In Russ).] Режим доступа: http://docs.cntd.ru/document/420332906
13. Соглашение о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза. 24.12.2014 г. [Soglashenie o edinyh principah i pravilah obrashcheniya medicinskih izdelij (izdelij medicinskogo naznacheniya i medicinskoj tekhniki) v ramkah Evrazijskogo ekonomicheskogo soyuza. 24.12.2014 g. (In Russ).] Режим доступа: http://docs.cntd.ru/document/420246566
14. Федеральный закон «Об основах охраны здоровья граждан в Российской Федерации» от 21.11.2011 г. № 323-ФЗ (с изменениями на 22 декабря 2020 года) (редакция, действующая с 1 января 2021 года). [Federal Law No. 323-FZ of 21.11.2011 (as amended on December 22, 2020) (as amended from January 1, 2021) «Ob osnovah ohrany zdorov'ya grazhdan v Rossijskoj Federacii». (In Russ).] Режим доступа: http://docs.cntd.ru/ document/902312609
15. ГОСТ 31508-2012 Изделия медицинские. Классификация в зависимости от потенциального риска применения. Общие требования. Дата введения 2015-01-01. [GOST 31508-2012 Izdeliya medicinskie. Klassifikaciya v zavisimosti ot potencial'nogo riska primeneniya. Obshchie trebovaniya. Data vvedeniya 2015-01-01. (In Russ).] Режим доступа: http://docs.cntd.ru/ document/1200100312.
16. Приказ Минздрава России от 06.06.2012 № 4н (ред. от 07.07.2020) «Об утверждении номенклатурной классификации медицинских изделий» (вместе с «Номенклатурной классификацией медицинских изделий по видам», «Номенклатурной классификацией медицинских изделий по классам в зависимости от потенциального риска их применения») (Зарегистрировано в Минюсте России 09.07.2012 N 24852). [Order of the Ministry of Health of the Russian Federation No. 4n of 06.06.2012 (ed. of 07.07.2020) «Ob utverzhdenii nomenklaturnoj klassifikacii medicinskih izdelij» (vmeste s
«Nomenklaturnoj klassifikaciej medicinskih izdelij po vidam», «Nomenklaturnoj klassifikaciej medicinskih izdelij po klassam v zavisimosti ot potencial'nogo riska ih primeneniya») (Zaregistrirovano v Minyuste Rossii 09.07.2012 N 24852). (In Russ).] Режим доступа: http://docs.cntd.ru/document/902353334
17. Программное обеспечение «Система для поддержки принятия врачебных решений «WEBIOMED». Регистрационное удостоверение на медицинское изделие РЗН 2020/9958. [Programmnoe obespechenie «Sistema dlya podderzhki prinyatiya vrachebnyh reshenij «WEBIOMED». Registracionnoe udostoverenie na medicinskoe izdelie RZN 2020/9958. (In Russ).] Режим доступа: https://clck.ru/TxCYd
18. Обеспечение программное прикладное «Botkin.AI» для визуализации и обработки изображений стандарта DICOM. Регистрационное удостоверение на медицинское изделие РЗН 2020/12028. [Obespechenie programmnoe prikladnoe «Botkin.AI» dlya vizualizacii i obrabotki izobrazhenij standarta DICOM. Registracionnoe udostoverenie na medicinskoe izdelie RZN 2020/12028. (In Russ).] Режим доступа: https:// clck.ru/TxCYw
19. Программное обеспечение «Система нейросетевая Care Mentor AI». Регистрационное удостоверение на медицинское изделие РЗН 2020/11137. [Programmnoe obespechenie «Sistema nejrosetevaya Care Mentor AI». Registracionnoe udostoverenie na medicinskoe izdelie RZN 2020/11137. (In Russ).] Режим доступа: https://clck.ru/TxCZE
20. Федеральный закон от 24.04.2020 № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации — городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных». «». [Federal Law No. 123-FZ of 24.04.2020 «O provedenii eksperimenta po ustanovleniyu special'nogo regulirovaniya v celyah sozdaniya neobhodimyh uslovij dlya razrabotki i vnedreniya tekhnologij iskusstvennogo intellekta v sub»ekte Rossijskoj Federacii — gorode federal'nogo znacheniya Moskve i vnesenii izmenenij v stat'i 6 i 10 Federal'nogo zakona «O personal'nyh dannyh»». (In Russ).] Режим доступа: https://clck.ru/TgfW2
21. Федеральный закон от 31 июля 2020 г. № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации». [Federal Law No. 258-FZ of July 31, 2020 «Ob eksperimental'nyh pravovyh rezhimah v sfere cifrovyh innovacij v Rossijskoj Federacii». (In Russ).] Режим доступа: https://clck.ru/TxCZt
22. Федеральный закон «О персональных данных» от 27.07.2006 № 152-ФЗ. [Federal Law «O personal'nyh dannyh» No. 152-FZ of 27.07.2006. (In Russ).] Режим доступа: https://clck.ru/DWym4.
23. Постановление Правительства РФ от 27 декабря 2012 года № 1416 Об утверждении Правил государственной регистрации медицинских изделий (с изменениями на 24 ноября 2020 года). [Decree of the Government of the Russian Federation No. 1416 of December 27, 2012 On Approval of the Rules for State Registration of Medical Devices (as amended on November 24, 2020). (In Russ).] Режим доступа: http://docs.cntd.ru/document/902390883
24. Информационное письмо Росздравнадзора от 13.02.2020 г. № 02И-297/20. [Information letter of Roszdravnadzor dated 13.02.2020 No. 02I-297/20. (In Russ).] Режим доступа: https://clck.ru/TxCaH
25. Гаврилов Э.Л., Хоманов К.Э., Короткова А.В., Аслибекян Н.О., Шевченко Е.А. Актуальные направления развития справочно-инфор-мационных он-лайн приложений для врачей // Вестник Национального медико-хирургического центра им. Н.И. Пирогова. 2017;12(1)83-87. [Gavrilov EL, Khomanov KE, Korotkova AV, Aslibekyan NO, Shevchenko EA. Actual directions in progress of reference apps for doctors. Roszdravnadzora Bulletin of Pirogov National Medical & Surgical Center 2017;12(1):83-87. (In Russ).] Режим доступа: https://clck.ru/TxCch
26. Столбов А.П. О классификации рисков применения программного обеспечения медицинского назначения. Вестник Росздравнадзора. 2017;(3):36-42. [Stolbov AP. On risk classification of application software for medical purposes. Vestnik Roszdravnadzora. 2017;(3):36-42. (In Russ).] Режим доступа: https://clck.ru/TxCd6
27. Приказ Министерства здравоохранения Российской Федерации (Минздрав России) от 9 января 2014 г. № 2н г. Москва «Об утверждении Порядка проведения оценки соответствия медицинских изделий в фор-
ме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий» (с изменениями на 7 июля 2020 года). [Order of the Ministry of Health of the Russian Federation (Ministry of Health of the Russian Federation) of January 9, 2014 No. 2n Moscow «Ob utverzhdenii Poryadka provedeniya ocenki sootvetstviya medicinskih izdelij v forme tekhnicheskih ispytanij, toksikologicheskih issledovanij, klinicheskih ispytanij v celyah gosudarstvennoj registracii medicinskih izdelij» (as amended on July 7, 2020). (In Russ).] Режим доступа: https://docs.cntd.ru/document/902353334
28. Проект ГОСТ Р Национальный стандарт Российской Федерации «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания», 2020 г. [Proekt GOST R Nacional'nyj standart Rossijskoj Federacii «Sistemy iskusstvennogo intellekta v klinicheskoj medicine. CHast' 1. Klinicheskie ispytaniya», 2020 g. (In Russ).] Режим доступа: https://clck.ru/QXVuv
29. ГОСТ Р ИСО 14155-2014 Клинические исследования. Надлежащая клиническая практика. Утверждён и введён в действие Приказом Федерального агентства по техническому регулированию и метрологии от 4 июня 2014 г. № 497-ст. [GOST R ISO 14155-2014 Klinicheskie issledovaniya. Nadlezhashchaya klinicheskaya praktika. Utverzhdyon i vvedyon v dejstvie Prikazom Federal'nogo agentstva po tekhnicheskomu regulirovaniyu i metrologii ot 4 iyunya 2014 g. № 497-st. (In Russ).] Режим доступа: http:// docs.cntd.ru/document/1200110952.
30. ГОСТ Р 57193-2016 Системная и программная инженерия. Процессы жизненного цикла систем. Дата введения 2017-11-01. [GOST R 57193-2016 Sistemnaya i programmnaya inzheneriya. Processy zhiznennogo cikla sistem. Data vvedeniya 2017-11-01. (In Russ).] Режим доступа: http:// docs.cntd.ru/document/1200141163
31. IBM. IBM Watson for oncology, https://www.ibm.com; 2020.
32. Brown J. IBM Watson reportedly recommended cancer treatments that were 'unsafe and incorrect'. Gizmodo, 2018. Режим доступа: https://clck.ru/ TxCed
33. Ross C, Swetlitz I. IBM's Watson supercomputer recommended 'unsafe and incorrect' cancer treatments, internal documents show. STAT, 2018. Режим доступа: https://clck.ru/TxCdp
34. Gerke S, Minssen T, Cohen G. Chapter 12 — Ethical and legal challenges of artificial intelligence-driven healthcare. Artificial Intelligence in Healthcare. 2020;20-35:295-336. Режим доступа: https://clck.ru/TxCf4
35. London AJ. Artificial intelligence and black-box medical decisions: accuracy versus explainability. Hastings Cent Rep. 2019;49:15-21. DOI: 10.1002/hast.973. Режим доступа: https://clck.ru/TxCgo
36. House of Lords. AI in the UK: ready, willing and able? 2018. Режим доступа: https://clck.ru/DTMGa
37. ICO. RFA0627721 — provision of patient data to DeepMind, 2017. Режим доступа: https://ico.org.uk/media/2014353/undertaking-cover-letter-revised-04072017-to-first-person.pdf
38. ICO. Royal Free—Google DeepMind trial failed to comply with data protection law, 2017. Режим доступа: https://ico.org.uk/about-the-ico/ news-and-events/news-and-blogs/2017/07/royal-free-google-deepmind-trial-failed-to-comply-with-data-protection-law
39. Dinerstein v. Google. No. 1:19-cv-04311; 2019. Режим доступа: https://clck.ru/TxCjN
40. Copeland R. Google's 'Project Nightingale' gathers personal health data on millions of Americans, 2019. Режим доступа: https://clck.ru/TxCk3
41. Roberts JL, Cohen IG, Deubert CR, Lynch HF. Evaluating NFL player health and performance: legal and ethical issues. Univ Pa Law Rev. 2017;165:227-314. Режим доступа: https://clck.ru/TxCkR
42. Фёдоров Максим, Цветков Юрий. Этические вопросы технологий искусственного интеллекта — как избежать судьбы Вавилонской башни. 11.11.2020 г. [Maxim Fedorov, Yuri Tsvetkov. Eticheskie voprosy tekhnologij iskusstvennogo intellekta — kak izbezhat' sud'by Vavilonskoj bashni. 11.11.2020. (In Russ).] Режим доступа: https://clck.ru/TgfTu
43. Jajal Tannya D. Distinguishing between Narrow AI, General AI and Super AI. Режим доступа: https://clck.ru/TgfSa
44. Российский комитет по вопросам этики искусственного интеллекта. [Rossijskij komitet po voprosam etiki iskusstvennogo intellekta. (In Russ).] Режим доступа: http://unesco.ru/activity/cai/
