CC BY
78https://doi.org/10.29188/2712-9217-2021-7-2-50-52
Слабые стороны искусственного интеллекта в медицине
И.А. Шадеркин
Институт цифровой медицины Первого Московского государственного медицинского университета им. И.М. Сеченова (Сеченовский Университет); д. 1, стр. 2, Абрикосовский пер., стр. Москва, 119435, Россия
Контакт: Шадеркин Игорь Аркадьевич, info@uroweb.ru Аннотация:
Ведение. В последнее время стало появляться большое количество интеллектуальных систем, которые используются в поддержке принятия врачебных решений - «искусственный интеллект в медицине».
Материал и методы. Автор публикации тоже работает над вопросами принятия врачебных решений, и, сам будучи врачом, в ходе работы и имеющейся практики обнаружил ряд важных вопросов, которыми счел необходимым поделиться с профессиональным сообществом.
Результаты. В некоторых случаях демонстрация успешной работы программного обеспечения в заявленных характеристиках (чувствительность, специфичность) происходит лишь в «надежных руках» разработчиков и на данных, которые лежат в основе программного обеспечения. При попытке продемонстрировать работу в клинических ситуациях заявленные характеристики часто не достигаются, поэтому у клинического сообщества, которое должно использовать это решение на базе ИИ, формируется не всегда благоприятное мнение. Автор рассматривает различные виды ошибок, способных иметь фатальный характер в принятии медицинских клинических решений - искажение первичных медицинских знаний, отсутствие знаний или недостоверные знания о предметной области, социальные искажения.
Выводы. При разработке решений на базе ИИ кажется важным учитывать вышеперечисленные моменты как разработчикам, так и пользователям.
Ключевые слова: искусственный интеллект в медицине; глубокое машинное обучение; системы поддержки принятия врачебных решений.
Для цитирования: Шадеркин И.А. Слабые стороны искусственного интеллекта в медицине. Российский журнал телемедицины и электронного здравоохранения 2021;7(2):50-52; https://doi.org/10.29188/2712-9217-2021-7-2-50-52
Weaknesses of artificial intelligence in medicine
https://doi.org/10.29188/2712-9217-2021-7-2-50-52 I.A. Shaderkin
Institute of Digital Medicine of the First Moscow State Medical University them Sechenov (Sechenov University), Abrikosovskiy per., 1, bldg. 2, Moscow, 119435, Russia
Contact: Igor A. Shaderkin, info@uroweb.ru
Summary:
Introduction. Recently, a large number of intelligent systems have begun to appear that are used to support medical decisionmaking - «artificial intelligence in medicine».
Material and methods. The author of the publication also works on the issues of making medical decisions, and, being a doctor himself, in the course of his work and existing practice, discovered a number of important issues that he considered necessary to share with the professional community.
Results. In some cases, the demonstration of the successful operation of the software in the declared characteristics (sensitivity, specificity) occurs only in the «reliable hands» of the developers and on the data that underlie the software. When attempting to demonstrate performance in clinical situations, the claimed characteristics are often not achieved, so the clinical community that must use this Al-based solution does not always form a favorable opinion. The author considers various types of errors that can be fatal in making medical clinical decisions - distortion of primary medical knowledge, lack of knowledge or inaccurate knowledge about the subject area, social distortions.
Conclusions. When developing solutions based on Al, it seems important to keep the above points in mind for both developers and users.
Key words: artificial intelligence in medicine; deep machine learning; medical decision support systems.
For citation: Shaderkin I.A. Weaknesses of artificial intelligence in medicine. Russian Journal of Telemedicine and E-Health 2021;7(2):50-52; https://doi.org/10.29188/2712-9217-2021-7-2-50-52
ВВЕДЕНИЕ
В последнее время стало появляться большое количество интеллектуальных систем, которые используются в поддержке принятия врачебных решений - симптом-чекеры (приложения проверки симптомов заболеваний), предиктивные, аналитические системы, системы, работающие с визуальными данными (рентген-, КТ-изображения, морфология, дерматография и др.). Все эти решения в обиходе часто называют «искусственный интеллект в медицине» - тематика находится на высоте внимания государства, инвесторов и разработчиков. Эти интеллектуальные системы начинают регистрироваться как медицинские изделия, так, например, в РФ уже есть преценденты («Третье мнение», WEBIOMED).
Автор публикации тоже работает над вопросами принятия врачебных решений, и, сам будучи врачом, в ходе работы и имеющейся практики обнаружил ряд важных вопросов, которыми счел необходимым поделиться с профессиональным сообществом.
КЛЮЧЕВЫЕ МОМЕНТЫ РАЗРАБОТКИ ИИ
В основе решений на базе искусственного интеллекта (ИИ - «intelligence» (франц.), интеллект) лежат медицинские знания - об организме человека, этиологии, патогенезе, диагностике и методах лечения заболеваний.
Команды, создающие решения на базе ИИ, включают в себя, помимо руководства и представителей бизнеса (сэйлс, маркетинг), команду разработчиков, программистов и специалистов по знаниям, дата-сайентистов, которые, как правило, являются представителями медицинского и научного сообщества и являются экспертами в предметной области, для которой строятся решения на базе ИИ.
Разработчики используют стандартные программные библиотеки (напр. TensorFlow), которые уже разработаны международным сообществом программистов и ученых. В очень редких случаях эти библиотеки модифицируются, и разработчиками вносятся значимые изменения. Эти библиотеки используются для создания законченного бизнес-продукта.
Важным компонентом бизнес-продукта являются медицинские данные (знания), которые либо берутся из открытых источников (дата-сеты, размеченные данные), либо собираются дата-сайенти-стами из команды разработчиков. Созданное
программное обеспечение принимает решение на основе данных/знаний, поэтому качество этих данных является ключевым аспектом правильности работы программного обеспечения.
В некоторых случаях демонстрация успешной работы программного обеспечения в заявленных характеристиках (чувствительность, специфичность) происходит лишь в «надежных руках» разработчиков и на данных, которые лежат в основе программного обеспечения. При попытке продемонстрировать работу в клинических ситуациях заявленные характеристики часто не достигаются, поэтому у клинического сообщества, которое должно использовать это решение на базе ИИ, формируется не всегда благоприятное мнение.
ПРИЧИНЫ НЕУДАЧ В СИСТЕМЕ ПРИНЯТИЯ ВРАЧЕБНЫХ РЕШЕНИЙ
Есть очевидные и наиболее часто упоминаемые причины некачественной работы вне заявленных характеристик ИИ в медицине:
1. Ошибки в использовании программных библиотек.
2. Некачественно собранные медицинские данные.
3. Недостаточное количество данных или выборки данных для обучения алгоритма.
4. Нерепрезентативная выборка (не все данные, не по всем клиническим случаям оказались в дата-сете).
5. Ошибки в разработке программного продукта.
Это лежащие на поверхности, часто упоминаемые причины.
Однако есть ряд других причин, которые порой не учитываются в разработке, но могут носить фатальный характер в принятии медицинских клинических решений:
1. Искажение первичных медицинских знаний.
• Приверженность эксперта дата-сайентиста к устоявшейся точке зрения в предметной области, которая продиктована личным опытом и сложившимся стереотипом клинического мышления, либо приверженностью к определенной «Школе».
• Искажение знаний, полученных в ходе клинических исследований.
• Публикации в научной литературе изначально в своем большинстве подтверждают первоначальную гипотезу исследователей.
• Данные с отрицательными результатами клинических исследований обычно не публикуются.
• Публикация отрицательного опыта 8
клинической практики, врачебных ошибок, неудач лечения является сложным с этической и юридической точек зрения. Врачи редко говорят о своих ошибках на страницах высокорейтинговых научных журналов.
• «Заказной» характер клинических исследований - за многими исследованиями с «правильным дизайном» (построенном по всем правилам медицины, основанной на доказательствах) стоят заказчики - представители медицинской индустрии, которые заинтересованы в подтверждении своей первоначальной гипотезы.
• В силу бизнес-интереса проводимых исследований на них выделяется значительное финансирование, которого хватает на «правильный дизайн» исследования, создание рабочей группы, включение в исследование пациентов, аналитику и публикацию в высокорейтинговых научных журналах.
• Эти правильно построенные клинические исследования влияют на клинические рекомендации, референсные значения физиологических показателей. Так, например, под влиянием подобных клинических исследований были изменены рефе-ренсные показатели артериального давления (АД), сахара крови, эректильной дисфункции (МИЭФ-5).
2. Отсутствие знаний или недостоверные знания о предметной области.
• Кто занимается реальной клинической практикой, понимает, что не всегда эффективны те или иные методы диагностики, лечения, базирующиеся на клинических рекомендациях, что может говорить о недостаточном уровне знаний о состоянии организма человека, неправильной интерпретации протекающих патологических процессоров, приводящих к заболеванию и неправильном подходе к их лечению.
• Во многом врачи-практики связывают это с недостаточными знаниями и пытаются формировать собственные индивидуальные подходы к пове-
Сведения об авторе:
Шадеркин И.А. - к.м.н., заведующий лабораторией электронного здравоохранения Института цифровой медицины Первого Московского государственного медицинского университета им. И.М. Сеченова; Москва, Россия; info@uroweb.ru; РИНЦ Author ID 695560
Вклад авторов:
Шадеркин И.А. - дизайн исследования, написание текста, 100%
Конфликт интересов: Автор заявляет об отсутствии конфликта интересов.
Финансирование: Исследование проведено без спонсорской поддержки.
Статья поступила: 15.05.21 Принята к публикации: 01.06.21
дению в той или иной ситуации («авторские» схемы лечения, собственные клинические Школы).
• На приеме практически нет возможности сказать пациенту, что врач не знает какой ставить диагноз или как его лечить. Сложилось мнение, что пациент всегда должен выйти от врача с решением своей проблемы. С другой стороны, это дополнительно продиктовано взглядом СМИ на текущее состояние науки и здравоохранения, когда в СМИ представляются абсолютные знания и современное состояние проблем. На этом фоне очень сложно специалисту, который несет юридическую ответственность, сказать, что он не знает или не уверен в диагнозе или методах лечения.
3. Социальные искажения.
• Перспективность применения к пациенту того или иного метода, использование дорогостоящих методов диагностики и лечения, прогноз развития заболевания, эвтаназия, личное отношение врача к пациенту и другие моменты - лежат за рамками медицины, основанной на доказательствах. Принятие решения врачом в таких ситуациях носит иррациональный характер и лежит в рамках этических, культурных, а порой и религиозных аспектов. Такие знания очень сложно на сегодняшнем уровне собрать, классифицировать и алгоритмизировать. Как правило, решения принимает врач на свой страх и риск, под свою ответственность, не афиширует, и тем более, не публикует.
В ряде клинических ситуаций принятие врачом таких решений носит ключевой характер, но не может быть протоколировано и алгоритмизировано в программном обеспечении в ИИ.
ВЫВОДЫ
При разработке решений на базе ИИ кажется важно учитывать вышеперечисленные моменты как разработчикам,так и пользователям. /
Information about author:
Shaderkin I.A. - PhD, Head of the Laboratory of Electronic Health,
Institute of Digital Medicine, Sechenov University; Moscow, Russia:
info@uroweb.ru; https://orcid.org/0000-0001-8669-2674
Authors contributions:
Shaderkin I.A. - research design, text writing, 100%
Conflict of interest: The author declare no conflict of interest.
Financing: The study was performed without external funding.
Received: 15.05.21
Accepted for publication: 01.06.21
