CC BY
22
Научная статья УДК 004.588
DOI: 10.178l6/pmj39662-70
РАЗРАБОТКА КОМПЛЕКСА «АНТРОПОМОРФНЫЙ
СТОМАТОЛОГИЧЕСКИЙ РОБОТ» С ЭЛЕМЕНТАМИ
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ ИМИТАЦИИ ВРАЧЕБНЫХ
МАНИПУЛЯЦИЙ И КОММУНИКАЦИИ «ВРАЧ - ПАЦИЕНТ»
Н.Б. Асташина1*, А.А. Байдаров1, С.Д. Арутюнов2, А.А. Южаков3, А.Н. Кокоулин3, К.Р. Валихметова1, П.В. Майоров13, А.М. Шамарина1, П.В. Лазарьков1, А.С. Вронский1, Я.Н. Харах2
1Пермский государственный медицинский университет имени академика Е.А Вагнера,
2 Московский государственный медико-стоматологический университет имени А.И. Евдокимова,
3 Пермский национальный исследовательский политехнический университет, Россия
© Асташина Н.Б., Байдаров А.А., Арутюнов СД., Южаков А.А., Кокоулин А.Н., Валихметова К.Р., Майоров П.В., Шамарина А.М., Лазарьков П.В., Вронский А.С., Харах Я.Н., 2022 тел. +7 912 884 04 40 e-mail: [email protected]
[Асташина Н.Б. (контактное лицо) - заведующая кафедрой ортопедической стоматологии, доктор медицинских наук, доцент; Байдаров А.А. - проректор по информационным технологиям и инновационному развитию, заведующий кафедрой медицинской информатики и управления медицинскими системами, кандидат технических наук; Арутюнов СД. - заведующий кафедрой цифровой стоматологии, доктор медицинских наук, профессор; Южаков АА - заведующий кафедрой «Автоматика и телемеханика», доктор технических наук, профессор; Кокоулин А.Н. - доцент кафедры «Автоматика и телемеханика», кандидат технических наук; Валихметова К.Р. -ординатор кафедры ортопедической стоматологии; Майоров П.В. - преподаватель кафедры медицинской информатики и управления медицинскими системами, аспирант кафедры «Автоматика и телемеханика»; Шамарина А.М. - специалист кафедры медицинской информатики и управления медицинскими системами; Лазарьков П.В. - преподаватель кафедры медицинской информатики и управления медицинскими системами; аспирант кафедры хирургии с курсом сердечно-сосудистой хирургии и инвазивной кардиологии; Вронский А.С. -аспирант кафедры хирургии с курсом сердечно-сосудистой хирургии и инвазивной кардиологии, кандидат медицинских наук; Харах Я.Н. - кандидат медицинских наук, доцент кафедры цифровой стоматологии].
© Astashina N.B., Baydarov A.A., Arutyunov S.D., Yuzhakov А.А., Kokoulin A.N., Valikhmetova K.R., Mayorov P.V., Shamarina A.M., Lazarkov P.V., Vronsky A.S., Kharakh Ya.N., 2022 tel. +7 912 886 04 20 e-mail: [email protected]
[Astashina N.B. (*contact person) - MD, PhD, Associate Professor, Head of the Department of Orthopedic Dentistry; Baydarov A.A. - Candidate of Technical Sciences, Deputy Rector for Informational Technologies and Innovative Development, Head of the Department of Medical Informatics and Medical Systems Management; Arutyunov S.D. - MD, PhD, Professor, Head of the Department of Digital Dentistry; Yuzhakov A.A. - Doctor of Technical Sciences, Professor, Head of the Department of Automatics and Telemechanics; Kokoulin A.N. - Candidate of Technical Sciences, Associate Professor, Department of Automatics and Telemechanics; Valikhmetova K.R. - resident, Department of Orthopedic Dentistry; Mayorov P.V. -Lecturer of the Department of Medical Informatics and Medical Systems Management, postgraduate student of the Department of Automatics and Telemechanics; Shamarina A.M. - specialist, Department of Medical Information and Medical Systems Management; Lazarkov P.V. - Lecturer of the Department of Medical Information and Medical Systems Management, postgraduate student of the Department of Surgery with Course of Cardiovascular Surgery and Invasive Cardiology; Vronsky A.S. -Candidate of Medical Sciences, postgraduate student of the Department of Surgery with Course of Cardiovasclar Surgery and Invasive Cardiology; Kharakh Ya.N. - Candidate of Medical Sciences, Associate Professor of the Digital Dentistry Department].
DEVELOPMENT OF "ARTIFICIAL INTELLECT BASED DENTAL ANDROID SYSTEM" FOR SIMULATION OF MEDICAL MANIPULATIONS AND DOCTOR-PATIENT COMMUNICATION
N.B. Astashina1*, A.A. Baydarov1, S.D. Arutyunov2, A.A. Yuzhakov3, A.N. Kokoulin3, K.R. Valikhmetova1, P.V. Mayorov13, A.M. Shamarina1, P.V. Lazarkov1, A.S. Vronsky1, Ya.N. Kharakh2
1E.A Vagner Perm State Medical University,
2A.I. Yevdokimov Moscow State University of Medicine and Dentistry,
3Perm National Research Polytechnic University, Russian Federation
Цель. Создание оригинального мультифункционального сервисного антропоморфного робота, оснащенного элементами искусственного интеллекта и встраиваемого в систему сетевого обучения. Инициативной междисциплинарной группой исследователей, в созданном консорциуме вузов, реализуется проект, направленный на разработку роботизированного комплекса «Антропоморфный стоматологический робот», обладающего элементами искусственного интеллекта, воспроизводящего реальный клинический стоматологический прием.
Материалы и методы. Комплекс разработан на базе антропоморфного (человекообразного) робота, в функционал которого введена система искусственного интеллекта различной направленности. Результаты. Факторами, расширяющими диапазон применимости комплекса, увеличивающими его реалистичность в процессе обучения, являются использование конструктива с высокой степенью подобия и внедрение развитой сенсорики в фантомных зубах и челюсти, в частности: зубы представляют собой гетерогенные объекты из полимерных материалов, имеющие различные физико-механические характеристики, что характерно для естественного зуба (эмаль и дентин), со встроенными датчиками контакта, термическим датчиком для считывания параметров нагревания зуба в процессе препарирования, для отработки навыков профилактики ожога «пульпы»; «умная» челюсть, состоящая из нескольких независимых секторов, содержит в себе тензодатчики, позволяющие определить усилие, приложенное к той или иной части челюсти.
Выводы. Возможность аудиовизуальной коммуникации с роботом позволяет осуществлять сценарный подход к обучению в ходе голосового общения. Разрабатываемый комплекс - это инновационное решение современных задач подготовки врачебных кадров в стремительно формирующейся цифровой образовательной среде на всех этапах медицинского образования.
Ключевые слова. Фантомы, симуляторы, образовательная платформа, искусственный интеллект, нейросеть, практические умения, роботизированный комплекс.
Objective. The study is aimed at designing an inventive, multifunctional artificial intellect based anthropomorphic service robot, which could be integrated into an online learning system. An interdisciplinary research group in the framework of a newly formed university consortium is implementing a project in order to develop an artificial intellect based robotized Dental Android System able to simulate an actual clinical dental appointment.
Materials and methods. The system is based on an android (humanoid) robot comprising a multifunctional artificial intellect system. The factors, expanding the applicability range of the system and elevating its realistic basis in the course of learning are the use of a high-similarity construction, and introduction of a well-developed sensorics in the model teeth and jaw, in particular: - the teeth have the form of heterogeneous objects made of polymer materials with different stress-related characteristics typical for a natural tooth (enamel and dentin) with embedded contact sensors, a thermal sensor to read tooth heating parameters in the course of preparation for the purpose of training pulp burn prevention skills; - the smart jaw comprises several independent sectors and load cells allowing to determine the force applied to any part of the jaw.
Results. Possibility of audiovisual communication with the robot allows to implement a scenario approach to learning in the course of vocal communication.
Conclusions. The system being developed is an innovative solution of current goals of medical staff training in the rapidly emerging digital educational medium throughout the entire medical education process. Keywords. Models, simulators, educational platform, artificial intellect, neuronet, working knowledge, robotized system.
Введение
Применение специальных моделей, имитирующих органы и тело человека в целом или частично, именуемых «фантом», позволяет смоделировать лечебный процесс и в разной степени эффективности обеспечить отработку определенных практических умений.
Симуляция клинических ситуаций на искусственных моделях челюстей и возможность неоднократного повторения отдельных операций позволяют приобрести мастерство, которое обеспечивает профессиональный уровень врача-стоматолога.
Для освоения пропедевтических навыков по стоматологии традиционно используются фантомы, представляющие собой отдельные удаленные естественные или пластмассовые зубы, которые фиксируются в гипсовых моделях или на специальных устройствах ниж-
ней и верхней челюстей. Подобные модели удерживаются студентами в руках в процессе выполнения практических упражнений. Недостатком фантомов, сформированных из удаленных зубов, являются сложности, связанные с обработкой и хранением биоматериала, а пластмассовых зубов - несоответствие их физико-механических свойств характеристикам естественных зубов. Отдельным элементом имитации стоматологического пациента являются фантомные челюсти и зубы, спецификация которых зависит от задач по формированию профессиональных умений и навыков.
Базой современных цифровых симуля-ционных комплексов являются системы, основная структура которых - фантомы головы, выполненные из пластмассы и металла, в которые введены модели челюстей с искусственными зубами (рис. 1).
Рис. 1. Современные фантомные комплексы, установленные в аудитории для отработки мануальных умений и навыков МГМСУ им. А.И. Евдокимова
Подобные комплексы далеки от реалий клинического стоматологического приема. Развитие современных технологий производства предоставляет возможность симуляции практически любого стоматологического врачебного мануального навыка, а используемые материалы обеспечивают максимально приближенные к реальности тактильные ощущения.
Стремительно развивающиеся цифровые технологии внедряются практически во все сферы деятельности человека, в том числе и в образование.
Разработка и использование в медицинской практике робототехнических симуля-торов с функцией дополненной и виртуальной реальности является свершившимся фактом. Производимые робот-ассистированные системы для целей образования [1] могут быть классифицированы следующим образом:
- роботы-симуляторы, использующие дополненную и виртуальную реальность для препарирования зубов: DentSim 5,0, PerioSim, SimEx CDS-100, IDEA (Individual dental education assistant), Simodont Dental Trainer [2];
- роботы, физически имитирующие пациента: Dentaroid, Simroid [3];
- хирургические роботы-симуляторы: PUMA 200, PUMA 560 [4], «Леонардо», «Лео» [5], Kobra [6].
При этом создание отечественного эффективного симулятора, максимально приближенного к физическому образу пациента, является актуальной задачей и требует дополнительных исследований, связанных с применением искусственного интеллекта (ИИ) и последних достижений робототехники.
Материалы и методы исследования
В качестве основы для создания антропоморфного стоматологического робота (АСР) избрана платформа Promobot Robo-C. Компоненты разрабатываемого комплекса изображены на схеме (рис. 2). В центре схемы представлена робот-антропоморфная платформа. В полости рта робота расположены «умные» зубы, оснащенные датчиками температуры и контакта, встроенные в «умную челюсть» с тензодатчиками, а также четыре камеры. Комплекс включает в себя программное обеспечение с лингвистической базой и сценариями кейсов. Для запуска сценариев и настройки робота имеется панель управления, а для трансляции изображения с камер и показаний с датчиков используется панель-монитор. Для обеспечения работы комплекс должен быть подключен к сети Интернет.
Антропоморфная платформа Robo-C
Тензодатчик
Термодатчик
Широкоугольная Широкоугольная
камера камера
Камера высоко- Камера высокого
го разрешения разрешения
Панель управления
Рис. 2. Функциональная схема комплекса «Антропоморфный стоматологический робот»
При разработке роботизированного комплекса «Антропоморфный стоматологический робот» (АСР) для реализации цели по введению в его структуру элементов искусственного интеллекта, созданию «умной» челюсти и «умных» зубов использована иерархическая (многоэтапная) оптическая система обработки нескольких сотен изображений полостей на фантомных зубах и зубах, препарированных под искусственную коронку. В ходе работы создана система распознавания по принципу «от грубого к точному», где на первом этапе происходит локализация помеченного и обработанного зуба по первой модели нейронной сети и из исходного кадра вычленяется соответствующий фрагмент. На втором этапе выполнен анализ правильности результатов обработки с помощью модели второй нейронной сети, обученной на сотнях правильных и ошибочных примеров.
При формировании нейронной сети подготовлена база данных, которая представляет собой большой конгломерат фотографий отдельных зубов с нанесенными метками, препарированных зубов, а также разметка (аннотирование), указывающая на расположение и контуры объектов, которые должна распознавать нейросеть. Нами рассмотрены два варианта отработки мануальных навыков (кейса): препарирование зуба под коронку и лечение кариеса. Для обоих вариантов был собран уникальный набор данных, размечены сотни фотографий корректно выполненной манипуляции и сотни работ, выполненных с отклонением от нормы.
Распознавание и оценка правильности выполнения препарирования оцениваются по следующим параметрам:
- правильность формы препарированной полости зуба;
- глубина препарирования, определяемая по снимку результата;
- время выполнения задания;
- для оценки правильности выполнения задания по лечению каналов зуба может быть использован «умный зуб», оснащенный датчиками глубины препарирования, температурным датчиком и механизмом подачи подкрашенной жидкости для имитации проникновения инструмента в «пульпарную» полость зуба.
Результаты и их обсуждение
В период с 2020 по 2022 г. инициативной группой исследователей Пермского государственного медицинского университета имени академика Е.А. Вагнера, Московского государственного медико-стоматологического университета имени А.И. Евдокимова и Пермского национального исследовательского политехнического университета реализуется проект, направленный на разработку роботизированного комплекса «Стоматологический антропоморфный робот» [7], обладающего элементами искусственного интеллекта, позволяющий воспроизвести реальную клиническую картину как с возможной визуальной оценкой, так и с аудио-и видеокоммуникацией между врачом (студентом) и пациентом (роботом) (рис. 3).
Комплекс АСР создан на базе робота РгошоЬоЬС (производство «Промобот», Россия), который имеет высокий уровень антропоморфности благодаря анатомическому расположению свыше 20 сервоприводов ме-хатронных систем. Факторами, расширяющими диапазон применимости комплекса, увеличивающими ее реалистичность в рамках процесса обучения, является использование конструктива с высочайшей степенью подобия. В функционал антропоморфного робота-симулятора вводится несколько компонентов, в том числе сенсорный, реакционный, диалоговый.
Формирование высокого уровня реалистичности при проведении манипуляций и
симуляции врачебного приема достигается благодаря работе сервоприводов, за счет которых обеспечивается подвижность головы с активной лицевой маской, шеи - в трех степенях свободы и торса в двух степенях свободы (рис. 4, а). Помимо того, довольно высокая
степень естественности придается путем использования силиконовых материалов, имитирующих естественную кожу лица и шеи человека, а также натуральных волос, формирующих волосяной покров на голове робота (рис. 4, б).
Рис. 3. Роботизированный комплекс «Антропоморфный стоматологический робот»
а б
Рис. 4. Структура головы стоматологического антропоморфного робота: а - каркас механизированной части головы; б - голова с лицевой маской
Уникальной особенностью разработанного комплекса является наличие созданной интеллектуальной (умной) челюсти и встроенных в нее «умных» зубов с системой развитой сенсорики (приоритетные справки на заявки патентов на изобретение № 2022131256 и № 2022131257), в частности:
- фантомные зубы представляют собой гетерогенные объекты из полимерных материалов, имеющие различные физико-механические характеристики, что характерно для естественного зуба (эмаль и дентин), обеспечивающие легко ощущаемые различия при проведении студентом имитации лечебных манипуляций;
- «умный» зуб имеет ряд встроенных датчиков, в том числе контакта (для определения фактического контакта инструмента с тканями фантомного зуба), термический датчик (для отработки навыков профилактики ожога тканей в ходе работы) и др.;
- «умная» челюсть, содержит в себе тензодатчики, позволяющие определить усилие, приложенное к той или иной части челюсти, и косвенно определять моменты контакта инструмента с зубом. Наличие встроенного инерциального модуля позволяет обеспечить определение пространственного положения и угла поворота челюстей в каждый момент времени. Использование «умной» челюсти, интегрированной в конструкцию многофункционального антропоморфного робота, позволяет обеспечить необходимый уровень тактильной обратной связи при совершении обучающимися врачебных манипуляций. Данные параметров, получаемые в процессе работы с «умной» челюстью и «умным» зубом, выводятся на специальную панель, что позволяет визуализировать и оценить уровень практических умений обучающегося. Важным фактором, обеспечивающим реалистичность работы, является использование стоматологической установки и медицинского
инструментария, что позволяет погружать обучающегося в образовательную цифровую среду.
Разработанный комплекс АСР с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации «врач - пациент» в клинике оснащен диалоговой системой, на базе которой были сформированы специализированные сценарии, позволяющие в прикладном аспекте сформировать клиническое мышление в подготовке специалистов на разных этапах обучения. Возможность работы в формате диалога значительно повышает уровень реалистичности за счет моделирования условий для полноценного общения врача (студента) и пациента (робота). Кроме того, наличие у антропоморфного робота развитых средств аудио- и видеокоммуникации позволяет организовать двухстороннее взаимодействие (прямую и обратную связь) непосредственно в процессе выполнения практических работ, робот: может реагировать на «болезненные» вмешательства, давать информацию/подсказки о ходе работы, отслеживать типовые ошибки. Развитие аудиовизуальной коммуникации с роботом (переход в свободный диалоговый режим) позволяет осуществлять сценарный подход к обучению: необходимость аргументированного и убедительно диалога с пациентом, выяснение состояния пациента и его предпочтений, диагностика заболевания в ходе реальной коммуникации с роботом посредством голосового общения.
В зависимости от выбранного сценария стоматологического приема формируются и реализуются клинические ситуации с возможностью выбора необходимых диагностических процедур, установки диагноза, определения метода лечения, осуществления манипуляций, формулирования назначений и рекомендаций, маршрутизации пациента и т.п. Работа сценариев интегрирована в лин-
гвистическую базу робота в полном соответствии с клиническими рекомендациями. Возможна интеграция в программное обеспечение широкого спектра различных поведенческих матриц, характеризующих реальное поведение пациентов разного возраста, включая изменение цвета кожи, мышечные микродвижения, наклоны головы, смыкание и размыкание челюстей, в том числе непосредственно в процессе врачебных манипуляций, различные виды реакции пациента на раздражители, что позволяет успешно реа-лизовывать клинические ситуации, в частности: пациент со страхом перед медицинскими процедурами, нештатное течение процедур, непредвиденное изменение состояния пациента (вплоть до обморока или коллапса), экстренные и неотложные состояния на приеме.
Управление коммуникативными процессами и выбор сценариев осуществляется через специальную выносную сенсорную панель, имитирующую планшет врача, который также в реальных медицинских информационных системах может быть использован на рабочих местах.
Выводы
1. Разработанный комплекс «Антропоморфный стоматологический робот» - это уникальное, не имеющее прямых аналогов в мире инновационное решение современных задач подготовки врачебных кадров в стремительно формирующейся цифровой образовательной среде на всех этапах додиплом-ного и непрерывного последипломного дополнительного медицинского образования.
2. Введение базовых компонентов в структуру разработанного комплекса параллельно с проведением дальнейших работ по его усовершенствованию, обеспечивает возможность его интеграции, как в образовательный, так и аккредитационный процесс.
Библиографический список
1. Carmen Juan M., Alexandrescu L. Mobile Augmented Reality System for the Learning of Dental Morphology, available at: https://revistes.ub.edu/index.php/der/article/vi ew/l5344/pdf; Ultra Realisitc Dental Training Android Robot for Novice Dentists -https://phys.org/news/2011 -06-showa-hanako-realistic-robot-novice.html. URL: http://www.leo-nardo-dental.ru.
2. Ta-Ko Huang, Chi-Hsun Yang, Yu-Hsin Hsieh, Jen-Chyan Wang, Chun-Cheng Hung. Augmented reality (AR) and virtual reality (VR) applied in dentistry. Kaohsiung Journal of Medical Sciences 2018; 34: 243-248.
3. Dimri D., Nautiyal S. Dental Robotics-Get Going. J. Oral Dent. Health Res. 2020; 2: 1-3.
4. Tom C.T. van Riet, Kevin T.H. Chin Jen Sem, Jean-Pierre T.F. Ho, René Spijker, Jens Ko-ber, Jan de Lange. Robot technology in dentistry, part one of asystematic review: literature characteristics. Dental materials 2021; 37: 1217-1226.
5. Стоматологический симулятор Леонардо, available at: http://www.leonardo-dental.ru/.
6. Buchbender M., Maser M., Neukam F.W., Kesting M.R., Attia S., Schmitt Ch.M. Kobra Surgery Simulator - A Possibility to Improve Digital Teaching? A Case-Control Study. International Journal of Environmental Research and Public Health 2021; 18: 1827.
7. Янушевич О.О., Ташкинов А.А., Минаева Н.В., Арутюнов С.Д., Асташина Н.Б., Байдаров А.А, Безукладников И.И., Южа-ков А.А. Стоматологический антропоморфный робот. Новая эра в имитации врачебных манипуляций и клинического приема. Cathedra-Кафедра. Стоматологическое образование 2021; 78: 54-57.
References
1. Carmen Juan M., Alexandrescu L. Mobile Augmented Reality System for the Learning
of Dental Morphology, available at: https: //revistes.ub.edu/index.php/der/article/view/15 344/pdf; Ultra Realisitc Dental Training Android Robot for Novice Dentists - https://phys.org/ news/2011-06-showa-hanako-realistic-robot-novicehtml. URL: http://www.leonardo-dental.ru.
2. Ta-Ko Huang, Chi-Hsun Yang, Yu-Hsin Hsieh, Jen-Chyan Wang, Chun-Cheng Hung. Augmented reality (AR) and virtual reality (VR) applied in dentistry. Kaohsiung Journal of Medical Sciences 2018; 34: 243-248.
3. Dimri D., Nautiyal S. Dental Robotics-Get Going. J. Oral Dent. Health Res. 2020; 2: 1-3.
4. Tom C.T. van Riet, Kevin T.H. Chin Jen Sem, Jean-Pierre T.F. Ho, René Spijker, Jens Kober, Jan de Lange. Robot technology in dentistry, part one of asystematic review: literature characteristics. Dental materials 2021; 37: 1217-1226.
5. Стоматологический симулятор Леонардо, available at: http://www.leonardo-dental.ru/.
6. Buchbender M., Maser M., Neukam F.W., Kesting M.R., Attia S., Schmitt Ch.M. Kobra Surgery Simulator - A Possibility to Improve Digital
Teaching? A Case-Control Study. International Journal of Environmental Research and Public Health 2021; 18: 1827.
7. Yanushevich O.O., Tashkinov A.A., Mi-naeva N.V., Arutyunov S.D., Astashina N.B., Baidarov A.A., Bezukladnikov I.I., Yuzhakov A.A. Dental anthropomorphic robot. A new era in imitation of medical manipulation and clinical admission. Cathedra - Department. Dental Education 2021; 78: 54-57 (in Russian).
Финансирование. Работа выполнена при финансовой поддержке Пермского научно-образовательного центра «Рациональное недропользование», 2022 г.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов. Вклад авторов равноценен.
Поступила: 07.12.2022
Одобрена: 12.12.2022
Принята к публикации: 15.12.2022
Просьба ссылаться на эту статью в русскоязычных источниках следующим образом: Разработка комплекса «антропоморфный стоматологический робот» с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации «врач - пациент» / Н.Б. Асташина, А.А. Байдаров, С.Д. Арутюнов, А.А. Южаков, АН. Кокоулин, К.Р. Валихметова, П.В. Майоров, А.М. Шамарина, П.В. Ла-зарьков, АС. Вронский, Я.Н. Харах // Пермский медицинский журнал. - 2022. - Т. 39, № 6. - С. 62-70. DOI: 10.178l6/pmj39662-70
Please cite this article in English as: Astashina N.B., Baydarov A.A., Arutyunov S.D., Yuzhakov AA, Kokou-lin AN., Valikhmetova K.R., Mayorov P.V., Shamarina AM., Lazarkov P.V., Vronsky AS., Kharakh Ya.N. Development of "artificial intellect based dental android system" for simulation of medical manipulations and doctor -patient communication. Perm Medical Journal, 2022, vol. 39, no. 6, pp. 62-70. DOI: 10.178l6/pmj39662-70
