CC BY
2
НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ март-апрель 2024 Том 24 № 2 http://ntv.ifmo.ru/
I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
March-April 2024 Vol. 24 No 2 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
doi: 10.17586/2226-1494-2024-24-2-335-338 УДК 004.81, 004.896
Моделирование восприятия рекомендаций системы поддержки принятия врачебных решений на основе предсказательного моделирования при проведении профилактических осмотров врачами-стоматологами
Александр Николаевич Солдатов1, Иван Константинович Солдатов2, Сергей Валерьевич Ковальчук3^
!>3 Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
2 Военно-медицинская академия имени С.М. Кирова, Санкт-Петербург, 194044, Российская Федерация
1 371755@niuitmo.ru, https://orcid.org/0009-0008-5962-8931
2 ivan-soldatov@mail.ru, https://orcid.org/0000-0001-8740-9092
3 kovalchuk@itmo.ru«, https://orcid.org/0000-0001-8828-4615
Аннотация
Представлены результаты исследования восприятия систем поддержки принятия врачебных решений в рамках проведения ежегодной диспансеризации врачами-стоматологами в общеобразовательных организациях Минобороны России (суворовских и нахимовском военных училищах, президентских кадетских училищах и кадетских военных корпусах). На примере рассматриваемого сценария проведена апробация прототипа системы на основе машинного обучения. Для оценки восприятия выполнен опрос врачей-стоматологов с демонстрацией результатов работы прототипа и оценкой воспринимаемых характеристик предоставляемых результатов предсказательного моделирования. Построена модель на основе байесовской сети для оценки рассматриваемых показателей, продемонстрировавшая повышение качества предсказания воспринимаемых показателей с учетом влияния латентных состояний субъективного восприятия оператора. Предложенный подход в дальнейшем планируется использовать для повышения эффективности взаимодействия врача и системы поддержки принятия врачебных решений. Ключевые слова
системы поддержки принятия решений, человеко-компьютерное взаимодействие, предсказательное моделирование, машинное обучение, кариес, профилактический осмотр
Ссылка для цитирования: Солдатов А.Н., Солдатов И.К., Ковальчук С.В. Моделирование восприятия рекомендаций системы поддержки принятия врачебных решений на основе предсказательного моделирования при проведении профилактических осмотров врачами-стоматологами // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 2. С. 335-338. doi: 10.17586/2226-1494-2024-24-2-335-338
Modeling perceiving of recommendations provided by clinical decision support system based on predictive modeling within dental preventive screening
Alexander N. Soldatov1, Ivan K. Soldatov2, Sergey V. Kovalchuk3«
ITMO University, Saint Petersburg, 197101, Russian Federation 2 The S.M. Kirov Military Medical Academy, Saint Petersburg, 194044, Russian Federation
1 371755@niuitmo.ru, https://orcid.org/0009-0008-5962-8931
2 ivan-soldatov@mail.ru, https://orcid.org/0000-0001-8740-9092
3 kovalchuk@itmo.ru«, https://orcid.org/0000-0001-8828-4615
Abstract
The results of a current study of the perception of clinical decision support systems (CDSS) in the framework of preventive screening by dentists in schools of the Russian Ministry of Defense (cadet corps) are presented. Using
© Солдатов А.Н., Солдатов И.К., Ковальчук С.В., 2024
Моделирование восприятия рекомендаций системы поддержки принятия врачебных решений.
the example of the scenario under consideration, a prototype of the CDSS based on machine learning was evaluated. To assess perception, a survey was conducted demonstrating the results of the prototype and assessing the perceived characteristics of the provided predictive modeling results. A model was built based on a Bayesian network to evaluate the considered indicators, which demonstrated an increase in the quality of prediction of perceived indicators, taking into account the influence of latent states of the operator's subjective perception. The proposed approach is planned to be used in the future to increase the efficiency of doctor-CDSS interaction. Keywords
decision support systems, human-computer interaction, predictive modeling, machine learning, caries, preventive screening
For citation: Soldatov A.N., Soldatov I.K., Kovalchuk S.V. Modeling perceiving of recommendations provided by clinical decision support system based on predictive modeling within dental preventive screening. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, vol. 24, no. 2, pp. 335-338 (in Russian). doi: 10.17586/2226-1494-2024-24-2-335-338
Кариес зубов является вторым по распространенности заболеванием во всем мире и самым распространенным из стоматологических заболеваний, достигая 100 % и не имеет тенденций к снижению [1, 2]. При этом профилактика и ранняя диагностика имеет существенное значение для снижения заболеваемости. Большое влияние в подобных задачах могут оказывать системы поддержки принятия врачебных решений (СППВР), основанные на предсказательном моделировании. Так, например, предсказательное моделирование индекса КПУ (сумма числа зубов в состояниях кариес-пломба-удален) позволяет реализовать планирование дополнительных профилактических мероприятий, выдать персонализированные рекомендации для пациента
[3]. Тем не менее, практическая применимость таких моделей во многом зависит от положительного восприятия рекомендаций со стороны врачей. Восприятие, в свою очередь, может зависеть как от объективной ситуации, так и от персональных особенностей врача
[4]. Ситуация может усложняться при использовании современных моделей искусственного интеллекта, зачастую отличающихся низкой объяснимостью и «прозрачностью» [5].
Для повышения эффективности взаимодействия в рамках представляемых исследований предлагается акцентировать внимание на индивидуальных чертах восприятия рекомендаций СППВР (в первую очередь — реализуемых с использованием искусственного интеллекта). В рамках данного подхода предлагается расширение процедуры выдачи рекомендаций СППВР (рисунок, a), включающее: 1) профиль врача, определяющий его индивидуальные особенности профессионального поведения; 2) предсказательную модель, применяемую для оценки восприятия врачом доступной информации (прогноза состояния пациента, опционально дополняемого объяснением, альтернативными решениями и пр.); 3) механизм фильтрации информации с точки зрения наиболее эффективного взаимодействия врача и СППВР. В данной ситуации прогнозирование субъективного восприятия в сочетании с оценкой эффективности «совместного» принятия решений врача и СППВР позволит в перспективе сформировать принципиально новые схемы взаимодействия человек-искусственный интеллект в сложных задачах принятия врачебных решений.
В рамках представляемого исследования разработан прототип СППВР (рисунок, Ь) для поддержки текущей
деятельности врачей-стоматологов, осуществляющих профилактический прием воспитанников общеобразовательных организаций Минобороны России. На основе анонимизированных данных 3701 обучающихся в возрасте 10-18 лет [6] построена предсказательная модель с использованием алгоритмов машинного обучения для предсказания изменения индекса КПУ Лучшие показатели были получены с использованием модели CatBoost (средняя абсолютная ошибка 0,86 ед. КПУ) [3]. В рамках прототипа СППВР врачам при заполнении карты предоставлялся прогноз изменения КПУ пациента в течение года, а также рекомендуемый план лечебно-профилактических мероприятий и рекомендаций пациенту.
Для изучения особенностей восприятия рекомендаций, выдаваемых прототипом СППВР, проведен опрос потенциальных пользователей (врачей-стоматологов) с демонстрацией анонимизированной карты пациента и сформированного прогноза динамики КПУ. Пользователям предлагалось провести оценку прогноза по трем характеристикам: понятность прогноза для конкретного пациента; согласие с прогнозом; воспринимаемая полезность прогноза при планировании дальнейших мероприятий. Оценки проводились по пятиступенчатой шкале Ликерта (от минус 2 — полностью не согласен до плюс 2 — полностью согласен). В опросе участвовали 15 пользователей, предоставивших 427 наборов оценок. В целом рекомендации были восприняты специалистами нейтрально или положительно: доля неотрицательных оценок для рассматриваемых показателей составила по трем предложенным характеристикам, соответственно, 92,7 %, 89,9 % и 97,0 %. Полученные оценки отличаются приемлемой согласованностью с коэффициентом альфа Кронбаха 0,736. При этом данный показатель варьируется для отдельных карт пациентов от 0,511 до 0,910, что косвенно свидетельствует о проявлении субъективности в восприятии отдельных карт разными специалистами.
Для исследования влияния индивидуальных характеристик на восприятие рекомендаций СППВР построена байесовская сеть доверия, включающая рассматриваемые три показателя (связи между показателями сформированы по аналогии с работой [4]) и латентную переменную «когнитивного состояния» врача, влияющие на все остальные показатели. В рамках первого эксперимента латентная переменная закодирована как one-hot эмбеддинг врача. Байесовская сеть использова-
А.Н. Солдатов, И.К. Солдатов, С.В. Ковальчук
Рисунок. Реализация системы поддержки принятия врачебных решений (СППВР) с оценкой восприятия врача: общая схема
расширения СППВР (а); прототип СППВР в рамках профилактического приема врача-стоматолога (b) Figure. Implementation ofclinical decision support system (CDSS) with doctor's perceiving assessment: general approach to CDSS
extension (a); CDSS prototype for dental preventive screening (b)
на для предсказания эмбеддинга по каждому отдельному случаю (стратегия leave-one-out). Далее проведена кластеризация полученных эмбеддингов, с заданным числом кластеров N и использованием меток кластеров в качестве значения идентифицированной переменной когнитивного состояния врача. Предсказанное состояние латентной переменной может быть использовано для предсказания явных субъективных характеристик восприятия. Так, в рамках эксперимента показано снижение средней абсолютной ошибки предсказания целевой переменной «воспринимаемая полезность» с 0,337 ед. до 0,039 ед. шкалы Ликерта (при числе выделяемых кластеров N = 3).
Полученные результаты предварительных экспериментов позволяют говорить о том, что латентное состояние врача-стоматолога, влияющее на восприятие рекомендаций СППВР, потенциально может быть предсказано и использовано для оптимизации взаимодействия врача с системой, достижения консенсуса в этом взаимодействии, повышения эффективности принимаемых решений. В рамках дальнейшего развития данного направления исследований планируется разработка более детальных, структурированных и вместе с тем интерпретируемых моделей латентных когнитивных состояний пользователей СППВР на основе известных моделей профессионального поведения врачей [7] и восприятия технологических решений [8].
Моделирование восприятия рекомендаций системы поддержки принятия врачебных решений...
Литература
1. Кузьмина Э.М., Янушевич О.О., Кузьмина И.Н., Лапатина А.В. Тенденции распространенности и интенсивности кариеса зубов среди населения России за 20-летний период // Dental Forum. 2020. № 3(78). P. 2-8.
2. Волошина И.М., Беликова Е.В. Кариес зубов высокой степени риска и комплаентность пациента // Эндодонтия Today. 2020. Т. 18. № 2. С. 41-44. https://doi.org/10.36377/1683-2981-2020-18-2-41-44
3. Солдатов И.К. и др. Прогнозирование интенсивности поражения кариесом зубов воспитанников общеобразовательных организаций Минобороны России с помощью алгоритмов машинного обучения // Кремлевская медицина. Клинический вестник. 2024. (в печати).
4. Kovalchuk S.V., Kopanitsa G.D., Derevitskii I.V., Matveev G.A., Savitskaya D.A. Three-stage intelligent support of clinical decision making for higher trust, validity, and explainability // Journal of Biomedical Informatics. 2022. V. 27. P. 104013. https://doi. org/10.1016/j.jbi.2022.104013
5. Abdul A., Vermeulen J., Wang D., Lim B.Y., Kankanhalli M. Trends and trajectories for explainable, accountable and intelligible systems: an HCI research agenda // Proc. of the 2018 CHI Conference on Human Factors in Computing Systems. 2018. P. 1-18. https://doi. org/10.1145/3173574.3174156
6. Солдатов А.Н., Солдатов И.К., Гребнев Г.А., Ковальчук С.В. База данных состояния стоматологического здоровья воспитанников общеобразовательных организаций Минобороны России. Свидетельство о регистрации базы данных RU2023622392, 13.07.2023.
7. Presseau J., Johnston M., Francis J.J., Hrisos S., Stamp E., Steen N., Hawthorne G., Grimshaw J.M., Elovainio M., Hunter M., Eccles M.P. Theory-based predictors of multiple clinician behaviors in the management of diabetes // Journal of Behavioral Medicine. 2014. V. 37. N 4. P. 607-620. https://doi.org/10.1007/s10865-013-9513-x
8. Dillon A. Human Acceptance of Information Technology // International Encyclopedia of Ergonomics and Human Factors. 2006. V. 27. N 3. P. 425-478.
References
1. Kuzmina E.M., Yanushevich O.O., Kuzmina I.N., Lapatina A.V. Tendency in the prevalence of dental caries among the Russian population over a 20-year period. Dental Forum, 2020, no. 3(78), pp. 2-8. (in Russian)
2. Voloshina I.M., Belikova E.V. High risk dental caries and patient compliance. Endodontics Today, 2020, vol. 18, no. 2, pp. 41-44. (in Russian). https://doi.org/10.36377/1683-2981-2020-18-2-41-44
3. Soldatov A.N. et al. Predicting the intensity of caries damage to the teeth of students in educational institutions of the Russian Ministry of Defense using machine learning algorithms. Kremlin Medicine Journal, 2024, in press. (in Russian)
4. Kovalchuk S.V., Kopanitsa G.D., Derevitskii I.V., Matveev G.A., Savitskaya D.A. Three-stage intelligent support of clinical decision making for higher trust, validity, and explainability. Journal of Biomedical Informatics, 2022, vol. 27, pp. 104013. https://doi. org/10.1016/j.jbi.2022.104013
5. Abdul A., Vermeulen J., Wang D., Lim B.Y., Kankanhalli M. Trends and trajectories for explainable, accountable and intelligible systems: an HCI research agenda. Proc. of the 2018 CHI Conference on Human Factors in Computing Systems, 2018, pp. 1-18. https://doi. org/10.1145/3173574.3174156
6. Soldatov A.N., Soldatov I.K., Grebnev G.A., Kovalchuk S.V. Database of the dental health state of students in educational institutions of the Russian Ministry of Defense. Database registration certificate RU2023622392, 13.07.2023. (in Russian)
7. Presseau J., Johnston M., Francis J.J., Hrisos S., Stamp E., Steen N., Hawthorne G., Grimshaw J.M., Elovainio M., Hunter M., Eccles M.P. Theory-based predictors of multiple clinician behaviors in the management of diabetes. Journal of Behavioral Medicine, 2014, vol. 37, no. 4, pp. 607-620. https://doi.org/10.1007/s10865-013-9513-x
8. Dillon A. Human Acceptance of Information Technology.
International Encyclopedia of Ergonomics and Human Factors, 2006, vol. 27, no. 3, pp. 425-478.
Авторы
Authors
Солдатов Александр Николаевич — студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, https://orcid. о^/0009-0008-5962-8931, 371755@niuitmo.ru
Солдатов Иван Константинович — кандидат медицинских наук, доцент, докторант, Военно-медицинская академия имени С.М. Кирова, Санкт-Петербург, 194044, Российская Федерация, sc 57195325408, https://orcid.org/0000-0001-8740-9092, ivan-soldatov@mail.ru Ковальчук Сергей Валерьевич — кандидат технических наук, доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, sc 55382199400, https://orcid.org/0000-0001-8828-4615, kovalchuk@itmo.ru
Alexander N. Soldatov — Student, ITMO University, Saint Petersburg, 197101, Russian Federation, https://orcid.org/0009-0008-5962-8931, 371755@niuitmo.ru
Ivan K. Soldatov — PhD (Medicine), Associate Professor, Doctoral Student, The S.M. Kirov Military Medical Academy, Saint Petersburg, 194044, Russian Federation, sc 57195325408, https://orcid.org/0000-0001-8740-9092, ivan-soldatov@mail.ru
Sergey V. Kovalchuk — PhD, Associate Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, sc 55382199400, https:// orcid.org/0000-0001-8828-4615, kovalchuk@itmo.ru
Статья поступила в редакцию 27.02.2024 Одобрена после рецензирования 01.03.2024 Принята к печати 17.03.2024
Received 27.02.2024
Approved after reviewing 01.03.2024
Accepted 17.03.2024
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
