CC BY
3
МЕДИЦИНСКАЯ ИНФОРМАТИКА: ТЕОРИЯ И ПРАКТИКА
Обзор результатов опроса пользователей мобильного приложения «ПроРодинки», используемого
для выявления злокачественных новообразований кожи на территории Нижегородской области
Сиводедова Н.А.1 2, 1 Федеральное государственное бюджетное учреждение
КарякИН Н.Н.1, высшего образования «Приволжский исследователь-
Гамаюнов С.В.2 ский медицинский университет» Министерства здраво-
УСК0Ва К А i охранения Российской Федерации, 603005, г. Нижний
- Новгород, Российская Федерация
! Государственное бюджетное учреждение здравоохранения Нижегородской области «Нижегородский областной клинический онкологический диспансер», 603163, г. Нижний Новгород, Российская Федерация
2 [
В России ежегодно диагностируют более 600 тыс. новых случаев злокачественных новообразований кожи (ЗНК). ЗНК занимают первое место в структуре онкологических заболеваний мужского и женского населения в Российской Федерации. В настоящее время рост заболеваемости ЗНК отмечается во всем мире.
На сегодняшний день российские и зарубежные исследователи продолжают разрабатывать информационные системы на основе автоматического анализа изображений новообразований, направленного на диагностику ЗНК.
B Российской Федерации используется мобильное приложение «ПроРодинки». Приложение разработано сотрудниками кафедры кожных и венерических болезней ФГБОУ ВО «Приволжский исследовательский медицинский университет» Министерства здравоохранения Российской Федерации и специалистами в области ГГ-технологий ООО «АИМЕД» при поддержке ГБУЗ НО «Нижегородский областной клинический онкологический диспансер».
Цель настоящего этапа исследования - представить и оценить результаты использования мобильного приложения «ПроРодинки» пользователями в выявляемости злокачественных новообразований кожи.
Материал и методы. В работе использовался телефонный опрос пользователей приложения, получивших уведомление о необходимости обращения к врачу в ближайшее время. Телефонный опрос проведен волонтерами-студентами Приволжского исследовательского медицинского университета. Анкета опроса разработана совместно с кафедрой общей и клинической психологии Приволжского исследовательского медицинского университета.
Мобильное приложение «ПроРодинки» - это приложение, которое по фотографии невусов (родинок) и присланным данным определяет вероятность наличия ЗНК, на основании которой формирует и выдает пользователю рекомендацию о необходимости посещения врача.
Результаты. На территории Нижегородской области было загружено 37 022 изображения от 18 544 пользователей мобильного приложения «ПроРодинки». Получили уведомление о необходимости неотложного посещения врача специализированного центра 659 человек (3,5% пользователей). В результате телефонного опроса 343 (52%) пользователей, которым были даны рекомендации о необходимости неотложного посещения врача специализированного центра, обратились к врачу 178 (52%) человек, у 105 (59%) из них после консультации была подтверждена необходимость биопсии, что является маркером диагностической ценности искусственного интеллекта, равной по диагностической точности осмотру дерматовенеролога. По результатам биопсии у 73 (78%) обратившихся подтверждено злокачественное новообразование кожи.
Из тех, кто не обратился к врачу, 45,4% опрошенных пользователей не видели уведомление о необходимости обращения. 39% пользователей, получивших уведомление с подозрением на ЗНК, не ответили на телефонный опрос. Полученные данные говорят о необходимости поиска активных решений информирования пациента, вошедшего в группу высокого риска по ЗНК. Целесообразным является передача функции информирования пациентов с высоким риском ЗНК о необходимости обращения в профильное медицинское учреждение с целью маршрутизации пациента.
Ключевые слова:
злокачественные новообразования кожи; ранняя выявляемость; телемедицинские технологии; мобильные приложения; мобильное приложение «ПроРодинки»
Финансирование. Финансирование исследования осуществлялось в рамках проекта «Фундаментальная онкология: от эксперимента к клинической практике» программы «Приоритет-2030». Конфликт интересов. Авторы заявляют об отсутствии конфликтов интересов.
Вклад авторов. Проведение исследования, подготовка и редактирование текста, утверждение окончательного варианта статьи - Сиводедова Н.А.; разработка концепции, утверждение окончательного варианта статьи - Карякин Н.Н.; проведение статистического анализа - Гамаюнов С.В., Ускова К.А.
Для цитирования: Сиводедова Н.А., Карякин Н.Н., Гамаюнов С.В., Ускова К.А. Обзор результатов опроса пользователей мобильного приложения «ПроРодинки», используемого для выявления злокачественных новообразований кожи на территории Нижегородской области // ОРГЗДРАВ: новости, мнения, обучение. Вестник ВШОУЗ. 2023. Т. 9, № 4. С. 107-115. DOI: https://doi.org/10.33029/2411-8621-2023-9-4-107-115 Статья поступила в редакцию 21.06.2023. Принята в печать 01.11.2023.
Review of the results of a survey of users of the "ProRodinki" mobile application used to detect malignant skin tumors on the territory of the Nizhny Novgorod region
Simdedova N.A.1,1 PrivoLzhsky Research Medical University, Ministry Karyakin N.N.1, of Health of the Russian Federation, 603005, Nizhny
Gamayunov S.V.2, Novgorod, Russian Federation
Uskova K.A.1 2 Nizhny Novgorod Regional Clinical Oncology Dispen-
sary, 603163, Nizhny Novgorod, Russian Federation
In Russia, more than 600,000 new cases of malignant skin tumors (hereinafter referred to as MST) are diagnosed annually. MST is in first place in the structure of oncological diseases of the male and female population in the Russian Federation. Currently, an increase of MST is observed throughout the world.
Nowadays, Russian and foreign researchers continue to develop information systems based on automatic analysis of images of neoplasms aimed at diagnosing malignant neoplasms.
In the Russian Federation, the "ProRodinki" mobile application is used. The application was developed by employees of the Department of Skin and Venereal Diseases of the Federal State Budgetary Educational Institution of Higher Education "Privolzhsky Research Medical University" of the Ministry of Health of the Russian Federation and specialists in the field of IT technologies of AIMED LLC with the support of the Nizhny Novgorod Regional Clinical Oncological Dispensary.
The purpose of this stage of the study is to present and evaluate the results of the use of the ProRodinki mobile application by users in the detection of malignant skin tumors.
Material and methods. The work used a telephone survey of application users who received a referral to a doctor in the near future. The telephone survey was conducted by volunteer students of the Volga Research Medical University. The survey questionnaire was developed jointly with the Department of General and Clinical Psychology of the Volga Research Medical University.
The mobile application "ProRodinki" is an application that determines the probability of having MNV based on a photograph of nevi (moles) and the data sent, on the basis of which it forms and issues a recommendation to the user about the need to visit a doctor.
Results. On the territory of the Nizhny Novgorod region, 37 022 images were uploaded from 18,544 users of the "ProRodinki" mobile application. 659 people (3.5% of users) received a notification about the need for an urgent visit to a doctor at a specialized center. As a result of a telephone survey of 343 (52%) users who were advised on the need for an urgent visit to a doctor of a specialized center, 178 (52%) people consulted a doctor, in 105 (59%) of them, after consultation, the need for a biopsy was confirmed, which is a marker of the diagnostic value of artificial intelligence, equal to the diagnostic accuracy
of an examination by a dermatovenereoLogist. According to the biopsy results, 73 (78%) patients were confirmed to have a malignant neoplasm of the skin.
Of those who did not see a doctor, 45.4% of the surveyed users did not see a notification to see a doctor. 39% of users who received a notification with a suspected MST did not respond to a telephone survey. The data obtained speak in favor of finding active solutions to inform the patient, who is included in the high-risk group for MST. It is expedient to transfer the function of informing patients with a high risk of MST to a specialized medical organization for the subsequent accelerated routing of the patient to a specialized medica L institution.
Keywords:
malignant neoplasms of the skin; early detection; telemedicine technologies; mobile applications; mobile application "ProRodinki"
Funding. The research was funded within the framework of the project "Basic Oncology: from Experiment to Clinical
Practice" of the "Priority 2030" program.
Conflict of interest. The authors declare no conflict of interest.
Contribution. Conducting research, preparing and editing the text, approving the final version of the article -Sivodedova N.A.; development of the concept, approval of the final version of the article - Karyakin N.N.; carrying out statistical analysis - Gamayunov S.V., Uskova K.A.
For citation: Sivodedova N.A., Karyakin N.N., Gamayunov S.V., Uskova K.A. Review of the results of a survey of users of the "ProRodinki" mobile application used to detect malignant skin tumors on the territory of the Nizhny Novgorod region. ORGZDRAV: novosti, mneniya, obuchenie. Vestnik VSHOUZ [HEALTHCARE MANAGEMENT: News, Views, Education. Bulletin of VSHOUZ]. 2023; 9 (4): 107-15. DOI: https://doi.org/10.33029/2411-8621-2023-9-4-107-115 (in Russian)
Received 21.06.2023. Accepted 01.11.2023.
В России ежегодно диагностируют более 600 тыс. новых случаев злокачественных новообразований кожи (ЗНК). ЗНК занимают первое место в структуре онкологических заболеваний мужского и женского населения в Российской Федерации. В настоящее время рост заболеваемости ЗНК отмечается во всем мире [1].
Наиболее часто среди всех впервые выявленных новообразований, по поводу которых пациенты обращаются на консультацию к онкологу-дерматологу, встречается невус (2018 г. -51,53%, 2019 г. - 46,18%, 2020 г. - 47,61%), второе место занимает базальноклеточный рак (19,44; 20,36; 20,63% за 2018, 2019, 2020 гг. соответственно). Наблюдается рост первичной заболеваемости меланомой: в 2018 г. - 5,47%, в 2019 г. - 7,57%, в 2020 г. - 9,61%. Третье место занимают доброкачественные образования кожи,
такие как акрохордон, гемангиома, себорейная кератома, дерматофиброма, диспластический невус, которые входят в диапазон 18-20% [2].
На сегодняшний день российские и зарубежные исследователи продолжают разрабатывать информационные системы на основе автоматического анализа изображений новообразований, направленных на диагностику ЗНК [3-6].
В Российской Федерации используется мобильное приложение «ПроРодинки». Приложение разработано сотрудниками кафедры кожных и венерических болезней ФГБОУ ВО «Приволжский исследовательский медицинский университет» Министерства здравоохранения Российской Федерации и специалистами в области 1Т-технологий ООО «АИМЕД» при поддержке ГБУЗ НО «Нижегородский областной клинический онкологический диспансер».
Цель - представить и оценить результаты использования мобильного приложения «ПроРодинки» пользователями в выявляемости злокачественных новообразований кожи.
Материал и методы
В работе использовался телефонный опрос пользователей приложения, получивших уведомление о необходимости обращения к врачу в ближайшее время. Телефонный опрос проведен волонтерами-студентами Приволжского исследовательского медицинского университета. Анкета опроса разработана совместно с кафедрой общей и клинической психологии Приволжского исследовательского медицинского университета.
При проведении опроса пользователю задавали следующие вопросы: чью фотографию загружали пользователи приложения; обращались ли к врачу после отправки уведомления о необходимости обращения; куда обращались за медицинской помощью; если не обратились к врачу, то почему; проходили ли лечение; какой диагноз был установлен после обращения к врачу.
Программный комплекс «ПроРодинки» предназначен для анализа новообразований кожи на основе фотографий, а также набора риск-факторов, предоставленных пользователем. Фотографии, сделанные пользователями, проходят контроль с помощью алгоритмов компьютерного зрения. Алгоритм определяет качество снимка, а также наличие и размеры новообразования на полученном снимке. Анализ полученных снимков выполняется с применением обученного на верифицированном банке изображений, риск-факторов и динамике новообразований ансамбля нейронных сетей.
Нейронные сети построены на основе предобученных глубоких нейронных сетей с использованием банка из 6 тыс. изображений новообразований кожи с подтвержденным пато-гистологическим диагнозом с дообучением на накопленном банке изображений, получаемых от пользователей. Для нахождения оптимальной модели сети и ее гиперпараметров проведено
около 400 вычислительных экспериментов. Все изображения в банке из 6 тыс. случаев независимо оценены двумя ведущими экспертами онкодерматологами. На основе выполненного анализа изображения, риск-факторов и динамики образования приложение выдает рекомендацию по поводу срочности обращения к специалисту для дальнейшего очного обследования данного новообразования [7]. Алгоритм формирования рекомендаций для пользователя следующий: в случае, когда нейросеть оценила образование как доброкачественное, пользователю автоматически направляется соответствующее сообщение по его обращению. В ином случае, при оценке нейронной сетью образования как злокачественное, обращение пользователя отправляется на дополнительную верификацию эксперту (врачу), и по его заключению формируется окончательное сообщения для пользователя с рекомендацией обратиться к врачу.
Приложение доступно пользователям со 2 декабря 2020 г., наиболее активно использовалось с 1 февраля 2021 г. и обработало за 6 мес более 110 тыс. изображений. Данные по обращениям пользователей, хранимые на сервере, деперсонализированы и предоставлены для дальнейшего анализа [7].
Приложение «ПроРодинки» доступно пользователям бесплатно на всей территории России, что предоставляет возможность использования широкому кругу населения на телефонах с операционными системам Android (https:// pLay.googLe.com/store/apps/detaiLs?id=com. prorodinki) и iOS (https://apps.appLe.com/ru/ app/про-родинки /id1509983526).
База данных и программа для ЭВМ имеет государственную регистрацию — номер регистрации 2020664964, дата регистрации 19.11.2020. По заключению Росздравнадзора РФ № КП-20-006 от 14.04.2020, Программный комплекс «Про Родинки» является немедицинским программным обеспечением для неограниченного круга пользователей в образовательных, научно-популярных, справочно-информа-ционных целях, в том числе для выбора медицинского специалиста. На сегодняшний день программный комплекс проходит государст-
Пример уведомлений в приложении «ПроРодинки»
венную регистрацию как медицинское изделие, предназначенное для использования медицинскими специалистами в качестве системы поддержки принятия медицинского решения.
Пример уведомлений в приложении «ПроРодинки», ответов нейросети и эксперта приведен на рисунке.
Результаты и обсуждение
В Нижегородской области за период январь 2021 г. - октябрь 2022 г. с использованием мобильного приложения «ПроРодинки» было загружено 37 022 изображения от 18 544 пользователей. Получили уведомление о необходимости неотложного посещения врача специализированного центра 659 человек (3,5% пользователей).
Был проведен телефонный опрос граждан, которым искусственный интеллект (ИИ) показал высокий риск наличия ЗНК, дополнительно подтвержденный экспертом. Таких пользователей мы отнесли в группу «высокого риска ЗНК».
Не ответили на звонок дважды 257 (39%) человек, 59 (9%) человек выслушали волонтера и отказались отвечать на опрос. Всего опрошено 343 человека (52%). Результаты представлены в таблице.
Результаты, полученные после обращения к врачу, соответствуют литературным данным [2].
С респондентами, имеющими диагноз «ме-ланома», был проведен дополнительный опрос.
В результате 14 опрошенных пациентов с мела-номой кожи согласились предоставить детальную медицинскую информацию, включая установленную стадию ЗНК после проведенного гистологического исследования. Получены данные: 9 человек - 1А стадия, 3 - 1В стадия, 1 -11А стадия, 1 - 11В стадия. Соответственно,
I стадия установлена у 12 (86%) человек, II стадия - у 2 (14%).
В результате анализа данных по Нижегородской области за 2022 г. получены следующие данные: зарегистрировано 505 случаев мела-номы кожи; I стадия - 231 (45,7%) человек,
II стадия - 155 (30,7%), III стадия - 81 (16%), IV стадия - 38 (7,5%). Таким образом, несмотря на небольшую выборку, можно предположить, что мобильное приложение способствует более раннему выявлению меланомы кожи.
Заключение
В результате телефонного опроса 343 (52%) пользователей, которым были даны рекомендации о необходимости неотложного посещения врача специализированного центра, обратились к врачу 178 (52%) человек, у 105 (59%) из них после консультации была подтверждена необходимость биопсии, что является маркером диагностической ценности мобильного приложения «ПроРодинки», равной по диагностической точности осмотру дерматовенеролога [6, 8-10]. По результатам биопсии у 73 (78%) обратившихся подтверждено злокачественное новообразование кожи.
Из тех, кто не обратился к врачу, 45,4% опрошенных пользователей не видели уведомление о необходимости обращения, а 39% пользователей, получивших уведомление с подозрением на ЗНК, не ответили на телефонный опрос. Полученные данные свидетельствуют о пользе поиска более активных решений информирования пациента, вошедшего в группу высокого риска по ЗНК. Возможно, целесообразно включение в мобильное приложение вопроса к респонденту о разрешении на передачу информации в профильное медицинское учреждение в случае установление высокого риска ЗНК, а также пере-
Результаты опроса пользователей мобильного приложения «ПроРодинки» в Нижегородской области
Вопросы Ответы ре- Респон-
спондентов денты, %
1. В мобильное приложение «ПроРодинки» Вы загрузили
свою фотографию или фотографию члена семьи/знакомого?
Варианты ответов:
1. Фотографию своего новообразования 152 44,3
2. Члена семьи, знакомого 94 27,4
3. Оба варианта 90 26,2
4. Отказ от ответа 7 2,0
2. Обращались ли Вы к врачу после отправки уведомления
о необходимости обращения?
Варианты ответов:
1. Обратились к врачу 178 52,0
2. Не обращались к врачу 165 48,0
3. Проходили ли лечение те, кто обратились к врачу
Варианты ответов:
1. Проходили лечение 105 59,0
2. Не проходили лечение 72 40,4
3. Отложили лечение из-за другого заболевания 1 0,6
4. Медицинские учреждения, в которые обращались
Варианты ответов:
1. ФГБОУ ВО «ПИМУ» Минздрава России 40 22,5
2. ГБУЗ НО «Нижегородский областной клинический онкологический 39 21,9
диспансер»
3. Поликлиника по месту жительства 39 21,9
4. Частные медицинские центры 33 18,5
5. Отказ от ответа 16 9,0
6. ГБУЗ НО «Нижегородский областной кожно-венерологический 9 5,1
диспансер» 2 1,1
7. ГБУЗ НО «Клинический диагностический центр»
5. От тех пользователей, которые не обратились к врачу, получены
данные о причине необращаемости:
Варианты ответов:
1. Не видели уведомления о необходимости обращения к врачу 75 45,5
2. Получен ответ «нет времени, потом» 33 20,0
3. Не доверяют приложению 20 12,1
4. Отказались от ответа 12 7,3
5. На момент осмотра не имели жалоб 9 5,5
6. Не знают, куда обратиться за медицинской помощью 6 3,6
7. Отказываются обратиться к врачу 5 3,0
8. Планируют записаться 3 1,8
9. Испытывают психологический дискомфорт 2 1,2
6. Какой диагноз был установлен после обращения к врачу?
Варианты ответов:
1. Доброкачественное новообразование 82 46,07
2. Меланома кожи 33 18,54
3. Базальноклеточный рак кожи 25 14,04
4. Злокачественное новообразование (диагноз назвать затруднительно) 10 5,62
5. Отказ от ответа 9 5,06
6. Затрудняются точно назвать свой онкологический диагноз 9 5,06
7. Диспластический невус 3 1,69
8. Плоскоклеточный рак кожи 2 1,12
9. Злокачественное лентиго 2 1,12
10. Меланома кожи и базальноклеточный рак кожи 1 0,56
11. Голубой невус 1 0,56
12. Ждет результат гистологического исследования после хирургического 1 0,56
лечения
дача функции информирования пациента медицинской организации для последующей маршрутизации пациента.
Таким образом, представленные данные свидетельствуют о высоком скрининговом значении использования мобильного приложения
«ПроРодинки», позволяющего отобрать группы высокого риска пациентов на доамбулаторном этапе. Внедрение телемедицинских технологий с использованием мобильного приложения может привести к ранней выявляемости ЗНК, а также к сокращению сроков обращения к врачу.
СВЕДЕНИЯ ОБ АВТОРАХ
Сиводедова Наталья Антоновна (Natalia А. Sivodedova) - аспирант кафедры общественного здоровья и здравоохранения ФДПО ФГБОУ ВО «ПИМУ» Минздрава России; заведующий отделом телемедицины и информационных технологий ГБУЗ НО «НОКОД», Нижний Новгород, Российская Федерация
E-mail: sivodedova.natalia@gmail.com https://orcid.org/0000-0001-6815-328X
Карякин Николай Николаевич (Nikolay N. Karyakin) - доктор медицинских наук, доцент, ректор ФГБОУ ВО «ПИМУ» Минздрава России, Нижний Новгород, Российская Федерация E-mail: rector@pimunn.ru https://orcid.org/0000-0001-8958-6199
Гамаюнов Сергей Викторович (Sergey V. Gamayunov) - доктор медицинских наук, главный врач ГБУЗ НО «НОКОД», Нижний Новгород, Российская Федерация E-mail: nood_nn@mail.52gov.ru https://orcid.org/0000-0002-0223-0753
Ускова Ксения Александровна (Kseniia A. Uskova) - ассистент кафедры кожных и венерических болезней ФГБОУ ВО «ПИМУ» Минздрава России, Нижний Новгород, Российская Федерация E-mail: k_balyasova@bk.ru https://orcid.org/0000-0002-1000-9848
ЛИТЕРАТУРА
1. Злокачественные новообразования в России в 2021 году (заболеваемость и смертность) / под ред. А.Д. Каприна, В.В. Старин-ского, А.О. Шахзадовой. Москва : МНИОИ им. П.А. Герцена - филиал ФГБУ «НМИЦ радиологии» Минздрава России, 2022. 252 с.
2. Маринина А.О., Степанова Я.Л., Ускова К.А. Анализ структуры первичной обращаемости специализированного кабинета дерматолога-онколога // VolgaMedScience : сборник тезисов VIII Всероссийской научно-практической конференции молодых ученых и студентов с международным участием, Нижний Новгород, 17-18 марта 2022 года. Нижний Новгород : Федеральное государственное бюджетное образовательное учреждение высшего образования «Приволжский исследовательский медицинский университет» Министерства здравоохранения Российской Федерации, 2022. С. 150-152.
3. Maqsood S., Damasevicius R. Multiclass skin lesion localization and classification using deep learning based features fusion and selection framework for smart healthcare // Neural Netw. 2023. Vol. 160. P. 238-258. DOI: https://doi.org/10.1016/ j.neunet.2023.01.022 Epub 2023 Jan 24. PMID: 36701878.
4. Combalia M., Codella N., Rotemberg V., Carrera C., Dusza S., Gutman D. et al. Validation of artificial intelligence prediction models for skin cancer diagnosis using dermoscopy images: the 2019
International Skin Imaging Collaboration Grand Challenge // Lancet Digit. Health. 2022. Vol. 4, N 5. P. e330-e339. DOI: https://doi. org/10.1016/S2589-7500(22)00021-8 PMID: 35461690; PMCID: PMC9295694.
5. Felmingham C., MacNamara S., Cranwell W., Williams N., Wada M., Adler N.R. et al. Improving Skin cancer Management with ARTificial Intelligence (SMARTI): protocol for a preintervention/ postintervention trial of an artificial intelligence system used as a diagnostic aid for skin cancer management in a specialist dermatology setting // BMJ Open. 2022. Vol. 12, N 1. Article ID e050203. DOI: https://doi.org/10.1136/bmjopen-2021-050203 PMID: 34983756; PMCID: PMC8728443.
6. Esteva A., Kuprel B., Novoa R.A., Ko J., Swetter S.M., Blau H.M. et al. Dermatologist-level classification of skin cancer with deep neural networks // Nature. 2017. Vol. 542, N 7639. P. 115-118. DOI: https://doi.org/10.1038/nature21056.nature21056
7. Шливко И.Л., Гаранина O.E., Клеменова ИА и др. Искусственный интеллект: как работает и критерии оценки // Consilium Medicum. 2021. Т. 23, № 8. С. 626-632. DOI: https://doi.org/10.2 6442/20751753.2021.8.201148
8. Haenssle H.A., Fink C., Schneiderbauer R., Toberer F., Buhl T., Blum A. et al. Man against machine: diagnostic performance
of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists // Ann. Oncol. 2018. Vol. 29, N 8. P. 1836-1842.
9. Marchetti M.A., Codella N.C.F., Dusza S.W., Gutman D.A., Helba B., Kalloo A. et al. Results of the 2016 international skin imaging collaboration international symposium on biomedical imaging challenge: comparison of the accuracy of computer algorithms to dermatologists for the diagnosis of melanoma from
dermoscopic images // J. Am. Acad. Dermatol. 2018. Vol. 78, N 2. P. 270-277.e1.
10. Fink C., Blum A., Buhl T., Mitteldorf C., Hofmann-Wellenhof R., Deinlein T. et al. Diagnostic performance of a deep learning convolutional neural network in the differentiation of combined naevi and melanomas // J. Eur. Acad. Dermatol. Venereol. 2020. Vol. 34, N 6. P. 1355-1361. DOI: https://doi.org/10.1111/jdv.16165 Epub 2020 Jan 21. PMID: 31856342.
REFERENCES
1. Malignant neoplasms In Russia In 2021 (morbidity and mortality). In: A.D. Kaprin, V.V. Starinsky, A.O. Shakhzadova (eds). Moscow: MNIOI im. P.A. Gertsena - filial FGBU «NMITs radiologii» Minzdrava Rossii, 2022: 252 p. (in Russian)
2. Marinina A.O., Stepanova Ya.L., Uskova K.A. Analysis of the structure of primary referral to a specialized office of a dermatologist-oncologist. In: Federal State Budgetary Educational Institution of Higher Education «Volga Region Research Medical University» of the Ministry of Health of the Russian Federation. VolgaMedScience: Collection of abstracts of the VIII All-Russian Scientific and Practical Conference of Young Scientists and students with international participation, Nizhny Novgorod, March 17-18, 2022. Nizhny Novgorod, 2022: 150-2. (in Russian)
3. Maqsood S., Damasevicius R. Multiclass skin lesion localization and classification using deep learning based features fusion and selection framework for smart healthcare. Neural Netw. 2023; 160: 238-58. DOI: https://doi.org/10.1016Zj.neunet.2023.01.022 Epub 2023 Jan 24. PMID: 36701878.
4. Combalia M., Codella N., Rotemberg V., Carrera C., Dusza S., Gutman D., et al. Validation of artificial intelligence prediction models for skin cancer diagnosis using dermoscopy images: the 2019 International Skin Imaging Collaboration Grand Challenge. Lancet Digit Health. 2022; 4 (5): e330-9. DOI: https://doi. org/10.1016/S2589-7500(22)00021-8 PMID: 35461690; PMCID: PMC9295694.
5. Felmingham C., MacNamara S., Cranwell W., Williams N., Wada M., Adler N.R., et al. Improving Skin cancer Management with ARTificial Intelligence (SMARTI): protocol for a preintervention/ postintervention trial of an artificial intelligence system used as
a diagnostic aid for skin cancer management In a speclallst dermatology setting. BMJ Open. 2022; 12 (1): e050203. DOI: https://doi. org/10.1136/bmjopen-2021-050203 PMID: 34983756; PMCID: PMC8728443.
6. Esteva A., Kuprel B., Novoa R.A., Ko J., Swetter S.M., Blau H.M., et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017; 542 (7639): 115-8. DOI: https://doi.org/10.1038/nature21056.nature21056
7. Shlivko I.L., Garanina O.E., Klemenova I.A., et al. Artificial intelligence: how it works and evaluation criteria. Consilium Medicum. 2021; 23 (8): 626-32. DOI: https://doi.org/10.26442/20751753. 2021.8.201148 (in Russian)
8. Haenssle H.A., Fink C., Schneiderbauer R., Toberer F., Buhl T., Blum A., et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists. Ann Oncol. 2018; 29 (8): 1836-42.
9. Marchetti M.A., Codella N.C.F., Dusza S.W., Gutman D.A., Helba B., Kalloo A., et al. Results of the 2016 international skin imaging collaboration international symposium on biomedical imaging challenge: comparison of the accuracy of computer algorithms to dermatologists for the diagnosis of melanoma from dermoscopic images. J Am Acad Dermatol. 2018; 78 (2): 270-7.e1.
10. Fink C., Blum A., Buhl T., Mitteldorf C., Hofmann-Wellenhof R., Deinlein T., et al. Diagnostic performance of a deep learning convolutional neural network in the differentiation of combined naevi and melanomas. J Eur Acad Dermatol Venereol. 2020; 34 (6): 1355-61. DOI: https://doi.org/10.1111/jdv.16165 Epub 2020 Jan 21. PMID: 31856342.
