CC BY
181
Исследования и практика в медицине 2018, т.5, №3, с. 110-116
ОБМЕН ОПЫТОМ
DOI: 10.17709/2409-2231-2018-5-3-1 1
АВТОМАТИЗИРОВАННАЯ ДИАГНОСТИКА МЕЛАНОМЫ КОЖИ НА ОСНОВЕ МАТЕМАТИЧЕСКОЙ МОДЕЛИ ИСКУССТВЕННОЙ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ
Д.А.Гаврилов1, Э.И.Закиров1, Е.В.Гамеева2, В.Ю.Семенов3, О.Ю.Александрова4
1. ФГАУ ВО «Московский физико-технический институт» (МФТИ), 141701, Российская Федерация, Московская область, г. Долгопрудный, Институтский пер., д. 9
2. Московский научно-исследовательский онкологический институт им. П.А.Герцена - филиал ФГБУ «Национальный медицинский исследовательский центр радиологии» Министерства здравоохранения Российской Федерации, 125284, Российская Федерация, г. Москва, 2-й Боткинский проезд, д. 3
3. Институт коронарной и сосудистой хирургии ФГБУ «Национальный медицинский исследовательский центр сердечно-сосудистой хирургии
им. А.Н.Бакулева» Министерства здравоохранения Российской Федерации, 119049, Российская Федерация, г. Москва, Ленинский проспект, д. 8, корп. 7
4. ГБУЗ МО «Московский областной научно-исследовательский клинический институт им. М.Ф.Владимирского», 129110, Российская Федерация, г. Москва, ул. Щепкина, д. 61/2, корп. 1
Резюме
В последние 10 лет произошла революция в области компьютерного анализа изображений и распознавания образов. Современные алгоритмы компьютерного зрения сравнялись и даже в некоторых задачах превзошли возможности человека. Данный рывок во многом обязан появлению и развитию технологии глубоких сверточ-ных нейросетей.
Последние наработки в области обработки изображений и машинного обучения открывают перспективу создания систем на основе искусственных нейронных сверточных сетей, превосходящих человека в задачах классификации изображений, в частности, при решении задач анализа различных медицинских изображений. Среди наиболее перспективных применений: автоматизированное распознавание и классификация кожных заболеваний, обнаружение патологий на рентгеновских, КТ, МРТ, УЗИ-изображениях. В предлагаемом проекте сфокусируем свое внимание на диагностике заболеваний кожи человека.
В настоящий момент меланома является одним из самых опасных видов злокачественных новообразований кожи с большим количеством смертельных исходов из-за быстрого метастазирования, с трудом поддается лечению. Развитие технологий компьютерного зрения позволило разработать системы технического зрения, позволяющие осуществлять детектирование и классификацию кожных заболеваний с качеством, сопоставимым и в ряде случаев превышающим значения, достигаемые человеком.
В данной работе авторы предлагают алгоритм для первичной диагностики меланомы кожи на основе глубоких нейронных сетей, достигающий точности определения меланомы в 91% на дерматоскопических изображениях. В настоящий момент алгоритм реализован программно и используется в тестовой версии онлайн-системы детектирования и классификации кожных заболеваний, доступной по адресу зктсИескир.оЫте. Благодаря данной разработке открывается перспектива значительного увеличения доли населения, подвергающегося профилактическому осмотру на предмет наличия кожных заболеваний. Наравне с этим, дополнительный источник информации для профильных специалистов также может сыграть роль в постановке верного диагноза.
Ключевые слова:
автоматизированная классификация кожных заболеваний, нейросеть, системы технического зрения, нейронная сеть глубокого обучения
Оформление ссылки для цитирования статьи
Гаврилов Д.А., Закиров Э.И., Гамеева Е.В., Семенов В.Ю., Александрова О.Ю. Автоматизированная диагностика меланомы кожи на основе математической модели искусственной сверточной нейронной сети. Исследования и практика в медицине. 2018; 5(3): 110-116. DOI: 10.17709/2409-2231-2018-5-3-1 1
Для корреспонденции
Гаврилов Дмитрий Александрович, канд. техн. наук, доцент кафедры радиоэлектроники и прикладной информатики, руководитель лаборатории цифровых систем специального назначения ФГАУ ВО «Московский физико-технический институт» (МФТИ) Адрес: 141701, Российская Федерация, Московская область, г. Долгопрудный, Институтский пер., д. 9 E-mail: gavrilov.da@mipt.ru
Информация о финансировании. Исследование проводится на собственные средства кафедры радиоэлектроники и прикладной информатики МФТИ, полученные в качестве прибыли в результате успешного выполнения договоров НИР и ОКР. Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Статья поступила 19.04.2018 г., принята к печати 31.08.2018 г.
CLINICAL AND LABORATORY OBSERVATIONS
DOI: 10.17709/2409-2231-2018-5-3-1 1
AUTOMATED SKIN MELANOMA DIAGNOSTICS BASED ON MATHEMATICAL MODEL OF ARTIFICIAL CONVOLUTIONAL NEURAL NETWORK
DAGavrilov', E.I.Zakirov', E.V.Gameeva2, V.Yu.Semenov3, O.Yu.Aleksandrova4
1. Moscow Institute of Physics and Technology (MIPT), 9 Institutskiy per., DoLgoprudny, Moscow Region 141701, Russian Federation
2. P.Hertsen Moscow Oncology Research Institute - Branch of the National Medical Radiology Research Centre of the Ministry of Health of the Russian Federation, 3, 2nd Botkinskiy proezd, Moscow 125284, Russian Federation
3. Institute for Coronary and Vascular Surgery, A.N.Bakulev National Medical Research Center of Cardiovascular Surgery of the Ministry of Health of the Russian Federation, 8/7 Leninskii Ave., Moscow 1 19049, Russian Federation
4. M.Vladimirskiy Moscow Regional Research Clinical Institute, 61/2, build. 1 Shchepkina str., Moscow 129110, Russian Federation
Abstract
In the last 10 years there has been a revolution in the field of computer image analysis and pattern recognition. Modern algorithms of computer vision equaled and even in some problems surpassed human capabilities. This jerk is largely due to the emergence and development of the technology of deep convolutional neural networks.
Recent developments in the field of image processing and machine learning open up the prospect of creating systems based on artificial neural convolutional networks, superior to humans in problems of image classification, in particular, in solving problems of analysis of various medical images. Among the most promising applications: automated recognition and classification of skin diseases, detection of pathologies on X-ray, CT, MRI, ultrasound imaging. In the proposed project, we will focus our attention on the diagnosis of human skin diseases.
At the moment, melanoma is one of the most dangerous types of malignant tumors of the skin with a lot of deaths due to rapid metastasis, which is difficult to treat. The development of computer vision technology has allowed the development of technical vision systems that allow detection and classification of skin diseases with a quality that is comparable and in some cases exceeds the values attained by man.
In this paper, the authors propose an algorithm for the primary diagnosis of skin melanoma based on deep neural networks, achieving an accuracy of 91% for melanoma in dermatoscopic images. At the moment, the algorithm is implemented programmatically and is used in the test version of the online system for detecting and classifying skin diseases, available at skincheckup.online.
Thanks to this development, the prospect of a significant increase in the proportion of people subjected to preventive examination for the presence of skin diseases opens up. Along with this, an additional source of information for specialized professionals can also play a role in seffing the right diagnosis.
Keywords:
automated classification of skin diseases, neural network, vision systems, deep learning neural network
For citation
Gavrilov D.A., Zakirov E.I., Ganeeva E.V., Semenov V.Yu., Alexandrova O.Yu. Automated skin melanoma diagnostics based on mathematical model of artificial convolutional neural network. Research'n Practical Medicine Journal (Issled. prakt. med.). 2018; 5(3): 110-116. DOI: 10.17709/2409-2231-2018-5-3-1 1
For correspondence
Dmitry A. Gavrilov, PhD, associate professor of radioelectronics and applied Informatics, head of the laboratory of digital systems for special purposes, Moscow Institute of Physics and Technology (MIPT)
Address: 9 Institutskiy per., Dolgoprudny, Moscow Region, 141701, Russian Federation E-mail: gavrilov.da@mipt.ru
Information about funding. The research is carried out at the own expense of the department of radio electronics and applied Informatics of MIPT, received as a profit as a result of the successful implementation of contracts for the research studies and development work. Conflict of interest. Authors report no conflict of interest.
The article was received 19.04.2018, accepted for publication 31.08.2018
Меланома считается одним из самых опасных кожных заболеваний, вызывающим наибольшее количество смертей. Заболеваемость меланомой составляет от 1 до 4% всех онкологических диагнозов [1]. Только за 2014 г. в мире было диагностировано 232 000 новых случаев [2], и эта цифра постоянно растет, удваиваясь каждые 20 лет. В то же время, не смотря на высокий уровень смертности, обнаружение меланомы на ранней стадии позволяет с большой вероятностью полностью излечиться от болезни.
В настоящий момент в большинстве медицинских учреждений первичная диагностика меланомы проводится специалистами по макроскопическим и дерматоскопическим фотографиям, которые представляют из себя сильно увеличенные и равномерно подсвеченные изображения участка кожи [3].
На сегодняшний день наиболее используемым симптомокомплексом для диагностики меланомы является ABCDE-тест [4], отслеживающий такие параметры, как асимметричность, ровность границ, цвет образования, его диаметр и изменчивость во времени (рис. 1). Также существуют другие особенности, позволяющие по одному лишь изображению отличить злокачественные образования от доброкачественных.
Идея использования компьютерного зрения для задачи определения рака кожи возникла давно, но долгие годы результаты были недостаточно точны для применения на практике. Примерами могут служить системы для оценки составляющих ABCDE-те-стирования [5], достигающие 70% точности. Только недавно развитие технологий в области обработки
Рис. 1. Критерии ABCDE-анализа.
Fig. 1. Criteria of ABCDE-analysis.
изображений и машинного обучения позволило создать системы на основе искусственных нейронных сверточных сетей, превосходящие человека в задачах классификации объектов (рис. 2).
Кафедра радиоэлектроники и прикладной информатики МФТИ предлагает решение проблемы ранней диагностики меланомы на основе искусственных глубоких сверточных нейронных сетей, различающее родинки и меланомы с высокой точностью без необходимости проводить дорогостоящую биопсию при отсутствии явных подозрений на заболевание.
Classification
0.3
0.2
0.1
0.05
Human level
о
иж
0.26
0.16
0.12
0.07
0.03С
0.03
Рис. 2. Динамика улучшения качества классификации изображений благодаря применению технологий машинного обучения.
Fig. 2. Dynamics of improving the quality of image classification through the use of machine learning technologies.
2010 2011 2012 2013 2014 2015 2016
2. Пузыри воздуха и геля для дерматоскопии
5. Цветные отметки
3. Измерительные линейки
8. Волосы на коже
Рис. 3. Примеры помех на изображениях.
Fig.3. Examples of interference in images.
Основная проблема построения таких систем заключается в том, что на данный момент существует слишком мало доступных для использования наборов дерматоскопических изображений, которые можно использовать для обучения и настройки моделей. Самые крупные наборы собраны при участии International Skin Imaging Collaboration (ISIC) [6].
К тому же существующие в открытом доступе данные зачастую невысокого качества, частично за-шумлены и содержат помехи, показанные на рисунке 3. Создание устойчивых к подобным проблемам
алгоритмов при ограниченной выборке и является наиболее сложной задачей, которую коллективу удалось решить [8].
Вместо обучения системы классификации кожных заболеваний «с нуля», был использован подход, известный как transfer learning. Нейронная сеть с архитектурой Inception. v.3 (рис. 4), обученная на распознавание миллионов различных изображений с портала ImageNet, была особым образом дополнена 10 000 фотографий кожных образований для отличия доброкачественных опухолей от злокачественных.
iiiiiii[Q:;;}}ei.M.
13
Ч1
'--m нн»Г
с -:. : -I
«1811
Рис. 4. Архитектура нейронной сети Inception V.3. Fig. 4. Architecture of the neural network Inception V.3.
Illll
Convolution
AvgPool
MaxPool
Concat
Dropout
Fully connected
Softmax
Рис. 5. Пример правильной диагностики невуса. Fig. 5. An example of the correct diagnosis of a nevus.
Рис. 6. Пример правильной диагностики меланомы. Fig. 6. An example of the correct diagnosis of melanoma.
Существующая модель работала с изображениями размером 300 х 300 пикселей, что гораздо меньше размера типичных дерматологических снимков. Поскольку для правильной классификации заболеваний крайне важны мелкие детали, неразличимые при таком разрешении, в модель было добавлено несколько новых слоев, позволяющих работать с изображениями гораздо большего разрешения.
Полученная модель может работать на дермато-скопических изображениях размером от 500 х 500 пикселей и достигать при этом точности распознавания меланомы более 91%, что сравнимо с точностью детектирования меланомы, в среднем обеспечиваемой человеком (рис. 5, 6).
В настоящий момент созданная на основе алгоритма система способна также детектировать доброкачественное образование - себорейный кератоз
по дерматологической фотографии с точностью более 90%.
Данный алгоритм может с уверенностью отличить меланому от себорейного кератоза и меланому от доброкачественного невуса, несмотря на то, что это вызывает сложности даже у специалистов в данной области (рис. 7).
В настоящий момент создана система автоматического детектирования и классификации кожных образований, доступная по адресу skincheckup. online [9]. Пользователь может самостоятельно сделать фото кожного образования и направить его на анализ. Фото в обезличенном виде попадает в центр обработки информации, где за несколько секунд производится его анализ. Предварительные результаты поступают на мобильное устройство пользователя.
Рис. 7. График AUC-ROC разработанного алгоритма.
Fig. 7. Graph AUC-ROC developed algorithm.
В перспективе планируется выпуск мобильного приложения, где наравне с предварительным анализом будет заложен функционал предоставления пользователю списка ближайших клиник и возможности записи на прием непосредственно из приложения. Планируется привлечь к сотрудничеству клиники, которые согласятся участвовать в тестировании системы и предоставлении обучающих выборок.
После визита к врачу, проведения окончательного анализа, включающего точные инвазивные методики, клиники в автоматическом режиме будут передавать диагноз, поставленный врачом-экспертом, в защищенное хранилище обучающей выборки, тем самым повышая качество последующей работы системы.
ЗАКЛЮЧЕНИЕ
Наработки коллектива в области обработки изображений и машинного обучения позволяют создавать системы на основе искусственных нейронных сверточных сетей, превосходящие человека в задачах классификации объектов, в том числе в случае диагностики новообразований кожи. Накапливая под присмотром квалифицированных специалистов опыт диагностики, система сможет анализировать фотографию кожного образования за несколь-
ко секунд и давать ответ с высокой точностью.
Использование интеллектуальных систем такого типа для диагностики кожных заболеваний окажет существенную поддержку в постановке диагноза как дерматологам, так и врачам общей практики.
Кроме того, с внедрением таких диагностических систем станет возможным применение экспертных систем поддержки принятия решений, а также средств удаленного консультирования, так называемой телемедицины.
Созданная онлайн-версия системы позволит миллионам пациентов выполнить первичную диагностику самостоятельно, просто загрузив фотографию родинки с мобильного телефона.
В настоящий момент не существует аналогичной системы детектирования кожных заболеваний, доступной публично. Однако многие компании работают над аналогичными системами в разных областях, что прослеживается из докладов на тематических конференциях, форумах и конгрессах.
Интерес к собственному здоровью, с одной стороны, и отсутствие надобности тратить время на посещение врача - с другой, а также освещение технологии в официальной прессе смогут существенно повысить качество диагностики кожных заболеваний среди широких масс населения.
Список литературы
1. Фрадкин С.З., Залуцкий И.В. Меланома кожи. Минск: Беларусь, 2000, 221 с.
2. World Health Organization. 2014. pp. Chapter 5.14. Доступно по: https://inovelthng.files.wordpress.com/2016/11/world-cancer-report.pdf
3. Binder M, Schwarz M, Winkler A, Steiner A, Kaider A, Wolff K, Pe-hamberger H. "Epiluminescence microscopy. A useful tool for the diagnosis of pigmented skin lesions for formally trained dermatologists. Arch Dermatol. 1995 Mar;131(3):286-91.
4. American Melanoma Foundation. Доступно по: https://www. myamf.org/melanoma-prevention/#ABCDE's%20of%20Melanoma
5. Shivangi J, Vandana J, Nitin P. Computer Aided Melanoma Skin Cancer Detection Using Image Processing. Procedia Computer
Science. 2015;48:735-40. DOI: 10.1016/j.procs.2015.04.209
6. ISIC, "ISIC Archieve: The Internati onal Skin Imaging Collaboration: Melanoma Project," ISIC, 5 Jan 2016. [Online]. Available: https://isic-archive.com/#. [Accessed 20 Jan 2016].
7. An Overview of Melanoma Detection in Dermoscopy Images Using Image Processing and Machine Learning. Доступно по: https://www.researchgate.net/publication/299612436_An_ Overview_of_Melanoma_Detection_in_Dermoscopy_Images_ Using_Image_Processing_and_Machine_Learning
8. Gavrilov DA. Artifical intelligence-Al image recognition for helthcare. 16 AMWC. Monaco, 2018. P. 84-85.
9. Gavrilov DA. Artificial Intelligence based skin lesions photo recognition. AMEC LIVE and VISAGE Joint Meeting. Monaco, 2017.
References
1. Fradkin CZ, Zalutskii IV. Melanoma kozhi. Minsk: Belarus, 2000, 221 p. (In Russian).
2. World Health Organization. 2014. pp. Chapter 5.14. Available at: https://inovelthng.files.wordpress.com/2016/11/world-cancer-report.pdf
3. Binder M, Schwarz M, Winkler A, Steiner A, Kaider A, Wolff K,
Pehamberger H. "Epiluminescence microscopy. A useful tool for the diagnosis of pigmented skin lesions for formally trained dermatologists. Arch Dermatol. 1995 Mar;131(3):286-91. 4. American Melanoma Foundation. Available at: https://www. myamf.org/melanoma-prevention/#ABCDE's%20of%20Mela-noma
5. Shivangi J, Vandana J, Nitin P. Computer Aided Melanoma Skin Cancer Detecti on Using Image Processing. Procedia Computer Science. 2015;48:735-40. DOI: 10.1016/j.procs.2015.04.209
6. ISIC, "ISIC Archieve: The Internati onal Skin Imaging Collaborator Melanoma Project," ISIC, 5 Jan 2016. [Online]. Available: https://isic-archive.com/#. [Accessed 20 Jan 2016].
7. An Overview of Melanoma Detection in Dermoscopy Images Using Image Processing and Machine Learning. Доступно по:
https://www.researchgate.net/publication/299612436_An_ Overview_of_Melanoma_Detection_in_Dermoscopy_Images_ Using_Image_Processing_and_Machine_Learning
8. Gavrilov DA. Artifical intelligence-Al image recognition for helthcare. 16 AMWC. Monaco, 2018. P. 84-85.
9. Gavrilov DA. Artificial Intelligence based skin lesions photo recogniti on. AMEC LIVE and VISAGE Joint Meeting. Monaco, 2017.
Информация об авторах:
Гаврилов Дмитрий Александрович, канд. техн. наук, доцент кафедры радиоэлектроники и прикладной информатики, руководитель лаборатории цифровых систем специального назначения ФГАУ ВО «Московский физико-технический институт» (МФТИ)
Закиров Эмиль Ильдарович, студент, стажер лаборатории цифровых систем специального назначения ФГАУ ВО «Московский физико-технический институт» (МФТИ)
Гамеева Елена Владимировна, к.м.н., заместитель директора по лечебной работе Московского научно-исследовательского онкологического института им. П.А.Герцена - филиал ФГБУ «Национальный медицинский исследовательский центр радиологии» Министерства здравоохранения Российской Федерации,
Семенов Владимир Юрьевич, д.м.н., профессор, главный врач Института коронарной и сосудистой хирургии ФГБУ «Национальный медицинский исследовательский центр сердечно-сосудистой хирургии им. А.Н.Бакулева» Министерства здравоохранения Российской Федерации
Александрова Оксана Юрьевна, д.м.н., профессор, заместитель директора по учебной работе ГБУЗ МО « Московский областной научно-исследовательский клинический институт им. М.Ф.Владимирского»
Information about authors:
Dmitry A. Gavrilov, PhD, associate professor of radioelectronics and applied Informatics, head of the laboratory of digital systems for special purposes, Moscow Institute of Physics and Technology (MIPT)
Emit I. Zakirov, student, intern of the laboratory of digital systems for special purposes, Moscow Institute of Physics and Technology (MIPT)
Elena V. Gameeva, MD, PhD, deputy director for medical work, P.Hertsen Moscow Oncology Research Institute - Branch of the National Medical Radiology Research Centre of the Ministry of Health of the Russian Federation
Vladimir Yu. Semenov, MD, PhD, DSc, professor, chief physician, Institute for Coronary and Vascular Surgery, A.N.Bakulev National Medical Research Center of Cardiovascular Surgery of the Ministry of Health of the Russian Federation
Oksana Yu. Alexandrova, MD, PhD, DSc, professor, deputy director for academic affairs, M.Vladimirskiy Moscow Regional Research Clinical Institute
