CC BY
0
Ансамблевая система распознавания рака кожи на основе мультимодальных нейросетевых архитектур
У.А. Ляхова
Северо-Кавказский федеральный университет, Ставрополь
Аннотация: Рак кожи является самой распространенной онкопатологией в организме человека и одной из ведущих причин смертности в мире. Диагностика пигментных новообразований представляет трудность даже для опытных врачей-дерматологов из-за широкого спектра морфологических проявлений. Технологии искусственного интеллекта способны сравняться и даже превзойти возможности дерматолога по эффективности визуальной классификации. Таким образом, актуальна разработка высокоточных интеллектуальных систем вспомогательной диагностики в области дерматологии, для выявления рака кожи на ранних стадиях. В работе предлагается ансамблевая интеллектуальная система анализа гетерогенных дерматологических данных на основе мультимодальных нейронных сетей с различными сверточными архитектурами. Точность средневзвешенной ансамблевой модели на основе мультимодальных систем с использованием сверточных архитектур А1ех№^ SeNet_154, Inception_v4, Densenet_161, ResNeXt_50 и ResNeXt_101 для 10 диагностически-значимых категорий составила 87,38%. Разработанная ансамблевая система может быть реализована как высокоточный вспомогательный диагностический инструмент, помогающий принять медицинское решение.
Ключевые слова: машинное обучение, искусственный интеллект, сверточные нейронные сети, мультимодальные нейронные сети, ансамблевые нейронные сети, цифровая обработка данных, гетерогенные данные, рак кожи, меланома.
Введение
На сегодняшний день рак кожи является наиболее часто диагностируемой формой онкопатологии у людей и представляет собой широкий спектр злокачественных образований [1]. Основной формой диагностики рака кожи является визуальное клиническое обследование при помощи дерматоскопии [2]. Средняя точность визуальной диагностики злокачественных образований у опытного врача-дерматолога составляет 6575% [3]. При этом метод визуальной диагностики требует обширной подготовки и опыта у специалиста в области дерматологии [4].
Технологии искусственного интеллекта позволяют анализировать пигментные новообразования кожи более быстрым, удобным и доступным способом [5]. Однако, подобные системы не могут заменить решающее мнение дерматолога-онколога в диагностике рака кожи в связи с
возможностью ложноотрицательных случаев прогнозирования [6]. Поэтому в настоящее время актуальной становится разработка высокоточных интеллектуальных систем, которые могут использоваться в качестве вспомогательных диагностических инструментов для выявления злокачественных новообразований на ранних стадиях [7].
Целью исследования является разработка ансамблевой интеллектуальной системы анализа гетерогенных дерматологических данных для распознавания злокачественных пигментных поражений кожи при помощи мультимодальных нейросетевых архитектур. Предлагаемая система позволит существенно повысить точность и надежность распознавания пигментных онкопатологий за счет внедрения мультимодальных архитектур в общую ансамблевую систему.
Материалы и методы
Наиболее распространенными типами данных в области дерматологии являются изображения пигментных новообразований и такие статистические данные, как пол, возраст и расположение пигментного поражения на теле пациента [8]. Комплексный анализ разнородных дерматологических данных позволяет повысить точность и достоверность результатов первичной классификации за счет поиска дополнительных связей между визуальными объектами исследования и метаданными, как со стороны врачей и специалистов, так и со стороны систем искусственного интеллекта [9]. Ансамблевые системы на основе искусственного интеллекта представляют собой комбинированные модели классификации, состоящие из агрегированных базовых архитектур нейронных сетей. Каждая отдельная интеллектуальная система имеет свои преимущества в методах извлечения признаков и в то же время ограниченную возможность улавливать разброс выходных данных.
и
Предлагаемая средневзвешенная ансамблевая интеллектуальная система состоит из нескольких базовых классификаторов, основанных на мультимодальных интеллектуальных архитектурах (МИА). Каждая МИА включает в себя сверточные слои предварительно обученных сверточных нейронных сетей (СНС) для обработки изображений и многослойных линейный персептрон (МЛП) для обработки статистических метаданных пациентов. Обработка визуальных данных 10 при помощи слоев свертки СНС
для создания карт объектов 1Г- осуществляется следующим образом:
(1)
ДО
где /г - коэффициент смещения; и^ - коэффициент фильтра сверточного
слоя. Выходной сигнал МБ, полученный в результате обработки
статистических метаданных пациентов с использованием линейных слоев архитектуры МЛП, рассчитывается следующим образом:
(2)
где - входной сигнал статистических метаданных; - коэффициент фильтра линейного слоя. Объединение выходных карт признаков со слоев СНС и выходного сигнала М3 с линейных слоев МЛП осуществляется на
слое конкатенации:
(3)
где - весовой коэффициент для обработки карт признаков I
дерматологических изображений, полученных из сверточных слоев;
весовой коэффициент для обработки признаков статистических метаданных, j-r полученных из линейных слоев перцептрона. Все МИА объединяются в
ансамблевую модель с использованием средневзвешенного правила объединения.
Результаты
Для практического моделирования были использованы данные из открытого архива The International Skin Imaging Collaboration (ISIC) [10]. Выбранная база данных моделирования состоит из 41725 дерматологических изображений пигментных новообразований кожи, связанных с метаданными пациентов и гистопатологически подтвержденными диагнозами по 10 диагностически-значимым категориям. Метаданные для каждого изображения включают информацию о возрасте, поле и расположении пигментного новообразования на теле пациента. Практическое моделирование проводилось с использованием языка программирования Python 3.11.0 на ПК с процессором Intel (R) Core (TM) i5-8500. Для обучения всех МИА и моделирования ансамблевой системы использовалась платформа машинного обучения PyTorch в сочетании с графическим процессором (GPU) на базе видеочипсета NVIDIA GeForce GTX 1050TI. Для моделирования МИА использовались предварительно обученные сверточные архитектуры AlexNet, SeNet_154, Inception_v4, Densenet_161, ResNeXt_50 и ResNeXt_101. Дерматологическая база данных была разделена на данные обучения, данные для валидации и данные для тестирования в процентном соотношении 60:20:20. На этапе предварительной обработки визуальных данных размер изображения был преобразован в 224x 224 пикселей для архитектуры
SeNet_154, в 227x227 для AlexNet, в 229x229 для Inception_v4 и в
256 X 256 для DenseNet_161, ResNeXt_50 и ResNeXt_101. К обучающей
выборке были применены аффинные преобразования для устранения дисбаланса и минимизации риска переобучения моделей. В таблице 1 представлены результаты оценки при тестировании всех обученных МИА на основе различных СНС, а также оценка при тестировании предложенной ансамблевой модели. В качестве статистических методов тестирования моделей были выбраны специфичность (Sp), чувствительность (Sn), коэффициент корреляции Мэтьюса (MCC), показатель F-1, показатель ложноотрицательных прогнозов (FNR), показатель ложноположительных прогнозов (FPR). На рисунке 1 представлена матрица неточностей, полученная в результате тестирования разработанной ансамблевой модели.
Таблица № 1
Результаты статистической оценки при тестировании каждой МИА на основе различных СНС и предложенной ансамблевой модели
Модель Точность, % Sn Sp MCC F1 FNR FPR
МИА ResNeXt 101 84,52 0,8452 0,9821 0,6894 0,8452 0,1611 0,0179
МИА SeNet 154 84,67 0,8467 0,9830 0,7055 0,8467 0,1531 0,0170
МИА Inception v4 85,10 0,8510 0,9832 0,7061 0,8510 0,1513 0,0168
МИА Densenet 161 85,45 0,8545 0,9838 0,7178 0,8545 0,1455 0,0162
МИА AlexNet 85,60 0,8560 0,9833 0,7138 0,8560 0,1500 0,0167
МИА ResNeXt 50 85,72 0,8572 0,9841 0,7220 0,8572 0,1428 0,0159
Ансамбль МИА 87,38 0,8738 0,9860 0,7535 0,8738 0,1262 0,0140
В результате тестирования наилучший показатель точности распознавания пигментных поражений кожи был получен у разработанной ансамблевой модели средневзвешенного голосования на основе обученных МИА и составил 87,38%. Предложенная ансамблевая модель на 1,66 процентных пункта точнее по сравнению с наиболее точной мультимодальной моделью на основе СНС ResNeXt_50 и на 2,20 процентных пункта точнее, чем средняя точность всех обученных МИА (85,18%).
Сосудистые поражения Невусы
^ Солнечные лентиго
I-
Дерматофибромы
| Себорейные кератозы
(и
Доброкачественные кератозы
о
^ Актинические кератозы
о
о.
Базальноклеточные карциномы Плоскоклеточные карциномы Меланомы
Рис. 1. - Матрица неточностей, полученная в результате тестирования разработанной ансамблевой модели на основе различных МИА Наилучшие показатели Бр, Бп, ¥-1 и МСС были получены при тестировании разработанной средневзвешенной ансамблевой модели на основе различных МИА и составили 0,9860, 0,8738, 0,8738 и 0,7535, соответственно. Полученные результаты показывают, что объединение МИА в ансамблевую модель позволяет значительно повысить точность и надежность классификации пигментных поражений кожи по сравнению с эффективностью каждой отдельной интеллектуальной системы.
Заключение
В результате исследований была разработана ансамблевая интеллектуальная система классификации пигментных поражений кожи на основе различных мультимодальных архитектур. Точность средневзвешенной ансамблевой модели на основе МИА с использованием сверточных архитектур AlexNet, SeNet_154, Inception_v4, Densenet_161,
ResNeXt_50 и ResNeXt_10 для 10 диагностически-значимых категорий составила 87,38%. Благодаря средневзвешенному ансамблевому подходу удалось повысить точность на 1,66 процентных пункта точнее по сравнению наиболее точной с мультимодальной моделью на основе СНС ResNeXt_50 и на 2,20 процентных пункта точнее, чем средняя точность всех обученных МИА.
Основным ограничением использования предложенной ансамблевой нейросетевой системы для распознавания пигментных новообразований на коже является то, что специалисты могут использовать данную систему только как дополнительный диагностический инструмент. При этом, создание систем автоматического распознавания состояния пигментных поражений кожи у пациентов может стать хорошим стимулом для систем когнитивного медицинского мониторинга. Это позволит снизить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли.
Литература
1. Apalla Z., Lallas A., Sotiriou E., Lazaridou E., Ioannides D. Epidemiological trends in skin cancer. Dermatology practical and conceptual. 2017. №2 (7). Pp. 1-21.
2. Ring C., Cox N., Lee J.B. Dermatoscopy. Clinics in Dermatology. 2021. №4 (39). Pp. 635-642.
3. Sinz C., Tschandl P., Rosendahl C., Akay B.N., Argenziano G., Blum A., Kittler H. Accuracy of dermatoscopy for the diagnosis of nonpigmented cancers of the skin. Journal of the American Academy of Dermatology. 2017. №77 (6), Pp. 1100-1109.
4. Haenssle H.A., Fink C., Schneiderbauer R., Toberer F., Buhl T., Blum A., Zalaudek I. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in
comparison to 58 dermatologists. Annals of oncology. 2018. №29(8). Pp. 18361842.
5. Haggenmuller S., Maron R.C., Hekler A., Utikal J.S., Barata C., Barnhill R.L., Brinker T.J. Skin cancer classification via convolutional neural networks: systematic review of studies involving human experts. European Journal of Cancer. 2021. №156. Pp. 202-216.
6. Wiens J., Saria S., Sendak M., Ghassemi M., Liu V.X., Doshi-Velez F., Goldenberg A. Do no harm: a roadmap for responsible machine learning for health care. Nature medicine. 2019. №25 (9). Pp. 1337-1340.
7. Сасов Д.А., Зубков А.В., Орлова Ю.А., Турицына А.В. Классификация рака молочной железы с помощью сверточных нейронных сетей. Инженерный вестник Дона. 2023. №6. URL: ivdon.ru/ru/magazine/archive/n6y2023/8507/.
8. Параскевопуло К.М., Наркевич А.Н. Применение классических нейронных сетей для распознавания злокачественных новообразований на цифровых изображениях кожи. Инженерный вестник Дона. 2021. №5. URL: ivdon.ru/ru/magazine/archive/n5y2021/6998/.
9. Dong B., Fu X., Kang X. SSGNet: semi-supervised multi-path grid network for diagnosing melanoma. Pattern Analysis and Applications. 2023. №1 (26). Pp. 357-366.
10. Cassidy B., Kendrick C., Brodzicki A., Jaworek-Korjakowska J., Yap M.H. Analysis of the ISIC image datasets: Usage, benchmarks and recommendations. Medical Image Analysis. 2022. №75. Pp. 102305-102311.
References
1. Apalla Z., Lallas A., Sotiriou E., Lazaridou E., Ioannides D. Dermatology practical and conceptual. 2017. V. 2(7). Pp. 1-21.
2. Ring C., Cox N., Lee J.B. Clinics in Dermatology. 2021. V. 4(39). Pp. 635642.
3. Sinz C., Tschandl P., Rosendahl C., Akay B.N., Argenziano G., Blum A., Kittler H. Journal of the American Academy of Dermatology. 2017. V. 77(6), Pp. 1100-1109.
4. Haenssle H.A., Fink C., Schneiderbauer R., Toberer F., Buhl T., Blum A., Zalaudek I. Annals of oncology. 2018. V. 29(8). Pp. 1836-1842.
5. Haggenmüller S., Maron R.C., Hekler A., Utikal J.S., Barata C., Barnhill R.L., Brinker T.J. European Journal of Cancer. 2021. V. 156. Pp. 202-216.
6. Wiens J., Saria S., Sendak M., Ghassemi M., Liu V.X., Doshi-Velez F., Nature medicine. 2019. V. 25(9). Pp. 1337-1340.
7. Sasov D.A., Zubkov A.V., Orlova Y.A., Turitsyna A.V. Inzhenernyj vestnik Dona. 2023. V. 6. URL: ivdon.ru/ru/magazine/archive/n6y2023/8507/.
8. Paraskevopulo K.M., Narkevich A.N. Inzhenernyj vestnik Dona. 2021. V. 5. URL: ivdon.ru/ru/magazine/archive/n5y2021/6998/.
9. Dong B., Fu X., Kang X. Pattern Analysis and Applications. 2023. V. 1(26). Pp. 357-366.
10. Cassidy B., Kendrick C., Brodzicki A., Jaworek-Korjakowska J., Yap M.H. Medical Image Analysis. 2022. V. 75. Pp. 102305-102311.
Дата поступления: 6.04.2024 Дата публикации: 16.05.2024
