CC BY
41
Система нейросетевой классификации пигментных новообразований кожи с предварительным удалением волос на фотографиях
П.А. Ляхов1, У.А. Ляхова1 1 Северо-Кавказский федеральный университет, 355017, г. Ставрополь, ул. Пушкина, д. 1
Аннотация
В статье предложена система нейросетевой классификации пигментных новообразований кожи с этапом предварительной обработки для удаления волосяных структур с изображений. Основным отличием предложенной системы является применение этапа предварительной обработки изображений для идентификации местоположения волос и их дальнейшего удаления. Данный этап позволяет подготовить дерматоскопические изображения для дальнейшего анализа с целью проведения автоматизированной классификации и диагностики пигментных кожных новообразований. Моделирование проводилось с использованием пакета прикладных программ MatLAB R2020b на клинических дерматоско-пических изображениях из международного открытого архива ISIC Melanoma Project. Предложенная система позволила повысить точность распознавания изображений пигментных поражений кожи по 10 диагностически важным категориям до 80,81%. Использование предложенной системы распознавания и классификации дерматоскопических изображений пигментных поражений специалистами даст возможность увеличить эффективность диагностики по сравнению с методами визуальной постановки диагноза, а также позволит начать лечение на более ранней стадии заболевания, что напрямую влияет на процентную выживаемость и выздоровление пациентов.
Ключевые слова: цифровая обработка изображений, сверточные нейронные сети, дерма-тоскопические изображения, пигментные поражения кожи, очистка от волос, меланома.
Цитирование: Ляхов, П.А. Система нейросетевой классификации пигментных новообразований кожи с предварительным удалением волос на фотографиях / П.А. Ляхов, У. А. Ляхова // Компьютерная оптика. - 2021. - Т. 45, № 5. - С. 728-735. - DOI: 10.18287/2412-6179-C0-863.
Citation: Lyakhov PA, Lyakhova UA. Neural network classification system for pigmented skin neoplasms with preliminary hair removal in photographs. Computer Optics 2021; 45(5): 728-735. DOI: 10.18287/2412-6179-C0-863.
Введение
Основной процент населения стран Северного полушария Земли относится к I и II фототипам кожи по классификации Фитцпатрика [1 - 2]. Особенность данных фототипов заключается в генетической неприспособленности к повышенному уровню ультрафиолетового облучения, а также в наибольшей склонности к возникновению меланомы [3]. На сегодняшний день рак кожи является одним из наиболее распространенных видов злокачественных поражений организма [4 - 5].
В современных условиях уменьшения толщины озонового слоя атмосферы ультрафиолетовое излучение оказывает прямое воздействие на кожу, являясь фактором активации онкогенов [6]. В регионах с высокой инсоляцией раку кожи предшествует солнечный кетароз, диагностика которого также является важной с целью предотвращения преобразования пигментного поражения кожи в онкоположительную форму.
Несмотря на то, что пигментные новообразования визуально различимы, диагностика онкоположитель-ных форм поражений затрудняется в связи со схожими ранними проявлениями доброкачественных и злокачественных поражений [7].
В настоящее время медицина считается одной из стратегических и перспективных областей для эффективного внедрения искусственного интеллекта, поскольку анализ медицинских изображений является наиболее распространенным способом исследований в данной сфере. Использование искусственного интеллекта может массово повысить точность проводимой врачами и специалистами диагностики [8]. В работе [9] авторами была представлена система классификации изображений поражений кожи, обученная с использованием алгоритма обратного распространения, которая достигла точности в 66,00 %. В работе [10] авторы представили автоматизированную систему классификации поражений кожи на основе глубоких нейронных сетей, которая позволила достичь точности в 66,70 %. Данная система состояла из трех основных компонентов: сегментация изображений, расчет характеристик и их дальнейшая классификация. Использование в работе [11] авторами нейросетевой архитектуры Увв-16 для обучения на наборе дерматоскопических изображений НАМ10000 позволило достичь точности определения в 79,56 %. Авторы работы [12] предложили автоматизированную нейросетевую систему сегментации и классификации дерматоскопических изображений на основе Ц-№1 и
GoogleNet. При проверке на тестовом наборе изображений система на основе U-Net достигла точности в 0,74 в метрике 1ои. Система на основе GoogleNet достигла точности в 0,87 в метрике АиС.
Основной проблемой применения искусственного интеллекта в области медицины и, в частности, дерматологии является низкий уровень точности систем распознавания и классификации. Одним из возможных способов повышения данного показателя является применение этапа предварительной обработки изображений.
При изучении пигментных поражений наличие волос на изображениях может скрывать важную диагностическую информацию, тем самым снижая эффективность и качество результатов исследования. При использовании систем автоматизированной диагностики наличие подобных шумовых искажений может кардинально изменить размер, форму, цвет и текстуру поражения, что значительно влияет на результат анализа. Очистка изображений от волос на этапе предварительной обработки является важным шагом в развитии автоматизированных диагностических систем [13].
На сегодняшний день существует ряд методов, предназначенных для предварительной обработки изображений с целью очистки от волосяных структур или других шумовых элементов. Например, суть работы метода DullRazor [14] заключается в использовании морфологической операции закрытия. Данный метод направлен на идентификацию и дальнейшую очистку преимущественно темных волос. Существенным недостатком алгоритма DulLRazor является искажение темных участков пигментных поражений, что может изменять диагностические признаки и оказывать значительное влияние на качество распознавания и классификации. Существует метод на основе фильтрации, описанный в работе [15]. Обработанное изображение, полученное при помощи применения фильтров усреднения 3 х 3 и повышения резкости, вычитается из исходного изображения. Похожий алгоритм очистки представлен в работе [16]. Основным недостатком большинства представленных методов очистки волосяных структур является отсутствие строгой количественной оценки результатов, что не дает возможности судить об эффективности применения данных алгоритмов в качестве этапа предварительной обработки фотографий для дальнейшего проведения автоматизированного распознавания и классификации.
В данной работе предлагается система нейросете-вой классификации пигментных новообразований кожи с этапом предварительной обработки для очистки волос с изображений. Данный этап предварительной обработки позволяет подготовить дерма-тоскопические изображения для дальнейшего анализа с целью проведения автоматизированной классификации и диагностики пигментных новообразова-
ний кожи. Дальнейшая часть работы структурирована следующим образом. В первом параграфе представлено описание метода идентификации и очистки волосяных структур, который предложен в качестве этапа предварительной обработки изображений пигментных поражений кожи. Второй параграф посвящен описанию нейросетевой системы для классификации пигментных новообразований по фотографиям. В третьем параграфе представлено практическое моделирование предложенной системы классификации пигментных новообразований с этапом предварительного удаления волос с дерматоскопических изображений пигментных поражений кожи. Четвертый параграф работы посвящен обсуждению полученных результатов и их сравнению с известными работами в области нейросетевой классификации дерматоскопи-ческих изображений кожи. В заключении подведены итоги работы и сделаны выводы.
1. Метод идентификации и удаления волосяных структур с дерматоскопических изображений пигментных поражений кожи
Наличие таких шумовых структур, как волосы, значительно усложняет использование систем автоматизированного распознавания и классификации пигментных поражений кожи. На рис. 1 показан пример того, как наличие волосяных структур может кардинально изменить размер, форму поражения, а также узор на текстуре изображения.
Рис. 1. Примеры дерматоскопических изображений, содержащих дефекты волос: меланома (а); невус (б); доброкачественный кетароз (в); поражения сосудов (г); актинический кетароз (д); себорейный кетароз (е)
Наиболее очевидным решением данной проблемы является удаление видимой надкожной части волос режущим инструментом перед проведением дермато-скопического обследования. Подобный подход приводит к раздражению кожи, а также вызывает диф-
фузные изменения цвета всего пигментного поражения, что искажает диагностически значимые признаки в большей степени, чем наличие исходных волос. Альтернативным решением является цифровая обработка дерматоскопических изображений с заменой пикселей волосяных структур на пиксели кожи. Для подобных систем предварительной обработки изображений ставятся две основные задачи: идентификация каждого пикселя изображения как пиксель-волос или пиксель-кожа и замена пикселя-волоса на пиксель-кожу с дальнейшей оценкой надлежащего качества изображения и сохранения диагностических признаков [17].
Предлагаемый метод предобработки изображений пигментных поражений кожи представлен на рис. 2 и состоит из четырех основных шагов. Первый шаг представляет собой разложение RGB-изображения на цветовые составляющие. Второй шаг заключается в определении местоположения волос. Третий шаг представляет собой замену пикселей волос соседними пикселями. Четвертый шаг заключается в обратном построении цветного RGB дерматоскопического изображения.
Удаление волос на цветовой компоненте R изображения
Исходное RGB-изображение
Т.
Разложение RGB-изображения по трём основным цветам
Л
Морфологическая операция закрытия с элементом Di
и+\ -г
Операция вычитания изображений
Ml 1
Пороговое обнуление пикселей изображения
~тТ
Морфологическая операция дшатации с элементом Рг
MR j Г
h
la
Операция интерполяции
Удаление волос на цветовой компоненте G изображения
It
h
Удаление волос на цветовой компоненте В изображения
ig
Гв
Объединение цветовых каналов в RGB-изображении
Рис. 2. Схема работы предложенного метода идентификации и удаления волос с дерматоскопических изображений
На вход предлагаемого метода подаются RGB дерматоскопические изображения I(x, y), и производится извлечение их цветовых составляющих IR, IG и IB. Обработка изображения производится отдельно для каждой цветовой составляющей.
Для проведения дальнейших операций введем переменные D1 и D2.
Д,2 = {(x,y): р(С,(x,y)) < r},
(1)
где р - расстояние от центра С множества А,2 в соответствии с выбранной метрикой; г - радиус множества, задаваемый пользователем.
Для идентификации местоположения волосяных структур на изображении производится морфологическая операция закрытия с элементом А.
IlCC = Ice D = ( Icc © Di) © Di,
(2)
где ф - операция дилатации множества I по А; © -операция эрозии по элементу А; СС обозначает цветовой канал, ССе{Я, О,В}. Данная операция приводит к сглаживанию участков контуров волосяных структур и заполняет узкие промежутки и длинные углубления малой ширины, а также ликвидирует пустоты и заполняет разрывы контура [18].
Следующим шагом производится вычитание исходного изображения из полученного в результате операции закрытия.
lee — 2ee 1 ee ■
(3)
Для проведения дальнейших операций введем оператор обнуления т пикселей изображения 1(х, у):
I( x, y )) =
I(x,y), если I(x,y) > T 0, еслиI(x,y) < T
(4)
где Т - порог значений интенсивности пикселей, задаваемый пользователем.
После идентификации местоположения волосяных структур на изображении производится пороговое обнуление пикселей. Для проведения операции порогового обнуления пикселей к полученному изображению применяется введенный оператор обнуления т.
MC e =T(MCe ).
(5)
Для расширения границ волосяных структур производится морфологическая операция дилатации с элементом Б2.
Mee = Mie © D,.
(6)
Элемент Б2 определяет вид и степень утолщения, которое производится во время операции дилатации.
Для замены пикселей волосяных структур соседними пикселями производится интерполяция внутрь пикселей с границы выделенной области при помощи уравнения Лапласа. При этом пограничные пиксели не подвергаются изменению.
Для обратного построения цветного ЯвВ-изображения из извлеченных цветовых составляющих производится объединение цветовых каналов.
Пример поэтапной работы предложенного метода идентификации и очистки волосяных структур с дер-матоскопических изображений пигментных поражений кожи представлен на рис. 3. Для улучшения визуального восприятия промежуточных результатов каждого этапа метода изображения 3е - 3д были инвертированы.
Рис. 3. Изображения, полученные в результате прохождения каждого этапа метода идентификации и удаления волос: цветовая составляющая Ы, представленная в оттенках серого (а); результат операции закрытия I'1 (б); результат операции вычитания M2R (инвертированное изображение) (в); результат обнуления пикселей М'1 (инвертированное изображение) (г);результат операции дилатации М1 (инвертированное изображение) (д); результат интерполяции пикселей 11 (е)
2. Нейросетевой классификатор изображений пигментных новообразований кожи
Нейронная сеть включает в себя нейроны с активацией а и параметрами 0 = { W, В}, где Ж - вектор весов,
а В - вектор смещений. Активация представляет собой линейную комбинацию входа х в нейрон и параметров, за которым следует передаточная функция о.
a = g(wtx+ b).
(7)
Одним из наиболее известных вариантов традиционных нейронных сетей является многослойный пер-цептрон, имеющий несколько уровней трансформации:
f (x, 9) = g(W" g(W"-1 ...a(W0 x + b0) + b"-1) + bn), (8)
где Wm - матрица, состоящая из строк Wk, соединенных на выходе с активацией k; m - номер текущего слоя; n - последний слой. Активация последнего слоя сети отображается через функцию soft max с распределением P (y | x, 9) и имеет вид:
P( y | x, 9) = soft max( x; 9) = •
exp(( Wn )Tx + b¡") K '
X exp((Wn )Tx+bn)
(9)
Входной слой
Обработанное изображение
Ш Г-' Ж
ttt
Идентификация и удаление волосяных структур
Св ёртка Свёр тка
где Win - весовой вектор, ведущий к выходному узлу, который связан с классом i [19].
На сегодняшний день технология сверточных нейронных сетей (СНС) признана наиболее оптимальной для распознавания образов в области искусственного интеллекта [20]. Суть этого типа нейронных сетей заключается в поочередном применении сверточных слоев и слоев выборки. Также данный тип нейросетей имеет в своем составе входной и выходной слои, несколько скрытых слоев, представленных сверточными слоями, слоями выборки и полносвязным классификатором в соответствии с рис. 4.
О actinic keratosis (2%) /1 О basal cell carcinoma (78%) / i /YQ benign ketarosis (3%) i i q dermatofibroma (2%) q melanoma (4%) Yq nevus (3%)
Q seborrheic ketarosis (4%) / q vascular lesions (I /o)
q squamous cell carcinoma (1%) ___ Q solar lentigo (2%)
--. Полносвязный
( Карты признаков J_слой ¡
Субдискретизация Субдискретизация
Рис. 4. Система нейросетевой классификации пигментных новообразований кожи по фотографиям с этапом идентификации и удаления волосяных структур
3. Моделирование нейросетевой классификации изображений пигментных новообразований кожи
Для проведения моделирования клинические дерма-тоскопические изображения были выбраны из международного открытого архива ISIC Melanoma Project [21]. Данный архив представляет собой базу цифровых репрезентативных изображений всех важных диагностических категорий в области пигментных новообразований кожи. Большая часть изображений является оцифрованными диапозитивами клиники Роффендала по лечению рака кожи в Квинсленде, Австралия, а также кафедры дерматологии медицинского университета Вены, Австрии [22]. Выбранные изображения были раз-
делены на десять наиболее значимых диагностических категорий, представленных в табл. 1.
Эмпирический анализ применения формулы (1) показал, что наилучший результат идентификации и очистки волосяных структур достигается при г = 5 для элемента Б1 и при г = 3 для элемента Б2. В качестве метрики использовалась Евклидова норма (£2)[23].
Также эмпирическим путем было установлено, что оптимальным значением порога в формуле (4) является Т = 40. Примеры предварительной очистки изображений представлены на рис. 5. Изображение 5 б было инвертировано для улучшения визуального восприятия результатов этапа выделения волос на изображении.
k=1
Табл. 1. Категории изображений для моделирования нейросетевой классификации пигментных новообразований кожи
№ Наименование категории Международное наименование Количество элементов в базе Пример изображения № Наименование категории Международное наименование Количество элементов в базе Пример изображения
1 Актинический кетароз Actinic keratosis 869 6 Невус Nevus 27878
2 Базальноклеточный рак Basal cell carcinoma 3393 7 Себорейный кетароз Seborrheic ketarosis 1464 §Jl 7 [¿Щт
3 Доброкачественный кетароз Benign ketarosis 1099 8 Солнечное лентиго Solar lentigo 270 , ц v .
4 Дерматофиброма Dermatofibroma 246 "f 9 Плоскоклеточный рак Squamous cell carcinoma 656 w
5 Меланома Melanoma 5597 10 Поражения сосудов Vascular lesions 253
m
w% to
¡Afc ■0 ^^
а) б) в)
Рис. 5. Примеры работы предложенного метода идентификации и очистки волос с дерматоскопических изображений: исходное дерматоскопическое изображение (а); результат этапа выделения волос на изображении (инвертированное изображение) (б); итоговое предварительно обработанное изображение (в)
Для качественной оценки разработанной системы нейросетевой классификации пигментных новообразований кожи было проведено обучение различных архитектур сверточных нейронных сетей на сформированной базе изображений поражений кожи. База
состояла из 41725 дерматоскопических изображений и была разделена на изображения для обучения и изображения для валидации в процентном соотношении 70 к 30. Моделирование производилось с использованием пакета прикладных программ для решения технических вычислений MatLAB R2020b. Вычисления производились на ПК с процессором Intel(R) Xeon(R) CPU ES-2620 v2 @ 2.10GHz 2.10GHz (2 процессора) c 128 ГБ оперативной памяти и 64-битной операционной системой Windows 10.
Для обучения использовалась модифицированная архитектура VGG-16, представленная в работе [24], а также предварительно обученные на наборе естественных изображений ImageNet архитектуры AlexNet, SqueezeNet и ResNet-101. Результаты оценки точности классификации дерматоскопических изображений представлены в табл. 2.
Наибольший показатель точности распознавания пигментных поражений кожи был достигнут при помощи системы нейросетевой классификации с этапом предварительной очистки волос с предварительно обученной архитектурой AlexNet [25] и составил 80,81 %. При обучении каждой нейросетевой архитектуры с использованием метода предварительной идентификации и очистки волосяных структур полученный процент точности распознавания выше, чем при обучении
оригинальной нейросетевой архитектуры без этапа предварительной обработки. Повышение точности распознавания при обучении систем нейросетевой классификации с этапом предварительной очистки волос составило 0,60 - 3,17 %, в зависимости от архитектуры. Наилучший показатель повышения точности
распознавания был получен при обучении системы нейросетевой классификации с этапом предварительной очистки волос с предварительно обученной архитектурой ResNet-101 [27] и составил 3,17 %. Наименьший результат повышения точности распознавания в 0,60 % показала модифицированная VGG-16 [24].
Табл. 2. Результаты моделирования системы нейросетевой классификации пигментных новообразований кожи
Результат распознавания
Нейросетевая архитектура
Оригинальная Предложенная система нейросете-нейросетевая вой классификации с этапом
архитектура, % предварительной очистки волос, %
Повышение точности распознавания, %
Модифицированная VGG-16 [24] 74,55 AlexNet [25] 78,63 SqueezeNet [26] 71,63 _ResNet-101 [27]_76,75
75,15 80,81
73,76 79,92
0,60 2,18 2,13
3,17
4. Обсуждение
Полученный наилучший результат в 80,81 % превосходит результаты, представленные в работах [9 -11]. В работе [28] авторами проводилось обучение сверточной нейронной сети GoogleNet Inception v3. При разделении базы для обучения на три категории нейросеть показала результат точности в 72,10 ± 0,90 %. При разделении базы изображений на 9 диагностических категорий результат точности распознавания был равен 55,40 ± 1,70 %. В нашей работе проводилось обучение нейросетевой архитектуры с этапом удаления волосяных структур на базе дерма-тоскопических изображений, состоящей из 10 значимых диагностических категорий. Полученная точность распознавания нашей системы нейросетевой классификации с этапом удаления волосяных структур составила 80,81 %, что примерно на 25 % выше по сравнению с результатами обучения на базе изображений, разделенной на 9 диагностических категорий в работе [28].
В работе [29] был представлен двоичный классификатор, различающий доброкачественные и злокачественные поражения. Данная система является максимально упрощенной в области классификации дер-матоскопических изображений и дает возможность получения только общего представления о пигментном поражении. При работе с данной системой у специалистов отсутствует возможность более точного определения пигментного новообразования среди возможных диагностических категорий. Предлагаемая нами нейросетевая система классификации с этапом предварительной очистки волос проводит классификацию по 10 диагностическим категориям. Использование нашей нейросетевой системы позволит получить более точное представление о пигментном поражении и даст возможность увеличить эффективность диагностики у специалистов.
В работе [30] обучение архитектуры ResNet проводилось на нескольких базах изображений пигмент-
ных поражений кожи с использованием метаданных в виде расовой принадлежности пациентов. Проведенный эксперимент с обучением без учета метаданных на базе изображений Asan и проверкой при помощи базы Edinburgh показал точность классификации в 0,78 ± 0,02. В нашей работе обучение нейросетевой системы классификации также проводилось на базе изображений без метаданных. При обучении аналогичной нейросетевой архитектуры ResNet использование этапа предварительной очистки волос позволило повысить точность распознавания на 3,17 % в сравнении с результатом распознавания оригинальной нейросетевой предварительно обученной архитектурой ResNet. Результат распознавания системы нейросетевой классификации с этапом предварительной очистки волос на основе архитектуры ResNet составил 79,92 %, однако данные из табл. 2 свидетельствуют о том, что нейронная сеть AlexNet справляется с этой задачей лучше. Применение дополнительной информации в качестве метаданных может использоваться в дальнейших исследованиях с целью повышения точности распознавания нейросетевых систем распознавания дерматоскопических изображений поражений кожи, в частности, в системах нейросетевой классификации с этапом предварительной идентификации и удаления волосяных структур.
Заключение
В статье представлена система нейросетевой классификации пигментных новообразований кожи с этапом предварительной обработки для удаления волосяных структур с изображений. Применение предложенного метода предварительной обработки дерматоскопических изображений позволяет повысить точность распознавания на 0,60 - 3,17 % в зависимости от архитектуры. Моделирование систем нейросетевой классификации изображений пигментных новообразований кожи с этапом предварительной идентификации и удаления волосяных структур позволило достичь точности распознавания 80,81 %
по 10 диагностически важным категориям. Наилучший показатель повышения точности распознавания был получен при обучении предложенной системы нейросетевой классификации с этапом предварительной очистки волос и составил 3,17 %. Предложенный этап предварительной обработки позволил подготовить изображения для дальнейшего анализа с целью проведения автоматизированного распознавания и классификации пигментных кожных новообразований. Использование предложенного этапа предобработки для систем распознавания и классификации дерматоскопических изображений пигментных поражений позволяет увеличить качество распознавания у систем нейросетевой классификации.
Перспективным направлением дальнейших исследований является построение более сложных систем нейросетевой классификации пигментных новообразований кожи, использующих, наряду с анализом изображения новообразования, различные метаданные о пациентах, такие как возраст, пол, расовая принадлежность, генетическая предрасположенность и другие.
Благодарности
Работа поддержана Российским фондом фундаментальных исследований (проект № 19-07-00130 А) и грантом президента Российской Федерации (проект МК-3918.2021.1.6). Авторы выражают благодарность СКФУ за помощь в рамках проекта поддержки малых научных групп и отдельных ученых.
Литература
1. Fitzpatrick, T.B. Soleil et peau [In French] / T.B. Fitzpatrick // Journal de Medecine Esthetique. - 1975. - Vol. 2. - P. 33-34.
2. Fitzpatrick, T.B. The validity and practicality of sun-reactive skin types I through VI / T.B. Fitzpatrick // Archives of Dermatology. - 1988. - Vol. 124, Issue 6. -P. 869-871.
3. Pathak, M.A. Sunlight and melanin pigmentation / M.A. Pathak, K. Jimbow, G. Szabo, T.B. Fitzpatrick. - In: Photochemical and photobiological reviews. Vol. 1 / ed. by K.C. Smith. - New York, London: Plenum Press, 1976. -P. 211-239.
4. Rogers, H.W. Incidence estimate of nonmelanoma skin cancer in the United States, 2006 / H.W. Rogers // Archives of Dermatology. - 2010. - Vol. 146, Issue 3. - P. 283-287.
5. Stern, R.S. Prevalence of a history of skin cancer in 2007: results of an incidence-based model / R.S. Stern // Archives of Dermatology. - 2010. - Vol. 146, Issue 3. - P. 279-282.
6. Шляхтунов, Е.А. Рак кожи: современное состояние проблемы / Е.А. Шляхтунов, А.В. Гидранович, Н.Г. Луд, Л.Н. Луд, В. Л. Кожар, А.В. Прокошин // Вестник Витебского государственного медицинского университета. - 2014. - Т. 13, № 3. - С. 20-28.
7. Братченко, И.А. Гиперспектральная визуализация патологий кожи в видимой области / И.А. Братченко, М.В. Алонова, О.О. Мякинин, А.А. Морятов, С.В. Козлов, В.П. Захаров // Компьютерная оптика. -2016. - T. 40, № 2. - С. 240-248. - DOI: 10.18287/24126179-2016-40-2-240-248.
8. Litjens, G. A survey on deep learning in medical image analysis / G. Litjens, T. Kooi, B.E. Bejnordi, A.A.A. Setio, F. Ciompi, M. Ghafoorian // Medical Image Analysis. -2017. - Vol. 42. - P. 60-88.
9. Alencar, F.E.S. Development of a system classification of images dermoscopic for mobile devices / F.E.S. Alencar, D.C. Lopes, F.M.M. Neto // IEEE Latin America Transactions. - 2016. - Vol. 14, Issue 1. - P. 325-330.
10. Ramlakhan, K. A mobile automated skin lesion classification system / K. Ramlakhan, Y. Shang // 2011 IEEE 23rd International Conference on Tools with Artificial Intelligence.
- 2011. - P. 138-141.
11. Pai, K. Convolutional Neural Networks for classifying skin lesions / K. Pai, A. Giridharan // TENCON 2019 - 2019 IEEE Region 10 Conference (TENCON). - 2019. - P. 1794-1796.
12. Yang, X. Skin lesion analysis by multi-target deep neural networks / X. Yang, H. Li, L. Wang, S.Y. Yeo, Y. Su, Z. Zeng // 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). - 2018. - P. 1263-1266.
13. Zaqout, I.S. An efficient block-based algorithm for hair removal in dermoscopic images / I.S. Zaqout // Компьютерная оптика. - 2017. - Т. 41(4). - С. 521-527. - DOI: 10.18287/2412-6179-2017-41-4-521-527.
14. Lee, T. Dullrazor®: A software approach to hair removal from images / T. Lee, V. Ng, R. Gallagher, A. Coldman, D. McLean // Computers in Biology and Medicine. - 1997.
- Vol. 27, Issue 6. - P. 533-543.
15. Schmid-Saugeona, P. Towards a computer-aided diagnosis system for pigmented skin lesions / P. Schmid-Saugeona, J. Guillodb, J.P. Thirana // Computerized Medical Imaging and Graphics. - 2003. - Vol. 27, Issue 1. - P. 65-78.
16. Lim, J.S. Two-dimensional signal and image processing / J.S. Lim. - Englewood Cliffs, NJ: Prentice Hall, 1990. - 548 p.
17. Fiorese, M. VirtualShave: automated hair removal from digital dermatoscopic images / M. Fiorese, E. Peserico, A. Silletti // 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. -2011. - P. 5145-5148.
18. Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. - 3rd ed. - Pearson, 2007. - 976 p.
19. Chervyakov, N.I. Residue number system-based solution for reducing the hardware cost of a Convolutional Neural Network / N.I. Chervyakov, P.A. Lyakhov, M.A. Deryabin, N.N. Nagornov, M.V. Valueva, G.V. Valuev // Neurocomputing. - 2020. - Vol. 407. - P. 439-453.
20. Zhang, J. Small sample image recognition using improved Convolutional Neural Network / J. Zhang, K. Shao, X. Luo // Journal of Visual Communication and Image Representation. - 2018. - Vol. 55. - P. 640-647.
21. ISIC Melanoma Project [Electronical Resource]. - URL: https://www.isic-archive.com/ (request date 21.11.2020).
22. Tschandl, P. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions / P. Tschandl, C. Rosendahl, H. Kittler // Scientific Data. - 2018. - Vol. 5. - 180161.
23. Gonzalez, R.C. Digital image processing using MATLAB / R.C. Gonzalez, R.E. Woods, S.L. Eddins. - 2nd ed. - New Delhi: McGraw-Hill Education, 2010.
24. Lyakhova, U.A. Method for determining skin lesions from images using neural network / U.A. Lyakhova, P.A. Lyakhov, N.I. Chervyakov, D.I. Kaplun, A.S. Voznesensky // 2020 9th Mediterranean Conference on Embedded Computing (MECO). - 2020. - P. 1-4.
25. Krizhevsky, A. ImageNet classification with deep convolu-tional neural networks / A. Krizhevsky, I. Sutskever,
G.E. Hinton // Advances in Neural Information Processing Systems. - 2012. - Vol. 25. - P. 1097-1105.
26. Iandola, F.N. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size [Electronical Resource] / F.N. Iandola, S. Han, M.W. Moskewicz, K. Ashraf, W.J. Dally, K. Keutzer // arXiv preprint arXiv: 1602.07360. - 2016. - URL: https://arxiv.org/abs/1602.07360 (request date 04.03.2021).
27. He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2016. - P. 770-778.
28. Esteva, A. Dermatologist-level classification of skin cancer with deep neural networks / A. Esteva, B. Kuprel, R.A. Novoa, J. Ko, S.M. Swetter, H.M. Blau, S. Thrun // Nature. - 2017. - Vol. 542. - P. 115-118.
29. Albahar, M.A. Skin lesion classification using convolu-tional neural network with novel regularizer / M.A. Albahar // IEEE Access. - 2019. - Vol. 7. - P. 38306-38313.
30. Han, S.S. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm / S.S. Han, M.S. Kim, W. Lim, G.H. Park, I. Park, S.E. Chang // Journal of Investigative Dermatology. - 2018. - Vol. 138, Issue 7. - P. 1529-1538.
Сведения об авторах
Ляхов Павел Алексеевич, 1988 года рождения, в 2009 году окончил Ставропольский государственный университет по специальности «Математика», заведующий кафедрой математического моделирования, факультет математики и компьютерных наук имени профессора Н.И. Червякова, ФГАОУ ВПО «Северо-Кавказский федеральный университет», заведующий отделом модулярных вычислений и искусственного интеллекта, Северо-Кавказский центр математических исследований, ФГАОУ ВПО «Северо-Кавказский федеральный университет», кандидат физико-математических наук. Область научных интересов: цифровая обработка изображений, искусственный интеллект, компьютерная арифметика, цифровые устройства. E-mail: [email protected] .
Ляхова Ульяна Алексеевна, 1997 года рождения, в 2018 окончила Северо-Кавказский федеральный университет по специальности «Биология» с присуждением квалификации бакалавр, в 2020 году окончила специальность «Прикладная математика и информатика» с присуждением квалификации магистр. Аспирант и младший научный сотрудник кафедры математического моделирования, факультет математики и компьютерных наук имени профессора Н.И. Червякова, ФГАОУ ВО «Северо-Кавказский федеральный университет». Область научных интересов: цифровая обработка изображений, искусственный интеллект, обработка медицинских изображений. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 18 января 2021 г. Окончательный вариант - 15 марта 2021 г.
Neural network classification system for pigmented skin neoplasms with preliminary hair removal in photographs
P.A. Lyakhov1, U.A. Lyakhova1 1 North-Caucasus Federal University, Stavropol, Russia
Abstract
The article proposes a neural network classification system for pigmented skin neoplasms with a preliminary processing stage to remove hair from the images. The main difference of the proposed system is the use of the stage of preliminary image processing to identify the location of the hair and their further removal. This stage allows you to prepare dermatoscopic images for further analysis in order to carry out automated classification and diagnosis of pigmented skin lesions. Modeling was carried out using the MatLAB R2020b software package on clinical dermatoscopic images from the international open archive ISIC Melanoma Project. The proposed system made it possible to increase the recognition accuracy of pigmented skin lesion images in 10 diagnostically important categories up to 80.81%. The use of the proposed system for the recognition and classification of images of dermatoscopic pigmented lesions by specialists will make it possible to increase the diagnostic efficiency in comparison with methods of visual diagnosis, and will also allow starting treatment at an earlier stage of the disease, which directly affects the survival and recovery rates for patients.
Keywords: digital image processing, convolutional neural networks, dermatoscopic images, pigmented skin lesions, hair removal, melanoma.
Citation: Lyakhov PA, Lyakhova UA. Neural network classification system for pigmented skin neoplasms with preliminary hair removal in photographs. Computer Optics 2021; 45(5): 728-735. DOI: 10.18287/2412-6179-C0-863.
Acknowledgments: This work was supported by the Government of the Russian Federation (state order no. 2.6035.2017/BCh), the Russian Foundation for Basic Research (project no. 18-0700109 A), and by the Presidential Grant of the Russian Federation (project no. SP-2245.2018.5).
References
[1] Fitzpatrick TB. Soleil et peau [In French]. J Med Esthet 1975; 2: 33-34.
[2] Fitzpatrick TB. The validity and practicality of sun-reactive skin types I through VI. Arch Dermatol 1988; 124(6): 869-871.
[3] Pathak MA, Jimbow K, Szabo G, Fitzpatrick TB. Sunlight and melanin pigmentation. In Book: Smith KC, ed. Photochemical and photobiological reviews. Vol 1. New York, London: Plenum Press; 1976: 211-239.
[4] Rogers HW. Incidence estimate of nonmelanoma skin cancer in the United States, 2006. Arch Dermatol 2010; 146(3): 283-287.
[5] Stern RS. Prevalence of a history of skin cancer in 2007: results of an incidence-based model. Arch Dermatol 2010; 146(3): 279-282.
[6] Shlyakhtunov EA, Gidranovich AV, Lud NG, Lud LN, Kozhar VL, Prokos AV. Skin cancer: the current state of the problem [In Russian]. Bulletin of the Vitebsk State Medical University 2014; 13(3): 20-28.
[7] Bratchenko IA, Alonova MV, Myakinin OO, Moryatov AA, Kozlov SV, Zakharov VP. Hyperspectral visualization of skin pathologies in visible region. Computer Optics 2016; 40(2): 240-248. DOI: 10.18287/2412-61792016-40-2-240-248.
[8] Litjens G, Kooi T, Bejnordi BE, Setio AAA, Ciompi F, Ghafoorian M. A survey on deep learning in medical image analysis. Med Image Anal 2017; 42: 60-88.
[9] Alencar FES, Lopes DC, Neto FMM. Development of a system classification of images dermoscopic for mobile devices. IEEE Lat Am Trans 2016; 14(1): 325-330.
[10
[11 [12
[13
[14
[15
[16 [17
[18 [19
Ramlakhan K, Shang Y. A mobile automated skin lesion classification system. IEEE 23rd Int Conf on Tools with Artificial Intelligence 2011: 138-141.
Pai K, Giridharan A. Convolutional Neural Networks for
classifying skin lesions. TENCON 2019: 1794-1796. Yang X, Li H, Wang L, Yeo SY, Su Y, Zeng Z. Skin lesion analysis by multi-target deep neural networks. 2018 40th Annual Int Conf of the IEEE Engineering in Medicine and Biology Society (EMBC) 2018: 12631266.
Zaqout IS. An efficient block-based algorithm for hair removal in dermoscopic images. Computer Optics 2017; 41(4): 521-527. DOI: 10.18287/2412-6179-2017-41-4521-527.
Lee T, Ng V, Gallagher R, Coldman A, McLean D. Dullrazor®: A software approach to hair removal from images. Comput Biol Med 1997; 27(6): 533-543. Schmid-Saugeona P, Guillodb J, Thirana JP. Towards a computer-aided diagnosis system for pigmented skin lesions. Comput Med Imaging Graph 2003; 27(1): 65-78. Lim JS. Two-dimensional signal and image processing. Englewood Cliffs, NJ: Prentice Hall; 1990. Fiorese M, Peserico E, Silletti A. VirtualShave: automated hair removal from digital dermatoscopic images. 2011 Annual Int Conf of the IEEE Engineering in Medicine and Biology Society 2011: 5145-5148. Gonzalez RC, Woods RE. Digital image processing. 3rd ed. Pearson; 2007.
Chervyakov NI, Lyakhov PA, Deryabin MA, Nagornov NN, Valueva MV, Valuev GV. Residue number system-based solution for reducing the hardware cost of a Con-volutional Neural Network. Neurocomputing 2020; 407: 439-453.
[20] Zhang J, Shao K, Luo X. Small sample image recognition using improved Convolutional Neural Network. J Vis Commun Image Represent 2018; 55: 640-647.
[21] ISIC Melanoma Project. Source: (https://www.isic-archive.com/).
[22] Tschandl P, Rosendahl C, Kittler H. The HAM10000 dataset: a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Sci Data 2018; 5: 180161.
[23] Gonzalez RC, Woods RE, Eddins SL. Digital image processing using MATLAB. 2nd ed. New Delhi: McGraw-Hill Education; 2010.
[24] Lyakhova UA, Lyakhov PA, Chervyakov NI, Kaplun DI, Voznesensky AS. Neural network method for determining skin lesions by images. 9th Mediterranean Conference on Embedded Computing (MECO) 2020: 14.
[25] Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Adv Neural Inf Process Syst 2012; 25: 1097-1105.
Authors' information
Pavel Alekseyevich Lyakhov (b. 1988) graduated from Stavropol State University, specialty "Mathematics" in 2009. Head of Department of Mathematical Modeling, North-Caucasus Federal University. Head of Department of Modular Computing and Artificial Intelligence, North-Caucasus Center for Mathematical Research, North-Caucasus Federal University. Research interests are digital image processing, artificial intelligence, computer arithmetic and digital circuits. E-mail: [email protected] .
Ulyana Alekseevna Lyakhova (b.1997) in 2018 graduated from the North Caucasus Federal University with a B.Sc. degree in Biology, in 2020 she graduated from the North Caucasus Federal University with a M.Sc. degree in Applied Mathematics and Informatics. Ph.D. student and Researcher, Department of Mathematical Modeling, North-Caucasus Federal University. Research interests are digital image processing, artificial intelligence, medical imaging. E-mail: [email protected] .
Received January 18, 2021. The final version - March 15, 2021.
[26] Iandola FN, Han S, Moskewicz MW, Ashraf K, Dally WJ, Keutzer K. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. Source: <https://arxiv.org/abs/1602.07360).
[27] He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Proc IEEE Conf on Computer Vision and Pattern Recognition 2016: 770-778.
[28] Esteva A, Kuprel B, Novoa RA, Ko J, Swetter SM, Blau HM, Thrun S. Dermatologist-level classification of skin cancer with deep neural networks. Nature 2017; 542: 115-118.
[29] Albahar MA. Skin lesion classification using convolu-tional neural network with novel regularizer. IEEE Access 2019; 7: 38306-38313.
[30] Han SS, Kim MS, Lim W, Park GH, Park I, Chang SE. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm. J Invest Dermatol 2018; 138(7): 1529-1538.
