CC BY
16
НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2022 Том 22 № 5 http://ntv.ifmo.ru/
I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
September-October 2022 Vol. 22 No 5 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
doi: 10.17586/2226-1494-2022-22-5-859-865 УДК 004.93
Применение технологий нейронных сетей и компьютерного зрения
для анализа изображений кожных новообразований
Сергей Андреевич Милантьев1Н, Анна Алексеевна Кордюкова2, Даниил Олегович Шевяков3, Евгений Павлович Логачев4
1,2,3,4 Институт аналитического приборостроения РАН, Санкт-Петербург, 198095, Российская Федерация 1 Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
3 Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация
1 geerkus@gmail.coms, https://orcid.org/0000-0002-1970-5217
2 annygm00@mail.ru, https://orcid.org/0000-0002-6099-4276
3 sevakovdaniil@gmail.com, https://orcid.org/0000-0001-5609-4091
4 zhenya.logachev. 94@mail.ru, https://orcid.org/0000-0003-4292-9419
Аннотация
Предмет исследования. Исследована возможность применения нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований и выявления признаков развития различных патологий, в том числе онкологических. Разработана методика оценки значимости комбинаций цветовых каналов и пространств с применением технологий компьютерного зрения, а именно, методов локальных бинарных шаблонов и гистограмм ориентированных градиентов для извлечения признаков кожных изменений и бинарной классификации новообразований кожи человека. Оптимизация комбинаций признаков позволит более эффективно решать проблему разделимости данных при классификации. Показана возможность исследования кожных новообразований при использовании набора данных малого объема (менее 1000 изображений). Предложено применение методики к данным, получаемым с помощью нового уникального метода многоспектральной обработки кожных новообразований. Метод. Использованы изображения из наборов данных ISIC-19 и ISIC-20. Для тренировки и валидации моделей сформированы выборки с ограничением в 1000 изображений, а также дополнительная тестовая выборка из 250 изображений. Все изображения приведены к единому размеру 128 х 128 пикселов и преобразованы в цветовые пространства YCrCb, BGR, Grayscale, HSV. По каждому цветовому каналу извлечены признаки с помощью методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Для классификации данных применен ряд математических моделей, в том числе нейронные сети. Выполнена оценка эффективности комбинаций объединения признаков по цветовым каналам и методам их извлечения. Предобработанные изображения разделены на тренировочную и валидационную подвыборки в соотношении 70/30 %. Проведена оценка моделей с помощью метрик Accuracy, Recall, Precision и F1-score на стратифицированной кросс-валидации и тестовой выборке. Оптимизация параметров моделей осуществлена на основе функции потерь, представленной усредненным значением по кросс-валидации и оценке на валидационной выборке. Основные результаты. В процессе исследований выполнено более 15 000 оптимизаций параметров моделей. Наиболее устойчивые результаты на валидационном наборе данных достигнуты при ансамблировании моделей, обученных на комбинации признаков с применением методов локальных бинарных шаблонов и гистограмм ориентированных градиентов. Показано, что модели с использованием только метода локальных бинарных шаблонов имеют лучшие значения метрик, применение их не рекомендуется на практике без ансамблирования с более сильными моделями. Практическая значимость. Полученные результаты могут найти применение при использовании ансамбля из state-of-the-art сверточных и рекуррентных нейронных сетей. Предложенный подход является универсальным и применим как для анализа отдельных изображений кожных новообразований, так и для анализа их последовательностей, полученных по методу многоспектральной обработки изображений. Методику можно использовать на наборах данных с ограниченным их количеством. Полученные результаты будут полезны специалистам в областях компьютерного зрения и анализа медицинских снимков. Ключевые слова
кожные новообразования, нейронные сети, HOG, LBP, цветовые пространства, анализ изображений,
многоспектральная обработка изображений
Благодарности
Работа поддержана Минобрнауки Российской Федерации, госзадание № 075-00761-22-00, тема № FZZM-2022-0011.
© Милантьев С.А., Кордюкова А.А., Шевяков Д.О., Логачев Е.П., 2022
Ссылка для цитирования: Милантьев С.А., Кордюкова А.А., Шевяков Д.О., Логачев Е.П. Применение технологий нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 5. С. 859-865. doi: 10.17586/2226-1494-2022-22-5-859-865
Application of neural network and computer vision technologies for image analysis of skin lesion
Sergey A. Milantev1H, Anna A. Kordyukova2, Daniil O. Shevyakov3, Evgeny P. Logachev4
i,2,3,4 Institute for analytical instrumentation of the Russian Academy of Sciences, Saint Petersburg, 198095, Russian Federation
1 ITMO University, Saint Petersburg, 197101, Russian Federation
3 Saint Petersburg State University of Aerospace Instrumentation, Saint Petersburg, 190000, Russian Federation
1 geerkus@gmail.coms, https://orcid.org/0000-0002-1970-5217
2 annygm00@mail.ru, https://orcid.org/0000-0002-6099-4276
3 sevakovdaniil@gmail.com, https://orcid.org/0000-0001-5609-4091
4 zhenya.logachev. 94@mail.ru, https://orcid.org/0000-0003-4292-9419
Abstract
Opportunity research of using neural networks and computer vision to analyze images of skin lesion and identify features of various pathologies, including oncological neoplasms. A methodology has been developed that makes it possible to evaluate the significance of combinations of color components and spaces in feature extraction using local binary patterns (LBP) and histogram of oriented gradients (HOG) computer vision technologies to extract features of skin changes binary classification of human skin lesions. Optimization of extracted feature makes it possible to more effectively solve the problem of data separability in classification. Research reveals an accessible way to classify skin lesions on a small dataset (less than 1000 images). Research is supposed to be applied to data sequences obtained using a new unique method of multispectral processing of skin lesions. In the course of the work, data from the ISIC-19 and ISIC-20 datasets were used. Samples were formed with a limit of 1000 images for training and validating the models. Additionally, a test sample of 250 images was formed. All images were reduced to 128 x 128 pixels and converted to YCrCb, BGR, Grayscale, HSV color spaces. Features were extracted for each color channel using the HOG and LBP methods. Mathematical models, including neural networks have been used for data classification. The effectiveness of features combinations by color channels and feature extraction methods was evaluated. The preprocessed images were divided into training and validation subsets in a 70/30 ratio. The accuracy, recall, precision and f1-score metrics were used to evaluate the models. The models were evaluated using stratified cross-validation and a test dataset. Optimization of model parameters was carried out based on the loss function represented by the average of cross-validation and evaluation on the validation set. In the process of research, more than 15 000 different optimizations of model parameters were executed. The most stable results on the validation dataset were achieved using ensemble of models, which were trained on a combination of features using local binary patterns (LBP) and histogram of oriented gradients (HOG) technologies. Models which used only local binary patterns technology had the best metrics values, but these models are not recommended to be used in practice without ensemble with stronger models. The results gained can be applied for usage with an ensemble of state-of-the-art convolutional and recurrent neural networks. The proposed approach is universal and applicable both for the analysis of individual images of skin neoplasms and for the analysis of their sequences obtained by the method of multispectral image processing. The technique can be applied to datasets with a limited amount of data. The results obtained will be of interest to specialists in the fields of computer vision and medical images analysis. Keywords
skin lesion, neural networks, HOG, LBP, color spaces, image analysis, multispectral image processing Acknowledgements
The work was supported by the Ministry of Education and Science of the Russian Federation, state task No. 075-0076122-00, topic No. FZZM-2022-0011.
For citation: Milantev S.A., Kordyukova A.A., Shevyakov D.O., Logachev E.P. Application of neural network and computer vision technologies for image analysis of skin lesion. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2022, vol. 22, no. 5, pp. 859-865 (in Russian). doi: 10.17586/2226-1494-2022-22-5-859-865
Введение
Ранняя диагностика злокачественных новообразований кожи в настоящее время — актуальная проблема. Активное развитие средств биорадиофотоники способствует появлению новых оптических методов исследования кожных новообразований, позволяющих расширить диагностические возможности дермоскопии. Один из них — уникальный метод многоспектраль-
ной обработки изображений кожных новообразований [1—4], предложенный и развивающийся в лаборатории «Радио- и оптоэлектронных приборов ранней диагностики патологий живых систем» Института аналитического приборостроения РАН (Санкт-Петербург) под руководством профессора, доктора технических наук К.В. Зайченко. Данный метод основан на получении последовательности монохромных изображений, каждое из которых представляет собой распределение
интенсивности света на выбранной длине волны. Таким образом, чем больше число используемых длин волн, тем больший объем спектральной информации можно получить в дополнение к имеющейся пространственной информации.
Для детального изучения любых изображений кожных новообразований, а также их дальнейшего автоматического анализа в процессе принятия диагностического решения, большой интерес представляет применение технологий нейронных сетей и методов компьютерного зрения. С их помощью можно перейти к решению одной из основных задач диагностики кожных новообразований — бинарной классификации новообразований на доброкачественные и злокачественные. Добиться этого можно путем обнаружения в исследуемых изображениях маркеров, имеющих различную природу: цвет, размер, контур, интенсивность отражения света от исследуемого участка кожи. В связи с этим большой интерес представляет проведение оценки цветовых каналов и пространств в исследуемых изображениях, а также оптимизация всех полезных признаков, содержащих в себе информацию о наличии либо отсутствии патологии.
Цель работы — применение технологий нейронных сетей и компьютерного зрения для анализа изображений кожных новообразований и выявления признаков развития различных патологий, в том числе онкологии. Для этого необходимо решить следующую задачу — разработать методику, которая позволит оценить статистическую значимость комбинаций цветовых каналов и пространств на основе применения методов локальных бинарных шаблонов (Local Binary Patterns, LBP) и гистограмм ориентированных градиентов (Histogram of Oriented Gradients, HOG), а также нейронных сетей. Оценка значимости будет выражена показателями метрик моделей по каждому проведенному эксперименту. Работа может внести вклад в развитие метода многоспектральной обработки изображений (монохромных) кожных новообразований [1—4], а также позволяет проводить исследования и других изображений (цветных), представляющих интерес для диагностики рака кожи.
Методы и подходы
Основной подход настоящей работы — выявление наиболее значимых цветовых пространств и каналов для классификации кожных новообразований. Причина реализации подхода — исследование применения методики на датасетах малого объема (менее 1000 изображений). Поиск наибольшей значимости цветовых пространств на изображениях кожных новообразований позволит решить остро стоящую проблему разделимости данных в рамках небольшого датасета.
Данные. При решении поставленной задачи учтем, что сбор изображений кожных новообразований с помощью нового метода многоспектральной обработки изображений в соответствующий датасет находится на начальной стадии. Недостаточное количество данных служит препятствием для оценки статистической значимости экспериментов. В связи с этим для формирования задачи бинарной классификации используем
существующие датасеты ISIC-19 [5-7] и ISIC-20 [8]. В проводимых экспериментах для симуляции будущего применения методики к данным, полученным методом многоспектральной обработки изображений, наложим ограничения на количество данных. Отметим, что да-тасет ISIC-19 включает в себя более 25 000 дерматоско-пических изображений, содержащих многоклассовые кожные новообразования (как злокачественные, так и доброкачественные), а именно: кератоз, нейрофиброма-тоз, базально-клеточная карцинома, дерматофиброма, болезнь Боуэна, плоскоклеточный рак, лентиго, бородавки, злокачественная меланома и др. Архив ISIC-20 содержит, в том числе и данные из других датасетов: MSK (различные размеры изображений), HAM10000 (размеры изображений 600 х 450 пикселов) и BCN20000 (размеры изображений 1024 х 1024 пикселов).
В результате первоначально на основе наборов данных ISIC-19 и ISIC-201 случайным образом сгенерирована сбалансированная по классам подвыборка. Ее размер ограничен 1000 изображений, 700 из которых использованы в тренировочной подвыборке, а 300 — в валидационной. Также сформирована тестовая выборка из дополнительных 250 изображений, моделирующая процесс оценки эксплуатации на новых данных. Тренировочная, валидационная и тестовая подвыборки строго предопределены по индексам идентификаторами изображений.
Во время проведения экспериментов и обучения моделей использованы дополнительные оценки и техники для предотвращения процесса переобучения моделей. В первую очередь применена L2-регуляризация для получения устойчивых моделей. Проведена оптимизация параметров моделей по средним значениям, исходя из оценок кросс-валидации и валидационной выборке.
Предобработка данных. Отметим, что в используемых датасетах ISIC-19 и ISIC-20 встречаются изображения, имеющие черные области. Во избежание возможных ухудшений метрик в процессе обучения и оптимизации моделей эти области минимизируются с помощью преобразования из библиотеки ImageMagick с коэффициентом нечеткости около 5 %. Затем все изображения преобразуются в единый размер 128 х 128 пикселов. Для аугментации данных и улучшения их структуры в отдельных экспериментах применено гауссовское размытие с ядром 3 х 3 или 5 х 5 в различных масштабах. В работе [9] рассмотрен подход оценки освещенности, подтверждающий оптимальный коэффициент нормы Минковского (Minkowski norm p = 6). С целью дополнительной нормализации изображений в настоящей работе также внедрен данный подход, на основании которого выполнено примерно 15 % от общего числа экспериментов.
Далее к каждому из изображений были применены разложения по цветовым пространствам: BGR (RGB), YCrCb, HSV, Grayscale. BGR — аддитивное цветовое пространство, в котором итоговый цвет задается линейной комбинацией по всем фильтрам, имеющим
1 International Skin Imaging Collaboration [Электронный ресурс]. Режим доступа: https://www.isic-archive.com (дата обращения: 27.09.2022).
корреляцию с интенсивностью освещения. В YCrCb-пространстве выделяется канал яркости Y, полученный после гамма-коррекции из RGB, а также канал Cr (Cr = R-Y), показывающий расстояние R от Y и канал Cb (Cb = B-Y) — расстояние B от Y. Одно из главных преимуществ пространства YCrCb — разделение информации об интенсивности освещения и цветовой информации. Цветовое пространство HSV состоит из канала тона H (доминирующая длина волны), насыщенности цвета S и значения цвета. Значимым преимуществом данного цветового пространства является использование канала H для описания цвета, которое остается неизменным при изменении интенсивности освещения. Цветовое пространство Grayscale позволяет исследовать измерения интенсивности света в каждом пикселе в соответствии с определенной длиной волны, что актуально для монохромных изображений, полученных методом многоспектральной обработки изображений.
Методы извлечения признаков. Рассмотрим применение методов компьютерного зрения LBP [10] и HOG [11], с помощью которых можно получить предикторы (массив исследуемых признаков), содержащие дополнительные нелинейные зависимости. Также исследуем комбинации признаков, в том числе и объединение предикторов HOG и LBP, зарекомендовавшее себя в научных работах о задачах классификации изображений для диагностики рака желудка [12] и молочной железы [13].
Метод HOG в настоящей работе применен в качестве одного из методов извлечения признаков из исследуемых изображений. Основная идея метода HOG заключается в том, что любое изображение может быть описано с помощью распределения интенсивности градиентов. Данный метод основан на подсчете количества направлений градиента в локальных областях изображения и подразумевает следующие этапы.
1. Разделение пикселов каждого изображения на ячейки. Внутри каждой ячейки вычислена локальная гистограмма направлений градиентов. После вычисления градиентов каждый пиксел получил значения направления от 0 до 180° и величину градиента. При составлении локальной гистограммы направлений градиентов значение его величины добавлено в интервал гистограммы, к которому принадлежит значение направления пиксела. В данном эксперименте гистограмма содержала 9 интервалов, соответствующих углам 0, 20, 40, 60, 80, 100, 120, 140 и 160° [12, 13]. Так как использованы значения беззнаковых градиентов, то направления 0 и 180° являются эквивалентными.
2. Объединение ячеек в блоки. Для повышения инвариантности метода к бликам, теням и к другим шумам, ячейки объединены в блоки. Внутри каждого блока ко всем ячейкам применена нормализация гистограмм направлений градиентов. Данная операция заключается в объединении всех локальных гистограмм направлений градиентов внутри блока, где полученные результаты представляются в виде вектора, который необходимо разделить на длину данного вектора.
3. Выполнение операции конкатенации гистограмм градиентов по всем цветовым каналам для получения результирующего вектора признаков. Метод LBP также применен для извлечения признаков. В изолированном виде данный метод имеет лучшие показатели метрик по сравнению с методом HOG. Принцип работы метода LBP основан на сравнении значений пикселов изображения со значениями своих соседей и подразумевает следующие этапы.
1. Разделение пикселов каждого изображения на ячейки. При этом каждая ячейка формируется на основании заранее определенных значений параметров радиуса и количества соседей. В данном эксперименте применены параметры радиуса со значением 3 и количеством соседей — 24.
2. Определение количества соседей. В каждой ячейке значение центрального пиксела является пороговым для определения значений соседей. Для каждого соседнего пиксела со значением большим или равным центральному устанавливается 1, в противном случае — 0. Результирующая матрица является построчной формой записи для восьмибитного двоичного числа.
3. Преобразование чисел в пикселы. Полученное восьмибитное двоичное число преобразуется в десятичное и устанавливается на месте центрального пиксела. В случае если точка соседа находится между пикселами, применяется билинейная интерполяция, где значение точки оценивается по взвешенному среднему из значений четырех ближайших пикселов.
4. Вычисление локальной гистограммы. После преобразования всех пикселов внутри ячейки выполнено вычисление локальной гистограммы распределения частот значений пикселов в ячейке. Для нормализации полученная локальная гистограмма представлена в виде вектора, который необходимо разделить на длину данного вектора.
5. Получение результирующего вектора. Результирующий вектор признаков состоит из конкатенации всех локальных гистограмм по всем цветовым каналам.
Далее к базовым и извлеченным признакам применены техники нормализации и масштабирования: по максимальному абсолютному значению, MinMax, степенное преобразование Yeo-Johnson, квантильные преобразования и z-преобразование. Выбор данных техник связан с одинаковой равномерностью для всех экспериментов и по показателям оптимизаций (см. подробнее в подразделе «Обучение и оптимизация моделей»).
Модели
Для решения поставленной задачи рассмотрим следующие классификационные модели: полносвязные нейронные сети, градиентный бустинг над решающими деревьями (реализация LightGBM), байесовские модели, квадратичный дискриминантный анализ, модель логистической регрессии, модели на гауссовских процессах, методы опорных векторов и ближайших
соседей. При реализации нейронных сетей между скрытыми слоями добавлены блоки batch-нормализации и функции активации ReLU, которые трансформируют входные данные в шкалу с нулевым математическим ожиданием и единичной дисперсией. В некоторых экспериментах (примерно 5 % от общего числа) использован метод главных компонент. Все модели применены в равных условиях для определения показателей метрик, отражающих выявление признаков патологии для различных математических моделей. Полученный наилучший результат по значениям метрик определяет показатель качества работы моделей.
Обучение и оптимизация моделей. Выполним объединение полученных признаков в предикторы по различным комбинациям. В первую очередь проведем оценку эффективности конкатенации признаков по цветовым каналам. Рассмотрим комбинации по способу получения признаков: по изображению без изменений, методами LBP и HOG. Напомним, что все преобразованные данные разделены в соотношении 70/30 % для тренировки и валидации моделей. Подвыборки сгенерированы однократно, в полученной коллекции сохранены индексы, которые строго предопределены с целью оценки моделей после обучения и оптимизаций на одинаковых данных.
Затем для каждой из моделей вручную (путем объективного поиска границ для диапазона значений) описаны пространства для оптимизации параметров моделей. Все классификационные модели оптимизированы с применением байесовских алгоритмов, основанных на гауссовских процессах и деревьях решений [14]. Данный подход является одной из итераций оптимизационного алгоритма. В качестве функции потерь использованы средние значения по метрикам на кросс-ва-лидации и метрики Recall.
Все модели обучены в равных условиях с применением стратифицированной кросс-валидации для оценки показателей метрик. После получения результатов модели были обучены на тренировочной и валидационной выборках. Архитектура данной методики представлена на рисунке.
В работе выполнено более 15 000 экспериментов и оптимизаций. Все итерации по оптимизациям сохранены в облачном MLOps сервисе Weights&Biases, позволяющем эффективно отслеживать эксперименты
и сохранять метрики, датасеты, модели и прочие артефакты с поддержкой версионирования в облачном хранилище.
На основе оптимизаций проведен поиск лучших моделей по всем комбинациям цветовых каналов и способу получения предикторов. Выявлены лучшие модели по типу использованного классификационного алгоритма. После получения лучших моделей для каждого разреза сформированы ансамбли моделей, основанные на взвешенном голосовании по правилу большинства.
Оценка моделей. Кроме тренировочной и валида-ционной выборок, сформирована тестовая выборка из дополнительных 250 изображений, моделирующая процесс оценки эксплуатации моделей на новых данных. Тестовая выборка аналогичным образом строго предопределялась по индексам. При этом оценка моделей в задаче классификации на всех этапах выполнена по основным метрикам Accuracy, Recall, Precision и F1-Score. Модели, в том числе и ансамбли, также оценены на стратифицированной кросс-валидации и тестовом наборе данных.
Результаты
Получены показатели метрик моделей, сгруппированные по результатам цветовых пространств и методам извлечения признаков. Выполнено ансамблирова-ние по пяти лучшим моделям на основании значений кросс-валидации. Ансамбль двух методов показал наиболее стабильные показатели метрик. Результаты исследования представлены в таблице. В столбце «CV-Score» выделены показатели наиболее устойчивых моделей на кросс-валидации. В большинстве экспериментов по показателям на кросс-валидации наиболее стабильными оказались модели с применением только метода LBP и комбинации цветовых пространств HSV и YCrCb. Отметим, что ансамбли из комбинации методов LBP и HOG также показали хорошие результаты.
Полученные результаты (таблица) не являются оптимальными для внедрения, поскольку составляют приблизительно 70-75 %, что, со статистической точки зрения, является не достоверным показателем. Однако извлеченные данные позволят улучшить показатели метрики моделей при анализе последовательностей,
Метоп гистогпамм опиентипованных гпалиентов
Рисунок. Архитектура используемой методики Figure. Approach architecture
Таблица. Метрики моделей, сгруппированные на основе цветовых пространств и технологий извлечения Table. Model metrics grouped by color spaces and extraction technologies
Цветовое пространство Метод Метрики
Accuracy Recall Fl-Score CV-Score
BGR (RGB) — 0,6909 ± 0,067 0,6909 ± 0,067 0,6908 ± 0,078 0,6922 ± 0,049
YCrCb LBP 0,6909 ± 0,035 0,6909 ± 0,035 0,6904 ± 0,048 0,7091 ± 0,039
YCrCb HOG 0,6545 ± 0,034 0,6545 ± 0,034 0,6541 ± 0,061 0,6377 ± 0,02
HSV+YCrCb LBP 0,703 ± 0,039 0,703 ± 0,039 0,703 ± 0,054 0,735 ± 0,051
HSV+YCrCb HOG 0,6424 ± 0,042 0,6424 ± 0,042 0,6423 ± 0,075 0,6208 ± 0,031
SV+YCrCb LBP 0,684 ± 0,038 0,684 ± 0,038 0,686 ± 0,055 0,713 ± 0,042
SV+YCrCb HOG 0,667 ± 0,039 0,667 ± 0,039 0,667 ± 0,066 0,633 ± 0,031
Ensemble of LBP (HSV + YCrCb) LBP 0,6927 0,6927 0,6927 0,7516
Ensemble of LBP (HSV + YCrCb) and HOG (YCrCb) LBP + HOG 0,7017 0,7017 0,7017 0,7419
полученных с помощью многоспектрального метода, и ансамбля state-of-the-art сверточных нейронных сетей [15].
Заключение
В работе рассмотрен способ использования моделей для бинарной классификации кожных новообразований с ограничением по размерности данных для обучения. Выполнен ряд исследований по оценке эффективности методов извлечения признаков и цветовых пространств для поиска дополнительных линейных и нелинейных зависимостей. Эксперименты проведены на малой выборке (менее 1000 изображений), где значительная часть данных применена только в процессе тестирования моделей. В большинстве экспериментов лучших показателей метрик достиг метод локальных бинарных шаблонов, однако ансамблирование с методом гистограмм ориентированных векторов способствовало улучшению показателей.
В дальнейшем планируется: — внедрить расширенную стратегию аугментации данных после получения последовательностей суби-
зображений с помощью метода многоспектральной обработки изображений кожных новообразований;
— применить модели на рекуррентных нейронных сетях U-Net и R2U-Net для предобработки изображений;
— применить полученные модели в архитектуру, построенную на ансамбле state-of-the-art сверточных нейронных сетей. Планируется провести конкатенацию результирующего вектора по моделям из эксперимента с полносвязным слоем во всех моделях сверточных нейронных сетей из ансамбля. При этом следует применять нескольких dense-слоев с batch-нормализацией и функцией активации ReLU и dropout с низкой вероятностью для глобальной регуляризации обучения. Все это позволит улучшить метрики последующей модели, которая станет следующей задачей в реализации данных исследований.
Разработанная методика применима как для анализа отдельных изображений кожных новообразований, так и для анализа их последовательностей, полученных по методу многоспектральной обработки изображений.
Литература
1. Зайченко К.В., Гуревич Б.С. Многоспектральная обработка изображений биологических объектов с помощью акустооптических устройств // Биомедицинская радиоэлектроника. 2013. № 9. С. 70-76.
2. Zaichenko K.V., Gurevich B.S. Application of acousto-optic tunable filters in the devices of skin cancer diagnostics // Proceedings of SPIE.
2020. V. 11585. P. 11585OK. https://doi.org/10.1117/12.2581750
3. Zaichenko K.V., Gurevich B.S. Spectral selection using acousto-optic tunable filters for the skin lesions diagnostics // Proceedings of SPIE.
2021. V. 11922. P. 119221C. https://doi.org/10.1117/12.2615808
4. Zaichenko K.V., Gurevich B.S. Skin lesions diagnostics by means of multispectral acousto-optic image processing with complexing by x-ray image data // AIP Conference Proceedings. 2020. V. 2250. P. 020033. https://doi.org/10.1063Z5.0013186
5. Tschandl P., Rosendahl C., Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions // Scientific Data. 2018. V. 5. P. 180161. https://doi.org/10.1038/sdata.2018.161
References
1. Zaichenko K.V., Gurevich B.S. Multispectral processing of the biological objects imaging by means of acousto-optic devices.
Journal Biomedical Radioelectronics, 2013, no. 9, pp. 70-76. (in Russian)
2. Zaichenko K.V., Gurevich B.S. Application of acousto-optic tunable filters in the devices of skin cancer diagnostics. Proceedings of SPIE,
2020, vol. 11585, pp. 11585OK. https://doi.org/10.1117/12.2581750
3. Zaichenko K.V., Gurevich B.S. Spectral selection using acousto-optic tunable filters for the skin lesions diagnostics. Proceedings of SPIE,
2021, vol. 11922, pp. 119221C. https://doi.org/10.1117/12.2615808
4. Zaichenko K.V., Gurevich B.S. Skin lesions diagnostics by means of multispectral acousto-optic image processing with complexing by x-ray image data. AIP Conference Proceedings, 2020, vol. 2250, pp. 020033. https://doi.org/10.1063Z5.0013186
5. Tschandl P., Rosendahl C., Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Scientific Data, 2018, vol. 5, pp. 180161. https://doi.org/10.1038/sdata.2018.161
6. Codella N.C.F., Gutman D., Celebi M.E., Helba B., Marchetti M.A., Dusza S.W., Kalloo A., Liopyris K., Mishra N., Kittler H., Halpern A. Skin lesion analysis toward melanoma detection: A challenge at the 2017 International symposium on biomedical imaging (ISBI), hosted by the international skin imaging collaboration (ISIC) // Proc. of the 15th IEEE International Symposium on Biomedical Imaging (ISBI). 2018. P. 168-172. https://doi.org/10.1109/ISBI.2018.8363547
7. Combalia M., Codella N.C.F., Rotemberg V., Helba B., Vilaplana V., Reiter O., Carrera C., Barreiro A., Halpern A.C., Puig S., Malvehyet J. BCN20000: Dermoscopic lesions in the wild // arXiv. 2019. arXiv:1908.02288. https://doi.org/10.48550/arXiv.1908.02288
8. Rotemberg V., Kurtansky N., Betz-Stablein B., Caffery L., Chousakos E., Codella N., Combalia M., Dusza S., Guitera P., Gutman D., Halpern A., Helba B., Kittler H., Kose K., Langer S., Lioprys K., Malvehy J., Musthaq S., Nanda J., Reiter O., Shih G., Stratigos A., Tschandl P., Weber J., Soyer H.P. A patient-centric dataset of images and metadata for identifying melanomas using clinical context // Scientific Data. 2021. V. 8. N 1. P. 34. https://doi. org/10.1038/s41597-021-00815-z
9. Finlayson G., Trezzi E. Shades of gray and colour constancy // Proc. of the IST/SID 12th Color Imaging Conference. 2004. P. 37-41.
10. Kumar D.M., Babaie M., Zhu S., Kalra S., Tizhoosh H.R. A comparative study of CNN, BoVW and LBP for classification of histopathological images // Proc. of the 2017 IEEE Symposium Series on Computational Intelligence (SSCI). 2017. P. 1-7. https://doi. org/10.1109/SSCI.2017.8285162
11. Korkmaz S., Akjijek A., Binol H.B., Korkmaz M. Recognition of the stomach cancer images with probabilistic HOG feature vector histograms by using HOG features // Proc. of the 15th IEEE International Symposium on Intelligent Systems and Informatics (SISY). 2017. P. 339-342. https://doi.org/10.1109/SISY.2017.8080578
12. Korkmaz S., Binol H. Classification of molecular structure images by using ANN, RF, LBP, HOG, and size reduction methods for early stomach cancer detection // Journal of Molecular Structure. 2018. V. 1156. P. 255-263. https://doi.org/10.1016/j.molstruc.2017.11.093
13. Alhakeem Z., Jang S.-I. An LBP-HOG descriptor based on matrix projection for mammogram classification // arXiv. 2021. arXiv. 1904.00187. https://doi.org/10.48550/arXiv.1904.00187
14. Agrawal T. Hyperparameter Optimization in Machine Learning. Apress Berkeley, CA. 2021. XIX, 166 p. https://doi.org/10.1007/978-1-4842-6579-6
15. Milantev S., Olyunin V., Bykov I., Milanteva N., Bessmertnyi I. Skin lesion analysis using ensemble of CNN with dermoscopic images and metadata // CEUR Workshop Proceedings. 2021. V. 2893.
6. Codella N.C.F., Gutman D., Celebi M.E., Helba B., Marchetti M.A., Dusza S.W., Kalloo A., Liopyris K., Mishra N., Kittler H., Halpern A. Skin lesion analysis toward melanoma detection: A challenge at the 2017 International symposium on biomedical imaging (ISBI), hosted by the international skin imaging collaboration (ISIC). Proc. of the 15th IEEE International Symposium on Biomedical Imaging (ISBI), 2018, pp. 168-172. https://doi.org/10.1109/ISBI.2018.8363547
7. Combalia M., Codella N.C.F., Rotemberg V., Helba B., Vilaplana V., Reiter O., Carrera C., Barreiro A., Halpern A.C., Puig S., Malvehyet J. BCN20000: Dermoscopic lesions in the wild. arXiv, 2019, arXiv:1908.02288. https://doi.org/10.48550/arXiv.1908.02288
8. Rotemberg V., Kurtansky N., Betz-Stablein B., Caffery L., Chousakos E., Codella N., Combalia M., Dusza S., Guitera P., Gutman D., Halpern A., Helba B., Kittler H., Kose K., Langer S., Lioprys K., Malvehy J., Musthaq S., Nanda J., Reiter O., Shih G., Stratigos A., Tschandl P., Weber J., Soyer H.P. A patient-centric dataset of images and metadata for identifying melanomas using clinical context. Scientific Data, 2021, vol. 8, no. 1, pp. 34. https:// doi.org/10.1038/s41597-021-00815-z
9. Finlayson G., Trezzi E. Shades of gray and colour constancy. Proc. of the IST/SID 12th Color Imaging Conference, 2004, pp. 37-41.
10. Kumar D.M., Babaie M., Zhu S., Kalra S., Tizhoosh H.R. A comparative study of CNN, BoVW and LBP for classification of histopathological images. Proc. of the 2017 IEEE Symposium Series on Computational Intelligence (SSCI), 2017, pp. 1-7. https://doi. org/10.1109/SSCI.2017.8285162
11. Korkmaz S., Akjijek A., Binol H.B., Korkmaz M. Recognition of the stomach cancer images with probabilistic HOG feature vector histograms by using HOG features. Proc. of the 15th IEEE International Symposium on Intelligent Systems and Informatics (SISY), 2017, pp. 339-342. https://doi.org/10.1109/ SISY.2017.8080578
12. Korkmaz S., Binol H. Classification of molecular structure images by using ANN, RF, LBP, HOG, and size reduction methods for early stomach cancer detection. Journal of Molecular Structure, 2018, vol. 1156, pp. 255-263. https://doi.org/10.1016Aj. molstruc.2017.11.093
13. Alhakeem Z., Jang S.-I. An LBP-HOG descriptor based on matrix projection for mammogram classification. arXiv, 2021, arXiv. 1904.00187. https://doi.org/10.48550/arXiv. 1904.00187
14. Agrawal T. Hyperparameter Optimization in Machine Learning. Apress Berkeley, CA, 2021, XIX, 166 p. https://doi.org/10.1007/978-1-4842-6579-6
15. Milantev S., Olyunin V., Bykov I., Milanteva N., Bessmertnyi I. Skin lesion analysis using ensemble of CNN with der moscopic images and metadata. CEUR Workshop Proceedings, 2021, vol. 2893.
Авторы
Милантьев Сергей Андреевич — программист, Институт аналитического приборостроения РАН, Санкт-Петербург, 198095, Российская Федерация, аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, 57225127274, https://orcid.org/0000-0002-1970-5217, geerkus@gmail.com
Кордюкова Анна Алексеевна — младший научный сотрудник, Институт аналитического приборостроения РАН, Санкт-Петербург, 198095, Российская Федерация, 57211856932, https://orcid.org/0000-0002-6099-4276, annygm00@mail.ru
Шевяков Даниил Олегович — программист, Институт аналитического приборостроения РАН, Санкт-Петербург, 198095, Российская Федерация, аспирант, Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация, https://orcid.org/0000-0001-5609-4091, sevakovdaniil@gmail.com
Логачев Евгений Павлович — младший научный сотрудник, Институт аналитического приборостроения РАН, Санкт-Петербург, 198095, Российская Федерация, https://orcid.org/0000-0003-4292-9419, zhenya.logachev.94@mail.ru
Authors
Sergey A. Milantev — Software Developer, Institute for analytical instrumentation of the Russian Academy of Sciences, Saint Petersburg, 198095, Russian Federation; PhD Student, ITMO University, Saint Petersburg, 197101, Russian Federation, gQ 57225127274 https://orcid. org/0000-0002-1970-5217, geerkus@gmail.com
Anna A. Kordyukova — Junior Researcher, Institute for analytical instrumentation of the Russian Academy of Sciences, Saint Petersburg, 198095, Russian Federation, S3 57211856932, https://orcid.org/0000-0002-6099-4276, annygm00@mail.ru
Daniil O. Shevyakov — Software Developer, Institute for analytical instrumentation of the Russian Academy of Sciences, Saint Petersburg, 198095, Russian Federation; PhD Student, Saint Petersburg State University of Aerospace Instrumentation, Saint Petersburg, 190000, Russian Federation, https://orcid.org/0000-0001-5609-4091, sevakovdaniil@gmail.com
Evgeny P. Logachev — Junior Researcher, Institute for analytical instrumentation of the Russian Academy of Sciences, Saint Petersburg, 198095, Russian Federation, https://orcid.org/0000-0003-4292-9419, zhenya.logachev.94@mail.ru
Статья поступила в редакцию 01.07.2022 Одобрена после рецензирования 31.08.2022 Принята к печати 29.09.2022
Received 01.07.2022
Approved after reviewing 31.08.2022
Accepted 29.09.2022
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
