CC BY
63
DOI 10.36622/VSTU.2023.19.1.003 УДК 004.942
ИСПОЛЬЗОВАНИЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ДИАГНОСТИКИ РАКА
КОЖИ
А.В. Михайлусов
Воронежский государственный технический университет, г. Воронеж, Россия
Аннотация: в ходе исследования продемонстрирована возможность классификации изображений кожных образований, полученных с помощью дерматоскопии, с целью последующей диагностики рака кожи и других смежных поражений кожи. Задача классификации решалась с помощью аппарата сверточных искусственных нейронных сетей (CNN) с применением слоев субдискретизации. Показана структура исходной обучающей выборки, произведена подготовка изображений для последующего обучения модели. Весь набор имеющихся обучающих данных был разделён на тестовую и обучающую выборки. Приведены основные преимущества применения сверточных искусственных нейронных сетей в раках решения задачи классификации изображений, а также описаны способы оптимизации модели для уменьшения ресурсоемкости процесса обучения. Описаны основные параметры архитектуры разработанной искусственной нейронной сети, одна часть которых была настроена стандартным значением, а другая часть подбиралась экспериментально в ходе исследования для получения оптимальной модели, которая давала доставочную точность классификации и обладала приемлемой ресурсоемкостью. Проведен анализ качества работы модели в зависимости от различных настроек архитектуры модели и представлен конечный вариант архитектуры сети. Приведен график точности классификации конечной версии модели
Ключевые слова: сверточная нейронная сеть, классификация, машинное обучение, глубокое обучение, диагностика
Введение
Стремительное развитие машинного обучения в последние годы вызвано ростом доступности вычислительных мощностей, а также развитием алгоритмической базы в сфере искусственных нейронных сетей (ИНС).
Алгоритмы машинного обучения применяются в таких сферах, как медицина, геология, автоматизация, социология, управление, ядерная физика, экономика и др.
Особенно перспективным является направление алгоритмов глубокого обучения. Они способны решать большой спектр задач:
- проблемы кластеризации и классификации;
- регрессионные задачи;
- задачи уменьшения размерности;
- задачи обнаружения аномалий.
Одной из основных сфер применения ИНС
является задача классификации изображений, так как классические детерминированные алгоритмы (например, метод ^ближайших соседей [1]) плохо работают с распознаванием объектов на изображениях с большой вариативностью (исследуемый объект занимает
© Михайлусов А.В., 2023
различную площадь изображения,
отображается с различных ракурсов и т.д.).
Поэтому в работе задача диагностики рака кожи по изображениям решалась с помощью аппарата искусственных нейронных сетей.
Обычно, когда решается вопрос классификации объектов на изображении, применяются два типа нейронных сетей [2]:
1) стандартные сети прямого распространения;
2) сверточные нейронные сети (СНС).
Архитектура сетей прямого
распространения имеет некоторые
особенности, которые снижают качество классификации, когда рядом с исследуемым объектом присутствуют другие объекты, не подлежащие анализу, перегрузка сети не позволит произвести качественное
распознавание [3].
СНС основаны на операции свертки, т.е. они реализуют частичную обработку изображения. При этом размер изображения становится меньше (что делает сеть более производительной), но исходное качество изображения не ухудшается, а лишь фиксируются самые важные признаки.
При работе сеть генерирует карту признаков, которая имеет отличия от исходного изображения. Карты признаков помогают
определять конкретные признаки объекта и отсеивать различные варианты.
Постановка задачи
Требуется разработать модель, которая позволит при подаче на ее вход изображения присваивать ему метку, которая будет соответствовать одному из типов кожных образований.
Для оценки качества работы модели была выбрана метрика «точность предсказания». Точность предсказания определяется процентным соотношением правильных меток к общему числу тестовых изображений.
При этом тестовая выборка формируется случайным образом из исходного набора размеченных изображений.
Набор данных для обучения ИНС был создан организацией the International Skin Imaging Collaboration (ISIC) [4], которая использовала изображения, предоставленные следующими организациями: Клиническая больница Барселоны, Медицинский
университет Вены, Мемориальный
онкологический центр имени Слоана Кеттеринга, Институт меланомы Австралии, Университет Квинсленда и Афинский университет.
Предварительная обработка данных
Исходные данные представляют собой десять тысяч изображений образований на коже человека, сделанных с помощью дерматоскопа.
Базовое разрешение изображений составляло 600 х 450 пикселей. Это достаточно большое разрешение, поэтому было проведено предварительное уменьшение разрешения изображений до 75 х 100 пикселей. Это позволило снизить ресурсоемкость модели.
Количество каждого типа изображений по категориям
Тип образования Количество образцов
Melanocytic nevi 6705
Melanoma 1113
Benign keratosis-like lesions 1099
Basal cell carcinoma 514
Actinic keratoses 327
Vascular lesions 142
Dermatofibroma 115
Частота
Actinic ker-atcrbe: E-dtii cell carcinoma Benign kifetosii-Fike lesions
OtrrruiMjf>brom?i
Mel-anacytic nevi Meiarwma Vascular lesiws
& iri о »Ti
О о о о о о
R Si Я Й? ? т?
О. о о о о о
ш а
и в
Возраст
Рис. 1. Гистограмма распределения типов образований по возрастным группам
Actinic keratoses
Рис. 2. Пример исходных данных
Изображения разделены на 7 категорий (по типу происхождения кожного образования). Количество изображений каждого типа приведено в таблице.
Изображения были размечены не только по типу образования, но и по следующему ряду признаков:
- возраст пациента;
- локализация образования (на какой части тела расположено образование);
- пол пациента.
Для более качественного анализа результатов работы модели была сгенерирована гистограмма распределения типов образований по возрастным группам. Ее можно увидеть на рис. 1.
Пример исходных данных показан на рис. 2, который иллюстрирует каждый из семи типов кожных образований.
После уменьшения разрешения исходных изображений выборка была разделена на тестовую и обучающую. Тестовая выборка составила двадцать процентов, а обучающая, соответственно, восемьдесят.
На этом предварительная обработка данных была закончена.
Обзор и выбор архитектуры моделей прогнозирования
Современные технологии машинного обучения предлагают большое количество подходов к решению задач классификации, и
одна из самых сложных задач при создании модели - это выбор архитектуры, которая должна представлять собой набор классических и нейросетевых алгоритмов.
И только после формирования списка алгоритмов, которые будут использоваться в классифицирующей модели, можно приступать к непосредственной разработке архитектуры сети.
Для решения задачи классификации изображений была выбрана свёрточная нейронная сеть (CNN), так как данный тип искусственных нейронных сетей изначально был разработан именно для классификации изображений, поэтому такой выбор можно считать оптимальным.
В сфере глубокого обучения (deep learning) сверточные нейронные сети представляют собой класс ИНС, чаще всего применяемый для анализа визуальных образов.
CNN известны как инвариантные к сдвигу классифицируемого объекта на входном изображении, основанные на архитектуре с общим весом ядер свертки или фильтров, которые скользят по входным функциям и обеспечивают эквивалентные переводу ответы, известные как карты функций [5].
Вопреки интуиции, большинство сверточных нейронных сетей не являются инвариантными к трансляции из-за операции понижения дискретизации, которую они применяют к входным данным. Они применяются в распознавании изображений и видео, рекомендательных системах [6], классификации изображений, сегментации изображений, анализе медицинских
изображений, обработке естественного языка [7], интерфейсах мозг-компьютер [8] и финансовых временных рядах [9].
При этом за счет применения операции свертки и наличия слоев субдискретизации модель получается более компактной, чем классическая полносвязная искусственная нейронная сеть.
В ходе экспериментов была получена архитектура сверточной сети, которая представлена восемью слоями: четыре слоя свертки, два слоя пулинга (слои субдискретизации) и два полносвязных слоя на выходе сети.
В данной архитектуре слои пулинга используются для уменьшения разрядности исследуемых данных, что благотворно влияет на производительность модели.
Оптимизация архитектуры модели в поставленной задаче была крайне важна. Так как обучение сети на основе тысяч изображений является достаточно
ресурсоемкой процедурой, особенно для обычных персональных компьютеров, поэтому при разработке были приложены максимальные усилия по минимизации времени, требуемого для обучения сети. Но в результате обучение требовало несколько часов времени, что значительно затрудняло эксперименты по получению оптимальных параметров сети.
У искусственной нейронной сети и процесса обучения существует большое количество настраиваемых параметров, поэтому имеет смысл перечислить только основные.
К списку основных параметров модели можно отнести следующие пункты:
- активационная функция;
- оптимизатор;
- количество эпох.
В качестве активационной функции для скрытых слоев использовалась Relu-функция, а для выходного слоя была выбрана функция Softmax.
В процессе обучения модели был выбран оптимизатор Adam.
Как правило, оптимизатор Adam при малом количестве эпох дает более высокое качество обучения, но SGD имеет меньшую ошибку прогнозирования при большом количестве эпох [5]. Поэтому был выбран оптимизатор Adam для экономии времени обучения сети.
Так процесс обучения занимает значительное время, требуется выбрать оптимальное количество эпох, при этом была использована функция ReduceLROnPlateau, которая автоматически уменьшает шаг обучения при стагнации качества предсказания сети.
Кроме перечисленного выше, в структуру обучения сети были добавлены три Dropout слоя, которые в случайном порядке обнуляют веса. Эта мера позволяет избежать переобучения сети.
Итоговую архитектуру модели можно увидеть на рис. 3.
Анализ работы созданной модели
После разработки архитектуры модели и получения оптимальной ее структуры в
процессе экспериментов, была получена модель, структура которой была описана выше.
Процесс обучения конечной версии модели можно увидеть на рис. 4. На нем приведены два графика, которые
иллюстрируют точность классификации моделью на тестовой и обучающей выборке на каждой из эпох обучения.
Входное изобрание
75x100 пикселей
Слой свертки Слой свертки Слой пулинга
Яда: 3x3 Ядро: 3x3
—> —». Окно: 2x2
Активационная Активационная
функция: relu функция: relu
Слой свертки Слой свертки Слой пулинга Полносёязный слой Полносвязный слой
Ядро: 3x3 Активационная функция: relu Ядро: 3x3 Активационная функция: relu Окно: 2x2 Количество нейронов: 123 Активационная функция: relu Количество ней роно б: 7 Активационная функция: коПтах
Рис. 3. Архитектура модели
Точность
0.76
0.74
0.7 2
0.70
0.6 В
__ О&учающал ьы&оркз
-Тестовая выборка
10
20
30
40
50
Эпоха
Рис. 4. Процесс обучения модели
Заключение
В представленной работе проводилось исследование возможности классификации изображений кожных образований с целью диагностики рака кожи.
Были рассмотрены различные подходы к решению задачи классификации с помощью нейронных сетей.
Результатом исследования стала архитектура модели, которая в своей основе содержала сверточную нейронную сеть. Кроме этого применялись методы борьбы с переобучением сети и методы для выхода из
локальных минимумов/максимумов в процессе обучения.
Лучший результат показала
восьмислойная архитектура сети, которая давала 77%-ю точность классификации на тестовой выборке на 33-й эпохе обучения.
Созданная модель может служить основой для разработки инструмента предварительной диагностики рака кожи в клиниках, которые занимаются лечением и диагностикой заболеваний кожи.
Также данная модель может использоваться как учебное пособие при изучении студентами-медиками визуальной
диагностики рака кожи, но для непосредственного использования модели на практике требуется разработка графического интерфейса.
Для дальнейшего развития модели и повышения качества классификации требуется внедрение ансамблей искусственных нейронных сетей.
Также требуется расширение обучающей выборки, так как на каждый тип кожного образования приходится разное количество изображений, а некоторые типы образований практически не представлены, поэтому сеть их плохо опознает.
Литература
1. Madeh Piryonesi S., Tamer E. El-Diraby. Role of Data Analytics in Infrastructure Asset Management: Overcoming Data Size and Quality Problems // Journal of Transportation Engineering, Part B: Pavements. 2G2G-G6. Vol. 14б. Iss. 2. P. G4G2GG22. ISSN 2573-5438 2573-5438, 2573-5438.
2. Алексеев П.П., Квятковская И.Ю. Применение нейронных сетей для распознавания принципиальных условно-графических электрических обозначений // Вестн. Астрахан. гос. техн. ун-та. Сер. управление, вычисл. техн. информ. 2G21. № 2. С. 47-5б
3. Bengio Y. Learning deep architectures for AI // Foundations and Trends in Machine Learning. 2009. V. 2. P. 1-127.
4. Official dataset of the SIIM-ISIC Melanoma Classification Challenge [Электронный ресурс]: Режим доступа: World Wide Web. URL: Official dataset of the SIIM-ISIC Melanoma Classification Challenge
5. Рашка С., Мирджалили В. Python и машинное обучение. 3-е изд. СПб.: ООО "Диалектика", 2020. С. 294297
6. Parallel distributed processing model with local space-invariant interconnections and its optical architecture / W. Zhang, K. Itoh, J. Tanida, Y. Ichioka // Applied Optics. 1990. 29 (32): 4790-7
7. Быстро сходящиеся современные алгоритмы обучения нейронных сетей совсем не гарантируют достижения наилучшей обобщающей способности [Электронный ресурс]: Режим доступа: World Wide Web. URL: http://neuropro.ru/memo346.shtml
8. Google's AlphaGo AI wins three-match series against the world's best Go player [Электронный ресурс]: Режим доступа: World Wide Web. URL: https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-j ie/
9. Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. Toward an Integration of Deep Learning and Neuroscience: Frontiers in Computational Neuroscience. 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856.
Поступила 23.11.2022; принята к публикации 13.02.2023 Информация об авторах
Михайлусов Алексей Вячеславович - аспирант, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, 84), e-mail: [email protected]
USING CONVOLUTIONAL NEURAL NETWORKS FOR DIAGNOSING SKIN CANCER
A.V. Mikhaylusov Voronezh State Technical University, Voronezh, Russia
Abstract: the study demonstrated the possibility of classifying images of skin lesions obtained using dermatoscopy, with the aim of subsequent diagnosis of skin cancer and other adjacent skin lesions. The classification problem was solved using the apparatus of convolutional artificial neural networks (CNN) using subsampling layers. The structure of the initial training sample is shown, images are prepared for subsequent training of the model. And also the entire set of available training data was divided into test and training sets. The paper presents the main advantages of using convolutional artificial neural networks in solving the problem of image classification, and also describes ways to optimize the model to reduce the resource intensity of the learning process. The main parameters of the architecture of the developed artificial neural network are described, one part of which was tuned with standard values, and the other part was selected experimentally during the study to obtain an optimal model that gave a sufficient classification accuracy and had an acceptable resource intensity. The analysis of the quality of the model operation depending on various settings of the model architecture is carried out and the final version of the network architecture is presented. A graph of the classification accuracy of the final version of the model is given
Key words: convolutional neural network, classification, machine learning, deep learning, diagnostics
References
1. Piryonesi S.M., El-Diraby T.E. "Role of data analytics in infrastructure asset management: overcoming data size and quality problems", Journal of Transportation Engineering, Part B: Pavements, 2020-06, vol. 146, iss. 2, pp. 04020022. ISSN 2573-5438 2573-5438, 2573-5438.
2. Alekseev P.P., Kvyatkovskaya I.Yu. "The use of neural networks for the recognition of fundamental conditionally graphic electrical symbols", Bulletin of Astrakhan State Technical University (Vestn. Astrakhan. gos tekh. Universiteta. Ser. upravlenie, vychisl. tekhn. Inform.), 2021, no. 2, pp. 47-56
3. Bengio Y. "Learning deep architectures for AI", Foundations and Trends in Machine Learning, 2009, vol. 2, pp. 1-127.
4. Official dataset of the SIIM-ISIC Melanoma Classification Challenge, available at: https://challenge2020.isic-archive.com/
5. Raska S., Mirjalili V. "Python and machine learning", St. Petersburg: Dialectika Ltd., 2020, pp. 294-297
6. Zhang W., Itoh K., Tanida J., Ichioka Y. "Parallel distributed processing model with local space-invariant interconnections and its optical architecture", Applied Optics, 1990, vol. 29(32), pp. 4790-7
7. Fast convergent modern algorithms for training neural networks do not guarantee the achievement of the best generalizing ability, available at: http://neuropro.ru/memo346.shtml
8. Google's AlphaGo AI wins three-match series against the world's best Go player, available at: https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/
9. Marblestone A.H., Wayne G., Kording K.P. "Toward an Integration of Deep Learning and Neuroscience", Frontiers in Computational Neuroscience, 2016, no. 10, pp. 94. D0I:10.3389/fncom.2016.00094.
Submitted 23.11.2022; revised 13.02.2023 Information about the authors
Aleksey V. Mikhaylusov, graduate student, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: [email protected]
