CC BY
20УДК 004.93
Технические науки
Петров Артем Ильич, студент-магистр, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)» Белов Юрий Сергеевич, к.ф. -м.н., доцент, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)»
МОДЕЛИ КЛАССИФИКАЦИИ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ ПРИ
ТРАНСФЕРНОМ ОБУЧЕНИИ
Аннотация: Доброкачественная или злокачественная опухоль мозга — это аномальное развитие клеток в мозге или черепе. Первичная опухоль — это опухоль, растущая непосредственно из тканей мозга, а вторичная опухоль — это опухоль, распространившаяся из другой части тела в мозг (метастаз). В зависимости от вида, размера и расположения опухоли существуют различные варианты лечения. Для их классификации радиолог использует МРТ. Из-за сложности опухолей мозга и их свойств ручное обследование может быть ошибочным. Чтобы помочь врачам по всему миру, существует решение, использующее алгоритмы глубокого обучения, такие как конволюционные нейронные сети и трансферное обучение [1]. В данной работе МРТ классифицировано на четыре типа (глиома, не опухоль, менингиома, гипофиз). Архитектура обучена с помощью EfficientNet Согласно результатам, трансфертное обучение хорошо работает, когда набор данных ограничен. Точность в 99 процентов достигается с помощью предложенного подхода.
Ключевые слова: Трансферное обучение, Модели классификации, VGG-16, ResNet, EfficientNet.
Annotation: A benign or malignant brain tumor is an abnormal development
of cells in the brain or skull. A primary tumor is a tumor growing directly from brain tissue, and a secondary tumor is a tumor that has spread from another part of the body to the brain (metastasis). Depending on the type, size, and location of the tumor, there are different treatment options. The radiologist uses MRI scans to classify them. Because of the complexity of brain tumors and their properties, manual examination can be erroneous. To help doctors around the world, there is a solution that uses deep learning algorithms such as convolutional neural networks and transfer learning [1]. In this paper, MRI is classified into four types (glioma, non-tumor, meningioma, pituitary gland). The architecture was trained using EfficientNet According to the results, transfer learning works well when the data set is limited. Accuracy of 99 percent is achieved with the proposed approach.
Keywords: Transfer Learning, Classification Models, VGG-16, ResNet, EfficientNet.
Введение.
Опухоль головного мозга является ведущей причиной рака во всем мире. С помощью таких методов диагностики, как магнитно-резонансная томография (МРТ) и компьютерная томография (КТ), можно получить детальные изображения тканей и органов в организме. МРТ является одним из наиболее предпочтительных видов сканирования, проводимых радиологами и врачами для диагностики опухоли головного мозга. Она позволяет получить детальные двухмерные изображения органов и тканей, которые могут быть использованы для скрининга, а также для стадирования различных видов рака. Характер роста опухоли, наблюдаемый на снимках МРТ пациента, позволяет определить тип и степень опухоли мозга. В зависимости от этого наблюдения, выявив раннюю стадию опухоли, врач может легко начать процесс лечения.
VGG-16
VGG16 является глубокой сверточной сетью с большим количеством сверток и слоев пулинга. Она является одним из лидеров по классификации. К достоинству данной модели можно отнести применение метода DropOut,
который помогает бороться с «переобучением» модели. Недостатком этой модели является то, что при увеличении количества слоев функция ошибки при обучении не становится меньше, чем на модели с меньшей глубиной [2]. Архитектура модели VGG16 представлена на рис. 1.
Рис. 1. Архитектура нейронной сети VGG16
На вход слоя convl подаются RGB изображения размера 224x224. Далее изображения проходят через стек сверточных слоев, в которых используются фильтры с очень маленьким рецептивным полем размера 3х3 (который является наименьшим размером для получения представления о том, где находится право/лево, верх/низ, центр).
В одной из конфигураций используется сверточный фильтр размера 1x1, который может быть представлен как линейная трансформация входных каналов с последующей нелинейностью [3]. Сверточный шаг фиксируется на значении 1 пиксель. Пространственное дополнение входа сверточного слоя выбирается таким образом, чтобы пространственное разрешение сохранялось после свертки, то есть дополнение равно 1 для 3x3 сверточных слоев. Пространственный пулинг осуществляется при помощи пяти max-pooling слоев, которые следуют за одним из сверточных слоев. Операция подвыборки
выполняется на окне размера 2х2 пикселей с шагом 2.
После стека сверточных слоев идут три полносвязных слоя: первые два имеют по 4096 каналов, третий — 1000 каналов. Последним идет soft-max слой. Конфигурация полносвязных слоев одна и та же во всех нейросетях.
Все скрытые слои снабжены ReLU. Сети не содержат слоя нормализации, так как нормализация не улучшает результата на датасете, а ведет к увеличению потребления памяти и времени исполнения кода.
Яеэ^
У модели ResNet-18 отсутствует недостаток модели VGG16, за счёт применения соединений быстрого доступа [4]. Каждый новый слой лишь «корректирует» результат и не влияет на него полностью. Таким образом, данный метод при увеличении глубины модели дает меньшую величину ошибки. Архитектура ResNet-18 приведена на рис. 2.
Рис. 2. Архитектура нейронной сети ResNet-18
Microsoft ввела глубокую «остаточную» структуру обучения. Вместо того, чтобы надеяться на то, что каждые несколько слоев наложения непосредственно соответствуют желаемому основному представлению, они явно позволяют этим слоям соответствовать «остаточному» [5].
Соединения быстрого доступа пропускают один или несколько слоев и выполняют сопоставление идентификаторов. Их выходы добавляются к выходам слоев наложения. Используя ResNet, можно решить множество
проблем, таких как:
• ResNet относительно легко оптимизировать: «простые» сети (которые просто складывают слои) показывают большую ошибку обучения, когда глубина увеличивается.
• ResNet позволяет относительно легко увеличить точность благодаря увеличению глубины, чего с другими сетями добиться сложнее.
relu
Рис. 3. Соединения быстрого доступа
EfficientNet
Следующая рассматриваемая модель - EfficientNet. Ее преимуществом в сравнении с моделями VGG и ResNet является меньшее количество параметров при большей точности. Особенность архитектуры заключается в том, что создаются ограничения на количество слоев, разрешение изображения и т.д. Архитектура EfficientNet приведена на рис. 3.
Рис. 4. Архитектура нейронной сети EfficientNet
EfficientNet — класс новых моделей, который получился из изучения масштабирования моделей и балансирования между собой глубины и ширины сети, а также разрешения изображений в сети.
EfficientNet состоит из Stem + 16 блоков + Con2D + GlobalAveragePooling2D + Dense. Его основное содержимое - 16 блоков. Остальные структуры мало чем отличаются от обычных сверточных нейронных сетей [6].
I input Б 1
Bu i Id Stem Blockl kernel_size=3 Block2 kernel_size=3 Block2 kernel_size=3 Block3 kernel_size=5 Block3 kernel_size=5 Block4 kernel_size=3 Block4 kernel_size=3 Block4 kernel size=3
Block5 kerne 1 _s ize-S i n =00 out= 112
Blockö kerne 1 _s ze=5 n= 112 out = 1 1 2
Block5 kerne 1 _s ze=5 n= 112 out = 1 1 2
Бlock6 kerne 1 _s ze=5 n= 112 out = 192
Вlockö kerne 1 _s ze=5 n= 192 out =192
Вlockö kerne 1 _s ze=S n= 192 out = 192
Вlockö kerne 1 _s ze=5 n= 192 out =192
Бlock7 kerne 1 _s ze=3 i n= 192 out =320
Conv2D
BatchNorm
Sw i sh
[
GIobaI AveragePooIing2D Drop Dense 1
Output
Рис. 5. Структура EfficientNet-BO
n=32 out—16 n=16 out=24 n=24 out=24 n=24 out 40 n=40 out 40 n=40 out=00 n=0O out=00 n=&0 out=00
Трансферное обучение для классификации опухолей головного
мозга
Набор данных включает четыре класса МРТ-изображений: опухоль
глиомы, опухоль менингиомы, отсутствие опухоли, опухоль гипофиза. Всего имеется 3 264 МРТ-изображения, которые классифицируются как обучающие и тестовые данные, а затем подразделяются на четыре различных вида опухолей
[7].
Рис. 6. Примеры изображений из набора данных
Рис. 7. Точность для модели VGG-16
val acc
Ó 20 40 60 80 100 120
Epoch #
Рис. 8. Точность для модели ResNet
ю
0 5 - - train acc
- val_acc
Ó 20 40 60 80 100 120
Рис. 9. Точность для модели EfficientNet
Таблица 1. Точность для моделей Модель Точность (%) Эпохи
EfficientNetB0 98 24
ResNet 93 24
VGG16 95 24
Модели глубокого обучения дают более высокую точность классификации, чем базовые методы машинного обучения. EfficientNet имеет тенденцию к чрезмерной подгонке, но с этим можно справиться, добавив отсев
[8]. VCG16 показывает наилучшие результаты среди всех моделей для классификации данного набора данных. Работа может быть расширена до классификации опухолей мозга на различные уровни злокачественности. Точность может быть улучшена применением алгоритмов оптимизации наряду с методами классификации и настройкой гиперпараметров. Модели трансферного обучения весьма полезны при обучении медицинских изображений с очень высокой точностью. В будущем набор данных видеоряда может быть рассмотрен для классификации и прогнозирования опухоли мозга по сравнению со статическими изображениями.
Выводы
Используя подход трансфертного обучения EfficientNet, в исследовании была достигнута приемлемая точность [1]. Была оценена эффективность работы. Исследование проводилось на основе набора данных МРТ-изображений опухолей головного мозга.
Модели глубокого обучения дают более высокую точность классификации чем базовые методы машинного обучения. Точность может быть улучшена с применением алгоритмов оптимизации вместе с методами классификации и настройки гиперпараметров. Модели трансфертного обучения весьма полезны при обучении медицинских изображений с очень хорошей точностью. Набор видеоданных может рассматриваться для классификации и прогнозирования опухоли мозга по сравнению со статическими изображениями.
Библиографический список:
1. Padmavathi K, Thalla O.S.R.R.Y., Reddy S.S., Yadlapalli P., Roshan T., Charan T. Transfer Learning Using EfficientNet for Brain Tumor Classification from MRI Images // International Conference on Computer Communication and Informatics. 2022. pp. 1-4.
2. Favole F., Trocan M., Yilmaz E. Melanoma Detection Using Deep Learning // International Conference on Computational Collective Intelligence. 2020.
pp. 816-824.
3. Пеников А.А., Белов Ю.С. Обзор архитектур свёрточных нейронных сетей для решения задачи семантической сегментации медицинских изображений // Фундаментальные и прикладные исследования. Актуальные проблемы и достижения, сборник избранных статей Всероссийской (национальной) научной конференции. Санкт-Петербург, 2022. С. 18-21.
4. Li Y., Shen L. Skin lesion analysis towards melanoma detection using deep learning network // Sensors. 2018. vol. 18(2), pp. 556.
5. Новикова С.А., Белов Ю.С. Использование генеративно-состязательной нейронной сети для восстановления поврежденных изображений // Сборник избранных статей по материалам научных конференций ГНИИ "Нацразвитие". Санкт-Петербург, 2022. С. 107-110.
6. Kassani S.H., Kassani P.H. A comparative study of deep learning architectures on melanoma detection // Tissue and Cell. 2019. vol. 58, pp. 76-83.
7. Menze B.H. The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS) // IEEE Trans. Med. Imaging. Oct. 2015, vol. 34, no. 10, pp. 1993-2024
8. Петрин Д.А., Белов Ю.С. Повышение точности классификации изображений на основе методов передачи знаний и извлечения признаков в задачах машинного обучения // Системный администратор. 2020. №6 (211). С. 84-87.
