CC BY
18
Б01 10.36622^Ти.2023.19.2.004 УДК 004.942
ИСПОЛЬЗОВАНИЕ СВЁРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ АНАЛИЗА ИЗОБРАЖЕНИЙ
М.А. Лихотин
Воронежский государственный технический университет, г. Воронеж, Россия
Аннотация: представлена классификации трёх разновидностей опухолей мозга: менингиома, глиома и опухоль гипофиза по магнитно-резонансная томографии (МРТ). В исследовании основным инструментом для классификации являются свёрточные нейронные сети. Приводятся постановка задачи, количество исходных изображений, разбиение входной выборки на обучаемую, тестовую и валидационную, нормализация входного набора данных и прочее. Приведено описание архитектуры свёрточной нейронной сети, которая используется для обучения модели классификации изображений опухоли мозга. В ней применяется заранее предобученная нейронная сеть EfficientNetB3, которая была обучена за счёт сервиса ImageNet, что является иерархически организованной базой данных изображений. Представлена архитектура свёрточной нейронной сети ЕШиеп1№1:Б3, где по цепочке продемонстрирована взаимосвязь между слоями. Рассматривается детализированный пример обучения приведённой свёрточной нейронной сети, где продемонстрировано, как происходит улучшение работы модели на тестовых и валидационных выборках в зависимости от количества эпох. Представлена сводная статистика при обучении, где выявлена эпоха с наилучшим результатом работы модели на валидационной выборке, что и является результатом обучения
Ключевые слова: свёрточная нейронная сеть, опухоль мозга, классификация, архитектура, обучение
Введение
Развитие машинного обучения всё больше проникает в различные технологические сферы общества, такие как ядерная физика, астрономия, геология, экономика, управление, автоматика и т.д. В представленных выше направлениях можно выделить следующие типовые задачи, которые хорошо решаются методами машинного обучения, такие как предсказания временных рядов, классификации, кластеризации, уменьшение размерности и т.д.
В работе применяется одна из группы моделей свёрточной нейронной сети Е£йаеп!№1;, которые достигли высокой точности в базе данных ImageNet с очень небольшим количеством параметров по сравнению с другими моделями. EfficientNet состоит из 8 моделей В0-В7, чем выше номер в префиксе, тем и выше точность такой модели и соответственно количество параметров [1]. В работе [2] представлена система оценки возраста в группах. Была выявлена лучшая модель из группы EfficientNet и продемонстрировано что её использование для задачи классификации, экономит время обучения и вычислительные ресурсы, обеспечивая при этом хорошую точность.
В рамках данного исследования представлена работа по решению задачи классификации в области диагностирования опухолей мозга. Есть набор данных с тремя различными заболе-
ваниями: менингиома, глиома, и опухоль гипофиза [3].
В литературе можно найти много исследований связанных с работой диагностики опухолей мозга, например в [4, 5]. Но большинство работ не учитывает положение головы в МРТ изображении, что может влиять на обобщающую способность нейронной сети, Главной целью для решения такой проблемы является организация нескольких нейронных сетей, каждая из которых будет специализироваться на своём положении: вид сверху, сбоку, сзади (спереди). В рамках данной работы представлено исследование обучения пока только одного положения головы (вид сбоку).
Постановка задачи
Необходимо построить модель искусственной нейронной сети, которая при подаче изображения на свой вход выдаст на выходе метку, соответствующую предопределённому типу опухоли.
Исходные данные содержат 3064 изображения головного мозга с повышенной контрастностью от 233 пациентов, среди которых менингиома - 708, глиома - 1426 и опухоли гипофиза - 930.
© Лихотин М.А., 2023
Предварительная обработка данных
На рис. 1 продемонстрирован пример изображения опухоли гипофиза.
Рис. 1. Пример обучаемой выборки
После того как данные были загружены была произведена разметка данных по необхо-
димым классам: менингиомы, глиомы, и опухоли гипофиза.
Вся исходная выборка была разбита на несколько частей и случайно перемешана, чтобы во время обучения модель не обучалась по порядку следования меток, а запоминала одновременно 3 класса. Большая часть выборки, которая составляет 90 %, предназначена для обучения нейронной сети, а оставшаяся была разделена ещё раз пополам: валидационную и тестовую выборку. Первая, соответственно, нацелена на мониторинг ошибок и метрик во время обучения в конце каждой эпохи, а другая предназначена для теста полученной модели после обучения.
Если переводить в количественную оценку, то обучаемая выборка содержит 2757 значений, валидационная состоит из 154, а тестовая из 153.
Но если детальнее проанализировать обучаемую выборку, то будет замечено, что изображений менингиомы равно 645, глиомы 1269, а опухоли гипофиза 843. На рис. 2 изображена столбчатая диаграмма распределения количества изображений.
Рис. 2. Количество изображений в обучающем наборе данных
Такой перекос значений может повлиять на обобщающую способность нейронной сети. Необходимо нормализовать значения, т.к. 645 — минимальное количество изображений, то и остальные классы изображений нужно подогнать под это число.
Архитектура нейронной сети
Обучение модели будет происходить за счёт предобученной нейронной сети EfficientNetB3. Заранее изученные особенности могут быть полезными для решения многих проблем в сфере компьютерного зрения, даже если эта предобученная классификация не совсем актуальна для решения текущей задачи.
Например, можно обучить сеть по ImageNet (иерархически организованная база данных изображений), где классами в основном являются животные и предметы повседневного обихода, а затем переиспользовать эту обученную сеть для чего-то совершенно другого, например,
в нашем случае идентификация нескольких разновидностей опухолей мозга.
На рис. 3 продемонстрирована архитектура нейронной сети EfficientNetB3 [6].
К.
1
224x224x3
Conv3x3+BN+Swi sh
3
112x112x40
MBConl, кЗхЗ
ч W
112x112x24
i1
MBConl, кЗхЗ, IRC
12x112x24
й МВСопб, кЗхЗ fc |l 12x112x32
й МВСопб, кЗхЗ, IRC )
112x112x32
й МВСопб k3x3,IRC fc |56х56х32
| МВСопб, к5х5 h
28x28x48
(| МВСопб, к5х5, IRC
28x28x48
( МВСопб, k5x5,IRC )
28x28x48
й МВСопб, кЗхЗ fc
14x14x96
J МВСопб, кЗхЗ, IRC fc
14x14x96
МВСопб, кЗхЗ, IRC ^
14x14x96
й МВСопб, k3x3,IRC fc
14x14x96
й МВСопб, кЗхЗ, IRC >
14x14x136
| МВСопб, к5х5 fc
1
14x14x136
(| МВСопб, к5х5, IRC [) |14х14х136
(| МВСопб, к5х5, IRC | |14х14х136
;' МВСопб, k5x5,IRC )
i
14x14x136
(: МВСопб, к5х5, IRC ) J14x14x136
( МВСопб, к5х5 ^
( МВСопб к5х5, IRC ) |7х7х232
( МВСопб, к5х5, IRCJ)
( МВСопб к5х5, IRC ) |7х7х232
С МВСопб, к5х5, IRC ") ( МВСопб, к5х5, IRC )
7x7x232
: ' МВСопбкЗхЗ J ~j7x7x384
й МВСопб, кЗхЗ, IRC b—
7x7x384
14x14x96
Рис. 3. Архитектура свёрточной нейронной сети EfficientNetB3
На выходе такой предобученной модели будут располагаться следующие слои:
- слой Batch Normalization, предназначенный для ускорения обучения нейронной сети [7];
- полносвязный слой, чей выход состоит из 256 нейронов и активационной функцией relu;
- так называемый Dense слой, который случайно обнуляет определённое количество значений на предыдущем выходном слое и предназначен для предотвращения переобучения модели;
- заключительный выходной слой, состоящий из 3 нейронов, которые и будут предопределять класс, к которому относится вход-
ное изображение. Активационная функция sof-тах.
Обучение и результаты работы нейронной сети
В процессе обучения выяснилось, что на большом количестве порции данных в опреде-
лённый момент может не хватить видеопамяти, поэтому пришлось брать по 10 изображений на каждую эпоху, что увеличивает общее количество итераций обучения и растягивает соответственно время.
Процесс обучения сведён в таблицу ниже.
Процесс обучения нейронной сети
Номер Потери Точность Потери Точность Продолжительность
эпохи при обу- при обу- при вали- при вали- обучения (с.)
чении чении дации дации
1 7,42 76.792 6.17975 86.275 271.70
2 5,291 88.345 4.65172 92.810 255.06
3 3,962 92.109 3.44448 94.118 255.46
4 3,035 94.327 2.74748 91.503 253.66
5 2,296 95.874 1.96828 96.078 248.61
6 1,756 96.545 1.51652 98.039 250.70
7 1,340 97.009 1.17514 98.693 250.44
8 1,077 96.287 0.92113 98.039 249.91
9 0,840 97.473 0.77479 96.732 250.35
10 0,676 97.782 0.57912 99.346 251.68
11 0,548 98.453 0.53723 97.386 249.75
12 0,481 97.834 0.43813 98.693 249.54
13 0,373 99.278 0.35224 98.693 249.71
14 0,318 99.330 0.32049 97.386 248.93
15 0,277 99.123 0.25665 98.693 247.81
16 0,246 99.175 0.28618 97.386 251.26
17 0,240 99.433 0.22146 98.693 256.15
18 0,217 99.742 0.22544 97.386 253.49
19 0,221 99.691 0.21911 98.039 250.24
20 0,207 99.794 0.22406 97.386 249.67
21 0,211 99.845 0.22717 98.039 249.74
22 0,211 99.742 0.21857 97.386 250.39
23 0,206 99.794 0.21976 97.386 250.71
24 0,212 99.587 0.21820 98.039 251.87
25 0,206 99.845 0.21758 97.386 250.31
26 0,202 99.897 0.21500 98.039 250.50
27 0,201 99.897 0.21618 98.039 250.38
28 0,206 99.742 0.21517 98.039 255.91
29 0,201 99.948 0.21626 98.039 250.89
Обучение было остановлено на 29 эпохе, т.к. наименьший показатель потери при вали-дации последние 3 итерации показывал хуже
результат, чем на 26 эпохе [8]. Всего модель обучалась 2 часа и 10 минут.
На рис. 4 продемонстрированы графики точности и потерь при обучении.
Потере при ääfl^aijviu Li ВНИИ TnHKDtib При наги^ации Li обучен hl:
ф 4 if> й Я К » о 5 « 15 » Я »
Эпокн Эпо*и
Рис. 4. Потери и точность при валидации и обучении
В итоге была получена модель, веса которой были настроены как на 26 эпохе и на тестовой выборке был получен результат в 96 %.
Заключение
В данной исследовании была продемонстрирована работа по классификации изображений опухолей мозга. Был произведен анализ и нормализация имеющихся данных и представлена архитектура нейронной сети и процесс её обучения.
Полученная модель показала результат в 96%. Можно предположить, что нейронная сеть могла переобучиться и необходимо проверить модель на большем количестве подобных изображений.
Также на данном этапе разработан только скрипт для обучения и тестирования полученных после обучения весов сети. Далее если модель после испытания на других выборках покажет не хуже результат, то можно будет организовать библиотеку для внедрения в уже существующие медицинские системы. Например, как для студентов для практики, так и для врачей-специалистов, если полученная система зарекомендует себя.
Литература
1. Tan M, Le Q. Efficientnet: Rethinking model scaling for convolutional neural networks. Ininternational conference on machine learning 2019 May 24. Pp. 6105-6114. PMLR.
2. Aruleba I., Viriri S. Deep Learning for Age Estimation Using EfficientNet. In: Rojas, I., Joya, G., Catala, A. (eds) Advances in Computational Intelligence. IWANN 2021. Lecture Notes in Computer Science. vol 12861. Springer. Cham. URL: https://doi.org/10.1007/978-3-030-85030-2_34.
3. Джун Ченг Набор данных опухоли головного мозга. URL: https://doi.org/10.6084/m9.figshare.1512427.v5.
4. Alqudah, Ali Mohammad, Hiam Alquraan, Isam Abu Qasmieh, Amin Alqudah, and Wafaa Al-Sharu. "Brain tumor classification using deep learning technique-- a comparison between cropped, uncropped, and segmented lesion images with different sizes." arXiv preprint arXiv:2001.08844 (2020).
5. Chatterjee, S., Nizamani, F.A., Nürnberger, A. et al. Classification of brain tumours in MR images using deep spatiospatial models. Sci Rep 12, 1505 (2022). URL: https://doi.org/10.1038/s41598-022-05572-6.
6. H. Alhichri, A. S. Alswayed, Y. Bazi, N. Ammour and N. A. Alajlan, "Classification of Remote Sensing Images Using EfficientNet-B3 CNN Model With Attention," in IEEE Access. 2021. vol. 9. Pp. 14078-14094, URL: doi: 10.1109/ACCESS.2021.3051085.
7. Batch Normalization (батч-нормализация) что это такое? URL: https://proproprogs.ru/neural_network/batch-normalization-batch-normalizaciya-chto-eto-takoe.
8. Stop training when a monitored metric has stopped improving. URL: https://www.tensorflow.org/api_docs/python/tf/keras/callback s/EarlyStopping.
Поступила 02.02.2023; принята к публикации 13.04.2023 Информация об авторах
Лихотин Максим Андреевич - аспирант, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, 84), e-mail: maximus-lihotin@mail.ru
USE OF CONVOLUTIONAL NEURAL NETWORKS FOR PREDICTION
OF BRAIN TUMORS
M.A. Likhotin Voronezh State Technical University, Voronezh, Russia
Abstract: this paper provides an opportunity to classify three types of brain tumors: meningioma, glioma and pituitary tumor by magnetic resonance imaging (MRI). In the study, convolutional neural networks are the main tool for classification. The paper provides a statement of the problem, the number of source images, splitting the input sample into trainable, test and validation, normalization of the input data set, and so on. The paper also describes the architecture of a convolutional neural network, which is used to train a brain tumor image classification model. It uses a pre-trained neural network EfficientNetB3, which was trained at the expense of the ImageNet service, which is a hierarchically organized image database. This study also presents the architecture of the EfficientNetB3 convolutional neural network, where the relationship between the layers is demonstrated along the chain. A detailed example of training a reduced convolutional neural network is considered, which demonstrates how the model improves on test and validation sets depending on the number of epochs. The summary statistics during training is also presented, where the epoch with the best result of the model on the validation set was identified, which is the result of training
Key words: convolutional neural network, brain tumor, classification, architecture, learning
References
1. Tan M, Le Q. "Efficientnet: Rethinking model scaling for convolutional neural networks", InInternational conference on machine learning 2019May 24 (pp. 6105-6114), PMLR.
2. Aruleba, I., Viriri, S. (2021). "Deep Learning for Age Estimation Using EfficientNet", in: Rojas, I., Joya, G., Catala, A. (eds) "Advances in Computational Intelligence", IWANN 2021, "Lecture Notes in Computer Science", vol. 12861, Springer, Cham. https://doi.org/10.1007/978-3-030-85030-2_34.
3. Jun Cheng "Brain tumor data set" [Electronic resource], URL: https://doi.org/10.6084/m9.figshare.1512427.v5.
4. Alqudah, Ali Mohammad, Hiam Alquraan, Isam Abu Qasmieh, Amin Alqudah, Wafaa Al-Sharu. "Brain tumor classification using deep learning technique-- a comparison between cropped, uncropped, and segmented lesion images with different sizes", arXiv preprint arXiv:2001.08844 (2020).
5. Chatterjee, S., Nizamani, F.A., Nürnberger, A. et al. "Classification of brain tumours in MR images using deep spatiospatial models", Sci Rep 12, 1505 (2022), https://doi.org/10.1038/s41598-022-05572-6.
6. Alhichri H., Alswayed A.S., Bazi Y., Ammour N., Alajlan N.A., "Classification of Remote Sensing Images Using EfficientNet-B3 CNN Model With Attention," in IEEE Access, vol. 9, pp. 14078-14094, 2021, doi: 10.1109/ACCESS.2021.3051085.
7. "Batch Normalization - what is it?", [Electronic resource], URL: https://proproprogs.ru/neural_network/batch-normalization-batch-normalizaciya-chto-eto-takoe.
8. "Stop training when a monitored metric has stopped improving" [Electronic resource], URL: https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/EarlyStopping.
Submitted 02.02.2023; revised 13.04.2023 Information about the authors
Maksim A. Likhotin, Student, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: maximus-lihotin@mail.ru
