CC BY
8
Исследование эффективности методов трансферного обучения и тонкой настройки на сверточной нейронной сети VGG16 при классификации соу1^19, пневмонии и здоровых снимков на рентгенограммах грудной
клетки
М.В. Петров, Н.И. Билалов, Е.М. Папшева Волгоградский государственный медицинский университет
Аннотация: В данной работе исследуется эффективность интеллектуальной системы для классификации рентгенографических изображений по трем классам при использовании методов трансферного обучения и тонкой настройки. Для оценки эффективности предсказания системой наличия характерных патологий использовалась свёрточная нейронная сеть VGG16. Для обучения, проверки обучения и тестирования нейросети был использован каталог, состоящий из 4228 рентгенографических снимков грудной клетки, разделенных на три класса: пневмония, Covid-19 и при отсутствии заболеваний легких. Для моделирования использовались библиотеки глубокого обучения Keras и TensorFlow. В ходе работы представлены результаты нейросетевой точности классификации снимков при полном обучении. Показано увеличение точности прогнозирования при трансферном обучении, а также при тонкой настройке нейросети. По итогам работы нейросеть обучилась распознавать снимки с признаками поражения пневмонией, Covid-19 и снимки в норме. Лучшего показателя точности в 98,4 % достигла модель при тонкой настройке нейросети.
Ключевые слова: рентгенограмма грудной клетки, Covid-19, пневмония, интеллектуальная система, машинное обучение, глубокое обучение, сверточные нейронные сети, трансферное обучение, тонкая настройка сверточной нейронной сети.
Сегодня рентгенологическое исследование в совокупности с методом полимеразной цепной реакции лежит в основе диагностики Соу1ё-19. Рентгенография также обязательна для пациента при подозрении на пневмонию. По итогам исследования из Италии, представленного в отчетах Всемирной организации здравоохранения за 2020 год, пациентов, поступивших с подозрением на Соу1ё-19, показало точность рентгенографии грудной клетки (РГК) в 0,64 и специфичность в 0,78 и 0,86 по данным двух рентгенологов. Точность повысилась до 0,80 при использовании алгоритма искусственного интеллекта [1]. Поэтому важно продолжать дальнейшее улучшение выходных показателей систем на основе нейронных сетей,
применяя для этого современные методы обучения с использованием тонкой настройки.
Задача классификации медицинских изображений с высокой точностью является сложной проблемой нынешних реалий. Нейронные сети являются очень мощным инструментом, применяемым в решении различных задач. Плюсом нейросетей является объективность при принятии решения [2]. Существуют различные принципы построения сетей, или иначе, их архитектуры. Классическим примером архитектуры сети является нейросеть, в которой нейроны расположены по слоям и выходы одного слоя являются входами следующего [3].
С проблемой классификации изображений наиболее успешно справляются именно сверточные нейронные сети, поэтому было проведено исследование, в котором мы использовали сверточную нейронную сеть VGG16, структура которой изображена на рис.1, с целью анализа рентгенографических снимков грудной клетки для выявления признаков наличия Covid-19 и пневмонии на фоне снимков при отсутствии заболеваний дыхательных путей. Также было исследовано изменение точности предсказаний интеллектуальной системы при трансферном обучении и
тонкой настройке.
Рис. 1. Блочная структура слоев нейронной сети VGG16 Данная нейросеть состоит из 13 сверточных (Convolution2D) слоев в пяти блоках свертки и 3 полносвязных (Dense) слоев в блоке классификатора.
Все сверточные слои в VGG16 представляют собой сверточные слои с ядром свертки размером 3^3 с шагом 1 и одинаковым заполнением, а субдискретизирующие (MaxPooling2D) слои — это дискретизирующие слои подвыборки с шагом 2. Размер входного изображения по умолчанию для VGG16 равен 224x224. После каждого субдискретизирующего слоя размер карты объектов уменьшается наполовину. Последняя карта объектов перед полносвязными (Dense) слоями имеет размер 7x7 с 512 каналами и затем изменяется сглаживающим слоем Flatten в вектор с 25 088 каналами [4].
Моделирование, обучение и тестирование системы проводилось с использованием сети Интернет на платформе облачного доступа к библиотекам глубокого обучения Google Colaboratory [5]. Для создания необходимой структуры сверточной нейронной сети и выбора параметров обучения использовались библиотеки Keras и TensorFlow [6].
Для обучения и тестирования нейросети был найден каталог рентгенографических снимков [7]. Всего каталог содержит 5228 изображений, что позволило составить необходимые группы снимков для нейросети для последующего выявления тонких различий заболеваний.
Каталог снимков РГК «Covid19-Pneumonia-Normal Chest X-Ray Images», где было классифицировано три класса изображений, включая случаи Covid-19, случаи нормальных здоровых снимков, случаи, показывающие заражение пневмонией [8], был просмотрен и нами было отобрано 4228 снимков формата PNG. Изображения были разделены на три класса: Covid-19, пневмония, здоровые снимки. Из этих снимков были составлены подкаталоги для обучения, валидации, то есть проверки правильности работы на этапе обучения, а также тестирования нейросети. В итоге, изображения были размещены в подкаталоги для обучения, проверки обучения и тестирования в процентном соотношении 80:10:10 для каждого класса.
Один из принципов обучения, который применялся в данной работе — обучение с учителем на маркированных данных. Алгоритм обучения с учителем состоит из целевой переменной или зависимой переменной, которая должна быть предсказана из заданного набора предикторов, то есть независимых переменных. Используя этот набор переменных, должна генерироваться функция, которая сопоставляет входные данные с нужными выходами [9]. Так, наши изображения были разбиты на три подкатегории. Соответственно этим трем классам на последнем полносвязном слое блока классификатора нейронной сети находились три нейрона. На обучающей и проверочной выборке нейросети доступны правильные варианты классификации, что методом обратного распространения изменяет веса в слоях нейросети для дальнейшего увеличения точности прогнозирования и постепенного уменьшения ошибки. Данный метод глубокого обучения позволяет нейросети на основе большого объёма входной информации создавать свои правила классификации изображений для последующего верного прогнозирования результатов на новых снимках РГК. Этот метод применялся при полном обучении нейросети VGG16, когда на обучение настроены все блоки, а также в вариантах тонкой настройки.
Другим методом обучения, который был применен в нашем исследовании, является метод трансферного обучения. Трансферное обучение — это подход к использованию полученных знаний при решении одной задачи для решения другой, но связанной с ней проблемы [10]. В этом случае веса нейронов в слоях нейросети оставались неизменными и являлись предопределенными, то есть полученными в ходе переноса обучения нейросети VGG16 на объёмном каталоге данных ImageNet, из-за чего слои нейросети сохраняли полученную ранее способность к распознаванию изображений. В этом случае обучение проводилось только в слоях блока
классификатора. Другие слои оставались с изначальными весовыми коэффициентами.
Метод тонкой настройки совмещал в себе оба метода обучения. Мы различным образом настраивали способность блоков и слоёв нейросети к обучению или оставляли перенесенные весовые коэффициенты от трансферного обучения для того, чтобы найти необходимую структуру, повышающую точность прогнозирования.
Наиболее эффективным оптимизатором для решения задачи классификации изображений с помощью сверточных нейронных сетей является ADAM [11]. Этот оптимизатор реализует изменение скорости обучения разных параметров нейросети. Функция потерь CategoricalCrossentropy применяется для оценки и постепенного уменьшения потерь и ошибки в ходе обучения нейросети для получения более точных показателей. Функция перекрестной энтропии является одной из наиболее часто используемых функций потерь для обучения моделей глубоких нейронных сетей, особенно в задачах классификации. При применении к категориальным многоклассовым данным эта функция потерь соответствует вероятностной логарифмической функции потерь, рассматриваемых данных [12].
Все испытания проводились, используя описанные выше параметры обучения: размер подвыборки Batch size = 64 единиц, оптимизатор ADAM со скоростью обучения в 0.0001 единиц, функция потерь CategoricalCrossentropy. Для оценивания модели применялась метрика Accuracy, определяющая точность предсказания модели по трем классам. Обучение проводилось в течение двадцати эпох при контроле функциями EarlyStopping и ModelCheckpoint для автоматической остановки обучения при уменьшении доли верных ответов на проверочном наборе данных в течение семи раз. Набор данных для обучения содержит 3383 изображения,
набор данных для проверки обучения содержит 423 изображения, тестовый набор данных, с которым нейросеть будет работать впервые, состоит из 422 снимков.
При указанном наборе параметров такая глубокая нейронная сеть, как VGG16, не уходила в переобучение и при этом плавно на протяжении эпохи уменьшала ошибку и потери прогнозирования и выходила на стабильный уровень точности предсказаний в ходе обучения. Об этом свидетельствуют графики из результатов обучения и результатов тестирования на рис.2 -рис.13. Построение графиков осуществлялось при помощи подключения пакета matplotlib.pyplot.
Результаты исследования
Изначально для сравнения результатов и оценки эффективности применения методов трансферного обучения и тонкой настройки было проведено полное обучение самой сверточной нейронной сети VGG16. В этом случае обучаемыми были все блоки нейросети. Результаты обучения, а именно - доля ошибки в ходе обучения и проверки обучения, а также доля верных ответов в ходе обучения и проверки обучения представлены на рис.2
и рис.3.
Рис. 2. — Доля ошибки в ходе обучения и проверки обучения
и
Рис. 3. — Доля верных ответов в ходе обучения и проверки обучения На последней двадцатой эпохе доля ошибки на проверочном наборе данных достигла значения в 0,08, доля верных ответов на проверочном наборе данных — 0,97. Доля верных ответов на тестовом наборе данных — 95 %.
Далее использовалось трансферное обучение. На рис.4 и рис.5 представлены результаты обучения нейронной сети и проверки обучения.
Рис. 4. — Доля ошибки в ходе обучения и проверки обучения
х - .....
2
л
у
О
в 0.875 -
I
IX
о
I
4 0.850 -
I
0.800 ■
■ Доля верных ответов на обучающем наборе — Доля верных ответов на проверочном наборе
0 2 4 6 8 10 12 14 16 Эпоха обучения
Рис. 5. — Доля верных ответов в ходе обучения и проверки обучения
Обучение было преждевременно остановлено функцией EarlyStopping на 17 эпохе. На последней эпохе доля ошибки на проверочном наборе данных достигла значения в 0,15, доля верных ответов на проверочном наборе данных — 0,97. Доля верных ответов на тестовом наборе данных — 97,1 %.
Таким образом, трансферное обучение показало более точный результат, так как для интеллектуальной системы важно то, какие результаты она дает на наборе данных, с которыми сталкивается впервые, то есть на тестовом наборе.
В следующем испытании при использовании тонкой настройки нейронной сети обеспечивалась обучаемость не только блока классификатора, как при трансферном обучении, но также позволялось обучение и изменение весов во всем пятом сверточном блоке. Оставшиеся четыре сверточных блока работали с неизменными весами от переноса обучения ImageNet. Результаты обучения и проверки обучения изображены на рис.6 и рис.7.
Рис. 6. — Доля ошибки в ходе обучения и проверки обучения
Рис. 7. — Доля верных ответов в ходе обучения и проверки обучения Обучение было остановлено на 15 эпохе. На последней эпохе доля ошибки на проверочном наборе данных достигла значения в 0,03, доля верных ответов на проверочном наборе данных — 0,98. Доля верных ответов на тестовом наборе данных — 98 %. Тонкая настройка смогла увеличить точность предсказаний на тестовом наборе данных.
Далее была осуществлена настройка четвертого и пятого сверточных блоков, показанных на рис.1, вместе. В этот раз обучались все слои
М Инженерный вестник Дона, №5 (2023) ivdon.ru/ru/magazine/arcliive/n5y2023/8504
четвертого и пятого сверточных блоков, а также весь блок классификатора.
Обучение нейросети проиллюстрировано на рис.8 и рис.9.
0.7-
0.6 -
0.4-
0.3 ■
0.2
0.1
1 — ■ Ошибка на обучающем наборе — Ошибка на проверочном наборе
\
1
1
1
Ч1 * _ 4
б а ю
Эпоха обучения
12
14
Рис. 8. — Доля ошибки в ходе обучения и проверки обучения
1.00 Т
0,95 -
0.90-
а 0.85 -
0.80-
г * ^ • ^СТ'^г^ \ / г . ^. ^ \ / \ / * у
/
/
/
/
/ — ■ Доля верных ответов на обучающем наборе — Доля верных ответов на проверочном наборе
6 8 10 Эпоха обучения
12
14
Рис. 9. — Доля верных ответов в ходе обучения и проверки обучения Обучение было остановлено на 16 эпохе. На последней эпохе доля ошибки на проверочном наборе данных достигла значения в 0,13, доля верных ответов на проверочном наборе данных — 0,97. Доля верных ответов на тестовом наборе данных — 96,8 %.
Настройка более поверхностных слоев не дала улучшения прогнозирования такой глубокой нейронной сети как VGG16. Последний
результат менее точный, чем при трансферном обучении и больше соотносится с первым испытанием. Поэтому дальнейшие исследование было посвящено тонкой настройке пятого сверточного блока.
Далее для пятого сверточного блока обучение настраивалось только для второго и третьего сверточного слоя (Convolution2D) пятого блока и полносвязного блока классификатора. Остальные четыре сверточных блока и первый сверточный слой пятого блока сохраняются с предобученными неизменяемыми весами от трансферного обучения. На рис.10 и рис.11
приведена динамика обучения такой структуры.
Рис. 10. — Доля ошибки в ходе обучения и проверки обучения
Рис. 11. — Доля верных ответов в ходе обучения и проверки обучения
Обучение было остановлено на 14 эпохе. На последней эпохе доля ошибки на проверочном наборе данных достигла значения в 0,14, доля верных ответов на проверочном наборе — 0,97. Доля верных ответов на тестовом наборе данных — 97,9 %.
После этого были внесены корректировки в обучение только для третьего сверточного слоя пятого сверточного блока. То есть обучался последний слой пятого блока и все слои блока классификатора. На рис.12 и
рис.13 изображена динамика обучения такой структуры.
м,|.....................................I.....................................t.....................................1.....................................1.....................................1.....................................1.....
О 2 4 б 8 10 12
Эпоха обучения
Рис. 12. — Доля ошибки в ходе обучения и проверки обучения
Рис. 13. — Доля верных ответов в ходе обучения и проверки обучения
Нейросеть обучалась в течение 13 эпох. На последней эпохе доля ошибки на проверочном наборе данных достигла значения в 0,15, доля верных ответов на проверочном наборе данных — 0,99. Доля верных ответов на тестовом наборе данных — 98,4 %.
При помощи тонкой настройки структуры нейросети и ранее подобранных гиперпараметров мы смогли улучшить результативность прогнозирования интеллектуальной системы. Точность на тестовом наборе изображений составила 98,4 %, что является лучшим результатом среди всех испытаний.
Заключение
Повышение точности классификации изображений очень важно, когда речь идёт о результатах медицинских исследований. В данном случае важно повышение результативности даже на половину процента, так как результат может влиять на выявление опасных для жизни патологий, что особенно актуально для таких распространенных заболеваний как Covid-19 и пневмония. По результатам моделирования распознавания РГК-изображений, в качестве нейронной сети была применена сверточная нейронная сеть VGG16. Точность классификации изображений при полном обучении составила 95%. Выявлено, что применение метода трансферного обучения и тонкой настройки позволяет улучшить точность распознавания соу1^19 и пневмонии на снимках РГК по сравнению с изначальным полным обучением с 95 до 98,4 %. Тонкая настройка более поверхностных слоев не привела к улучшению результатов классификации, а, значит, увеличение точности распознавания должно осуществляться при помощи тонкой настройки только последнего сверточного блока перед блоком классификатора.
Литература
1. Chou, R., M. Pappas, D. Buckley, M. McDonagh, A. Totten, N. Flor, F. Sardanelli, T. Dana, E. Hart, N. Wasson and H. Nelson, 2020. Use of chest imaging in COVID-19: a rapid advice guide: web annex A: imaging for COVID-19: a rapid review. World Health Organization, pp: 1-18.
2. Пучков Е.В. Разработка системы поддержки принятия решений для управления кредитными рисками банка // Инженерный вестник Дона, 2011, № 1. URL: ivdon.ru/ru/magazine/archive/n 1y2011/377.
3. Романов Д.Е. Нейронные сети обратного распространения ошибки // Инженерный вестник Дона, 2009, №3 URL: ivdon.ru/ru/magazine/archive/n3y2009/143.
4. Guan, Q., Y. Wang, B. Ping, D. Li, J. Du, Y. Qin, H. Lu, X. Wan and J. Xiang, 2019. Deep convolutional neural network VGG-16 model for differential diagnosing of papillary thyroid carcinomas in cytological images: a pilot study. Journal of Cancer, 10(20): 4876-4882. DOI: 10.7150/jca.28769.
5. Интернет-сайт облачной среды Google Colaboratory. URL: colab.research.google.com/ (дата обращения: 15.05.2023).
6. Joseph, F.J.J., S. Nonsiri and A. Monsakul, 2021. Keras and TensorFlow: A hands-on experience. Advanced Deep Learning for Engineers and Scientists: A Practical Approach, Springer Cham, pp: 85-111. DOI: 10.1007/978-3-030-665197. Интернет-сайт каталога РГК снимков «Covid19-Pneumonia-Normal
Chest X-Ray Images». URL: data.mendeley.com/datasets/dvntn9yhd2/1 (дата обращения: 10.05.2023).
8. Shastri, S., I. Kansal, S. Kumar, K. Singh, R. Popli and V. Mansotra, 2022. CheXImageNet: a novel architecture for accurate classification of Covid-19 with chest x-ray digital images using deep convolutional neural networks. Health and Technology, 12: 193-204. DOI: 10.1007/s12553-021-00630-x.
9. Галимов Р.Г. Основы алгоритмов машинного обучения - обучение с учителем // Аллея Науки, 2017, №14. URL: alley-science.ru/arhiv_zhurnalov_2017_g_/.
10. Pan, S.J. and Q. Yang, 2010. A survey on transfer learning. IEEE Transactions on knowledge and data engineering, 10(22): 1345-1359. DOI: 10.1109/TKDE.2009.191.
11. Журавлева Н.А. Выбор оптимизатора для обучения сверточной нейронной сети: задача классификации лесных пожаров // StudNet, 2022, №5. URL: stud.net.ru/page/arxiv/.
12. Gordon-Rodriguez, E., G. Loaiza-Ganem, G. Pleiss and J.P. Cunningham, 2020. Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning. I Can't Believe It's Not Better at NeurlPS (issue 137), Proceedings of Machine Learning Research, pp: 1-10.
References
1. Chou, R., M. Pappas, D. Buckley, M. McDonagh, A. Totten, N. Flor, F. Sardanelli, T. Dana, E. Hart, N. Wasson and H. Nelson, 2020. Use of chest imaging in COVID-19: a rapid advice guide: web annex A: imaging for COVID-19: a rapid review. World Health Organization, pp: 1-18.
2. Puckov E.V. Inzhenernyj vestnik Dona, 2011, №1. URL: ivdon. ru/ru/magazine/archive/n 1y2011/377.
3. Romanov D.E. Inzhenernyj vestnik Dona, 2009, №3. URL: ivdon. ru/magazine/archive/n3y2009/143.
4. Guan, Q., Y. Wang, B. Ping, D. Li, J. Du, Y. Qin, H. Lu, X. Wan and J. Xiang, 2019. Journal of Cancer, 10(20): 4876-4882. DOI: 10.7150/jca.28769.
5. Internet-sayt oblachnoy sredy Google Colaboratory [Google Colaboratory cloud notebook's website]. URL: colab.research.google.com/ (accessed: 15.05.2023)
6. Joseph, F.J.J., S. Nonsiri and A. Monsakul, 2021. Keras and TensorFlow: A hands-on experience. Advanced Deep Learning for Engineers and Scientists: A Practical Approach, Springer Cham, pp: 85-111. DOI: 10.1007/978-3-030-665197. Internet-sayt kataloga RGK snimkov «Covid19-Pneumonia-Normal Chest X-Ray Images» [Website of «Covid19-Pneumonia-Normal Chest X-Ray Images» dataset]. URL: data.mendeley.com/datasets/dvntn9yhd2/1 (accessed: 10.05.2023)
8. Shastri, S., I. Kansal, S. Kumar, K. Singh, R. Popli and V. Mansotra, 2022. CheXImageNet: a novel architecture for accurate classification of Covid-19 with chest x-ray digital images using deep convolutional neural networks. Health and Technology, 12: 193-204. DOI: 10.1007/s12553-021-00630-x.
9. Galimov R.G. Alleya Nauki, 2017, №14. URL: alley-science.ru/arhiv_zhurnalov_2017_g_/.
10. Pan, S.J. and Q. Yang, 2010. A survey on transfer learning. IEEE Transactions on knowledge and data engineering, 10(22): 1345-1359. DOI: 10.1109/TKDE.2009.191.
11. Zhuravleva N.A. StudNet, 2022, №5. URL: stud. net. ru/page/arxiv/.
12. Gordon-Rodriguez, E., G. Loaiza-Ganem, G. Pleiss and J.P. Cunningham, 2020. Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning. I Can't Believe It's Not Better at NeurIPS (issue 137), Proceedings of Machine Learning Research, pp: 1-10.
