CC BY
14
УДК 621.391
doi: 10.21685/2227-8486-2023-2-12
ИСПОЛЬЗОВАНИЕ НЕЙРОННОЙ СЕТИ EFFICIENTDET В ЗАДАЧЕ ОБНАРУЖЕНИЯ ПАТОЛОГИЙ ЖЕЛУДКА НА ВИДЕОИЗОБРАЖЕНИЯХ ЭНДОСКОПИЧЕСКОГО ИССЛЕДОВАНИЯ
В. В. Хрящев1, А. Л. Приоров2
1 2 Ярославский государственный университет имени П. Г. Демидова, Ярославль, Россия 1 v.khryashchev@uniyar.ac.ru, 2 andcat@yandex.ru
Аннотация. Актуальность и цели. Получение максимально достоверной информации при выполнении эндоскопических исследований желудочно-кишечного тракта дает возможность на ранних стадиях обнаруживать и классифицировать опасные патологии, включая онкологические. Это значительно снижает летальность среди больных с данными видами заболеваний. Рассматривается задача обнаружения патологий желудка на видеоданных эндоскопических исследований. Материалы и методы. Проведен анализ эффективности использования достаточно новой архитектуры сверточ-ной нейронной сети EfficientDet для обнаружения опасных патологий желудка на видеоизображениях эндоскопических исследований. Для обучения и тестирования алгоритмов глубокого машинного обучения использовались 54 видеозаписи исследований желудка, проведенных в эндоскопическом отделении Ярославской областной клинической онкологической больницы. Результаты. Проанализированы результаты работы разработанного алгоритма в сравнении с популярным подходом на основе архитектуры сверточной нейронной сети SSD300. Получены зависимости значений функций потерь подсети классификации и подсети регрессии, вычисленных на обучающей выборке, а также значений стандартных метрик F1, mAP, Precision и Recall. Показано достижение существенного превосходства по метрике средней точности при сохранении хороших показателей по критериям робастности и скорости обработки видеокадра. Выводы. Разработанный алгоритм может быть использован в качестве основного при реализации нейросетевого модуля детектирования патологий на эндоскопических изображениях желудка.
Ключевые слова: эндоскопические видеоданные, машинное обучение, сверточная нейронная сеть, обнаружение объектов, патологии желудка, метрики качества
Для цитирования: Хрящев В. В., Приоров А. Л. Использование нейронной сети EfficientDet в задаче обнаружения патологий желудка на видеоизображениях эндоскопического исследования // Модели, системы, сети в экономике, технике, природе и обществе. 2023. № 2. С. 185-192. doi: 10.21685/2227-8486-2023-2-12
THE USE OF THE EFFICIENTDET NEURAL NETWORK IN THE TASK OF DETECTING STOMACH PATHOLOGIES ON VIDEO IMAGES OF ENDOSCOPIC EXAMINATION
V.V. Khryashchev1, A.L. Priorov2
1 2 P.G. Demidov Yaroslavl State University, Yaroslavl, Russia 1 v.khryashchev@uniyar.ac.ru, 2 andcat@yandex.ru
© Хрящев В. В., Приоров А. Л., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
Abstract. Background. Obtaining the most reliable information when performing endoscopic examinations of the gastrointestinal tract makes it possible to detect and classify dangerous pathologies, including oncological ones, at an early stage. This significantly reduces mortality among patients with these types of diseases. The problem of detecting stomach pathologies on the video data of endoscopic studies is considered. Materials and methods. The analysis of the effectiveness of using a fairly new architecture of the EfficientDet con-volutional neural network for detecting dangerous stomach pathologies on video images of endoscopic examinations is carried out. 54 videos of stomach studies conducted in the endoscopic department of the Yaroslavl Regional Clinical Oncology Hospital were used to train and test deep machine learning algorithms. Results. The results of the developed algorithm are analyzed in comparison with the popular approach based on the architecture of the con-volutional neural network SSD300. The dependences of the values of the loss functions of the classification subnet and the regression subnet calculated on the training sample, as well as the values of the standard metrics F1, mAP, Precision and Recall are obtained. The achievement of a significant superiority in the metric of average accuracy is shown while maintaining good indicators according to the criteria of robustness and processing speed of the video frame. Conclusions. The developed algorithm can be used as the main one in the implementation of a neural network module for detecting pathologies on endoscopic images of the stomach.
Keywords: endoscopic video data, machine learning, convolutional neural network, object detection, stomach pathology, quality metrics
For citation: Khryashchev V.V., Priorov A.L. The use of the EfficientDet neural network in the task of detecting stomach pathologies on video images of endoscopic examination.
Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2023;(2):185-192. (In Russ.). doi: 10.21685/ 2227-8486-2023-2-12
Введение
В настоящее время актуальной задачей является получение максимально достоверной информации при выполнении эндоскопических исследований желудочно-кишечного тракта [1-3]. Это дает возможность на ранних стадиях обнаруживать и классифицировать опасные патологии, включая онкологические, что значительно снижает летальность среди больных с данными видами заболеваний. Конкретно в данной работе основное внимание уделено эндоскопическому исследованию желудка.
Для обучения и тестирования алгоритмов глубокого машинного обучения использовались 54 видеозаписи исследований желудка, проведенных в эндоскопическом отделении Ярославской областной клинической онкологической больницы. Процедура экспертной разметки видеозаписей включала в себя подбор кадров с патологией (всего 2971 кадр) и локализацию ее в виде указания соответствующих координат обрамляющей прямоугольной рамки. Таким способом выделены следующие классы: ранний рак (902 кадра), рак (297 кадров), иная патология (1772 кадра). Более подробно используемая база изображений описана в предыдущих работах авторов [4, 5].
Целью работы является анализ эффективности использования относительно новой архитектуры сверточной нейронной сети EfficientDet для обнаружения опасных патологий желудка на видеоизображениях эндоскопических исследований.
Материалы и методы
В настоящее время эндоскопия фактически выделилась в отдельное медицинское направление. Уже традиционно для обработки эндоскопических видеоизображений используются методы глубокого машинного обучения, в частности сверточные нейронные сети (СНС) [6, 7]. Технологии СНС достаточно быстро развиваются и совершенствуются. Например, относительно недавно предложено новое семейство нейросетевых детекторов EfficientDet [8] с улучшенными эксплуатационными характеристиками. Это сделано в результате изучения различных вариантов проектирования современных нейронных сетей для эффективного обнаружения так называемых «объектов интереса». В случае гастроскопии ими могут являться различные патологии пищевода и желудка, а также двенадцатиперстной кишки.
Нейросетевые детекторы, построенные на основе архитектуры Efficient-Det, могут достигать большей точности и эффективности в задачах анализа изображений, чем их существующие аналоги. Важно отметить, что они делают это в условиях широкого спектра ограничений по различным ресурсам, в том числе и вычислительным. Архитектура типовой СНС данного типа приведена на рис. 1. Она соответствует парадигме одноступенчатых детекторов (Single Shot Detector). В качестве базовой части используется сеть EfficientNetBO, веса которой настраиваются на стандартной базе изображений ImageNet [9]. К ней добавляется специальным образом формируемый слой признаков BiFPN (bidirectional feature pyramid network).
-> Сеть прогнозирования
класса ->
Ба зевая сеть Слой признаков
EfficientDet BiFPN
Сеть для предсказания
рамки
Рис. 1. Архитектура сверточной нейронной сети EfficientDet
Далее к нему присоединяются подсети детектирования положения рамки и прогнозирования класса. Следует заметить, что особенностью архитектуры EfficientDet является использование функции активации SoftMax [10]. Таким, образом, СНС семейства EfficientDet строятся с использованием идеи одновременного масштабирования базовой части, пирамиды признаков и подсетей детектирования и классификации.
Результаты и обсуждение
В проведенном исследовании архитектура EfficientDet использована в качестве основного способа обнаружения и классификации патологий. Динамика изменения функций потерь (подсети классификации, подсети регрессии), вычисленных на обучающей выборке, а также значений метрик F1, mAP, Precision, Recall для валидационной выборки, во время обучения нейросете-вого алгоритма, приведены на рис. 2. Из приведенных кривых видно, что значения стандартных метрик качества для разработанного нейросетевого алгоритма достаточно высокие и во всех случаях стремятся к единице.
0 3 6 П2 1 1 2 24 27
а)
б)
V
0.4 ■ 0.2 ■
□ 1 1 1 2 2 4 27
в)
г)
д)
е)
Рис. 2. Зависимость значений стандартных метрик от числа эпох при обучении алгоритма на основе сети EfficientDet, вычисленные на обучающей выборке (а, б) и на валидационной выборке (в-е): а - функция потерь подсети классификации; б - функция потерь подсети регрессии; в - метрика F1; г - метрика mAP; д - метрика Precision; е - метрика Recall
Наибольшие значения метрик, полученные среди всех эпох обучения, для разработанного алгоритма приведены в табл. 1.
Таблица 1
Наилучшие значения метрик для алгоритма на основе архитектуры EfficientDet
Сеть/ параметры classification loss regression_ loss val_F1 val_ mAP val_ precision val_ recall last_ epoch
EfficientDet + EfficientNetBO 0,13 0,09 0,87 0,97 0,9 0,85 24
Для сравнения работы нейросетевых алгоритмов детектирования патологий желудка использовались четыре варианта алгоритмов обнаружения, построенных на базе нейросетевой архитектуры 88Б300 [11]. В табл. 2 приведены значения средней метрики точности (АР), вычисленной для трех классов, имеющихся в размеченном наборе изображений, при использовании нейронных сетей и Б£Е1с1еп1Ве1 с наилучшими параметрами запуска.
Таблица 2
Сравнение сети EfficientDet c алгоритмами на базе архитектуры SSD300
Сеть AP AP AP
(«рак») («ранний рак») («иная патология»)
SSD300 + VGG19 0,81 0,87 0,28
SSD300 + MobileNetV2 0,63 0,63 0,28
SSD300 + Xception 0,7 0,81 0,45
SSD300 + VGG16 0,71 0,9 0,41
EfficientDet + EfficientNetBO 0,99 0,99 0,94
Видно, что лучшие результаты по метрике точности показала нейронная сеть EfficientDet. Для вариантов ранее широко распространенной нейросетевой архитектуры SSD результаты по точности значительно ниже, особенно для класса «иная патология».
Важным моментом для практической работы всех нейросетевых алгоритмов, включая и алгоритмы детектирования патологий, является обеспечение их устойчивости к различным негативным факторам (робастности). Для тестирования по этому критерию использовался следующий подход. Нейросетевые модели обучались только на изображениях с эндоскопа OLYMPUS EXERA III GIF-HQ190, а тестирование проводилось только на выборке изображений с более ранних моделей эндоскопов OLYMPUS 160, 170 и 180 серий. Результаты такого эксперимента приведены в табл. 3. В ячейках таблицы отражены результаты метрики AP и уровень этих показателей относительно результатов (показатель деградации алгоритма), приведенных в табл. 2. Приведен средний показатель деградации алгоритма для трех указанных классов.
Таблица 3
Сравнение робастности алгоритмов при обучении и тестировании на разных поколениях эндоскопического оборудования
Сеть AP («рак») AP («ранний рак») AP («иная патология») Средний показатель деградации
SSD300 + VGG19 0,72 89,7 % 0,79 90,0 % 0,24 84,2 % 88,0 %
SSD300 + MobileNetV2 0,56 89,6 % 0,57 91,4 % 0,24 85,4 % 88,8 %
SSD300 + Xception 0,63 89,2 % 0,73 90,4 % 0,36 81,1 % 86,9 %
SSD300 + VGG16 0,64 91,1 % 0,82 92,0 % 0,35 85,8 % 89,6 %
EfficientDet + EfficientNetB0 0,87 88,2 % 0,86 87,0 % 0,82 86,7 % 87,3 %
Приведенные результаты показывают, что рассчитанный показатель робастности для разных моделей нейронных сетей находится в диапазоне 86,9-89,6 %. Некоторое преимущество по этому показателю показывает архитектура 88Б300 + У0016, опережая рассматриваемую сеть ЕШаейБе! в среднем на 2,3 % для трех классов. Однако абсолютные значения метрики АР для нейронной сети Е£йшеп1Ве1 остаются наилучшими для такого «стресс-теста», хотя и показывают несколько более высокий уровень деградации результатов для классов «рак» и «ранний рак».
Время обработки одного кадра эндоскопической видеопоследовательности является еще одним важным практическим параметром работы нейросете-вого алгоритма детектирования патологий желудка на соответствующих эндоскопических изображениях.
Для подсчета времени обработки одного кадра реализован программный эксперимент по тестированию алгоритмов на так называемых батчах - наборах обучающих выборок из входных данных. Для рассматриваемых нейросетевых алгоритмов рассчитано общее время тестирования, затраченное на обработку батчей за 22 итерации. Вычислено среднее время обработки одного видеокадра (отношение времени тестирования к произведению числа изображений в одном батче и числа итераций). Результаты указанного программного эксперимента приведены в табл. 4.
Таблица 4
Сравнение результатов работы исследуемых нейросетевых алгоритмов детектирования патологий желудка по скорости обработки одного кадра
Сверточная нейронная сеть Общее время тестирования (число итераций за 1 с) Среднее время обработки одного кадра, с
88Б300 + Увв19 13,49 с (1,61 итер/с) 0,04 с
88Б300 + ЫоЫШе1У2 13,73 с (1,62 итер/с) 0,04 с
88Б300 + Хсерйоп 12,64 с (1,74 итер/с) 0,04 с
88Б300 + Ув016 13,57 с (1,6 итер/с) 0,04 с
ЕйтаепЮег + EfficientNetB0 17,72 с (1,24 итер/с) 0,05 с
Учитывая приведенные значения, можно сделать вывод о том, что наилучшим подходом по скорости работы среди перечисленных моделей нейросетей можно считать модель 88Б с базовой сетью Хсерйоп. Следует отметить, что значения, приведенные в табл. 4, с практической точки зрения различаются между собой незначительно. Хотя некоторое отставание в процессе обработки кадра (число итераций в секунду) алгоритмом на основе архитектуры Е£Е1с1еп1Бе1 составляет порядка 28,8 %, но это не является критичным, что подтверждается расчетом среднего времени обработки кадра.
Заключение
Рассматривается детектирование (обнаружение) патологий желудка на видеоизображениях эндоскопических исследований. Описан детектор на основе относительно новой архитектуры сверточной нейронной сети Е£Е1с1еп1Бе1. Получены зависимости значений функций потерь подсети
классификации и подсети регрессии, вычисленных на обучающей выборке, а также значений стандартных метрик F1, mAP, Precision и Recall.
Проанализированы результаты работы нейросетевого алгоритма в сравнении с популярным подходом на основе архитектуры SSD300. Показано достижение существенного превосходства по метрике средней точности при сохранении хороших показателей по критериям робастности и скорости обработки видеокадра.
Рассмотренный алгоритм будет использоваться в качестве основного при реализации нейросетевого модуля детектирования патологий на эндоскопических изображениях желудка.
Список литературы
1. Палевская С. А., Короткевич А. Г. Эндоскопия желудочно-кишечного тракта. М. : ГЭОТАР-Медиа, 2020. 752 с.
2. Куваев Р. О., Кашин С. В. Современное эндоскопическое исследование желудка с использованием методик узкоспектральной и увеличительной эндоскопии: техника проведения и алгоритмы диагностики // Доказательная гастроэнтерология. 2016. Т. 2, № 5. С. 3-13.
3. Батухтин Д. М., Пеганова Е. В., Митракова Н. Н. Анализ узкоспектральных эндоскопических изображений на внутренней поверхности пищевода // Вестник Поволжского государственного технологического университета. Сер.: Радиотехнические и инфокоммуникационные системы. 2014. № 4. С. 45-57.
4. Хрящев В. В., Ганин А. Н., Лебедев А. А. [и др.]. Разработка и анализ алгоритма детектирования патологий на эндоскопических изображениях желудка на основе сверточной нейронной сети // Цифровая обработка сигналов. 2018. № 3. С. 70-75.
5. Лебедев А. А., Хрящев В. В., Кашин С. В. [и др.]. Применение методов глубокого обучения для поддержки врачебного решения при эндоскопическом исследовании желудка // Модели, системы, сети в экономике, технике, природе и обществе. 2021. № 2. С. 95-106.
6. Itoh T., Kawahira H., Nakashima H. Deep learning analyzes Helicobacter pylori infection by upper gastrointestinal endoscopy images // Endoscopy International Open. 2018. Vol. 6, № 2. P. 139-144.
7. Zhu Y., Wang Q., Xu M. Application of convolutional neural network in the diagnosis of the invasion depth of gastric cancer based on conventional endoscopy // Gastrointest Endoscopy. 2019. Vol. 89, № 4. P. 806-815.
8. Tan M., Pang R., Le Q. V. EfficientDet: scalable and efficient object detection // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2020. P. 10781-10790.
9. The ImageNet Database. URL: http://www.image-net.org (дата обращения: 10.06.2023).
10. Николенко С. И., Кадурин А. А., Архангельская Е. О. Глубокое обучение. СПб. : Питер, 2018. 480 c.
11. Хрящев В. В., Среднякова А. С., Ганин А. Н., Кашин С. В. Использование глубоких нейронных сетей для поиска патологий на эндоскопических изображениях желудка // Цифровая обработка сигналов и ее применение (DSPA-2021) : докл. 23-й междунар. конф. М., 2021. С. 254-258.
References
1. Palevskaya S.A., Korotkevich A.G. Endoskopiya zheludochno-kishechnogo trakta = Endoscopy of the gastrointestinal tract. Moscow: GEOTAR-Media, 2020:752. (In Russ.)
2. Kuvaev R.O., Kashin S.V. Modern endoscopic examination of the stomach using techniques of narrow-spectrum and magnifying endoscopy: technique and algorithms of diagnosis. Dokazatel'naya gastroenterologiya = Evidence-based gastroenterology. 2016;2(5):3-13. (In Russ.)
3. Batukhtin D.M., Peganova E.V., Mitrakova N.N. Analysis of narrow-spectral endoscopic images on the inner surface of the esophagus. Vestnik Povolzhskogo gosudar-stvennogo tekhnologicheskogo universiteta. Ser.: Radiotekhnicheskie i infokommu-nikatsionnye sistemy = Bulletin of the Volga State Technological University. Ser.: Radio engineering and infocommunication systems. 2014;(4):45-57. (In Russ.)
4. Khryashchev V.V., Ganin A.N., Lebedev A.A. et al. Development and analysis of an algorithm for detecting pathologies on endoscopic images of the stomach based on con-volutional neural network. Tsifrovaya obrabotka signalov = Digital signal processing. 2018;(3):70-75. (In Russ.)
5. Lebedev A.A., Khryashchev V.V., Kashin S.V. et al. Application of deep learning methods to support medical decisions during endoscopic examination of the stomach. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2021;(2):95-106. (In Russ.)
6. Itoh T., Kawahira H., Nakashima H. Deep learning analyzes Helicobacter pylori infection by upper gastrointestinal endoscopy images. Endoscopy International Open. 2018;6(2):139-144.
7. Zhu Y., Wang Q., Xu M. Application of convolutional neural network in the diagnosis of the invasion depth of gastric cancer based on conventional endoscopy. Gastrointest Endoscopy. 2019;89(4):806-815.
8. Tan M., Pang R., Le Q. V. EfficientDet: scalable and efficient object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2020:10781-10790.
9. The ImageNet Database. Available at: http://www.image-net.org (accessed 10.06.2023).
10. Nikolenko S.I., Kadurin A.A., Arkhangel'skaya E.O. Glubokoe obuchenie = Deep learning. Saint Petersburg: Piter, 2018:480. (In Russ.)
11. Khryashchev V.V., Srednyakova A.S., Ganin A.N., Kashin S.V. Using deep neural networks to search for pathologies on endoscopic images of the stomach. Tsifrovaya obrabotka signalov i ee primenenie (DSPA-2021): dokl. 23-y mezhdunar. konf. = Digital signal processing and its application (DSPA-2021) : reports of the 23rd International conference. Moscow, 2021:254-258. (In Russ.)
Информация об авторах /Information about the authors
Владимир Вячеславович Хрящев
кандидат технических наук, доцент, доцент кафедры цифровых технологий и машинного обучения, Ярославский государственный университет имени П. Г. Демидова (Россия, г. Ярославль, ул. Советская, 14) E-mail: v.khryashchev@uniyar.ac.ru
Андрей Леонидович Приоров
доктор технических наук, доцент, профессор кафедры цифровых технологий и машинного обучения, Ярославский государственный университет имени П. Г. Демидова (Россия, г. Ярославль, ул. Советская, 14) E-mail: andcat@yandex.ru
Vladimir V. Khryashchev
Candidate of technical sciences, associate professor, associate professor of the sub-department of digital technologies and machine learning, P.G. Demidov Yaroslavl State University (14 Sovetskaya street, Yaroslavl, Russia)
Andrey L. Priorov
Doctor of technical sciences, associate professor, professor of the sub-department of digital technologies and machine learning, P.G. Demidov Yaroslavl State University (14 Sovetskaya street, Yaroslavl, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 15.04.2023 Поступила после рецензирования/Revised 15.05.2023 Принята к публикации/Accepted 07.06.2023
