CC BY
0УДК 004 Сухов П.А., Данилюк С. С.
Сухов П.А.
студент
Московский государственный технический университет
им. Н.Э. Баумана (г. Москва, Россия)
Данилюк С.С.
старший преподаватель кафедры ИУ6 Компьютерные системы и сети Московский государственный технический университет
им. Н.Э. Баумана (г. Москва, Россия)
ПРИМЕНЕНИЕ MULTI-LABEL КЛАССИФИКАЦИИ И OBJECT DETECTION ДЛЯ КТ-СНИМКОВ
Аннотация: современные нейронные сети развиваются с большой скоростью и уже могут заменять рецепторные функции человека, такие как анализ изображений, текстовых и числовых данных, и создание изображений. В то же время уровень здравоохранения в мире растет, но технологическая и кадровая оснащенность не всегда успевает за этим ростом. Обучение современных специалистов может занимать до 10 лет, а очередь на использование высокотехнологического оборудования может быть больше, чем активная фаза некоторых болезней. В данном исследовании проводятся эксперименты по анализу радиологических снимков и экспертных данных с патологиями головного мозга для построения системы предварительного анализа радиологических снимков специалистом. Проанализированы возможности построения multi-label классификатора на основе экспертных данных и варианты дальнейшего производства регионов интереса на изображении, с которыми в дальнейшем будет соотнесена классификация.
Ключевые слова: классификатор, экспертные данные, классификация.
1625
Современная наука ставит основной целью быстрое и точное выявление патологий головного мозга для быстрого начала их лечения. Статистика показывает, что своевременная диагностика и лечение могут значительно улучшить прогнозы для пациентов. Однако, высокая сложность и затраты времени на анализ радиологических снимков создают необходимость в разработке автоматизированных систем помощи врачам. В данном исследовании рассматривается использование multilabel классификатора и YOLOv7 для классификации и обнаружения патологий в головном мозге.
1. Сопоставление работ.
За последние годы накоплено значительное количество датасетов, доступных в открытом доступе. В основном эти датасеты имеют вид последовательных снимков для пациента и списка аннотаций заболеваний у этого пациента. Существуют два основных вида датасетов:
1) последовательные снимки с аннотациями заболеваний,
2) размеченные регионы заболеваний для каждого снимка.
Первый вид датасетов подходит для задач предварительной классификации заболеваний, тогда как второй вид — для задач сегментации и обнаружения патологий или аномалий.
Современные методологии анализа включают в себя наличие сверточных экстракторов всевозможных фичей, рекуррентных блоков для анализа последовательности снимков, а также детекторов и трансформеров для задач сегментации и детекции. Архитектуры классификаторов для изображений могут быть как классическими (например, VGG, ResNet), так и современными, основанными на контексте. Для задач object detection часто используются архитектуры вида Faster Region-Based Convolutional Neural Network (FRCNN) и YOLO. Для сегментации значимой архитектурой является U-Net.
2. Методология исследования.
Цель настоящего исследования — построение системы для помощи медицинскому персоналу. Исследование включает в себя создание рабочей версии системы и последующее её улучшение. Для построения прототипа
1626
системы было решено использовать multilabel классификацию типов патологий у пациентов и выделение bounding box найденных патологий с определенной уверенностью.
2.1 Датасет.
Для данного исследования был выбран датасет CQ500, состоящий из 491 исследования и 193 317 КТ срезов. В датасете предоставлены анонимные снимки для 491 пациента и соответствующие аннотации, сделанные тремя опытными рентгенологами.
2.2 Построение классификатора.
Были проведены эксперименты по построению классификатора по типу ResNet с объединением фичей различных снимков последовательности с помощью LSTM сети. Структура backbone аналогична архитектуре ResNet, а структура Neck используется для агрегации признаков с последующим преобразованием с помощью двунаправленной LSTM (BiLSTM).
2.3 Архитектура YOLO.
Для задачи детекции была выбрана архитектура YOLOv7. Модель была приведена в режим transfer learning, где слои backbone были заморожены, а изменялись только веса слоев neck и head. Модель обучалась на изображениях с границей вероятности уверенности выше 60%.
3. Эксперименты и результаты.
3.1 Эксперимент № 1: Классификация с использованием ResNet и BiLSTM
Цель: оценить эффективность multilabel классификатора на основе ResNet и BiLSTM для классификации патологий головного мозга.
Метод:
- Данные были разделены на тренировочный, валидационный и тестовый наборы.
- Модель обучалась с использованием функции потерь на основе Cross-Entropy. Функция потерь классификатора составлена из функций потерь каждого классификатора.
1627
- Использовались методы аугментации данных, такие как cutout, brightness, salt & pepper и морфологические операции.
- Оценка производилась на основе метрики F1-score marero average, accuracy.
Результаты:
- Точность классификации достигла 94% на тестовом наборе данных.
- Модель показала высокую устойчивость к различным типам шумов и искажений в данных.
- F1-macro score модели - 83%.
name Category_New ICH IPH IVH SDH EDH SAH CalvarialFracture HaasEffect MidlineShift
353 CQ500-CT-422 Б2 0.92 0.85 0.00 0.01 0.03 0.10 0.029752 0.58 0.08
478 CQ500-CT-296 B2 1.00 0.86 0.72 0.01 0.04 0.19 0.010000 0.96 0.85
479 CQ500-CT-59 Б2 0.99 0.63 0.69 0.03 0.04 0.93 0.029752 0.52 0.05
Рисунок 1. Данные из датасета.
name CatEgery_Ncu ICH IPH IVH sdk edh sah calvarialFracture nassEffsct Kidlineshift
353 CQS00-CT-422 B2 0 666323 0.703400 0.000000 0-006522 0.024065 0 061002 0.019157 0.403643 0.059310
473 479 CQ500-CT-296 CQ50Q-CT-59 02 02 0.90766E 0.836203 1.029445 0.445497 0-717369 0.592020 0.007297 0.037902 0.023787 0.030976 0119499 0.786167 0009663 0.010217 0.635995 0.492267 0.658963 0.043001
Рисунок 2. Предсказанные результаты.
3.2 Эксперимент № 2: Детекция с использованием YOLOv7. Цель: оценить эффективность YOLOv7 для детекции патологий головного мозга. Метод:
- Модель была обучена на аннотированных данных с использованием transfer learning.
- Оценка производилась на основе метрик precision, recall, IoU Результаты:
- Модель достигла precision 90%, recall 92%
1628
- IoU составляет 66%, что является нормой с учетом человеческого диапазона IoU 45-70%.
- Предобученная модель yolov7 способна обучиться на датасете небольшого размера.
- YOLOv7 показала высокую способность к генерализации и точности детекции.
- ObjectDetection подход имеет свои ограничения при детекции объектов сложных форм в небольшом количестве нетипичных случаев. В данной задаче стоит отметить необходимость будущего перехода в instance segmentation для сокращения издержок анализа выходов системы.
Рисунок 3. Данные из датасета.
Рисунок 4. Предсказанные результаты.
1629
Итоговый вариант работы системы предоставляет оценки каждого класса патологий и снимки с выделенными областями патологий. Данная система может значительно сократить время анализа радиологических снимков и повысить точность диагностики, что способствует более быстрому началу лечения и улучшению прогнозов для пациентов.
СПИСОК ЛИТЕРАТУРЫ:
1. arXiv:1803.05854v2 [cs.CV];
2. arXiv:2207.02696 [cs.CV];
3. Díaz-Pernas FJ, Martínez-Zarzuela M, Antón-Rodríguez M, González-Ortega D. A Deep Learning Approach for Brain Tumor Classification and Segmentation Using a Multiscale Convolutional Neural Network. Healthcare (Basel). 2021 Feb 2,9(2):153. doi: 10.3390/healthcare9020153. PMID: 33540873, PMCID: PMC7912940
1630
Sukhov P.A., Danilyuk S.S.
Sukhov P.A.
Moscow State Technical University named after N.E. Bauman
(Moscow, Russia)
Danilyuk S.S.
Moscow State Technical University named after N.E. Bauman
(Moscow, Russia)
APPLICATION OF MULTI-LABEL CLASSIFICATIONS AND OBJECT DETECTION FOR CT IMAGES
Abstract: modern neural networks are developing at high speed and can already replace human receptor functions, such as analyzing images, text and numerical data, and creating images. At the same time, the level of healthcare in the world is growing, but technological and personnel equipment does not always keep up with this growth. Training of modern specialists can take up to 10 years, and the waiting list for using high-tech equipment can be longer than the active phase of some diseases. In this study, experiments are conducted on the analysis of radiological images and expert data with brain pathologies to build a system for preliminary analysis of radiological images by a specialist. The possibilities of constructing a multi-label classifier based on expert data and options for further production of regions of interest in the image, with which the classification will be further correlated, are analyzed.
Keywords: multi-label, object detection, cq500.
1631
