CC BY
6
Метод определения изогнутой линии черепного шва на основе сверточных нейронных сетей
Д.А. Шараев Южный федеральный университет, Ростов-на-Дону
Аннотация: Для имплантации электродов на черепе мышей требуется точное позиционирование. Для этих целей необходимо создать систему координат, которая опирается на черепные швы. Целью работы является обучение модели, основанной на сверточных нейронных сетях. Модель должна в автоматическом режиме прорисовывать линию шва. При исследовании данного вопроса, предлагается метод решения проблемы аппроксимации шва на основе U-net. Перед нами стоит сложная проблема точного обнаружения черепного шва. В рамках исследования, была разработана и продумана структура, подобная U-net. Результаты работы позволят биологам производить более точные операции стереотаксии, вводя электроды в более точную позицию, для принятия определенных сигналов с мозга, с целью записи изменений при поднесении различных ароматов к рецепторам мыши.
Ключевые слова: сверточная нейронная сеть (CNN), аппроксимация шва, полностью сверточная сеть (FCN), глубокое обучение, семантическая сегментация, сегментация объекта, нейронная сеть, компьютерное зрение, биомедицинское изображение, машинное обучение, обработка изображения.
Данное исследование посвящено автоматическому детектированию шва на черепе крыс. Плоды данного исследования дадут четкую и точную линию шва, которая позволит медицинским работникам проводить более точную операцию стереотаксии (используется для имплантации микроэлектродов или микрозондов в определенные структуры мозга), таким образом, цель данного исследования - автоматически точно прорисовать линию шва, чтобы медицинские работники, опираясь на данную линию, создали свою систему координат, позволяющую точно определить места вживления электродов в головной мозг. Человеческий глаз не способен находить и прорисовывать определенные участки шва, которые еле заметны на фотографии, но данное исследование поможет решить эту проблему. В рамках задачи нужно построить модель на основе глубокого обучения [1-3], способную определять черепную линию шва мыши при различных
Введение
характеристиках фотографий, так как набор данных, предоставленный для обучения, имеет разные световые шумы, освещение и фокус.
Описание данных
Данные представляют собой снимки обнаженного черепа мыши, полученные при помощи микроскопа и к каждому из снимков прилагается разметка, выполненная квалифицированным исследователем. Снимки имеют различные шумы и не стандартизированы должным образом. Количество снимков: 111 штук. В дополнение к основным снимкам идет 111 снимков с прорисованной линией шва, выделенной синим цветом. Это облегчит задачу обучения в дальнейшем. После этого фотографии с прорисованным швом преобразуются в маски, и остается только линия шва. Тем самым получаем 111 масок для обучения модели.
Сверточные нейронные сети
Для точного определения линия шва наиболее подходящим инструментом послужит использование технологий нейронных сетей. Но, главным недостатком классических нейронных сетей является необходимость во внесении большого количества входных данных. А с небольшим массивом данных, обучение и вовсе становится затруднительным. Для решения исследуемой проблемы стоит использовать сверточные нейронные сети (CNN). CNN включает в себя следующие слои: сверточный и подвыборочный. Сеть обладает двумерной иерархической структурой, где в плоскости группируются нейроны, а плоскости группируются уже в слои. От одного слоя к другому размер этих плоскостей уменьшается, что в итоге преображает последние слои к виду классического многослойного персептрона. В данном исследовании была выбрана одна из вариаций CNN, а именно - полностью сверточная сеть (FCN) [4]. Отличительным преимуществом является стабильная работа при небольшом
количестве входных данных. Таким образом, исследование опирается на ответвление сети FCN - U-net [5]. Данная сеть модифицирована и дает лучшие результаты в сравнении с неоптимизированной и-^.
Подготовка данных
Для наилучшего качества обучения были нарезаны изображения 256х256рх (требование сети) со смещением, что дает нам большее количество образцов для обучения. Иначе говоря, следующая нарезка происходит с затрагиванием части предыдущего квадрата (рис. 1 а, в), предоставляя нам больше данных. Данная процедура была проведена как на обычных фотографиях шва, так и на масках (см. рис. 1 б).
М Инженерный вестник Дона, №6 (2021) ivdon.ru/ru/magazine/arcliive/n6y2021/7023
Процесс обучения
В этом проекте используется методология сегментации изображений на основе моделей, а именно - метод Intersection-Over-Union в качестве метрики для обучения модели. Этот метод заключается в вычислении области перекрытия между прогнозируемой сегментацией и маской, деленной на площадь объединения между прогнозируемой сегментацией и маской.
Intersection-Over-Union (IoU), также известный, как индекс Жаккарда, является одним из наиболее часто используемых показателей в семантической сегментации. IoU - очень простой показатель, который чрезвычайно эффективен. Это метрика числа от 0 до 1, показывающая, насколько у двух объектов (эталонного (ground true) и текущего) совпадает внутренний "объем".
Формально, для двух непустых множеств A и B, функция IoU определяется как:
\A П B\
IoU (A, B) =-
( ' ) |A и b|
В качестве функции потерь была использована двоичная кросс-энтропия, поскольку имеем дело с двоичным «классификатором»:
H (p, q) = -(p ln q + (1 - p)ln(1 - q))
Для нашей CNN использована архитектура U-net [6] для обучения модели. Эта архитектура разделена на два этапа: сначала идет путь сжатия, который «понижает дискретизацию» изображения с помощью сверток, и операцию maxpooling для захвата контекста в изображении, затем идет путь расширения, который повышает разрешение изображения с помощью транспонированной свертки, используемой для обеспечения точного местоположения.
Отличие от оригинальной U-net
Перепроектированные пути пропуска [7-9] преобразуют возможности подключения подсетей кодировщика и декодера. В UNET характеристики кодировщика напрямую принимаются декодером; однако в модифицированной U-net они подвергаются плотному блоку свертки, количество слоев свертки которого зависит от уровня пирамиды. Например, путь пропуска между узлами ( X 0,0 и X 1,3 ) на рис. 2 состоит из блока плотной свертки с тремя слоями свертки, где каждому слою свертки предшествует слой конкатенации, который объединяет вывод из предыдущего слоя свертки того же самого плотного блока с соответствующим выводом повышающей дискретизации для нижнего плотного блока. По сути, блок плотной свертки приближает семантический уровень карт функций кодера к семантическому уровню карт функций, ожидающих в декодере [10]. Наличие плотных соединителей на путях пропуска улучшает градиентный спуск.
Рис. 2. - Узлы сети модифицированной U-net На рис. 3 мы можем увидеть, какие предсказания дает нам обученная модель. Map - это участок, который нужно предсказать. Mask - маска для сравнения, она не участвует в предсказании, а лишь изображена для сравнения с полученным изображением. Prediction - это и есть итоговое предсказание, основанное на нашей обученной модели. Нужно подчеркнуть, что данные изображения были взяты не из обучающего набора и никоим образом не использовались в обучении модели, а лишь для проверки ее работоспособности.
На рис. 4 видно, что для комплексного обучения модели не хватает данных. Неоптимизированная сеть показывает себя с неплохой стороны, однако некоторые моменты предсказать не способна.
Результаты работ
Map Mask Prediction
Рис. 3. - Результаты предсказания модифицированной сети U-net
Map Mask Prediction
Рис. 4. - Предсказания оригинальной U-net
Ниже представлена таблица №1, на основе которой мы можем сравнить предложенный метод с неоптимизированной и-пе^ по параметру 1ои. По данным, представленным выше, с хорошим отрывом побеждает модифицированная сеть и-пе1 Так как, чем ближе коэффицент 1ои к 1, тем точнее определяет модель шов крысы. Однако, после 150 эпохи ( эпоха - весь набор данных, прогнанный через нейронную сеть в прямом и обратном направлении) начинается ухудшение определения линия шва, как для исходного и-пе^ так и для модифицированного U-net. Тем не менее, предложенная дополненная модель все равно превосходит неоптимизированную, как на начальном этапе обучения сети, так и на этапе переобучения.
Таблица № 1
Сравнение сетей в момент обучения на основе классификатора 1ои
Обучение Назв. IoU 50 эпох IoU 100 эпох IoU 150 эпох IoU 200 эпох
Исходный 0,513 0,632 0,705 0,651
Модиф. ^^ 0,565 0,722 0,853 0,735
Таким образом, можно сделать вывод, что те изменения, которые были внесены в сеть и-пе^ довольно хорошо повлияли на ее работу. Даже при недостатке набора данных получилось обучить модель на должном уровне. Исходная сеть U-net не смогла должным образом удовлетворить заданным требованиям, ввиду ограниченного количества данных, поступающих на вход. Однако, дополненная сеть показывает наивысшие результаты по точности, в сравнении с оригинальной U-net. В завершение необходимо
отметить, что модель будет улучшаться и показатели IoU будут расти, по мере добавления новых входных данных.
Литература (References)
1. Shen D., Wu G., Suk H.I. Deep learning in medical image analysis. Annu. Rev. Biomed. Eng. 2017. №19. pp. 221-248.
2. Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press: Cambridge, UK. 2016. 800p.
3. Lateef F., Ruichek Y. Survey on semantic segmentation using deep learning techniques. Neurocomputing 2019. pp. 321-348.
4. Long J., Shelhamer E., Darrell T. FCN for semantic segmentation, in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. 2015. pp. 3431-3440.
5. Ronneberger O., Fischer P., Brox. T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image computing and computer-assisted intervention 2015 October 5. Springer, Cham. pp. 234-241.
6. Zhou Z., Siddiquee M. UNet++: A Nested U-Net Architecture for medical Image Segmentation. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support 2018 September 20. Springer, Cham. pp. 311.
7. Howard A.G. Some Improvements on Deep Convolutional Neural Network Based Image Classification. International Conference on Learning Representations (ICLR). Banff, Canada. 2014. Vol. 10. №4. pp. 652-659.
8. Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. Proceedings of the 32nd International Conference on Machine Learning 2015 July. pp. 448-456.
9. Han Y., Ye J.C. Framing U-Net via deep convolutional framelets: Application to sparse-view CT. IEEE transactions on medical imaging, vol. 37. 2018 June. pp. 1418-1429.
10. Sudre C. H., Li W., Vercauteren T. Generalised Dice Overlap as a Deep Learning Loss Function for Highly Unbalanced Segmentations. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. doi:10.1007/978-3-319-67558-9_28. 2017. pp. 240-248.
