CC BY
6
УДК 616-073.756.8
Григорьев А.Ю., Бузмаков А.В.
ВОССТАНОВЛЕНИЕ ПРЯМОГО ПУЧКА РЕНТГЕНОВСКОЙ ПРОЕКЦИИ С ИСПОЛЬЗОВАНИЕМ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ
Григорьев Артем Юрьевич - аспирант, инженер, ФНИЦ «Кристаллография и фотоника» РАН, 119333, Москва, Ленинский пр-т, 59, grigartu@gmail.com
Бузмаков Алексей Владимирович - кандидат физико-математических наук, старший научный сотрудник, ФНИЦ «Кристаллография и фотоника» РАН, 119333, Москва, Ленинский пр-т, 59
Одним из основных этапов обработки проекционных изображений, полученных при помощи рентгеновского излучения, является нормализация на пустой пучок. Часто интенсивность и профиль прямого пучка сильно изменяется за время проведения томографического измерения. Для улучшения результатов исследований необходимо либо выполнять съемку пустого пучка несколько, либо использовать динамический метод нормализации. Мы предлагаем использовать для решения задачи нормализации на пустой пучок - нейронные сети. В работе описан процесс подбора параметров глубокой сверточной нейронной сети, обучение этой сети и проверка ее работоспособности на сгенерированных данных.
Ключевые слова: сверточные нейронные сети, машинное обучение, рентгеновская томография, обработка изображений, нормализация на пустой пучок.
RECONSTRUCTION OF A FLAT-FIELD X-RAY PROJECTION USING CONVOLUTIONAL NEURAL NETWORKS
Grigorev A.U., Buzmakov A.V.
Federal Scientific Research Center "Crystallography and Photonics" of Russian Academy of Science, Moscow, Russia
One of the main stages ofprocessing projection images obtained by X-ray radiation is flat-field correction. Often, the intensity and profile of the direct beam varies greatly during the tomographic measurement. To improve the results of research, it is necessary to either shoot an empty beam several times, or use a dynamic normalization method. We propose to use neural networks to solve the flat-field correction problem. The article describes the process of selecting the parameters of a deep convolutional neural network, training this network and checking its operability on the generated data.
Key words: Convolutional neural networks, machine learning, X-ray tomography, image processing, flat-field correction.
Введение
Рентгеновская микротомография позволяет восстанавливать внутреннюю структуру объекта по набору его проекционных изображений. Сначала получаются снимки объекта под различными углами с заранее определенным шагом, которые называются проекциями. Затем при помощи алгоритмов томографического восстановления из полученных проекций получается трехмерная структура объекта, которая впоследствии может изучаться и обрабатываться как в виде послойных срезов под различными углами, так и как единое целое.
Существует ряд причин, которые влияют на качество восстановленных томограмм: неправильный подбор параметров эксперимента, низкое соотношение сигнал-шум, различные артефакты, нестабильность пучка, некорректное применение
алгоритмов томографического восстановления и т.д. В связи с этим в процесс восстановления добавляются еще 2 этапа (рис.1.): предобработка и постобработка данных.
Основным методом предобработки данных является нормализация на пустой пучок или Flat-Field Correction (FFC) [1].
Нормализация на пустой пучок (Flat-Field Correction - FFC)
FFC - это метод, который был разработан для устранения систематических дефектов на изображениях. Формирование изображения на проекции схематично можно представить как сумму темнового кадра и произведения пустого кадра на объект.
Data collection Data preprocessing Tomogram reconstruction Data postprocessing
Рис.1. Процесс получения и обработки томограмм.
Согласно такой схеме для устранения систематических дефектов помимо самих проекций необходимо получить еще два набора изображений: пустые кадры (Г) и темновые кадры Тогда нормализованное изображение объекта (щ) можно получить по формуле:
d
■(1)
П; = 7-d
Где индекс j обозначает номер кадра.
FFC с использованием сверточных нейронных сетей
Свёрточные нейронные сети (Convolutional neural network - CNN) уже успешно использовались для задач преобразований и генерация изображений (например, генерация изображений в определенном стиле, изменение освещенности и времени года, удаление фона или объекта и т.д.). Задачу нормализации кадра с использованием глубоких нейронных сетей (Deep Learning FCC - DL FFC), подклассом которых являются CNN, можно отнести к такому типу задач. По сути нейронной сети необходимо удалить объект изображения, построить модель формы пучка и «дорисовать» пучок, который объект закрывает, основываясь на открытых участках фона и не изменяя их. Дальше происходит нормализация по формуле (1).
Архитектура нейронной сети
Для DL FFC предлагалось использовать архитектуру генеративной состязательной нейронной сети (GAN) [2], которая была предложена Яном Гудфеллоу. Условно сеть можно разделить на 2 части: генератор и дискриминатор (рис.2.). Генератор представляет собой улучшенную архитектуру кодер-декодер под названием U-net, которая была разработана для сегментации биомедицинских изображений. Дискриминатор представляет собой сверточную нейронную сеть PatchGAN.
Original data image Convolutional neural network Generated image ^
Generator (ikiet)
Discriminator
Structure Similar-it)f(SSIM) + K'F
Distinguish correct
Convolutional neural network
Original flat-field image
Binary cross entropy
Distinguish
incorrect
Рис.2. Схема GAN, который мы использовали
(а) (б)
Рис.3. Предсказанный неросетью (а) и оригинальный
Подготовка набора данных для обучения модели
Для обучения был собран набор данных (датасет) из 1000 пустых кадров с лабораторной установки ТОМАС, которая находится в лаборатории рефлектометрии и малоуглового рассеяния ФНИЦ «Кристаллография и фотоника» РАН. Изображения были приведены к размеру 256х256, которые необходимо подавать на вход, используемой архитектуре CNN. Также была проведена аугментация данных. Далее в качестве образцов на пустые кадры накладывались геометрические фигуры различной формы, размера, прозрачности, а также различной степень поворота и положением на пустом кадре. результате был получен датасет для обучения нейронной сети, состоящий 4000 пар проекция-пустой кадр. Дальше каждое изображение было отнормировано на максимальное значение интенсивности по всем изображениям датасета.
Обучение нейронной сети
Модель нейронной сети написана на языке python с использованием библиотеки keras. Функция потерь (loss function), которая характеризует насколько сгенерированное изображение отличается от эталонного имеет следующую формулу:
L = SS1M + X * MSE(2) Коэффициент пропорциональности был выбран Х=5000. В качестве метрики качества обучения использовалась MSE. Количество изображений, подаваемое сети за один раз (batch size), 64. Скорость обучения была установлена 2*10-4 и не изменялась в ходе обучения. Обучение было остановлено автоматически после 150 эпох, т.к. функция потерь на тестовой выборке не уменьшалась в течении 10 эпох, и заняло около 3 часов.
Тестирование на синтетических данных
Проверка производилась на дополнительно сгенерированных изображениях, полученных также как проекции для обучения. В результате нейронная сеть выдала пустой кадр (рис.За.) визуально близкий к оригинальному (рис.Зб.). Такие же выводы можно сделать и взглянув на профили их сечения (рис.Зв.).
Тестирование на экспериментальных данных В качестве экспериментальных данных были выбраны проекции реальных экспериментов, проведенных на лабораторной установке ТОМАС. Пары формировались по принципу: последний пустой кадр соответствует освещенности на первой проекции серии снимков.
Сечение пустого кадра
- Поедсвазапно / V
\
J \
/
У
(в)
(б) пустые кадры. Профиль их сечения по красной линии
(в).
(а)
Рис.4. Нормализация с помощью классического 1
Здесь представлена одна из некорректно обработанных при помощи классического FFC проекций (рис.4а.). В ходе эксперимента произошло падение напряжения на рентгеновской трубке, в результате чего на нормализованном изображении получился засвеченный образец. Эта же проекция была обработана нейронной сетью и проведена нормализация при помощи DL FFC (рис.4б.). Визуально эталонное изображение (рис.4в.) и изображение после БЬ ББС практически совпадают, за исключением засвеченных частей в верхней и нижней части БЬ ББС изображения.
Заключение
В ходе проделанной работы был реализован и адаптирован под наш лабораторный микротомограф БЬ ББС подход. Для обучения и проверки его работоспособности были синтезированы
изображения, основанные на реальных пустых кадрах. На сечениях таких изображений DL FFC показал высокую визуальную схожесть с эталонными. Также была проведена нормализация для реальных экспериментальных данных с лабораторной установки ТОМАС. На них DL FFC показал результаты хуже, чем на синтетических.
БЬ ББС - подход, который работает так же как классический FFC на неискаженных данных, но
(б) (в)
Z (а), DL FFC (б) и эталонного пустого кадра (в)
позволяет восстановить изображения, которые классическому не под силу из-за различных факторов при проведении реальный измерений. В дальнейшей работе планируется вносить правки в процесс обучения и, возможно, архитектуру, чтобы повысить точность результата DL FFC для работы с реальными данными.
Работа выполнена при поддержке Министерства науки и высшего образования в рамках проведения исследований по Государственному заданию ФНИЦ "Кристаллография и фотоника " РАН в части обработки экспериментальных данных, в рамках задания Минобрнауки России Грант №075-15-20211362 в части рентгеновских исследований.
Литература
1. J. A. Seibert, J. M. Boone, and K. K. Lindfors, "Flat-field correction technique for digital detectors," in Medical Imaging 1998: Physics of Medical Imaging, vol. 3336 J. T. D. III and J. M. Boone, eds., International Society for Optics and Photonics (SPIE, 1998), pp. 348-354
2. Buakor K. et al. Shot-to-shot flat-field correction at X-ray free-electron lasers //Optics Express. - 2022. -Т. 30. - №. 7. - С. 10633-10644.
