УДК 004.932 Дата подачи статьи: 26.06.19
DOI: 10.15827/0236-235X.127.518-524 2019. Т. 32. № 3. С. 518-524
Методы обработки данных магнитно-резонансной томографии для когнитивной визуализации и трекинга областей интереса
В.П. Фраленко 1, к.т.н, ведущий научный сотрудник, alarmod@pereslavl.ru М.В. Шустова 1, аспирант, m.v.shustova@gmail.com
М.В. Хачумов 2, к.ф.-м.н, старший научный сотрудник, khmike@inbox.ru
1 Институт программных систем им. А.К. Айламазяна РАН, г. Переславль-Залесский, 152021, Россия
2 Федеральный исследовательский центр «Информатика и управление» РАН, г. Москва, 119333, Россия
На настоящее время разработано большое количество алгоритмических и программных средств обработки и визуализации данных магнитно-резонансной томографии (МРТ), решающих различные задачи сегментации, анализа изображений, моделирования и др. Однако до сих пор существует ряд проблем: отсутствие инструментов для автоматизированного высокоточного поиска в данных МРТ целевых объектов и областей интереса (в интерактивном режиме работы), трудности оперативного анализа большого объема динамически изменяющихся параметров исследуемых объектов, необходимость в улучшении оснащенности исследователей за счет создания новой инструментальной базы и средств обработки данных МРТ. Кроме того, некоторые направления биомедицинских исследований требуют наличия узкоспециализированных инструментов обработки и анализа данных МРТ. Одним из таких направлений является изучение свойств мезенхимальных стволовых клеток, трансплантированных в мозг, пораженный ишемическим инсультом.
Основной целью настоящего исследования является создание методов интеллектуального автоматического анализа данных МРТ для поддержки врачей, занимающихся изучением зон ишемического поражения и особенностей движения трансплантированных мезенхимальных стволовых клеток в мозге лабораторных животных.
Эти методы позволяют автоматически обнаруживать и визуализировать области интереса в головном мозге. 2D- и 3D-визуализация дают возможность смоделировать во времени процесс зарождения и развития зон интереса. Методы и алгоритмы опираются на обработку DICOM-файлов, получаемых при сканировании головного мозга реципиентов (лабораторных крыс) в режимах T2 (для обнаружения ишемического поражения) и SWI (для обнаружения скоплений мезенхимальных стволовых клеток). Для изучения процессов миграции и хоуминга стволовых клеток был применен метод Coherent Point Drift.
Разработанные алгоритмы положены в основу программного комплекса, предназначенного для экспертной поддержки принятия решений исследователей. Функционал комплекса позволяет автоматически выделять области интереса на снимках МРТ и вычислять их информативные параметры.
Ключевые слова: обработка изображений, графический интерфейс, магнитно-резонансная томография, стволовые клетки, ишемический инсульт, пути миграции, информативные параметры.
Исследования в области обработки данных магнитно-резонансной томографии (МРТ) -быстро развивающееся наукоемкое направление, характеризующееся созданием ПО и разработкой методов научной визуализации, что в совокупности помогает врачу ставить эксперименты с привлечением необходимой аппаратной поддержки. За последнее десятилетие разработано большое количество профессиональных систем обработки и различных визуа-лизаторов данных МРТ, функционал которых позволяет выделять область головного мозга,
выполнять сегментацию и анализ изображений, оценивать толщину коры мозга, просматривать МРТ-изображения в различных режимах: BET, NiftySeg, xjView, RadiAnt DICOM Viewer, ImageJ, ROBEX. Имеются программные средства MeVisLab, 3D-DOCTOR, Visualization Toolkit, предназначенные для обработки изображений, визуализации 2D- и 3D-графики и моделирования.
Несмотря на наличие готового ПО с открытыми кодами, необходимо создание новых инструментальных средств, интегрирующих име-
ющиеся возможности для успешного решения задач предметной области врачами, занимающимися биомедицинскими исследованиями. В частности, сегодня задача отслеживания движения и хоуминга мезенхимальных стволовых клеток (МСК), трансплантированных в головной мозг, решается только с помощью методов мониторинга, основанных на использовании контрастирующих агентов без привлечения специальных методов научной визуализации и высокопроизводительной обработки, что снижает качество исследований [1, 2].
В настоящее время нет единого отечественного автоматизированного программного комплекса и соответствующего графического интерфейса с широким функционалом, которые позволили бы исследователю ставить и решать задачи высокоточного поиска в данных МРТ целевых объектов и областей интереса в интерактивном режиме работы, например, строить карты движения клеток [3]. Таким образом, новые фундаментальные исследования в области выявления существенной информации в данных МРТ могут создать реальные условия для поддержки лабораторных исследований врачей. Анализируя общую значимость разработанных на данный момент методов, необходимо отметить следующее.
1. Известные в настоящее время средства автоматической сегментации мозга практически не обеспечивают требуемого экспертами качества. В связи с этим настоящая работа посвящена в том числе устранению имеющихся пробелов на основе когнитивной визуализации и средств искусственного интеллекта.
2. Направления работ в области визуализации МСК, выявленные в ходе проведенного обзора, направлены в основном на повышение качества визуального 2D-представления материала путем подбора специальных медико-биологических средств подготовки и мечения МСК, что, несомненно, важно для исследователя, но требует дальнейшего совершенствования и развития на трехмерный случай. Кроме того, необходимы инструментальные средства для измерения динамических характеристик областей интереса.
3. Методы, связанные с автоматическим анализом и выделением стволовых клеток, а также зон ишемического поражения при имеющемся достаточно низком уровне качества томографических данных, практически не освещены в мировой литературе.
Решение перечисленных актуальных задач открывает путь к автоматическому измерению и получению множества важнейших характе-
ристик в помощь исследователю, включая направления миграции и скоростей передвижения МСК, измерения площадей и объемов поражений и т.д.
Обработка данных МРТ с когнитивным
совмещением информации, полученной
в разных режимах работы томографа
В результате выполненных исследований авторами были разработаны методы автоматического обнаружения и когнитивной визуализации областей ишемического поражения и скоплений трансплантированных стволовых клеток. Методы опираются на обработку DICOM-файлов, получаемых при сканировании головного мозга реципиентов (лабораторных крыс) в разных режимах работы томографа (T2 и SWI). В их основу положены алгоритмы фильтрации, нормирования, автоматического извлечения характерных признаков и интеллектуального анализа данных с привлечением аппарата сверточных нейронных сетей.
Большое внимание уделено 2D- и SD-визуа-лизации полученных результатов, в том числе когнитивной визуализации данных с использованием цветояркостных представлений и аффинных преобразований, что позволяет исследователю оперативно обнаруживать, наблюдать с наилучших ракурсов и интерпретировать динамические процессы, проходящие в ишемизированном мозге. Зоны ишемического поражения выделяются отдельно на каждом срезе головного мозга, формируемом томографом, алгоритм выделения описан в работе [4]. На основе полученной информации строится объемная модель мозга и ишемического поражения. Алгоритм построения объемной модели состоит из двух этапов. На первом этапе определяются и маркируются все имеющиеся зоны поражения с помощью волнового алгоритма. На втором этапе вычисляются контуры с применением детектора границ Canny [5] (используется реализация из библиотеки OpenCV [6]) с последующим построением невыпуклых оболочек по методу ConcaveHull [7]. Расчет вогнутой оболочки осуществляется на основе метода Джарвиса [8] с применением предложенной в работе [9] методики выбора очередной точки вогнутого контура. Для визуализации зон ише-мического поражения применялась триангуляция Зейделя [10, 11].
Метод обнаружения и выделения трансплантированных стволовых клеток основан на эвристических критериях поиска объектов на
сложном фоне - в данном случае на снимках МРТ с низким разрешением, содержащих большое количество сосудов, которые из-за особенностей режима SWI визуализируются схожим со стволовыми клетками способом. Это происходит из-за способа мечения стволовых клеток: в качестве контрастного агента используются наночастицы оксида железа. Алгоритм обнаружения и выделения МСК описан в работе [12].
Полученные данные о расположении объектов интереса дают возможность совместить зоны ишемического поражения и скоплений стволовых клеток в единый когнитивный образ. Развитием описанного подхода служат построение объемных моделей объектов интереса и их совмещенная визуализация, демонстрирующая взаимное расположение зон интереса в мозге крысы сразу после введения стволовых клеток. В качестве модели скоплений используются сферы, размер которых определяется числом сгруппированных стволовых клеток. Все перечисленные алгоритмы и методы положены в основу графического интерфейса врача, занимающегося соответствующими исследованиями (рис. 1). Функционал интерфейса позволяет вращать модель в разных плоскостях и, таким образом, детально рассмотреть и изучить взаимное расположение зон ишемического поражения и скоплений клеток.
Цветовое представление выбрано таким образом, чтобы минимально отвлекать пользователя интерфейса от объектов, визуализируемых внутри мозга, в том числе скоплений стволовых клеток, областей ишемического поражения и т.д.
Трекинг скоплений стволовых клеток
Врачу важно наблюдать за процессами движения клеток во времени, то есть осуществлять трекинг. Разработанные алгоритмы и программы автоматизации процесса выделения и визуализации стволовых клеток позволяют строить карты миграции МСК во времени. Задача трекинга стволовых клеток решалась за счет сочетания автоматизированных алгоритмов выделения и визуализации скоплений МСК и морфинга. Фундаментальный принцип, лежащий в основе морфинга, - поиск отображения ц: S ^ D, где S - множество точек исходной модели; D - множество точек результирующей модели [13]. Морфинг является процессом и результатом движения отдельных точек si е S к своим целевым положениям
4 е Б, 4 = ц(я). В общем случае морфинг можно представить набором пар точек М = {(я, 4) I Я е 5, 4 е Б} и реализовать путем вычисления местоположения точек во времени: рц = 4, 0, где t - время. Реальный морфинг по данным МРТ - более сложная процедура, потому как в действительности исходное скопление точек может быть связано с несколькими скоплениями результирующего множества и наоборот. Решаемая задача сводится к нахождению оптимального отображения ц при заданных критериях качества.
»
а)
JD-interface
б)
Рис. 1. Совмещенная 3D-визуализация: а) общий вид, б) вид сверху
Fig. 1. Combined 3D visualization: а) a general view, б) the view from above
Таким образом, задача трекинга стволовых клеток сводится к нахождению соответствий между скоплениями стволовых клеток и последующим визуальным преобразованием из начального состояния в конечное, что позволит пошагово воссоздать картину передвижения скоплений МСК. В рассматриваемом случае для решения задачи трекинга стволовых клеток применялись алгоритмы выделения скоплений МСК и метод сопоставления (регистрации) множеств точек Coherent Point Drift [14] в режиме non-rigid. На рисунке 2 демонстрируется вероятное движение стволовых клеток в течение семи дней с момента трансплантации. Точками отображены конечные позиции скоплений. Для визуализации траекторий движения использовались кривые Безье [15].
Особенностью данных эксперимента является наличие достаточно редких и продолжительно разнесенных во времени снимков МРТ, что определяется технологическими особенностями проводимых практических исследований в щадящих режимах съема информации с лабораторных животных. Применение адаптированного к условиям решаемой задачи метода Coherent Point Drift позволяет восстановить возможную правдоподобную картину движения МСК.
Одновременно с построением траекторий движения скоплений МСК проводится отслеживание пересечения этими траекториями зоны ишемического поражения (см. http://www.swsys. ru/uploaded/image/2019-3/2019-3-dop/20.jpg).
Это позволило исследователям изучать свойства хоуминга стволовых клеток при их трансплантации в мозг, пораженный ишемиче-ским инсультом.
Вычисление информативных параметров зон интереса
В графическом интерфейсе, помимо функции когнитивной визуализации, доступен просмотр статистической информации о зонах интереса. На экране отображаются информативные параметры скоплений стволовых клеток, такие как количество дней с момента введения МСК, общее количество траекторий, количество траекторий, пересекающих область ишемического поражения, средняя скорость перемещения скоплений в условных единицах, длина конкретной траектории, скорость перемещения скопления МСК (см. http://www. swsys.ru/uploaded/image/2019-3/2019-3-dop/21. jpg). В данном случае длины траекторий измеряются в пикселях, соответственно, скорость движения МСК является относительной. Зная реальные геометрические размеры головного мозга лабораторного животного, вычислить реальную скорость не составит труда.
Задача анализа и расчета информативных параметров областей ишемического поражения решается путем вычисления площади зоны на каждом срезе снимка головного мозга и последующего определения объема по формуле
n-1 2
V = £ - k(Si SiSi+l + Si+l), где n - количе-i=i 3
ство срезов на рассматриваемом снимке МРТ; h - расстояние между срезами; Si - площадь области ишемического поражения на i-м срезе. Аналогичным образом вычисляется объем мозга (см. http://www.swsys.ru/uploaded/im-age/2019-3/2019-3-dop/22.jpg).
В случае с МСК схема вычисления объема не применима, поскольку выделенные на ис-
а) б) в)
Рис. 2. Трекинг стволовых клеток (метод Coherent Point Drift): а) начало движения, б) через 3 дня, в) через 7 дней
Fig. 2. Stem cell tracking (Coherent Point Drift method): а) the start of motion, б) after 3 days, в) after 7 days
следованных снимках скопления клеток являются плоскими и не имеют продолжения на соседних срезах. Поэтому объем МСК в данном случае определяется суммой площадей выделенных объектов (см. http://www.swsys.ru/up-loaded/image/2019-3/2019-3-dop/23.jpg).
Заключение
Выполненное исследование направлено на решение проблемы автоматизации процессов интеллектуальной обработки данных МРТ для обнаружения существенной информации при изучении процессов ишемического поражения мозга и миграции трансплантированных стволовых клеток. Полное решение этой проблемы
позволит исследователям углубленно и оперативно решать задачи поиска, выделения, когнитивной визуализации и изучения свойств областей интереса, включая ишемические поражения и пути миграции и хоуминга стволовых клеток с учетом анатомических особенностей мозга крысы.
Разрабатываемые методы и средства интегрированы в программный комплекс, ориентированный на поддержку работы врачей, что создает новые возможности: избавляет от рутинной работы, позволяет быстро и точно определять ситуацию и планировать новые эксперименты. Исследования важны для клинической практики, в том числе при лечении ише-мического инсульта.
Работа выполнена при финансовой поддержке проектов РФФИ №№ 16-29-07116-офи_м и 17-29-07002-офи м.
Литература
1. Мелешина А.В. Современные методы визуализации стволовых клеток in vivo // Современные технологии в медицине. 2015. № 4. С. 174-188.
2. Tang Y., Zhang C., Wang J., Lin X., Zhang L., Yang Y., Wang Y., Zhang Z., Bulte J.W., Yang G.Y. MRI/SPECT/Fluorescent tri-modal probe for evaluating the homing and therapeutic efficacy of transplanted mesenchymal stem cells in a rat ischemic stroke model. Advanced functional materials, 2015, vol. 25, pp. 1024-1034.
3. Фраленко В.П., Хачумов М.В., Шустова М.В. Анализ инструментальных средств обработки и визуализации биомедицинских данных магнитно-резонансной томографии (обзор литературы) // Вестн. новых мед. технологий. 2016. № 4. С. 307-315.
4. Fralenko V.P., Khachumov M.V., Shustova M.V. The tools for automatically finding and visualization of interest areas in the MRI data to support of medical researchers decision-making. Scientific and Technical Information Processing, 2017, vol. 44, no. 6, pp. 397-405.
5. Canny J. A computational approach to edge detection. Pattern Analysis and Machine Intelligence, IEEE Transactions on, PAMI-8(6), 1986, pp. 679-698.
6. OpenCV library. URL: https://opencv.org/ (дата обращения: 03.06.2019).
7. The Concave Hull of a set of points - CodeProject. URL: https://www.codeproject.com/Articles/ 1201438/The-Concave-Hull-of-a-Set-of-Points (дата обращения: 03.06.2019).
8. Cormen T.H., Leiserson C.E., Rivest R.L., Stein C. Introduction to algorithms. Massachusetts Institute of Technology: MIT Press, 2009, 1313 p.
9. Moreira A., Yasmina M.S. Concave hull: A k-nearest neighbours approach for the computation of the region occupied by a set of points. Proc. 2nd Intern. Conf. GRAPP, 2007, pp. 61-68.
10. Liang W. Poly2Tri: Fast and robust simple polygon triangulation with/without holes by Sweep Line algorithm. URL: https://github.com/ttimpe/poly2tri (дата обращения: 03.06.2019).
11. Narkhede A., Manocha D. Fast polygon triangulation based on Seidel's algorithm. URL: http://gamma.cs.unc.edu/SEIDEL/ (дата обращения: 03.06.2019).
12. Фраленко В.П., Шустова М.В. Программный комплекс для автоматического выделения, визуализации и расчета информативных характеристик областей интереса в биомедицинских данных МРТ // Вестн. новых мед. технологий. 2017. № 4. URL: http://www.medtsu.tula.ru/VNMT/Bulletin/E2017-4/6-3.pdf (дата обращения: 03.06.2019).
13. Cmolik L., Uller M. Point cloud morphing. URL: http://old.cescg.org/CESCG-2003/LCmolik/paper.pdf (дата обращения: 03.06.2019).
14. Myronenko A., Song X. Point set registration: coherent point drift. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, no. 12. URL: https://arxiv.org/pdf/0905.2635.pdf (дата обращения: 03.06.2019).
15. Fralenko V.P., Shustova M.V., Khachumov M.V., Khachumov V.M. Isolation and tracking of transplanted mesenchymal stem cells on MRI images. Proc. 3rd RPC Comp. Tech. and Applications, Vladivostok, Russia, 2018, pp. 18-25. DOI: 10.1109/RPC.2018.8482208.
Magnetic resonance imaging data processing methods for cognitive visualization
and tracking of zones of interest
V.P. Fralenko l, Ph.D. (Engineering), Leading Researcher, alarmod@pereslavl.ru M.V. Shustova l, Postgraduate Student, m.v.shustova@gmail.com
M.V. Khachumov 2, Ph.D. (Physics and Mathematics), Senior Researcher, khmike@inbox.ru
1 Program Systems Institute of RASPereslavl-Zalesskiy, 152021, Russian Federation
2 Institute for Systems Analysis, Federal Research Center "Computer Science and Control" of RAS Moscow, 119333, Russian Federation
Abstract. The main goal of this research is the development of methods for intelligent automatic analysis of magnetic resonance imaging (MRI) data to support physicians engaged into the study of areas of ischemic lesion and the movement characteristics of mesenchymal stem cells transplanted in the brain of laboratory animals. The relevance of this research is determined by existence of a number of unsolved problems in the field of study of MRI data automatic analysis. They are: a lack of tools for automated high-precision search of target objects and areas of interests in MRI data (in the interactive mode); problems of fast analysis of a large amount of dynamically changing parameters of the objects under study; a lack of significant improvement of researchers' equipment through creating a new instrumental base and methods of processing MRI data.
The paper presents methods and algorithms to solve the problem of automating the processes of MRI data intellectual processing. The developed methods allow automatic detection and visualization of areas of interest in the brain: ischemic lesions and transplanted stem cells. 2D and 3D visualizations make it possible to model the process of the genesis and changing of zones of interest in time. The methods and algorithms are based on processing DICOM files obtained by scanning a recipient's brain (laboratory rats) in T2 mode (to detect ischemic lesion zone) and SWI mode (to detect mesenchymal stem cells clusters).
The developed algorithms form the basis of a software package for processing and analyzing biomedical data for expert decision-making support for researchers. This software package allows automatic detecting of areas of interest in MRI data. The introduction of tracking functions into the developed software package allowed in-depth study of the migration and homing processes of stem cells during a transplantation into a brain affected by various diseases.
Keywords: image processing, graphical interface, magnetic resonance imaging, stem cells, ischemic stroke, migration paths, informative parameters.
Acknowledgements. This work has been financially supported by projects of the Russian Foundation for Basic Research no. 16-29-07116-ofi_m and no. 17-29-07002-ofi_m.
1. Meleshina A.V. Modern methods of visualizing stem cells in vivo. Modern Technologies in Medicine. 2015, no. 4, pp. 174-188 (in Russ.).
2. Tang Y., Zhang C., Wang J., Lin X., Zhang L., Yang Y., Wang Y., Zhang Z., Bulte J.W., Yang G.Y. , MRI/SPECT/Fluorescent tri-modal probe for evaluating the homing and therapeutic efficacy of transplanted mesenchymal stem cells in a rat ischemic stroke model. Advanced functional materials. 2015, vol. 25, pp. 1024-1034.
Software & Systems
DOI: 10.15827/0236-235X.127.518-524
Received 26.06.19 2019, vol. 32, no. 3, pp. 518-524
References
3. Fralenko V.P., Khachumov M.V., Shustova M.V. Analysis of instrumental means processing and visualization of biomedical data of magnetic resonance imaging. J. of New Medical Technologies. 2016, no. 4, pp. 307-315 (in Russ.).
4. Fralenko V.P., Khachumov M.V., Shustova M.V. The tools for automatically finding and visualization of interest areas in the MRI data to support of medical researchers decision-making. Scientific and Technical Information Processing. 2017, vol. 44, no. 6, pp. 397-405.
5. Canny J. A computational approach to edge detection. IEEE Trans. on Pattern Analysis and Machine Intelligence. PAMI-8(6), 1986, pp. 679-698.
6. OpenCVlibrary. Available at: https://opencv.org/ (accessed Juny 3, 2019).
7. The Concave Hull of a set of points - CodeProject. Available at: https://www.codeproject.com/Arti-cles/1201438/The-Concave-Hull-of-a-Set-of-Points (accessed Juny 3, 2019).
8. Cormen T.H., Leiserson C.E., Rivest R.L., Stein C. Introduction to Algorithms. MIT Press, 2009, 1313 p.
9. Moreira A., Yasmina M.S. Concave hull: A k-nearest neighbours approach for the computation of the region occupied by a set of points. Proc. 2nd Intern. Conf. on Computer Graphics Theory and Applications (GRAPP). 2007, pp. 61-68.
10. Liang W. Poly2Tri: Fast and Robust Simple Polygon Triangulation With/Without Holes by Sweep Line Algorithm. Available at: https://github.com/ttimpe/poly2tri (accessed Juny 3, 2019).
11. Narkhede A., Manocha D. Fast Polygon Triangulation Based on Seidel's Algorithm. Available at: http://gamma.cs.unc.edu/SEIDEL/ (accessed Juny 3, 2019).
12. Fralenko V.P., Shustova M.V. Software complex for automatic localization, visualization and calculation of informative characteristics of interest areas in biomedical data of MRI. J. of New Medical Technologies. 2017, no. 4. Available at: http://www.medtsu.tula.ru/VNMT/Bulletin/E2017-4/6-3.pdf (accessed Juny 3, 2019).
13. Cmolik L., Uller M. Point CloudMorphing. Available at: http://old.cescg.org/CESCG-2003/LCmolik/ paper.pdf (accessed Juny 3, 2019).
14. Myronenko A., Song X. Point set registration: coherent point drift. IEEE Trans. on Pattern Analysis and Machine Intelligence. 2010, no. 12. Available at: https://arxiv.org/pdf/0905.2635.pdf (accessed Juny 3, 2019).
15. Fralenko V.P., Shustova M.V., Khachumov M.V., Khachumov V.M. Isolation and tracking of transplanted mesenchymal stem cells on MRI images. Proc. 3rd Russian-Pacific Conf. on Computer Technology and Applications (RPC). Vladivostok, Russia, 2018. DOI: 10.1109/RPC.2018.8482208.
Для цитирования
Фраленко В.П., Шустова М.В., Хачумов М.В. Методы обработки данных магнитно-резонансной томографии для когнитивной визуализации и трекинга областей интереса / / Программные продукты и системы. 2019. Т. 32. № 3. С. 518-524. DOI: 10.15827/0236-235X.127.518-524.
For citation
Fralenko V.P., Shustova M.V., Khachumov M.V. Magnetic resonance imaging data processing methods for cognitive visualization and tracking of zones of interest. Software & Systems. 2019, vol. 32, no. 3, pp. 518-524 (in Russ.). DOI: 10.15827/0236-235X.127.518-524.