CC BY
32
JOURNAL OF NEW MEDICAL TECHNOLOGIES, eEdition - 2017 - N 4
УДК: 004.932 DOI: 10.12737/article_5a058b7ad46157.73651513
ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ АВТОМАТИЧЕСКОГО ВЫДЕЛЕНИЯ, ВИЗУАЛИЗАЦИИ И РАСЧЕТА ИНФОРМАТИВНЫХ ХАРАКТЕРИСТИК ОБЛАСТЕЙ ИНТЕРЕСА В БИОМЕДИЦИНСКИХ ДАННЫХ МРТ
В.П. ФРАЛЕНКО*, М.В. ШУСТОВА**
ИПС им. А.К. Айламазяна РАН, ул. Петра Первого, 4«а», с. Веськово, Ярославская область, Переславский район, 152021 Россия ИСА ФИЦ ИУ РАН, проспект 60-летия Октября, 9, 117312, Москва, Россия
Аннотация. В статье рассматривается программный комплекс биомедицинского назначения, ориентированный на поддержку лабораторных исследований. В его основе лежат инструментальные средства и методы интеллектуального анализа данных. Комплекс позволяет работать с томографическими снимками мозга лабораторных животных, выполнять расчеты информативных параметров зон ишемиче-ского поражения и отслеживать расположение трансплантированных мезенхимальных стволовых клеток. Комплекс оснащен многооконным графическим интерфейсом, роль которого заключается в предоставлении унифицированного рабочего места для автоматизации обработки серий исследуемых снимков. Функция 3.0-визуализации мозга и областей интереса позволяет существенно повысить возможности врача-исследователя. Многопоточная обработка данных сокращает время анализа информации и способствует ускорению принятия решений. Интерфейс и связанные с ним функции опираются на аппарат современных искусственных нейронных сетей и специальные метрики, что позволяет работать с данными в интерактивном режиме в реальном масштабе времени. Приведены результаты экспериментальных исследований, иллюстрирующие широкие возможности комплекса по автоматическому нахождению и когнитивной визуализации зон интереса. Комплекс разработан в соответствии с рекомендациями врачей-исследователей ГБОУ ВПО РНИМУ им. Н.И. Пирогова Минздрава России.
Ключевые слова: обработка изображений, графический интерфейс, магнитно-резонансная томография, мезенхимальные стволовые клетки, ишемическое заболевание.
PROGRAM COMPLEX FOR AUTOMATIC LOCALIZATION, VISUALIZATION AND CALCULATION OF INFORMATIVE CHARACTERISTICS OF INTEREST AREAS IN BIOMEDICAL DATA OF MRI
V.P. FRALENKO*, M.V. SHUSTOVA**
* Aylamazyan Program Systems Institute of the Russian Academy of Sciences Peter the First st., 4«a», Yaroslavl region, Pereslavl area, Veskovo village, 152021, Russia Institute for Systems Analysis, Federal Research Center "Computer Science and Control" of the Russian Academy of Sciences, pr. 60-letiya Oktyabrya, 9, Moscow, 117312, Russia
Abstract. The article considers a program complex of biomedical purpose focused on supporting laboratory research. It is based on tools and methods of intellectual data analysis. The complex allows to working with tomographic images of the laboratory animals' brains, performing calculations of informative parameters of ischemic lesion zones and tracking the location of transplanted mesenchymal stem cells. The complex is equipped with a multi-window graphic interface, the role of which is to provide a unified workplace for automating the processing of a series of surveyed images. The function of 3D-visualization of the brain and areas of interest allows to significantly enhancing the capabilities of the doctor-researcher. Multithreaded data processing reduces the time of information analysis and helps to speed up decision-making. The interface and related functions are based on the apparatus of modern artificial neural networks and special metrics which allows to work with data in an interactive mode in real time. The results of experimental studies illustrating the wide possibilities of the complex for automatic detection and cognitive visualization of zones of interest are presented. The complex was developed in the Laboratory of Intelligent Control of the Aylamazyan Program Systems Institute of RAS in accordance with the recommendations of doctors-researchers of the Russian National Pirogov Research Medical University.
Key words: image processing, graphical interface, magnetic resonance imaging, mesenchymal stem cells, ischemic disease.
Введение. Особые свойства мезенхимальных стволовых клеток (МСК) очень важны для потенциального использования в клинической практике, в том числе при лечении такого заболевания как ише-
JOURNAL OF NEW MEDICAL TECHNOLOGIES, eEdition - 2017 - N 4
мический инсульт. Несмотря на большое количество исследований, в настоящее время нет единого мнения о путях миграции и хоуминга МСК. В связи с этим особую актуальность имеют задачи обработки и анализа снимков магнитно-резонансной томографии (МРТ) с применением когнитивной визуализации текущей ситуации, позволяющей выявить пути миграции МСК и построить пространственные карты их траекторного движения. Для решения этих задач был разработан программный комплекс со следующими функциями интеллектуального анализа данных: методы предварительной обработки МРТ-изображений и их сопоставления; спектрографический анализ c применением текстурных признаков; методы обнаружения аномалий по Т2--данным и измеряемому коэффициенту диффузии (ИКД-снимки) - с помощью свер-точных нейронных сетей и специальных метрик. На основе полученных результатов вычисляются информативные характеристики для каждой задачи: в случае исследования ишемического заболевания -площадь пораженного участка мозга и ее процентное отношение к площади мозга; в случае исследования МСК - их количество и направление движения. Разработанный программный комплекс позволяет автоматизировать процессы анализа поступающих данных, существенно облегчает работу медицинского персонала и не имеет прямых аналогов. Наиболее близкий по возможностям - пакет Оксфордского университета «FSL» [5], но он уступает предлагаемому комплексу, поскольку имеет в составе лишь набор разрозненных подпрограмм без рекомендаций по использованию; к тому же качество работы некоторых из них, например, для выделения области с мозгом, не удовлетворяет требованиям точности. Функциональные возможности программного комплекса поддерживаются удобным графическим интерфейсом врача-исследователя, который дополнительно снабжается средствами цветовой подсветки зон интереса.
Материалы и методы исследования. Метод выделения области мозга лабораторного животного частично опирается на возможности программы BET (Brain Extraction Tool) [1]. Поскольку BET предназначена для работы со снимками человеческого мозга, то результат ее применения не обеспечивает требуемую точность. Для решения этой проблемы был разработан алгоритм улучшенного выделения области мозга, который состоит из следующих шагов:
- на основе результата работы BET строится текущая граница области мозга (см. рис. 1а, граница выделена красным цветом);
- вычисляется «центр тяжести» выделенной зоны;
- для каждой точки текущей границы вычисляются новые значения координат: алгоритм движется от точки текущей границы в направлении к центру тяжести, проверяя яркость каждой новой точки; если в новой позиции точка намного ярче, то алгоритм фиксирует эти координаты (см. рис. 1а, новые точки границы выделены синим цветом); далее осуществляется переход к следующей точке границы, построенной BET;
- после вычисления новых координат все точки соединяются между собой в сплошную границу путем построения невыпуклой оболочки, после чего заполняется внутренняя область (рис. 1б);
- для устранения выбросов последовательно применяются алгоритмы эрозии и дилатации (рис. 1в).
Поиск ишемического поражения на Т2-снимках осуществляется с использованием текстурных признаков Харалика и классификатора на базе расстояния Евклида-Махаланобиса, для ИКД-снимков применяется многослойная сверточная нейронная сеть [2]. Ложные срабатывания удаляются путем сравнения выделенных объектов по яркости и размерам - на результирующем изображении остается самый большой и яркий объект (рис. 2).
а) результат работы BET и б) построение невыпуклой в) результат
вычисления координат точек оболочки мозга последовательного
новой границы применения алгоритмов
эрозии и дилатации
Рис. 1. Выделение области мозга
иОУРМЛЬ ОР NEW МЕй!СДЬ ТЕС^ОЬО^ЕБ, вЕШоп - 2017 - N 4
Рис. 2. Разметка эксперта и результаты работы алгоритма поиска ишемического поражения
Поиск МСК осуществляется с помощью многоэтапной обработки пар изображений (до введения МСК и после введения) [4]. Общая схема выделения стволовых клеток включает следующие этапы:
- выделение области мозга;
- выделение объектов из фона волновым алгоритмом;
- вычитание изображений и фильтрация результата по яркости;
- фильтрация объектов методом наложения окна специальной формы;
- когнитивное отображение выделенных стволовых клеток на исходном снимке.
Результатом обработки пары изображений является бинарная маска с выделенными МСК, в которой яркость 0 означает фон, 255 - стволовые клетки. Для улучшения показателей точности и полноты выделения клеток МРТ-снимок обрабатывается N раз с разными наборами параметров. Если рассматриваемый пиксель имеет значение 255 не менее чем на 80% масок, то данный пиксель включается в результирующую маску (рис. 3).
иОУРМЛЬ ОР NEW МЕй!СДЬ ТЕС^ОЬО^ЕБ, вЕШоп - 2017 - N 4
а) разметка эксперта
в) итоговый результат
Рис. 3. Результаты работы алгоритма поиска стволовых клеток
Проверка результатов подтверждает, что получаемая разметка соответствует реальным позициям скоплений стволовых клеток. Эта информация используется для отслеживания траекторий движения МСК.
Результаты и их обсуждение. Практическим результатом исследований явилось построение специального интерфейса врача-исследователя. Интерфейс поддерживает следующие функции: выделение области мозга; поиск ишемического поражения; поиск стволовых клеток. На рис. 4 представлен общий вид интерфейса с демонстрацией в качестве примера нескольких шагов работы с МРТ-данными. В случае выбора функции поиска МСК первая ячейка в горизонтальном ряду («Серия снимков №1») резервируется под серию снимков до введения стволовых клеток. Остальные ячейки ряда могут быть использованы лишь для задания снимков со стволовыми клетками. В случае других типов исследований все ячейки могут использоваться без каких-либо ограничений. В качестве обрабатываемых данных можно выбрать «72-снимки», «ИКД-снимки» и «^^/-снимки». Первые два типа используются для поиска ишеми-ческих поражений мозга [2], третий - для поиска стволовых мезенхимальных клеток [3, 4]. Для серии снимков можно задать диапазон обрабатываемых срезов мозга (рис. 5). Далее его можно уточнить, указав первый и последний кадры, подлежащие обработке. Поддерживается работа с /МА-файлами в формате Б/СОМ. После того, как все данные были введены, можно выбрать исследования, поставив соответствующие галочки в первой колонке таблицы, и запустить обработку, выполняемую в многопоточном режиме. Для просмотра исходных данных и результатов обработки служит специальная форма, вызываемая с помощью контекстного меню (рис. 6).
JOURNAL ОР NEW МЕй!СДЬ ТЕС^ОЬО^ЕБ, вЕШоп - 2017 - N 4
И Гр1вн"«вий ЧТМр^ЛГ VIй* МСЩИПС '
добмитыюик иаждрынш; Еьбрвтькс убрать вьшмсиие Удалить ЕЬ/чм>|иог пуститьобработку изнсиитьнзстройкм опрогранцс
А Серия снимков №1 Серия снмиков №7 Серия снимков N93 Серия снимков Серия снимкой №5 Серия снимкой
— Поиск ишемнческих 1-1 повреждений Дней после повреждения: 0 Путь: задай I ни обрабй1 ьюагмых данных: Т2-снинки Диапазон: 0-39 Дней после повреждения: 7 Путь: задан Гип обрабатываемых данных: Т2-СН11МКИ Диапазон: 0-39 Дней после повреждения: 0 Путь: задан 1 ил обра&ньвмемьк данных: ИКД-01ИМКЯ Диапазон: 0-39 Дней после повреждения: 7 Путь: задай 1 нп обрабатываемых данных: ИКД-снинки Диапазон: 0-39
- г-. Выделите области с мозга« Путь: задам I мп обрабатываемых данньи; Г2-сни«ки Диапазон: - Путь: задан Тип обрабатываемы* данных: 12-он»мки Диапазон: -
р поиск стволовых клсгок До введения Путь: задай 1 ни обрабатьмаемых данных: 5У1Л-шимки Дмплхж: 24 - 25 Диен после иоедсни»: 3 Путь: задан Тип обрлСктделемш данных: ГЛУ1 снимки Диапазон: 23 ?4
Рис. 4. Основное окно интерфейса
Г"1 Управление серией снимков X
Дней от дня введения клеток (-1 для снимков до введения): 1 3
Тип обрабатываемых данных: БМ-сниики т
Путь до серии снимков: | с!ст/1МА_айег/ | ... | Диапазон обрабатываемых срезов: □ Все срезы? | 23 -1 24
Сохранить изменения
Рис. 5. Форма для управления серией снимков (до введения и через три дня после введения МСК)
А Серии снимков №1 Серии шинков №2 Серия снимков Серии шинков №4
^ Поиск ишемнческих повреждений Дней ПОГ.ПР повреждения: 7 Путь: задан Тип обрабатываемых данных: Г 2 (линии Диапазон:
.-р Поиск с г воловьи клеток До [гардения Пути: задан Тип обрабатываемых данных: 5М/1-снимки Дней после введения:3 Пу|ь: Ащан
Т нн ибриЬш ываен Низуализгщин обрабатываемых данных
Диапазон: 2Л - 25 Диапазон: 73-3 Визуализация результатов обработки
Рис. 6. Запуск контекстного меню
Ячейка, для которой было вызвано контекстное меню на период его активности, выделяется контуром голубого цвета. В случае вызова первой функции появится окно визуализации исходных данных, в случае вызова второй функции - окно визуализации результатов обработки данных, с выделенными стволовыми клетками (рис. 7).
Рис. 7. Формы просмотра исходного снимка и результата его обработки
Для задачи поиска ишемических поражений имеется функция отображения статистических данных, вызываемая из контекстного меню (рис. 8).
А Серия снимков №1 Серия снимков №2 Серия снимков №3
q Поиск ишемических повреждении Дней после повреждения: 0 Путь: задан Тип обрабатываемых данных: Т2-снимки Диапазон: 0 29
Визуализация обрабатываемых данных Визуализация результатов обработки Статистические данные
Путь: задан
Рис. 8. Запуск контекстного меню для решения задачи поиска ишемических поражений
Форма, появляющаяся при вызове указанной функции, представлена на рис. 9. Она содержит результаты автоматического расчета важных характеристик зон поражения, что облегчает работу врача-исследователя.
[™3 Статистические данные (серия снимков №1] — D X
Кадр Площадь мозга, рх Площадь ишемии, рх Доля повреждения, % л
1 11 а 0 %
2 2334 а 0%
3 3695 а 0%
4 4731 507 10.72 %
5 6006 1345 19.53 %
6 7005 234 2.97 %
7 0736 277 3.17 %
S 006S а 0 %
9 0950 а 0 %
| ОК
Рис. 9. Статистические данные
Ключевой функцией интерфейса является 3Б-визуализация мозга с выделенными объектами, например, скоплениями стволовых клеток или областями ишемического поражения. Построенную по срезам мозга сеточную модель можно вращать и масштабировать, используя для этого клавиатуру компьютера (рис. 10).
JOURNAL OF NEW MEDICAL TECHNOLOGIES, eEdition - 2017 - N 4
Рис. 10. Сеточная визуализация мозга со скоплениями стволовых клеток
Когнитивная SD-визуализация позволяет видеть ситуацию в целом, дает четкое представление о текущем состоянии головного мозга.
Заключение. Разработанный программный комплекс позволяет выделять зоны интереса при исследовании движения МСК, выявлять области поражения мозга ишемическим инсультом с помощью 2D-и SD-функций графического интерфейса. Предполагается дальнейшее расширение его функциональных возможностей за счет измерения объемов зон поражения и трекинга перемещения МСК. Ожидается, что полученные результаты позволят в ближайшем будущем облегчить состояние людей, перенесших ише-мический инсульт. Авторы выражают свою благодарность к.м.н. Губскому Илье Леонидовичу (ГБОУ ВПО РНИМУ им. Н.И. Пирогова Минздрава России) за предоставление исходных материалов и консультации в постановках задач.
Работа выполнена при частичной финансовой поддержке проектов РФФИ № 16-29-07116-офи_м «Информационно-аналитические модели и методы когнитивной визуализации процессов миграции и хоумин-га трансплантированных мезенхимальных стволовых клеток для поддержки проведения научных исследований и разработки подходов к лечению заболеваний методами клеточной терапии» и № 17-3 7-50001-молнр «Разработка и исследование методов обработки биомедицинских данных МРТ для когнитивной визуализации, интеллектуального анализа и расчета информативных параметров зон интереса врача-
исследователя».
Литература
1. Фраленко В.П., Хачумов М.В., Шустова М.В. Анализ инструментальных средств обработки и визуализации биомедицинских данных магнитно-резонансной томографии (обзор литературы) // Вестник новых медицинских технологий. 2016. № 4. С. 307-315. DOI: 10.127371/23880.
2. Фраленко В.П., Хачумов М.В., Шустова М.В. Инструментальные средства автоматического поиска и визуализации зон интереса в данных МРТ для поддержки принятия решений врачей-исследователей // Искусственный интеллект и принятие решений. 2016, №4. С. 27-37.
3. Фраленко В.П., Хачумов М.В., Шустова М.В. Выделение и когнитивная визуализация трансплантированных мезенхимальных стволовых клеток на снимках магнитно-резонансной томографии // Искусственный интеллект и принятие решений. 2017. №3. С. 95-105.
4. Шустова М.В., Фраленко В.П. Экспериментальные исследования по выделению и визуализации стволовых клеток на снимках МРТ. Сборник научных трудов по итогам III Международной научно-практической конференции «Проблемы современной медицины: актуальные вопросы». Красноярск, 2016. С. 131-134.
5. Jenkinson M., Beckmann C.F., Behrens T.E., Woolrich M.W., Smith S.M. FSL // NeuroImage. 2012. №62. Р. 782-790.
References
1. Fralenko VP, Khachumov MV, Shustova MV. Analiz instrumental'nyh sredstv obrabotki i vizualizacii biomedicinskih dannyh magnitno-rezonansnoj tomografii (obzor literatury) [Analysis of instrumental means of
biomedical data magnetic resonance imaging processing and visualization]. Vestnik novyh medicinskih tehnolo-gij. 2016;4:307-15. Russian.
2. Fralenko VP, Khachumov MV, Shustova MV. Instrumental'nye sredstva avtomaticheskogo poiska i vi-zualizacii zon interesa v dannyh MRT dlja podderzhki prinjatija reshenij vrachej-issledovatelej [The tools for automatically finding and visualization of interest areas in the MRI data to support of medical researchers decision-making]. Iskusstvennyj intellekt i prinjatie reshenij. 2016;4:27-37. Russian.
3. Fralenko VP, Khachumov MV, Shustova MV. Vydelenie i kognitivnaja vizualizacija transplantirovan-nyh mezenhimal'nyh stvolovyh kletok na snimkah magnitno-rezonansnoj tomografii [Allocation and cognitive visualization of transplanted mesenchymal stem cells in images of a magnetic resonance tomography]. Iskusstvennyj intellekt i prinjatie reshenij. 2017;3:95-105. Russian.
4. Shustova MV, Fralenko VP. Jeksperimental'nye issledovanija po vydeleniju i vizualizacii stvolovyh kletok na snimkah MRT. Sbornik nauchnyh trudov po itogam III Mezhdunarodnoj nauchno-prakticheskoj konfe-rencii "Problemy sovremennoj mediciny: aktual'nye voprosy" [Experimental study on separation and visualization of stem cells on MR images. Proceedings of the III International Scientific and Practical Conference "Problems of Modern Medicine: Current Issues"]. Krasnojarsk; 2016. Russian.
5. Jenkinson M, Beckmann CF, Behrens TE, Woolrich MW, Smith SM. FSL. NeuroImage. 2012;62:782-90.
Библиографическая ссылка:
Фраленко В.П. , Шустова М.В. Программный комплекс для автоматического выделения, визуализации и расчета информативных характеристик областей интереса в биомедицинских данных МРТ // Вестник новых медицинских технологий. Электронное издание. 2017. №4. Публикация 6-3. URL: http://www.medtsu.tula.ru/VNMT/Bulletin/E2017-4/6-3.pdf (дата обращения: 17.11.2017). DOI: 10.12737/article_5a058b7ad46157.73651513.
