Научная статья на тему 'СОЗДАНИЕ НАБОРОВ ДАННЫХ КОМПЬЮТЕРНОЙ ТОМОГРАФИИ БРЮШНОЙ АОРТЫ С ПОДАВЛЕНИЕМ КОНТРАСТИРОВАНИЯ ДЛЯ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА'

СОЗДАНИЕ НАБОРОВ ДАННЫХ КОМПЬЮТЕРНОЙ ТОМОГРАФИИ БРЮШНОЙ АОРТЫ С ПОДАВЛЕНИЕМ КОНТРАСТИРОВАНИЯ ДЛЯ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
40
4
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
компьютерная томография / обработка изображений / обучающие наборы данных / искусственный интеллект / синтетическая бесконтрастная фаза / computed tomography / image processing / training datasets / artificial intelligence / synthetic noncontrast phase

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Мария Романовна Коденко, Андрей Владимирович Самородов, Николай Сергеевич Кульберг, Роман Владимирович Решетников

Представлен подход к автоматизированному получению бесконтрастных компьютерных томографических (КТ) изображений, содержащих разметку брюшного отдела аорты, полученную из данных контрастно-усиленной фазы сканирования. Разработан алгоритм подавления контрастного усиления в области брюшного отдела аорты на КТ-изображении. Научная новизна подхода заключается в преобразовании размеченных контрастированных изображений в бесконтрастные с помощью разработанной математической модели, позволяющей выделить и подавить составляющую рентгеновского поглощения контрастного вещества. Тестирование алгоритма проведено на открытом наборе данных, состоящем из 4 КТ-исследований брюшного отдела аорты, баланс классов „аневризма:норма“ — 1:1. Результаты демонстрируют сопоставимость значений рентгеновской плотности в области исследования с литературными данными, а также сходство этой области с окружающей мышечной тканью. Экспертная классификация смешанной выборки, содержащей реальные и сгенерированные изображения, продемонстрировала реалистичность последних (точность обнаружения искусственных изображений — 35 %, каппа Флейса — 0,12). Полученные изображения предназначены для обучения и тестирования алгоритмов искусственного интеллекта в сфере оппортунистического скрининга аневризмы аорты.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Мария Романовна Коденко, Андрей Владимирович Самородов, Николай Сергеевич Кульберг, Роман Владимирович Решетников

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

CREATING CONTRAST-SUPPRESSED ABDOMINAL AORTA CT DATASETS FOR TRAINING AND TESTING ARTIFICIAL INTELLIGENCE ALGORITHMS

An approach to the automated acquisition of non-contrast computed tomography (CT) images containing abdominal aortic markings derived from contrast-enhanced phase scanning data is presented. An algorithm for suppressing contrast enhancement in the area of the abdominal aorta on a CT image is developed. The scientific novelty of the approach lies in the conversion of marked contrast images into non-contrast images using a developed mathematical model that allows for isolation and suppression of the component of X-ray absorption of the contrast agent. The algorithm was tested on an open data set consisting of 4 CT studies of the abdominal aorta, the balance of “aneurysm: normal” classes was 1:1. The results demonstrate the comparability of the X-ray density values in the study area with literature data, as well as the similarity of this area with the surrounding muscle tissue. Expert classification of a mixed sample containing real and generated images demonstrates the realism of the latter (accuracy of detection of artificial images 35%, Fleiss kappa 0.12). The resulting images are intended for training and testing artificial intelligence algorithms in the field of opportunistic screening of aortic aneurysm.

Текст научной работы на тему «СОЗДАНИЕ НАБОРОВ ДАННЫХ КОМПЬЮТЕРНОЙ ТОМОГРАФИИ БРЮШНОЙ АОРТЫ С ПОДАВЛЕНИЕМ КОНТРАСТИРОВАНИЯ ДЛЯ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА»

ПРИБОРЫ, СИСТЕМЫ И ИЗДЕЛИЯ МЕДИЦИНСКОГО НАЗНАЧЕНИЯ MEDICAL DEVICES, SYSTEMS, AND PRODUCTS

УДК 51-76

DOI: 10.17586/0021-3454-2023-66-11-968-981

СОЗДАНИЕ НАБОРОВ ДАННЫХ КОМПЬЮТЕРНОЙ ТОМОГРАФИИ БРЮШНОЙ АОРТЫ С ПОДАВЛЕНИЕМ КОНТРАСТИРОВАНИЯ ДЛЯ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

М. Р. Коденко1'2 *, А. В. Самородов1, Н. С. Кульберг3, Р. В. Решетников2

1 Московский государственный технический университет им. Н. Э. Баумана, Москва, Россия

т. г. kodenko@yandex.ru

2 Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, Москва, Россия 3 Федеральный исследовательский центр „Информатика и управление" РАН,

Москва, Россия

Аннотация. Представлен подход к автоматизированному получению бесконтрастных компьютерных томографических (КТ) изображений, содержащих разметку брюшного отдела аорты, полученную из данных контрастно-усиленной фазы сканирования. Разработан алгоритм подавления контрастного усиления в области брюшного отдела аорты на КТ-изображении. Научная новизна подхода заключается в преобразовании размеченных контрастированных изображений в бесконтрастные с помощью разработанной математической модели, позволяющей выделить и подавить составляющую рентгеновского поглощения контрастного вещества. Тестирование алгоритма проведено на открытом наборе данных, состоящем из 4 КТ-исследований брюшного отдела аорты, баланс классов „аневризма:норма" — 1:1. Результаты демонстрируют сопоставимость значений рентгеновской плотности в области исследования с литературными данными, а также сходство этой области с окружающей мышечной тканью. Экспертная классификация смешанной выборки, содержащей реальные и сгенерированные изображения, продемонстрировала реалистичность последних (точность обнаружения искусственных изображений — 35 %, каппа Флейса — 0,12). Полученные изображения предназначены для обучения и тестирования алгоритмов искусственного интеллекта в сфере оппортунистического скрининга аневризмы аорты.

Ключевые слова: компьютерная томография, обработка изображений, обучающие наборы данных, искусственный интеллект, синтетическая бесконтрастная фаза

Благодарности: работа выполнена в рамках НИР/НИОКР (№ ЕГИСУ: 123031500002-1) в соответствии с Приказом от 21.12.2022 г. № 1196 „Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы, государственным бюджетным (автономным) учреждениям, подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов"; авторы выражают благодарность сотрудникам НПКЦ ДиТ ДЗМ, врачам-рентгенологам И. А. Блохину, А. К. Сморчковой и А. Н. Хоружей за экспертную валидацию КТ-изображений.

Ссылка для цитирования: Коденко М. Р., Самородов А. В., Кульберг Н. С., Решетников Р. В. Создание наборов данных компьютерной томографии брюшной аорты с подавлением контрастирования для обучения и тестирования алгоритмов искусственного интеллекта // Изв. вузов. Приборостроение. 2023. Т. 66, № 11. С. 968—981. DOI: 10.17586/0021-3454-2023-66-11-968-981.

© Коденко М. Р., Самородов А. В., Кульберг Н. С., Решетников Р. В., 2023 ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2023. Т. 66, № 11 JOURNAL OF INSTRUMENT ENGINEERING. 2023. Vol. 66, N 11

CREATING CONTRAST-SUPPRESSED ABDOMINAL AORTA CT DATASETS FOR TRAINING AND TESTING ARTIFICIAL INTELLIGENCE ALGORITHMS

M. R. Kodenko1,2*, A. V. Samorodov1, N. S. Kulberg3, R. V. Reshetnikov2

1 Bauman Moscow State Technical University, Moscow, Russia m. r.kodenko@yandex.ru

2 Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies

of the Moscow City Health Department, Moscow, Russia

3 Federal Research Center "Computer Science and Control" of the RAS, Moscow, Russia

Abstract. An approach to the automated acquisition of non-contrast computed tomography (CT) images containing abdominal aortic markings derived from contrast-enhanced phase scanning data is presented. An algorithm for suppressing contrast enhancement in the area of the abdominal aorta on a CT image is developed. The scientific novelty of the approach lies in the conversion of marked contrast images into non-contrast images using a developed mathematical model that allows for isolation and suppression of the component of X-ray absorption of the contrast agent. The algorithm was tested on an open data set consisting of 4 CT studies of the abdominal aorta, the balance of "aneurysm: normal" classes was 1:1. The results demonstrate the comparability of the X-ray density values in the study area with literature data, as well as the similarity of this area with the surrounding muscle tissue. Expert classification of a mixed sample containing real and generated images demonstrates the realism of the latter (accuracy of detection of artificial images -35%, Fleiss kappa - 0.12). The resulting images are intended for training and testing artificial intelligence algorithms in the field of opportunistic screening of aortic aneurysm.

Keywords: computed tomography, image processing, training datasets, artificial intelligence, synthetic non-contrast phase

Acknowledgments: The work was carried out within the framework of research and development (EGISU No.: 123031500002-1) in accordance with Order No. 1196 dated December 21, 2022 "On approval of government tasks, the financial support of which is carried out from the budget of the city of Moscow, to state budgetary (autonomous) institutions, subordinate to the Moscow City Health Department, for 2023 and the planning period of 2024 and 2025". The authors express their gratitude to the staff of the Center for Diagnostics and Telemedicine Technologies, Radiologists I. A. Blokhin, A. K. Smorchkova, and A. N. Khoruzhaya for expert validation of CT images.

For citation: Kodenko M. R., Samorodov A. V., Kulberg N. S., Reshetnikov R. V. Creating contrast-suppressed abdominal aorta CT datasets for training and testing artificial intelligence algorithms. Journal of Instrument Engineering. 2023. Vol. 66, N 11. P. 968—981 (in Russian). DOI: 10.17586/0021-3454-2023-66-11-968-981.

Введение. Наличие обучающих наборов данных является обязательным условием разработки и развития технологий машинного обучения (machine learning — ML) [1]. Одна из перспективных и активно развивающихся областей применения ML в сфере лучевой диагностики — автоматизация оппортунистического скрининга [2] патологий брюшного отдела аорты по данным компьютерной томографии (КТ) [3]. Данный вид скрининга предполагает отсутствие контрастного усиления (КУ) в исследовании [4]. Эта особенность является ключевой проблемой при подготовке данных для обучения и тестирования алгоритмов ML, так как сходство рентгеновской плотности между окружающей мышечной тканью и областью „интереса" (Region of Interest — ROI) [5] существенно осложняет сегментацию последней.

Литературный анализ существующих подходов к созданию размеченных бесконтрастных КТ-изображений брюшного отдела аорты демонстрирует явное смещение в сторону методов искусственной генерации размеченных изображений с помощью нейросетей генеративно-состязательного типа (Generative Adversarial Nets — GAN). Такой подход считается наиболее перспективным, так как позволяет создавать данные, имеющие сходные, но не идентичные первоначальным признаки [6], качественно расширяя исходный набор. Несмотря на то, что число работ, посвященных созданию синтетических бесконтрастных КТ-изображений аорты, весьма ограниченно, можно выделить общие недостатки GAN-подхода. Во-первых, для GAN, как и для искусственного интеллекта (ИИ) в целом, характерна зависимость результата от качества и объема обучающих данных [7]. Во-вторых, для GAN-моделей актуальна проблема сходимости и коллапса модели, вызывающих появление одного и того же результата при различных входных данных [8]. Также известен способ

получения бесконтрастных КТ-изображений из КУ-фазы ангиографического исследования с помощью методики двух энергий [9]. Основным ограничением к применению данного способа, при его безусловной диагностической ценности, является низкая доступность метода [10]. Следует также отметить, что создание бесконтрастных изображений не предполагает их автоматическую разметку, для подобных задач также используют ИИ либо привлекают экспертов-рентгенологов, что связано, в свою очередь, с риском возникновения „спутывающих факторов" [ll] либо с дополнительными трудозатратами [12].

В настоящей статье в качестве решения предложен альтернативный подход к преобразованию размеченных контрастированных КТ-изображений в бесконтрастные с сохранением корректной (т.е. выполненной на изображении с КУ) разметки. Разработанное для данных целей программное обеспечение (ПО) не использует машинное обучение и основано на разработанном математическом алгоритме подавления контрастирования [13—15]. Целью настоящего исследования является проверка следующих гипотез:

1) разработанный подход позволяет подавлять контраст-индуцированный детерминированный компонент сигнала рентгеновской плотности в области брюшного отдела аорты на КТ-изображениях;

2) разработанный подход позволяет получать КТ-изображение брюшного отдела аорты, статистически значимо не отличающегося от окружающих мышечных тканей по значению рентгеновской плотности.

Материалы и методы. Исследование организовано в соответствии с методологией MI-CLAIM [16], регламентирующей порядок клинического использования технологий ИИ в медицине. Дизайн исследования — ретроспективный анализ данных КТ-ангиографии (КТА). Критерии включения: наличие артериальной фазы сканирования в исследовании; толщина срезов не более 1,5 мм; наличие исследований с диагностированной аневризмой брюшного отдела аорты (код МКБ10 I7l [17]). Критерии исключения: наличие областей диссекции (расслоения) сосуда; наличие внутрисосудистых стентов или протезов. Референсный метод: в качестве референсных выбраны данные о рентгеновской плотности тканей поясничных мышц для того же исследования, а также литературные данные о плотности крови в аорте (30—45 единиц Хаунсфилда (HU) [18]).

Подготовка данных. На подготовительном этапе была проведена разметка данных ангиографического КТ-исследования органов брюшной полости. Под термином „разметка" в контексте представленной работы понимается маркировка медицинскими экспертами („разметчиками") пикселов изображения, принадлежащих целевой ROI. Результат разметки — так называемая „маска" — трехмерный массив, размерность которого соответствует исходным данным, а значение каждого пиксела закодировано бинарно в зависимости от его локализации: принадлежит либо не принадлежит ROI. „Размеченным" считается изображение, имеющее маску. Целевая ROI — брюшной отдел аорты. Были определены следующие требования к разметчикам: сертификат по специальности „Рентгенология" и опыт работы не менее трех лет. Разметка данных осуществлялась с помощью ПО Slicer 3D [19] с использованием встроенных инструментов полуавтоматической разметки („row from seed", „fill between slices" и др.). Формат NIfTi (Neuroimaging Informatics Technology Initiative) [20] был выбран для обработки, хранения и обмена данными. Полученная маска была дополнительно радиально расширена на область сосудистой стенки и окружающих тканей для корректной работы модели. Расширение ROI выполнено с помощью нерезкого маскирования [21] с радиусом размытия функции Гаусса [22], равным 4 пкс. Экспертный анализ КТ-метрик полученных изображений проводился с помощью ПО Vidar (версия 3.3) [23].

Генерация искусственных бесконтрастных КТ-изображений. В основе работы алгоритма обработки данных (рис.1) лежит предложенная ранее модель [15], описывающая кон-

траст-индуцированныи компонент поглощения рентгеновского излучения как детерминированный компонент сигнала рентгеновской плотности.

Рис. 1

Общий вид аппроксимирующей функции представляет собой суперпозицию симметричных сигмоид специального вида:

(л \

Р (х) = р -

а •

1

1

1 + ехр (Ьх - с) 1 + ехр (ёх - е)

(1)

где р — уровень сигнала вне области сосуда; а — амплитуда сигнала; Ь, с, ё и е определяют положение и наклон боковых сигмоид.

Коэффициенты аппроксимирующей функции вычисляются итеративно методом нелинейных наименьших квадратов (МННК) [24, 25]. Начальные условия для каждой строки (столбца) данных определяются на основании аппроксимируемых данных:

1) F0 — минимальный уровень сигнала;

2) a — абсолютная разность между максимальным и минимальным неотрицательным уровнями сигнала;

3) c, e — индексы начальной и конечной точек сигнала;

4) b, d равны единице, что соответствует симметричной форме сигнала. Аппроксимация проводится на каждом изображении в аксиальной проекции отдельно

для строк и столбцов ROI. Результаты постолбцовой и построчной аппроксимации формируют итоговый сигнал по критерию близости к исходным данным:

цовой аппроксимации в пикселе pix с координатами (i; j).

Для каждого исследования на вход алгоритма было передано по три набора данных в формате NIfTi: КТ-исследование и две бинарные маски разметки — исходная и расширенная. Далее проводилось извлечение ROI из исходных данных посредством специального пересечения с масками. Бинарная маска имеет размерность исходного изображения и структуру, определяющую целевые пикселы ROI значением „1", остальные — значением „О". Проводится инверсия значений маски, замена единичных значений на „Not-a-Number" (NaN) и последующее сложение с исходным изображением. Результатом операции является обращение в NaN всех значений на исходном изображении вне ROI. Этот подход применялся для оптимизации времени вычислений данных.

Полученный трехмерный массив посрезово обрабатывался в цикле. Методом аппроксимации с помощью нелинейных наименьших квадратов проводилось извлечение контраст-индуцированного детерминированного компонента сигнала рентгеновской плотности. Извлеченный компонент затем был попиксельно вычтен из исходных данных с учетом корректирующего фактора.

Расчет корректирующих факторов основан на необходимости соблюдения двух условий: отсутствие объектов избыточной яркости в ROI (кальцинаты, кости) и соблюдение требований к обеспечению сходства между ROI и окружающей мышечной тканью (для бесконтрастного КТ-исследования плотность крови 30—45 HU [18], плотность мышечной ткани 34—50 HU [26]). Применение корректирующих факторов является ограничением работы, возможные эффекты и их влияние на конечные результаты подробно рассмотрены далее.

Для маскирования ярких объектов применяется поиск соответствующих пикселов и снижение их яркости. Первый корректирующий фактор (КФ1) рассчитывается индивидуально для каждого среза как минимальное значение рентгеновской плотности в просвете сосуда. При обнаружении объектов, рентгеновская плотность которых превышает КФ1, значение соответствующих пикселов заменяется на значение среднего уровня поглощения мягких тканей на данном изображении. Это значение является вторым корректирующим фактором (КФ2) и рассчитывается по области строгой дизъюнкции исходной и расширенной масок, т.е. по области, содержащей только окружающие ткани (вне просвета сосуда). КФ2 равен среднеарифметическому значению пикселов в диапазоне интенсивностей от 0 до КФ1.

КФ2 также используется на финальном этапе обработки данных для обеспечения сходства между ROI и окружающей мышечной тканью. Результат аппроксимации данных попик-

¥ ^х), если | ¥1 ^х) - ¥ ^х)| < |¥у ^х) - ¥ ^х)|; ¥]- ^х), если | ¥1 ^х ) - ¥ ^х | > ¥]- ^х ) - ¥ ^х |,

где ¥ ^х| — исходное значение, ¥ ^х | — результат построчной, а ¥]- ^х | — постолб-

(2)

сельно вычитается из исходных данных в пределах маски. Таким образом, в ROI остается сигнал, соответствующий рентгеновскому поглощению крови в бесконтрастной фазе исследования. Однако важно учитывать, что даже в ранней артериальной фазе может наблюдаться статистически значимое повышение рентгеновской плотности мышечной ткани [27]. По этой причине проводится проверка сопоставимости полученных данных области просвета сосуда и величины КФ2. В случае если средний уровень полученного сигнала ниже вычисленного КФ2, попиксельно проводится увеличение результата на величину А:

Д = КФ2 - mean (F), (3)

где mean — средняя ордината полученного сигнала в ROI (F).

Анализ результатов. Полученные данные были обработаны с помощью ПО R (версия 4.1.1) [28]. Уровень статистической значимости для принятия гипотез был принят равным 0,05.

Проверка первой гипотезы. Для оценки эффективности подавления контраст-индуцированного детерминированного компонента (тренда) был использован сравнительный статистический анализ данных до и после преобразования. С помощью теста WAVK [29], в котором нулевая гипотеза об отсутствии тренда проверялась против гипотезы о наличии немонотонного тренда, были проанализированы исходные и обработанные данные. Тип тренда (немонотонный) был определен на основании визуального анализа данных КТ. На рис. 2, а, б показана рентгеновская плотность (D) в бесконтрастной (а) и контрастно усиленной (б) фазах КТ-сканирования; форма аппроксимирующей функции для извлечения тренда из КУ-сигнала приведена на рис. 2, в.

в)

а)

D, HU 400

300

200

100

0

-100 240

б) D, HU 400 300 200 100 0

-100

é

260

280

280

х 240 260

Рис. 2

Результат подавления КУ в ROI (до применения коррекции с помощью КФ2) был проанализирован с помощью 95%-ного доверительного интервала (confidence interval — CI) для разности средних значений двух выборок [30]:

CI = |mean (F) - mean (F0 )| ± z^sd (F)2 + sd (F0 )2

(4)

где sd — среднеквадратическое отклонение для полученных (F ) и референсных (F0)

данных, z — табличное значение для заданного уровня значимости (1,96 для уровня значимости 0,05).

В качестве референсных данных были использованы результаты исследования [18], согласно которому значения рентгеновской плотности для нетромбированной крови составляют D= 30.. .45 HU.

Проверка второй гипотезы. Для оценки результатов по критерию сходства плотности между ROI и окружающей мышечной тканью с помощью статистического теста Манна —

Уитни [31] были сопоставлены распределения рентгеновской плотности в ROI и в параспи-нальной мышечной ткани. Для этого на каждом срезе расширенной маски были извлечены данные вне ROI , плотность которых находится в диапазоне от 30 до КФ1, и сопоставлены с данными внутри ROI после обработки.

Дополнительно был проведен экспертный анализ изображений врачами-рентгенологами. Данный подход, несмотря на субъективность, позволяет выявить наличие в результатах специфических паттернов, которые указывают на синтетический характер изображения. Для экспертной оценки был сформирован набор данных, содержащий 14 изображений в формате DICOM (ГОСТ Р ИСО 12052-2009), баланс классов „истинное:сгенерированное" изображение составил 1:1, что соответствовало балансу классов исходной выборки. Изображения для экспертного анализа были предварительно обрезаны с помощью инструмента „crop" в программе Slicer 3D, так чтобы в поле зрения не попадали объекты с КУ вне ROI (магистральные артерии, поджелудочная железа). Число изображений было получено после применения к выборке критериев исключения: наличие вне ROI КУ-объектов, которые нельзя удалить из поля обзора. В качестве изображений „истинного" класса выбрано 7 изображений бесконтрастных серий соответствующих КТ-исследований. При отсутствии таковых в исследовании выбиралась серия, содержащая минимальный уровень контрастирования в ROI (венозная или отсроченная серия сканирования). В экспертизе приняли участие 3 врача-рентгенолога с опытом работы от 1 года до 5 лет. Участники были „заслеплены" относительно результатов друг друга и данных о балансе классов выборки. Порядок изображений был уникальным для каждого эксперта. Просмотр и оценивание осуществлялись с помощью ПО Vidar без ограничений по используемым инструментам: изменение диапазона яркости, измерение плотности объекта и др. Данные были независимо оценены и классифицированы экспертами бинарно: „настоящее" (0) либо „искусственное" (1) изображение брюшного отдела аорты. По этим данным были рассчитаны метрики чувствительности (Se), специфичности (Sp) и точности (Ac) экспертных оценок в отношении корректной классификации изображений:

где TP — истинно положительный, TN — истинно отрицательный, FP — ложноположи-тельный и FN — ложноотрицательный результаты классификации.

Кроме того, была рассчитана мера согласованности разметчиков — каппа Флейса с помощью функции R kappam.fleiss пакета irr [32, 33].

Результаты. Набор данных содержал результаты 4 КТА-исследований, общее число изображений — 594, медианное число срезов в исследовании 177 (размах составил 128—178). Баланс классов „аневризма:норма" составил 1:1. Толщина срезов в исследовании варьировалась от 1 до 3 мм. Все исследования содержали артериальную фазу сканирования, однако ни в одном исследовании не было обнаружено бесконтрастной фазы сканирования.

Использованный способ оптимизации обработки данных за счет удаления данных вне маски с помощью NaN позволил оптимизировать вычисления по времени: время обработки на процессоре Intel Core i7 (ОЗУ 16 Гб) с использованием оптимизации уменьшилось в 12 раз (180 мс против 15 мс на обработку одного аксиального среза размером 512x512 пкс).

На рис. 3 представлен результат применения КФ1 для данных, содержащих кальцинаты в стенке аорты (кальцинат показан стрелкой). Подавление кальцината на исходном изображении (рис. 3, а) не привело к искажению его формы и локализации в итоговом изображении (рис. 3, б).

Se=TP/ ( TP+FN ) ; Sp=TN/ ( FP+TN ) ; Ac= (TP+TN ) / ( TP+TN+FP+FN ),

(5)

(6)

(7)

а)

б)

Рис. 3

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Проверка первой гипотезы исследования продемонстрировала статистически достоверное отсутствие тренда (p-value > 0,05) в сигнале после подавления КУ при его наличии в исходных данных для всех исследований (рис. 4; штриховая линия показывает уровень значимости 0,05). Срезы, для которых в синтетической бесконтрастной фазе был обнаружен тренд (левый боксплот на рис. 4, значения ниже уровня p-value 0,05), содержали фрагменты отхож-дения магистральных артерий, поэтому не были учтены при интерпретации результатов. Результаты расчета 95%-ного CI по формуле (4) для данных после подавления КУ и литературных данных о рентгеновской плотности аорты в бесконтрастной фазе демонстрируют наличие нулевого значения в интервалах для всех КТ-исследований (рис. 5), что подтверждает отсутствие статистически значимых различий между литературными и рассчитанными значениями рентгеновской плотности пикселов ROI.

p-value 1

0,8 0,6

0,4

0,2

CI

20

10

0

-10 -20

Серия с КУ

4 Номер исследования

Серия без КУ

Рис. 4 Рис. 5

Результат проверки второй гипотезы исследования демонстрирует отсутствие статистически значимых различий (p-value > 0,05) в данных ROI после коррекции и в области пара-спинальной мышечной ткани. Визуально это сходство выражается в эффекте „неотделимости" области ROI от окружающей мышечной ткани (рис. 6, посередине), характерном для реальных бесконтрастных изображений.

Показатели чувствительности и специфичности экспертных оценок при классификации изображений составляют 40—70 % и 28—71 % соответственно, точность — всего 23—35 %. При этом наблюдался низкий уровень согласованности экспертов (каппа Флейса 0,12). Детализация результатов обработки представлена на рис. 7: а — реальные, б — искусственные изображения; ответы экспертов отмечены квадратами: серый — ложный ответ, белый — верный; случаи полного согласия экспертов отмечены прямоугольниками. Доля изображений,

0

1

2

3

единогласно корректно классифицированных экспертами, составила 20 %; два получены с

использованием предложенного алгоритма, одно —исходное.

Размеченное

изображение с КУ Изображение без КУ

Размеченное изображение без КУ

а)

б)

Рис. 6

□ □□ [рас^ □□□ □□□ □□□ □□□! !□□□!

□ □П □□□ □□□ □ □ D □□□ □□□ □□□

Рис. 7

Обсуждение результатов. Предложен способ подавления контрастного усиления на КТ-изображениях брюшного отдела аорты. Разработанный алгоритм позволяет получать изображения ROI:

— соответствующие по своим параметрам реальной бесконтрастной фазе исследования (95 % CI для разницы средних значений пересекают нулевое значение для всех 4 КТ-исследований);

— не отличающиеся от прилежащей мышечной ткани по значению рентгеновской плотности и структуре (p-value > 0,05);

— содержащие разметку ROI, выполненную в соответствии с золотым стандартом диагностики аневризм [34], на изображениях с КУ (пример получения размеченного бесконтрастного изображения — см. рис. 6).

Полученные данные имеют высокий уровень сходства с естественным изображением не только по количественным, но и по качественным характеристикам, что подтверждается результатами экспертной оценки (низкая точность выявления синтетических изображений — до 35 % при низкой согласованности экспертов, каппа Флейса 0,12).

Главное отличие предложенного подхода от существующих решений заключается в том, что данный подход не использует методы синтетической генерации и машинного обучения. Разработанный алгоритм основан на математическом анализе исходных данных, используемая модель позволяет выделить детерминированный компонент сигнала рентгеновской плотности, что дает возможность получать исходные данные бесконтрастной фазы вместо их синтетической генерации. Таким образом, создание бесконтрастных изображений происходит автоматически и лишено характерных для GAN-подхода недостатков [6, 35]:

— во-первых, отсутствует зависимость качества работы модели от объема обучающих наборов данных, так как модель не требует обучения;

— во-вторых, отсутствует риск внесения систематической ошибки при разметке данных, связанный с вариабельностью ручной разметки ROI на бесконтрастном изображении: разметка исходного изображения проводится при наличии КУ;

— наконец, отсутствуют трудности получения изображений с редкими признаками, так как для получения одного обработанного изображения не требуется библиотека изображений с целевым объектом.

Главным преимуществом предложенного метода относительно использования двух-энергетической КТ является подавление КУ только в выбранной области, тогда как указанный метод (равно как и субстракция изображений [36]) приводит к подавлению всех объектов, не содержащих контрастное вещество. Кроме того, данные изображения не содержат разметку ROI, в отличие от полученных предложенным методом.

Ограничения. К ограничениям работы следует отнести применение корректирующих факторов (КФ1 и КФ2) и необходимость обрезки обработанных изображений.

Применение комбинации КФ1 и КФ2 для маскирования кальцинатов проводится с целью корректной аппроксимации данных. При этом данные области просто исключаются из анализа, поскольку кальцинаты не участвуют в измерении просвета сосуда, которое проводится при диагностике аневризм [34]. Применение КФ2 на финальном этапе обработки изображений связано с риском внесения систематической погрешности в данные, однако адаптивный расчет его значения для каждого изображения снижает данный риск. Отсутствие синтетических паттернов, связанных с применением указанной коррекции, подтверждается результатом экспертной оценки изображений (см. рис. 7).

Обрезка изображений, связанная с локальным (в пределах маски) подавлением КУ, ограничивает объем данных участками вне отхождения магистральных артерий и прилежания активно контрастируемых паренхиматозных органов (например, поджелудочная железа). Влияние ограничения следует рассматривать с точки зрения целевой функции генерируемых данных. Аневризма аорты — диагноз, определяемый по диаметру просвета сосуда, который не измеряют на участках отхождения артерий [34]. Тем не менее расширение области подавления КУ на изображении является одним из направлений дальнейшей работы.

Авторы вынуждены отметить высокую вариабельность результатов статистической обработки данных. Во-первых, представленные результаты сопоставления параспинальной мышечной ткани методом Манна — Уитни могут не удовлетворять критерию независимости выборок по причине коррекции результата на величину, рассчитанную по референсной области. В дальнейшем предполагается расширить объем референсных данных для получения более надежных и воспроизводимых результатов. Во-вторых, может возникнуть неоднозначность при сопоставлении данных после подавления КУ и литературных значений плотности аорты. Дополнительно был проведен внутригрупповой сравнительный анализ для исследований с подавлением КУ методом Крускала — Уоллеса [37]: результаты теста демонстрируют статистически значимые различия для всех четырех исследований (p-value < 0.001). Это свидетельствует о необходимости учета параметров сканирования и сопоставления данных между сериями одного и того же КТ-исследования, что было невозможно в рамках настоящей работы вследствие неполноты данных в открытом доступе.

Таким образом, представленные в статье результаты, хотя и проанализированы с использованием формально корректной методологии, носят предварительный характер. Основным направлением дальнейших исследований является валидация работы алгоритма на репрезентативном по наличию необходимых фаз сканирования наборе данных, подготовка которого ведется авторами в настоящее время.

Заключение. Представлен алгоритм для получения бесконтрастных КТ-изображений брюшного отдела аорты, содержащих разметку области ROI, полученную на контрастно-усиленных изображениях. Предложенный алгоритм предназначен для повышения качества и

доступности обучающих данных для алгоритмов ИИ оппортунистического скрининга аневризм брюшной аорты.

Вклад авторов. М. Р. Коденко — концепция и дизайн исследования, получение и анализ данных, подготовка и редактирование рукописи; А. В. Самородов, Н. С. Кульберг и Р. В. Решетников — экспертная оценка методологии исследования; Р. В. Решетников — администрирование проекта и редактирование рукописи.

СПИСОК ЛИТЕРАТУРЫ

1. Koshino K., Werner R. A., Pomper M. G. et al. Narrative review of generative adversarial networks in medical and molecular imaging // Ann. Transl. Med. 2021. Vol. 9, N 9. P. 821—821.

2. Engelke K., Chaudry O., Bartenschlager S. Opportunistic Screening Techniques for Analysis of CT Scans // Curr Osteoporos Rep. Springer, 2023. Vol. 21, N 1. P. 65—76.

3. Kodenko M. R., Vasilev Y. A., Vladzymyrskyy A. V. et al. Diagnostic Accuracy of AI for Opportunistic Screening of Abdominal Aortic Aneurysm in CT: A Systematic Review and Narrative Synthesis // Diagnostics. 2022. Vol. 12, N 12. P. 3197.

4. Шаблоны протоколов описания исследований по специальности «Ренгенография» магнитно-резонансная томография // НПКЦ ДиТ ДЗМ: сайт. Москва, 2016 [Электронный ресурс]: <https://trauma.ru/content/ articles/detail.php?ELEMENT_ID=45874>, 25.03.2023.

5. Corson N., Sensakovic W. F., Straus C. et al. Characterization of mesothelioma and tissues present in contrast-enhanced thoracic CT scans // Med. Phys. American Association of Physicists in Medicine. 2011. Vol. 38, N 2. P. 942. DOI: 10.1118/1.3537610

6. Goodfellow I. et al. Generative Adversarial Networks // Commun ACM. Association for Computing Machinery. 2014. Vol. 63, N 11. P. 139—144. DOI: 10.48550/arXiv.1406.2661.

7. Litjens G. et al. A Survey on Deep Learning in Medical Image Analysis // Med. Image Anal. Elsevier B.V., 2017. Vol. 42. P. 60—88. DOI: 10.1016/j.media.2017.07.005.

8. Kodali N. et al. On Convergence and Stability of GANs. 2017. DOI: 10.48550/arXiv.1705.07215.

9. Петровичев В. С., Неклюдова М. В., Синицын В. Е., Никитин И. Г. Двухэнергетическая компьютерная томография рака головы и шеи // Digital Diagnostics. 2021. Т. 2, № 3. C. 343—355. DOI: 10.17816/DD62572.

10. Toshav A. Economics of Dual-Energy CT: Workflow, Costs, and Benefits // Seminars in Ultrasound, CT and MRI. 2022. Vol. 43, N 4. С. 352—354. DOI: 10.1053/j.sult.2022.06.010.

11. Zhao Q., Adeli E., Pohl K. M. Training confounder-free deep learning models for medical applications // Nature Communications. 2020. Vol. 11, N 1. P. 1—9. DOI: 10.1038/s41467-020-19784-9.

12. Starmans M. P. A. et al. Radiomics // Handbook of Medical Image Computing and Computer Assisted Intervention. Elsevier, 2019. P. 429—456.

13. Свид. о гос. рег. программы № 2023661089 РФ. Программа для извлечения и анализа детерминированного компонента сигнала рентгеновской плотности КТ-ангиографического исследования аорты / М. Р. Коденко, Ю. А. Васильев. Опубл. 29.05.2023. Бюл. № 6.

14. Свид. о гос. рег. программы № 2023661090 РФ. Программа для подавления контрастирования аорты на КТ-ангиографических изображениях / М. Р. Коденко, Ю. А. Васильев. Опубл. 29.05.2023. Бюл. № 6.

15. Коденко М. Р., Кульберг Н. С., Самородов А. В. Анализ высокоплотностного компонента содержимого брюшной аорты при КТ-ангиографии // Сб. тез. XXX Междунар. конф. „Математика. Компьютер. Образование" 2023 [Электронный ресурс]: <http://www.mce.su/rus/archive/abstracts/mce30/ sect288919/doc417793/>, 25.03.2023.

16. Norgeot B. et al. Minimum information about clinical artificial intelligence modeling: the MI-CLAIM checklist // Nature Medicine. 2020. Vol. 26, N 9. P. 1320—1324. DOI: 10.1038/s41591-020-1041-y.

17. МКБ 10 — Аневризма и расслоение аорты (I71) // МКБ 10 - Международная классификация болезней 10-го пересмотра [Электронный ресурс]: <https://mkb-10.com/index.php?pid=8344>, 05.04.2023.

18. Robinson J. D. et al. Imaging of blunt abdominal solid organ trauma // Seminars in Roentgenology. 2016. Vol. 51, N 3. P. 215—229. DOI: 10.1053/j.ro.2015.12.003.

19. 3D Slicer image computing platform // 3D Slicer USA [Электронный ресурс]: <https://www.slicer.org/>, 05.03.2022.

20. Knipe H., Moore C. NlfTI (file format) // Radiopaedia.org. 2019 [Электронный ресурс]: <https://radiopaedia.org/articles/72562>, 05.03.2022.

21. HaralickR., Shapiro L. Computer and Robot Vision. Addison-Wesley Publ. Company, 1992.

22. Uchida S. Image processing and recognition for biological images. Dev Growth Differ // Wiley Online Library. 2013. Vol. 55, N 4. P. 523—549. DOI: 10.1111/dgd.12054.

23. Vidar Dicom Viewer // Vidar [Электронный ресурс]: <https://povidar.ru/dicom-viewer/v3/versions.html>, 05.03.2022.

24. Kelley C. T. Iterative methods for optimization. Society for Industrial and Applied Mathematics, 1999.

25. Emmert-Streib F., Moutari S., Dehmer M. Mathematical Foundations of Data Science Using R. Berlin: De Gruyter, 2020. P. 1—414.

26. Barnard R. et al. Machine Learning for Automatic Paraspinous Muscle Area and Attenuation Measures on Low-Dose Chest CT Scans // Acad. Radiol. Elsevier. 2019. Vol. 26, N 12. P. 1686—1694. DOI: 10.1016/j.acra.2019.06.017.

27. Boutin R.D. et al. Influence of IV Contrast Administration on CT Measures of Muscle and Bone Attenuation: Implications for Sarcopenia and Osteoporosis Evaluation // Amer. Roentgen Ray Society. 2016. Vol. 207, N 5. P. 1046—1054. DOI: 10.2214/AJR.16.16387.

28. RStudio Desktop - Posit // RStudio [Электронный ресурс]: <https://posit.co/download/rstudio-desktop/>, 05.03.2022.

29. wavk.test function // RDocumentation [Электронный ресурс]: <https://www.rdocumentation.org/ packages/funtimes/versions/6.1/topics/wavk.test>, 05.03.2022.

30. Penn State Pulse, 21st Birthday, January 2001 // Pennsylvania State University [Электронный ресурс]: <http://www.sa.psu.edu/sara/alphapulse.shtml>, 13.06.2023.

31. Mann H. B., Whitney D. R. On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other // The Annals of Mathematical Statistics. 1947. Vol. 18, N 1. P. 50—60.

32. Fleiss J. L. Measuring nominal scale agreement among many raters // Psychological Bulletin. 1971. Vol. 76, N 5. P. 378.

33. Fleiss J. L, Levin B., PaikM. C. Statistical methods for rates and proportions. N.Y.: Wiley, 1981. Т. 1981218.

34. Erbel R. et al. 2014 ESC Guidelines on the diagnosis and treatment of aortic diseases: Document covering acute and chronic aortic diseases of the thoracic and abdominal aorta of the adult. The Task Force for the Diagnosis and Treatment of Aortic Diseases of the European Society of Cardiology (ESC) // Eur. Heart Journal. 2014. Vol. 35, N 41. P. 2873—2926.

35. Chen Y. et al. Generative Adversarial Networks in Medical Image augmentation: A review // Comput Biol Med. 2022. Vol. 144. DOI: 10.1016/j.compbiomed.2022.105382.

36. Meijer F. J. A. et al. Ultra-high-resolution subtraction CT angiography in the follow-up of treated intracranial aneurysms // Insights Imaging. 2019. Vol. 10, N 1. DOI: 10.1186/s13244-019-0685-y.

37. Kruskal W. H., Wallis W. A. Use of Ranks in One-Criterion Variance Analysis // J. Amer. Stat Assoc. 1952. Vol. 47, N 260. P. 583—621.

Сведения об авторах

Мария Романовна Коденко — аспирант; МГТУ им. Н. Э.Баумана, кафедра биомедицинских техни-

ческих систем; Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, отдел научных медицинских исследований; мл. научный сотрудник; E-mail: m.r.kodenko@yandex.ru

Андрей Владимирович Самородов — канд. техн. наук, доцент; МГТУ им. Н. Э. Баумана, кафедра биомедицинских технических систем; заведующий кафедрой; E-mail: avs@bmstu.ru

Николай Сергеевич Кульберг — канд. физ-мат. наук; ФИЦ „Информатика и управление" РАН, отдел

№ 41; ст. научный сотрудник; E-mail: kulberg@yandex.ru Роман Владимирович Решетников — канд. физ-мат. наук; Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, отдел научных медицинских исследований; руководитель отдела; E-mail: reshetnikov@fbb.msu.ru

Поступила в редакцию 29.06.2023; одобрена после рецензирования 14.07.2023; принята к публикации 27.09.2023.

REFERENCES

1. Koshino K., Werner R.A., Pomper M.G. et al. Ann. Transl. Med., 2021, no. 9(9), pp. 821-821.

2. Engelke K., Chaudry O., Bartenschlager S. Curr. Osteoporos Rep., Springer, 2023, no. 1(21), pp. 65-76.

3. Kodenko M.R., Vasilev Y.A., Vladzymyrskyy A.V. et al. Multidisciplinary Digital Publishing Institute, 2022, no. 12(12), pp. 3197.

4. https://trauma.ru/content/articles/detail.php?ELEMENT_ID=45874. (in Russ.)

5. Corson N., Sensakovic W.F., Straus C. et al. Med Phys. American Association of Physicists in Medicine, 2011, no. 2(38), pp. 942, DOI: 10.1118/1.3537610.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

6. Goodfellow I. et al. Commun. ACM. Association for Computing Machinery, 2014, no. 11(63), pp. 139-144, D0I:10.48550/arXiv.1406.2661.

7. Litjens G. et al. Med. Image Anal., Elsevier B.V., 2017, vol. 42, pp. 60-88, DOI: 10.1016/j.media.2017.07.005.

8. Kodali N. et al. On Convergence and Stability of GANs, 2017, DOI: 10.48550/arXiv.1705.07215.

9. Petrovichev V.S., Neklyudova M.V., Sinitsyn V.E., Nikitin I.G. Digital Diagnostics, 2021, no. 3(2), pp. 343-355, DOI: 10.17816/DD62572. (in Russ.)

10. Toshav A. Seminars in Ultrasound, CT and MRI, WB Saunders, 2022, no. 4 43), pp. 352-354, DOI: 10.1053/j.sult.2022.06.010.

11. Zhao Q., Adeli E., Pohl K.M. Nature Communications, 2020, no. 1(11), pp. 1-9, DOI: 10.1038/s41467-020-19784-9.

12. Starmans M.P.A. et al. Handbook of Medical Image Computing and Computer Assisted Intervention, Elsevier, 2019, pp. 429-456.

13. Certificate on the state registration of the computer programs 2023661089, Programma dlya izvlecheniya i analiza determinirovannogo komponenta signala rentgenovskoy plotnosti KT-angiograficheskogo issledovaniya aorty (Program for Extracting and Analyzing the Deterministic Component of the X-ray Density Signal of a CT Angiographic Study of the Aorta), M.R. Kodenko, Yu.A. Vasiliev, Priority 19.05.2023, Published 29.05.2023, Bulletin 6. (in Russ.)

14. Certificate on the state registration of the computer programs 2023661090, Programma dlya podavleniya kontrasti-rovaniya aorty na KT-angiograficheskikh izobrazheniyakh (Program for Suppressing Contrast Enhancement of the Aorta on CT Angiographic Images), M.R. Kodenko, Yu.A. Vasiliev, Priority 19.05.2023, Published 29.05.2023, Bulletin 6.

15. Kodenko M.R., Kul'berg N.S., Samorodov A.V. Matematika. Komp'yuter. Obrazovaniye 2023 (Mathematics. Computer. Education 2023), Collection of abstracts of the XXX Intern. Conf., http://www.mce.su/rus/archive/abstracts/mce30/sect288919/doc417793/. (in Russ.)

16. Norgeot B. et al. Nature medicine, 2020, no. 9(26), pp. 1320-1324, DOI: 10.1038/s41591-020-1041-y.

17. https://mkb-10.com/index.php?pid=8344. (in Russ.)

18. Robinson J. D. et al. Seminars in roentgenology, WB Saunders, 2016, no. 3(51), pp. 215-229, DOI: 10.1053/j.ro.2015.12.003.

19. 3D Slicer image computing platform, https://www.slicer.org/.

20. Knipe H., Moore C. Radiopaedia.org, 2019, https://radiopaedia.org/articles/72562.

21. Haralick R. and Shapiro L. Computer and Robot Vision, Addison-Wesley Publishing Company, 1992.

22. Uchida S. Wiley Online Library, 2013, no. 4(55), pp. 523-549, doi: 10.1111/dgd.12054.

23. Vidar Dicom Viewer, https://povidar.ru/dicom-viewer/v3/versions.html.

24. Kelley C.T. Iterative methods for optimization, Society for Industrial and Applied Mathematics, 1999.

25. Emmert-Streib F., Moutari S., Dehmer M. Mathematical Foundations of Data Science Using R, De Gruyter, 2020, 414 p.

26. Barnard R. et al. Acad. Radiol., 2019, no. 12(26), pp. 1686-1694, DOI: 10.1016/j.acra.2019.06.017.

27. Boutin R.D. et al. American Roentgen Ray Society, 2016, no. 5(207), pp. 1046-1054, DOI: 10.2214/AJR.16.16387.

28. RStudio Desktop - Posit, https://posit.co/download/rstudio-desktop/.

29. RDocumentation, https://www.rdocumentation.org/packages/funtimes/versions/6.1/topics/wavk.test.

30. Penn State Pulse, 21st Birthday, January 2001, Pennsylvania State University, http://www.sa.psu.edu/ sa-ra/alphapulse.shtml.

31. Mann H.B., Whitney D.R. The Annals of Mathematical Statistics, Institute of Mathematical Statistics, 1947, no. 1(18), pp. 50-60.

32. Fleiss J.L. Psychological bulletin, 1971, no. 5(76), pp. 378.

33. Fleiss J.L., Levin B., Paik M.C. Statistical methods for rates and proportions, NY, Wiley, 1981, vol. 1981218.

34. Erbel R. et al. Eur. Heart. J., 2014, no. 41(35), pp. 2873-2926.

35. Chen Y. et al. Comput. Biol. Med., 2022, vol. 144, DOI: 10.1016/j.compbiomed.2022.105382.

36. Meijer F.J.A. et al. Insights Imaging, 2019, no. 1(10), DOI: 10.1186/s13244-019-0685-y.

37. Kruskal W.H., Wallis W.A. J. Am. Stat. Assoc., 1952, no. 260(47), pp. 583-621.

Maria R. Kodenko

Andrey V. Samorodov

Nicholay S. Kulberg Roman V. Reshetnikov

Received 29.06.2023; approved after reviewing 14.07.2023; accepted for publication 27.09.2023.

Data on authors

Post-Graduate Student; Bauman Moscow State Technical University, Department of Biomedical Technical Systems; Center for Diagnostics and Telemedi-cine Technologies, Department of Medical Research; Junior Researcher; E-mail: m.r.kodenko@yandex.ru

PhD, Associate Professor; Bauman Moscow State Technical University, Department of Biomedical Technical Systems; Head of the Department; E-mail: avs@bmstu.ru

PhD; Federal Research Center "Computer Science and Control" of the RAS, Department 41; Senior Researcher; E-mail: kulberg@yandex.ru PhD; Center for Diagnostics and Telemedicine Technologies, Department of Medical Research; Head of the Department; E-mail: reshetnikov@fbb.msu.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.