CC BY
46
ВСТВИТЕЛЬНОГО АНАЛИЗА НОСТИЧЕСКИХ ИЗОБРАЖЕНИЙ
;.Р. Абульханов, к.т.н., доцент кафедры технологий производства двигателей1; старший научный сотрудник2;
О.В. Слесарев, к.м.н., ассистент кафедры челюстно-лицевой хирургии и стоматологии3; Ю.С. Стрелков, научный сотрудник лаборатории интеллектуального анализа видеоданных2; И.М. Байриков, д.м.н., профессор, член-корреспондент РАН, зав. кафедрой и клиникой челюстно-лицевой хирургии и стоматологии
1Самарский национальный исследовательский университет им. академика С.П. Королева, Московское шоссе, 34, Самара, 443086;
2Институт систем обработки изображений РАН — филиал Федерального научно-исследовательского центра «Кристаллография и фотоника» РАН (ИСОИ РАН), ул. Молодогвардейская, 151, Самара, 443001; 3Самарский государственный медицинский университет, ул. Чапаевская, 89, Самара, 443099
Контроль и анализ малых изменений на медицинском изображении, недоступных для восприятия зрением человека, позволяют обратить внимание на диагностически важные рентгенологические признаки, влияющие на правильную постановку диагноза.
Цель исследования — разработка информационной технологии, облегчающей раннюю диагностику заболеваний по медицинскому изображению.
Материалы и методы. Для контроля изменений на изображении мы использовали его преобразование, основанное на решении частного случая задачи о рюкзаке. Предложенное преобразование обладает высокой чувствительностью к любым изменениям изображения и позволяет наглядно фиксировать отклонения с высокой точностью. Медицинские изображения были получены с помощью метода конусно-лучевой компьютерной томографии.
Результаты. Апробация информационной технологии на томограммах показала следующее: преобразованные изображения фрагментов здоровой костной ткани на различных участках челюсти имеют похожую форму и приблизительно одинаковый диапазон яркостей. Преобразованное изображение костной ткани после лечения имеет форму, близкую к форме преобразованного изображения здоровой костной ткани. Преобразованное изображение пораженной костной ткани имеет форму и диапазон яркостей, которые не совпадают с формой и цветом преобразованных изображений здоровой костной ткани и костной ткани после лечения. При этом преобразование медицинского изображения, полученного с помощью аппарата Planmeca ProMax 3D Classic (Финляндия), позволяет фиксировать изменения, которые могут составлять менее 0,0001% всего изображения.
Заключение. Предлагаемый метод позволяет человеческому зрению на преобразованном изображении фиксировать изменения до одного пикселя, что невозможно сделать на исходном медицинском изображении. Увеличение цветового контраста преобразованного медицинского изображения позволяет выявить структуру анализируемого фрагмента медицинского изображения. Предлагаемый метод преобразования изображения может использоваться при ранней диагностике заболеваний и в других областях медицины.
Ключевые слова: лучевая диагностика; медицинское изображение; преобразование диагностического изображения; чувствительность преобразованного изображения к изменениям.
Как цитировать: Abulkhanov S.R., Slesarev O.V., Strelkov Yu.S., Bayrikov I.M. Technology for high-sensitivity analysis of medical diagnostic images. Sovremennye tehnologii v medicine 2021; 13(2): 6-17, https://doi.org/10.17691/stm2021.13.2.01
Для контактов: Абульханов Станислав Рафаелевич, е-mail: Abulhanov58@mail.ru
Technology for High-Sensitivity Analysis of Medical Diagnostic Images
S.R. Abulkhanov, PhD, Associate Professor, Department of Engine Manufacturing Technologies1;
Senior Researcher2;
0.V. Slesarev, MD, PhD, Assistant, Department of Maxillofacial Surgery and Dentistry3;
Yu.S. Strelkov, Researcher, Video Data Mining Laboratory2;
1.M. Bayrikov, MD, DSc, Professor, Corresponding Member of the Russian Academy of Sciences,
Head of the Department and Clinic of Maxillofacial Surgery and Dentistry3
1Samara National Research University, 34 Moskovskoye Shosse, Samara, 443086, Russia;
2Image Processing Systems Institute of the Russian Academy of Sciences (IPSI RAS) —
Branch of the Federal Scientific Research Center "Crystallography and Photonics" of the Russian Academy
of Sciences, 151 Molodogvardeyskaya St., Samara, 443001, Russia;
3Samara State Medical University, 89 Chapayevskaya St., Samara, 443099, Russia
Control and analysis of small, inaccessible to human vision changes in medical images make it possible to focus on diagnostically important radiological signs important for the correct diagnosis.
The aim of the study was to develop information technology facilitating the early diagnosis of diseases using medical images.
Materials and Methods. To control changes in the image, we used its transformation based on solving a particular case of the knapsack problem. The proposed transformation is highly sensitive to any changes in the image and provides the possibility to record deviations visually with high accuracy. Medical images were obtained using cone beam computed tomography.
Results. Practical evaluation of the information technology on tomograms showed the following: the transformed images of healthy bone tissue fragments from different parts of the jaw have similar shapes and nearly the same range of brightness. The transformed image of bone tissue after treatment has a shape close to that of the transformed image of healthy bone tissue. The transformed image of the affected bone tissue has a shape and brightness range differing from the shape and color of the transformed images of healthy bone tissue and bone tissue after treatment. However, transformation of medical images obtained with the Planmeca ProMax 3D Classic device (Finland) allows recording changes that account for less than 0.0001% of the entire image.
Conclusion. The proposed method allows human vision to capture changes as small as nearly one pixel in the transformed image, which is impossible with the original medical image. Increasing the color contrast of the transformed medical image makes it possible to reveal the structure of the analyzed medical image fragment. The proposed image transformation method can be used for early diagnosis of diseases and in other fields of medicine.
Key words: radiodiagnosis; medical image; diagnostic image transformation; sensitivity of the transformed image to changes.
English
Введение
Успешность лечения многих заболеваний определяется тем, на какой стадии был установлен диагноз. Ранняя диагностика позволяет своевременно выявлять причину заболевания и в результате этого проводить более эффективное лечение.
Медицинская оцифрованная визуализация с помощью лучевых технологий позволяет неинвазивно получать изображения внутренних органов тела для клинического анализа и медицинского вмешательства. Вместе с этим лучевые технологии (рентгеноскопия, рентгенография, рентгеновская компьютерная диагностика) не могут быть использованы для ранней диагностики. Этому мешают следующие обстоятельства:
цифровой детектор излучения не позволяет определить структуру изменений в зоне интереса медицинского изображения (МИ);
орган зрения человека не способен зафиксировать малые изменения на статическом изображении [1, 2];
на изображениях, полученных в разное время, будут присутствовать систематические помехи: невозможно обеспечить одинаковое пространственное положение исследуемого объекта в различные моменты времени; характеристики источника излучения и его детектора изменяются со временем.
Авторы исследований [3-5] предлагают численное моделирование биомеханических процессов в медицинской практике на основе моделей механики сплошных сред и численных методов решения соответствующих систем дифференциальных уравнений. Однако предлагаемые методы не могут быть использованы для ранней диагностики заболевания по следующим причинам:
не известны индивидуальные физико-технические параметры исследуемой ткани организма пациента; не известны индивидуальные особенности
метаболических процессов исследуемой биологической ткани пациента.
Использование статистических моделей [6-8] для выявления и анализа тренда малых изменений на изображении анатомических объектов неприемлемо по следующим причинам:
недостаточная изученность процессов, протекающих в биологических тканях, не позволяет выявить все факторы, влияющие на динамику и характер изменений исследуемого анатомического объекта;
клинические методики диагностики заболевания предусматривают визуальный анализ изображения исследуемого органа. Статистической обработке подлежат качественные параметры (изменение яркости отдельных зон, появление новообразований и др.), по которым судят о стадии заболевания. Более сложные параметры МИ, например структура, не доступны для восприятия зрением человека, но именно такие параметры могут быть наиболее значимыми для ранней диагностики заболевания.
Определение фрагментов МИ, которые наиболее значимы для диагностирования заболевания, называется сегментацией [9-13]. Правила сегментации формируются с использованием клинической методики диагностирования заболевания. Однако современный клинический опыт не позволяет осуществлять раннюю диагностику с помощью выявления малых изменений на МИ, которые недоступны для восприятия зрительной системой человека.
В рассмотренных методах обработка МИ осуществлялась на основе априорного опыта, доступного человеку с помощью органов чувств [1, 2]. Однако ограниченность возможностей человеческого восприятия не позволяет выявить все особенности развития болезни.
Мы считаем, МИ должно быть преобразовано таким образом, чтобы малые изменения изображения были адаптированы для восприятия зрением человека. Визуализация преобразованного МИ (ПМИ) позволит медицинскому персоналу выполнять раннюю диагностику без привлечения технических специалистов.
Результаты анализа публикаций по этому направлению показали, что тема недостаточно изучена.
Целью статьи явилась разработка информационной технологии, облегчающей раннюю диагностику заболевания по медицинскому изображению.
Материалы и методы
Преобразованное медицинское изображение должно выявлять малые изменения на исходном МИ, недоступные для зрительного восприятия человеком.
Приемлемая методика преобразования МИ изложена в работе [14]. Суть методики состоит в решении частного случая задачи о двухмерном рюкзаке [1518], размер которого ограничен (bounded knapsack problem).
Для создания ПМИ мы рассматривали черно-белое МИ. Вес всех предметов определенного типа со-
ответствовал количеству пикселей с некоторой градацией яркости — от белого до черного. Количество предметов, которые мы «размещали в рюкзаке», соответствовало количеству градаций яркости на изображении, которое может быть произвольным натуральным числом, включая наиболее актуальные для МИ числа: 256, 1024 и 16 384. Мы полагали, что цена каждого предмета равна 1. Преобразование МИ мы осуществили на основе теоремы о возможности ортогонального размещения без взаимных пересечений последовательности квадратов, у которых общая площадь равна 1, в квадрате площадью 2 [1618]. Количество пикселей, которые соответствуют определенной градации яркости, мы отнесли к общему количеству пикселей МИ1. Нормирование количества пикселей определенной градации яркости позволяет абстрагироваться от размера изображения. Каждое полученное отношение мы интерпретировали как площадь некоторого квадрата. Количество таких квадратов всегда конечно, поскольку цифровые цветовые палитры содержат конечное количество цветов. Сумма площадей таких квадратов равна 12. Сторона каждого квадрата равна корню квадратному из отношения количества пикселей определенной яркости к общему количеству пикселей МИ. Каждой градации яркости от белого до черного на МИ мы присвоили определенный цвет некоторой цветовой модели (ЦМ) [19]. Цвета выбранной ЦМ мы придавали квадратам, размещаемым в квадрате площадью 2. Это было необходимо для увеличения контрастности восприятия человеческим зрением ПМИ. Затем мы упорядочили квадраты по мере убывания их площадей. Размещение такой последовательности квадратов в квадрат площадью 2 мы предлагаем считать преобразованием МИ.
Для примера рассмотрим томограмму челюсти (рис. 1). Изображение имеет формат .jpg и состоит из 945 строк и 1327 столбцов. Таким образом, это черно-белое изображение имеет разрешение 945*1327=1254 015 пикселей.
Для данного изображения в программной среде MATLAB была определена гистограмма3 для градации яркости, которая в виде таблицы представля-
1Такое преобразование количества пикселей различной яркости на изображении называется нормированием. Нормированное количество пикселей определенной яркости не имеет размерности и изменяется в границах от 0 до 1.
2Сумма количеств пикселей, соответствующих различным градациям яркости, равна общему количеству пикселей изображения. Отношение сумм всех таких групп пикселей к общему числу пикселей изображения равно 1.
3Гистограмма — столбчатый график, у которого ордината каждого столбика соответствует количеству пикселей определенной градации яркости на анализируемом изображении, абсцисса — индексу определенной градации яркости.
рис. 2, б мы интерпретировали как площади квадратов. Это означает, что значения гистограммы на рис. 2, в равны корню квадратному из соответствующих значений ординат гистограммы на рис. 2, б.
В соответствии с работами [16-18] мы разместили последовательность квадратов, площадь
Рис. 1. Томограмма челюсти человека
ет последовательность распределения количества пикселей определенной яркости.
Без потери общности покажем обработку пикселей изображения, у которых индекс градации яркости от белого до черного равнялся 125. Таких пикселей на изображении насчитывалось 5963. Определяем долю таких пикселей на рис. 1: 5963
1254015 = 755
Полученная величина является нормированной долей количества пикселей с индексом яркости 125 на изображении (рис. 2, а).
Далее на рис. 1 определяли количество пикселей, имеющих индексы яркости от 0 до 255. Количество таких пикселей нормировали, т.е. определяли их долю на изображении. Операция нормирования гистограммы необходима для абстрагирования от размера МИ.
Затем нормированные количества пикселей определенной яркости упорядочивали по мере убывания. Это означает, что в последовательности упорядоченных нормированных количеств пикселей первым элементом будет наибольшее нормированное количество пикселей определенной яркости, а последним — наименьшее нормированное количество пикселей определенной яркости.
Заключительной операцией будет извлечение квадратного корня из нормированного количества пикселей определенной яркости. Например, для нормированного количества пикселей с индексом яркости 125 это будет означать
si0,004 755=0,068 956 5.
В предлагаемом нами методе величину 0,068 956 5 мы интерпретируем как сторону квадрата.
Каждой градации яркости — от белого до черного — на рис. 2, а мы присвоили определенный цвет ЦМ RGB (рис. 2, б). На рис. 2, в показаны упорядоченные по мере убывания значения гистограммы на рис. 2, б. При этом значения гистограммы на
0,04
0,02
Нормированное количество пикселей определенной яркости
Нормированная гистограмма
50 100 150 200 Градации серого цвета
250
0,04
0,02
Нормированное количество пикселей определенной яркости
Нормированная цветная гистограмма
■1111111111111111111111111
50 100 150 200 Градации цвета jet
Величина сторон квадратов
250
0,15
0,10
0,05
Нормированная упорядоченная цветная гистограмма
Ниш
Рис. 2. Преобразование гистограмм томограммы на рис. 1:
а — исходная черно-белая гистограмма; б — присвоение значениям гистограммы на рис. 2, а цветов ЦМ RGB; в — упорядочивание гистограммы по мере убывания с извлечением квадратного корня из значений гистограммы на рис. 2, б; г — преобразованное медицинское изображение с приданием каждому квадрату цветов ЦМ RGB
0
а
0
б
0
в
г
каждого из которых соответствует значениям упорядоченной гистограммы, в квадрат площадью 2 (рис. 2, г). Придание квадратам окраски, выбранной ЦМ (гистограмма на рис. 2, б), увеличивает цветовой контраст ПМИ, что позволяет выявить структуру анализируемого МИ. Выбранная ЦМ RGB в наибольшей степени соответствует восприятию цветов человеческим зрением.
Для реализации поставленной нами цели мы провели анализ результатов динамического наблюдения биотрансформации костнопластического материала в реципиентном ложе в послеоперационном периоде на этапах врачебного контроля пациента.
В качестве методов визуализации динамики процесса биотрансформации трансплантата применяли конусно-лучевую компьютерную томографию (КЛКТ) и телерентгенографию головы в боковой проекции. Для проведения КЛКТ использовали аппарат Planmeca ProMax 3D Classic (Planmeca, Финляндия), соблюдали стандартные условия съемки изучаемого объекта. Был выбран режим съемки «М» (взрослый) с напряжением в рентгеновской трубке 90 кВ и силой тока 6,3 мА; диаметр объема — 50 мм, высота объема — 80 мм, произведение дозы на площадь (DAP) — 472 мГрсм2; компьютерно-томографический индекс дозы (CTDY) — 4,6 мГр. Томограмма представляла собой черно-белое полутоновое растровое изображение с глубиной яркости 8 бит.
Для наблюдения за динамикой заболевания необходимо преобразовывать не все МИ, а только те его фрагменты (зоны интереса), которые, по мнению врача, наиболее значимы для диагностирования. Форму такого фрагмента и его положение на томограмме
должен определять врач на основе своего практического опыта. Рассмотрим применение предлагаемого метода к конкретному случаю.
У пациента Х. (история болезни описана в работе [19]) наблюдалась одонтогенная киста. Для возмещения пораженной костной ткани использовали остеокондуктивный гранулированный костнопластический материал животного происхождения. Наблюдение и лечение пациента проводилось одним врачом. На рис. 3 показана томограмма, которая была выполнена во время первого обращения X. к врачу. На рис. 3, а показана томограмма челюстного сустава с пораженной костной тканью, на рис. 3, б, в — фрагменты здоровой и пораженной костной ткани этого же сустава. Фрагменты изображения здоровой и больной костной ткани выбирал лечащий врач. В табл. 1 приведены размеры изображения и выделенных фрагментов.
Лечение осуществляли путем удаления пораженной костной ткани, взамен которой помещали гранулированный материал из костной ткани животного происхождения (ксенотрансплантат). С течением времени ксенотрансплантат интегрировали в костную ткань нижней челюсти.
На рис. 4, а показана томограмма костной ткани с вживленным ксенотрансплантатом, на рис. 4, б, в — фрагменты здоровой и регенерированной костной ткани этого же сустава, выбранные лечащим врачом. В табл. 2 приведены размеры изображения и выделенных фрагментов.
Томограммы на рис. 3 и 4 были выполнены с разницей во времени 3 мес. Мы предположили, что в течение этого времени в условиях работы
Рис. 3. Томограмма челюстного сустава пациента, выполненная во время первого обращения:
а — исходное изображение; б — выделенная врачом зона здоровой костной ткани; в — выделенная врачом зона пораженной костной ткани
Таблица 1
Размеры изображения и выделенных фрагментов на рис. 3
Изображения Рис. 3, а — ткань в момент первого обращения к врачу Рис. 3, б — здоровая костная ткань Рис. 3, в — пораженная костная ткань
Размер изображения, пиксели 709x1174=832366 591x936=553176 591x941=556131
Количество пикселей на выбранном фрагменте _ 30 129 75 454
Рис. 4. Томограмма пациента, зарегистрированная после лечения:
а — изображение в момент последнего обращения; б — выделенная врачом зона здоровой костной ткани; в — выделенная врачом зона регенерированной костной ткани
Таблица 2
Размеры изображений и выделенных фрагментов на изображениях рис. 4
Изображения Рис. 4, а — ткань в момент последнего обращения к врачу Рис. 4, б — здоровая костная ткань Рис. 4, в — регенерированная костная ткань
Размер изображения, пиксели 1709x1875=3 204 375 1063x1053=1 119339 1563x1753=2739939
Количество пикселей выбранного фрагмента — 36 147 109255
стоматологической поликлиники, в соответствии с данными [20, 21], выгорания нити накала рентгеновского аппарата практически не происходит. По этой причине коррекцию по яркости томограмм на рис. 3 и 4 не проводили.
Системы координат изображений на рис. 3 и 4 различаются в результате изменения пространственной ориентации нижней челюсти пациента относительно источника рентгеновского излучения. Это обстоятельство приводит к изменениям яркости на томограммах, выполненных в разное время. Для диагностики по МИ ранней фазы развития болезни необходимо такие изображения совместить. Поэтому изображение на рис. 4 нами было смещено, повернуто на определенные углы, а также изменен
масштаб. Значения смещения, углов и коэффициента масштабирования определяли с помощью опорных точек [22-26]. Опорные точки на изображении (см. рис. 3, б, в) совпадали с вершинами многоугольников интереса (б — выделенный врачом фрагмент здоровой костной ткани; в — фрагмент пораженной костной ткани). Точек стереопар было не менее 14 (см. рис. 4, б). Координаты точек на рис. 5, б, в, которые соответствуют опорным точкам на рис. 4, б, в, определяли с помощью фототриангуляции методом связок [27, 28].
Предлагаемым методом мы исследовали динамику процесса биотрансформации трансплантата. Для этого был проведен сравнительный анализ томограмм
Рис. 5. Томограмма на рис. 1 с потерей данных:
а — томограмма без 1-го столбца; б — томограмма без последней строки; в — томограмма без 47-й строки и без наклонного отрезка
тшшшшшшшшшшшшшшшшшшшшшшшшш^^^
Технология высокочувствительного анализа медицинских диагностических изображений СТМ | 2021 | том 13 I №2 11
Рис. 6. Преобразованные медицинские изображения:
а — рис. 5, а; б — рис. 5, б; в — рис. 5, в. Размерность изображений — 450x450
Рис. 7. Выбранные случайным образом точки на изображении томограммы
челюстей до и после устранения костного дефекта на двух группах пациентов: 1-я группа (п=10) — испытуемая, 2-я (п=20) — контрольная. Костные дефекты заполняли двумя типами биодеградируемого гранулированного остеопластического материала. В испытуемой группе использовали многокомпонентный аугментат, в контрольной — остеокондуктивный ксено-генный материал. Исследование проведено в соответствии с Хельсинкской декларацией (2013) и одобрено Этическим комитетом Самарского государственного медицинского университета. От каждого пациента получено информированное согласие.
После устранения дефекта кости через 6 мес проводили исследование качества восстановления костной ткани: в испытуемой группе — у пациентки С., 29 лет (рис. 6); в контрольной группе — у пациента А., 33 года (рис. 7).
На рис. 6, б показан результат выделения фрагмента здоровой костной ткани, прилежащего к де-
фекту, для получения индивидуального контрольного показателя нормы; на рис. 6, в — фрагмент реорганизованного многокомпонентного материала в костном дефекте.
Результаты
Выполнено исследование чувствительности предлагаемого метода преобразования МИ к изменениям на изображении. Для этого на растровом изображении нижней челюсти на рис. 5 мы удалили один столбец, одну строку и одновременно одну строку и наклонный отрезок (выделены различными цветами). Во всех трех случаях на рис. 6 происходила потеря данных изображения на рис. 1 (945x1327 пикселей):
потеря одного столбца на рис. 6, а — 945/(945x1327)-100% = 0,075%;
потеря одной строки на рис. 6, б — 1327/ (945x1327) ■ 100% = 0,11%;
потеря строки и наклонной линии на рис. 6, в — 2 ■ 1327/(945x1327) ■ 100%==0,22%.
Изменения на рис. 5, а, б, в хорошо фиксируются на рис. 6 визуально.
На изображении (см. рис. 1) мы удаляли случайно и поочередно 10 точек (см. рис. 7). Потеря каждой точки (пикселя) изображения приводила к потере данных на величину менее 0,0001% — 1/(945x1327)•100%=0,000 07%. Анализ изображения с потерянной точкой показал, что визуально зафиксировать потерю одного пикселя невозможно. Мы вычли из преобразованного исходного изображения на рис. 2 преобразованное изображение на рис. 1 без одного пикселя. При этом на сформированном в результате вычитания изображении мы увеличили в 10 раз контрастность. На рис. 8 приведены изображения
Рис. 8. Изображения, которые получены в результате вычитания из исходного преобразованного изображения на рис. 1 преобразованного изображения томограммы без одной точки (пикселя):
а — точка 6; б — точка 3. Размерность изображений — 450x450
III
с наименьшей и наибольшей разницей между исходным изображением и изображениями с потерянным пикселем.
Из рис. 8 видно, что потеря одного пикселя меняет структуру всего преобразованного изображения. Это обстоятельство соответствует условию, которому должно удовлетворять преобразование диагностического изображения: малые изменения на исходном изображении, недоступные для зрительного восприятия человеком, должны определять картину на преобразованном изображении.
Мы поменяли МИ и не удалили пиксель, а изменили его яркость (рис. 9, 10). На рис. 9 показана томограмма с выделенной врачом зоной интереса. В этой зоне мы выбрали пиксель яркостью 86. На этом же изображении мы присвоили (сообщили) выбранному пикселю значение яркости 131. Оба изображения были нами преобразованы (рис. 9, б, г). Полученные рисунки показывают, что изменение яркости у одного пикселя приводит к изменению преобразованного изображения зоны интереса.
На рис. 10 показана последовательность преобразования зоны интереса на рис. 3, б (здоровая костная ткань). Мы использовали ее для преобразования зон интереса на рис. 3, в и рис. 4, б, в (рис. 11). На рис. 11 хорошо видна разница между здоровой, пораженной и регенерированной костной тканью. При этом фигуры на преобразованных
Рис. 9. Изменение яркости пикселя в зонах интереса на томограмме:
а — изображение зоны интереса с указанием пикселя с яркостью 86; б — преобразованное изображение зоны интереса на рис. 10, а; в — изображение зоны интереса с указанием пикселя с яркостью 131; г — преобразованное изображение зоны интереса на рис. 10, б
изображениях рис. 10, в и рис. 11, а имеют форму, близкую к подобной4, и приблизительно одинаковый
4Подобные формы означают имеющие сходные формы размещенных квадратов в квадрате площадью 2.
б
а
0,04 0,03 0,02 0,01 0
Нормированное количество пикселей
Цветовая палитра RGB
50
100
150 200 250
Градации серого цвета
0,04 0,03 0,02 0,01 0
0,04 0,03 0,02 0,01 0
Нормированное количество пикселей
ш
Цветовая палитра RGB
50 100
б
150 200 250
Градации серого цвета
Нормированное количество пикселей
Рис. 10. Последовательность преобразования зоны интереса на рис. 4, в:
a — гистограмма черно-белого изображения; б — присвоение гистограмме зоны интереса цветов ЦМ RGB; в — упорядоченная по убыванию гистограмма зоны интереса; г — преобразованное изображение зоны интереса на рис. 3, б (здоровая костная ткань)
диапазон яркостей. Это обстоятельство объясняется тем, что оба изображения соответствуют здоровой костной ткани. Разница между рис. 10, в и рис. 11, а объясняется временем наблюдения — интервал между изображениями составляет 3 мес. За это время состояние пациента могло измениться по
различным причинам. В связи с этим возникает необходимость в создании структурного критерия физиологической нормы исследуемой ткани.
Фигуры на преобразованных изображениях (рис. 11, а, в) имеют близкую к подобной форму, но при этом отличаются диапазоном яркостей. Это объясняется тем, что кость, сформированная после лечения, приближается по своей структуре к здоровой ткани, но имеет и различия.
Результаты применения предлагаемого способа визуализации динамики изменений на томограммах че-
Рис. 11. Преобразованные изображения различных фрагментов костной ткани:
а — здоровая костная ткань (рис. 4, б); б — пораженная костная ткань (рис. 3, в); в — костная ткань после лечения (рис. 4, в)
а
в
г
люсти с костным дефектом показали следующие возможности диагностирования заболевания:
выполнять раннюю диагностику;
визуально выявлять с высокой точностью закономерности, характерные для разных стадий заболевания;
обеспечивать высокую степень объективности диагностирования.
Визуально может быть обнаружена разница между двумя изображениями с точностью до 1 пикселя, хотя такая точность, по нашему мнению, избыточна.
Следует отметить, что для использования предлагаемого метода необходимо растровое МИ. При этом не имеет значения, какова природа физических методов, с помощью которых было получено изображение. Это может быть рентгенография, компьютерная томография, МРТ и другие методы, которые используют для визуализации растровые изображения.
Обсуждение
Предлагаемый метод преобразования МИ позволяет визуализировать изменения на изображении до одного пикселя, что может составлять менее 0,0001% изображения. Нам не известны другие методы визуализации, которые позволяют с такой точностью фиксировать изменения на контролируемом изображении. Визуализация малых изменений достигается преобразованием изображения. Результатом преобразования является адаптация малых изменений для восприятия зрением человека, которое имеет естественные ограничения разрешающей способности.
Преобразование использует информацию от всего диагностического изображения, а не только той его части, которая подверглась в результате заболевания изменениям. По этой причине ранняя диагностика по преобразованному изображению позволит обеспечить наиболее достоверный диагноз заболевания.
Использование ЦМ, ориентированных на восприятие цветов зрением человека, при формировании преобразованного изображения позволяет выявить структуру анализируемой зоны интереса на МИ.
Предлагаемый метод применим для преобразования МИ независимо от физических процессов, с помощью которых они были получены. Единственным условием является следующее требование: изображение должно быть растровым и полутоновым, например черно-белым. В этом случае предлагаемый метод преобразования МИ способен стать универсальным для ранней диагностики различных заболеваний.
Чувствительность метода может привести к фиксации на МИ изменений характеристик технических средств (сенсоров и источников излучения), что будет служить помехой при ранней диагностике. Кроме того, мы полагаем, что изменение яркости небольших групп пикселей на изображении может происходить в границах физиологической нормы. По этим причинам оста-
ется нерешенным вопрос о возможных изменениях на МИ в пределах физиологической нормы.
Проведенный анализ метода преобразования диагностического изображения позволяет сформулировать следующие направления будущих исследований.
1. Выполнение численной параметризации преобразованного изображения с целью изучения динамики протекания заболевания.
2. Разработка методики объективного выделения зоны интереса на основании некоторых критериев, поскольку зону интереса на МИ определяет лечащий врач на основании своего клинического опыта и потому на формирование преобразованного изображения влияет субъективный фактор, что снижает достоверность диагностики заболевания.
3. Создание специального фильтра для компенсации изменений характеристик технических средств и изменений на МИ в пределах физиологической нормы.
Кроме того, при формировании преобразованного изображения был использован частный случай решения задачи о рюкзаке. При этом мы полагали, что цена каждого предмета, который размещается в рюкзаке, равна 1. Это снижает универсальность метода преобразования МИ. Поэтому цена каждого предмета может быть интерпретирована как индивидуальные особенности пациента (например, непереносимость определенных лекарств).
Решение этих задач позволит осуществлять диагностику на ранних этапах и повысить ее объективность.
Заключение
Разработана высокочувствительная технология анализа диагностических изображений, которая позволяет объективно, с высокой точностью и достоверностью фиксировать изменения на томограммах, недоступные для восприятия человеческим зрением.
Предлагаемый нами метод визуализации малых изменений на преобразованных медицинских изображениях целесообразно использовать в телемедицине. Преобразование медицинских изображений предоставляет дополнительные возможности для обработки их другими методами, например с помощью сверточных нейронных сетей [29-33]. Кроме того, структура преобразованного медицинского изображения расширяет в системе координат анализируемого изображения функциональные возможности различных сенсоров и датчиков [34-38].
Финансирование исследования. Информационная технология создана в рамках выполнения гранта Российского фонда фундаментальных исследований №19-29-09054, исследование метода выполнено в рамках государственного задания Федерального научно-исследовательского центра «Кристаллография и фотоника» РАН (соглашение №007-ГЗ/Ч3363/26).
Конфликт интересов. У авторов нет конфликта интересов.
Литература/References
1. Явна Д.В., Бабенко В.В. Психофизиологически обоснованный метод оценки количества информации в изображении. Инженерный вестник Дона 2014; 4: 1-13.
Yavna D.V., Babenko V.V. A psychophysiological^ sound method for assessing the amount of information in an image. Inzenernyj vestnik Dona 2014; 4: 1-13.
2. Applegate R.A., Thibos L.N., Hilmantel G. Optics of aberroscopy and super vision. J Cataract Refract Surg 2001; 27(7): 1093-1107, https://doi.org/10.1016/s0886-3350(01)00856-2.
3. Petrov I.B. Mathematical modeling in medicine and biology by medium mechanics models. Proc MIPT 2009; 1(1): 5-16.
4. Воропаева О.Ф., Шокин Ю.И. Численное моделирование в медицине: некоторые постановки задач и результаты расчётов. Вычислительные технологии 2012; 17(4): 29-55.
Voropayeva O.F., Shokin Yu.I. Numerical simulation in medicine: formulations of the problems and some results of calculations. Vycislitel'nye tehnologii 2012; 17(4): 29-55.
5. Беклемышева К.А., Васюков А.В., Петров И.Б. Численное моделирование динамических процессов в биомеханике сеточно-характеристическим методом. Журнал вычислительной математики и математической физики 2015; 55(8): 1346-1355, https://doi.org/10.7868/ S0044466915080049.
Beklemysheva K.A., Vasyukov A.V., Petrov I.B. Numerical simulation of dynamic processes in biomechanics using the grid-characteristic method. Computational Mathematics and Mathematical Physics 2015; 55(8): 1346-1355, https://doi. org/10.7868/s0044466915080049.
6. Parmar C., Barry J.D., Hosny A., Quackenbush J., Aerts H.J.W.L. Data analysis strategies in medical imaging. Clin Cancer Res 2018; 24(15): 3492-3450, https://doi. org/10.1158/1078-0432.ccr-18-0385.
7. Eardi L., Aston J.A.D. Statistical analysis of functions on surfaces, with an application to medical imaging. J Am Stat Assoc 2019; 115: 1420-1434, https://doi.org/10.1080/0162145 9.2019.1635479.
8. Saturi R., Dara R., Chand P.P. Extracting subset of relevant features for breast cancer to improve accuracy of classifier. IJITEE 2019; 8(11): 1670-1674, https://doi. org/10.35940/ijitee.k1507.0981119.
9. Sinha A., Dolz J. Multi-scale guided attention for medical image segmentation. IEEE J Biomed Health Inform 2021; 25(1): 121-130, https://doi.org/10.1109/jbhi.2020.2986926.
10. Зимичев Е.А., Казанский Н.Л., Серафимович П.Г Пространственная классификация гиперспектральных изображений с использованием метода кластеризации k-means++. Компьютерная оптика 2014; 38(2): 281-286.
Zimichev E.A., Kazanskiy N.L., Serafimovich P.G. Spectral-spatial classification with k-means++ particional clustering. Computer Optics 2014; 38(2): 281-286.
11. Yuan Y., Lo Y.C. Automatic skin lesion segmentation with fully convolutional-deconvolutional networks. IEEE J Biomed Health Inform 2019; 23(2): 519-526, https://doi.org/ 10.1109/jbhi.2017.2787487.
12. Song X., Wu L., Liu G. Unsupervised color texture segmentation based on multi-scale region-level Markov random field models. Comput Opt 2019; 43(2): 264-269.
13. Zakani F.R., Bouksim M., Khadija A., Aboulfatah M., Gadi T. Segmentation of 3D meshes combining the artificial
neural network classifier and the spectral clustering. Comput Opt 2018; 42(2): 312-319.
14. Abul'khanov S.R., Kazanskiy N.L. Information pattern in imaging of a rough surface. IOP Conference Series: Materials Science and Engineering 2018; 302: 012068, https://doi. org/10.1088/1757-899x/302/1/012068.
15. Martello S., Toth P. Knapsack problems. Chichester: John Wiley and Sons Ltd; 1990.
16. Moon J.W., Moser L. Some packing and covering theorems. Colloq Math 1967; 17: 103-110.
17. Kazanskiy N., Kuznetsov M. The necessary bound of rectangle's square for packing into this any system of five and more than five finite quantity squares with total area 1. Procedia Eng 2017; 201: 801-805, https://doi.org/10.1016/j. proeng.2017.09.601.
18. Honsberger R. Mathematical morsels. Washington: Mathematical association of America; 1978.
19. Slesarev O., Bayricov I., Trunin D., Abul'khanov S., Kazanskiy N. Influence of data visualization of temporomandibular joint on the formation of clinical groups. RAD Conference Proceedings 2017; 2: 212-216, https://doi. org/10.21175/radproc.2017.43.
20. Jones H.A., Langmur I., Mackay G.M.J. The rates of evaporation and the vapor pressures of tungsten, molybdenum, platinum, nickel, iron, copper and silver. Phys Rev 1927; 30(2): 201-214, https://doi.org/10.1103/physrev.30.201.
21. Wilson A.D. Tungsten filament life under constant-current heating. J Appl Phys 1969; 40(4): 1956-1964, https:// doi.org/10.1063/1.1657874.
22. Valstar E.R., Nelissen R.G.H.H., Reiber J.H.C., Rozing P.M. The use of Roentgen stereophotogrammetry to study micromotion of orthopaedic implants. ISPRS J Photogramm Remote Sens 2002; 56(5-6): 376-389, https:// doi.org/10.1016/s0924-2716(02)00064-3.
23. Ильясова Н.Ю., Широканев А.С., Куприянов А.В., Парингер РА. Технология интеллектуального отбора признаков для системы автоматического формирования плана коагулятов на сетчатке глаза. Компьютерная оптика 2019; 43(2): 304-315.
Ilyasova N.Yu., Shirokanev A.S., Kupriyanov A.V., Paringer R.A. Technology of intellectual feature selection for a system of automatic formation of a coagulate plan on retina. Computer Optics 2019; 43(2): 304-315.
24. Grupp R.B., Murphy R.J., Hegeman R.A., Alexander C.P., Unberath M., Otake Y., McArthur B.A., Armand M., Taylor R.H. Fast and automatic periacetabular osteotomy fragment pose estimation using intraoperatively implanted fiducials and single-view fluoroscopy. Phys Med Biol 2020; 65: 245019, https://doi.org/10.1088/1361-6560/aba089.
25. Поляруш Н.Ф., Слесарев О.В., Поляруш М.В. Способ послойнои съёмки височно-нижнечелюстного сустава. Патент РФ 2177722. 2002.
Polyarush N.F., Slesarev O.V., Polyarush M.V. The method of layer-by-layer imaging of the temporomandibular joint. Patent RU 2177722. 2002.
26. Слесарев О.В. Анатомическое обоснование и кпинико-рентгенологическии опыт использования индивидуального анатомического ориентира при визуализации ви-сочно-нижнечелюстного сустава человека методом линейной томографии. Вестник рентгенологии и радиологии 2014; 3: 46-51.
Slesarev O.V. Anatomic rationale and radiological experience in using an individual anatomical landmark during
linear imaging of the human temporomandibular joint. Vestnik rentgenologii i radiologii 2014; 3: 46-51.
27. Shahidi R., Lorensen B., Kikinis R., Flynn J., Kaufman A.E., Napel S. Surface rendering versus volume rendering in medical imaging: techniques and applications. Proc 7th Annual IEEE Visualiz '96 1996: 439-440, https://doi. org/10.1109/visual.1996.568151.
28. Tomlinson S.B., Hendricks B.K., Cohen-Gadol A. Immersive three-dimensional modeling and virtual reality for enhanced visualization of operative neurosurgical anatomy. World Neurosurg 2019; 131: 313-320, https://doi.org/10.1016/j. wneu.2019.06.081.
29. Al-Temimi A.M.S., Pilidi V.S. Improvements of programing methods for finding reference lines on X-Ray images. Comput Opt 2019; 43(3): 397-401, https://doi. org/10.18287/2412-6179-2019-43-3-397-401.
30. Васильненко В.А., Бурковский В.Л., Данилов А.Д. Алгоритмизация процесса распознавания состояний физиологических объектов на основе специальных рентгеновских изображений. Компьютерная оптика 2019; 43(2): 296-303.
Vasilchenko V.A., Burkovskiy V.L., Danilov A.D. Algorithmization of the process of recognition of states of living objects based on special X-ray images. Computer Optics 2019; 43(2): 296-303.
31. Гайдель А.В., Капишников А.В., Пышкина Ю.С., Кол-санов А.В., Храмов А.Г. Метод анализа динамических изображений нефросцинтиграфии. Компьютерная оптика 2018; 42(4): 688-694.
Gaidel A.V., Kapishnikov A.V., Pyshkina Yu.S., Kolsanov A.V., Khramov A.G. Method of nephroscintigraphic dynamic images analysis. Computer Optics 2018; 42(4): 688-694.
32. Kazanskiy N.L., Popov S.B. Machine vision system for singularity detection in monitoring the long process. Optical Memory and Neural Networks (Information Optics) 2010; 19(1): 23-30, https://doi.org/10.3103/s1060992x10010042.
33. Михайличенко А.А., Демяненко Я.М. Выделение контуров костей коленного сустава на медицинских рентгенограммах. Компьютерная оптика 2019; 43(3): 455463, https://doi.org/10.18287/2412-6179-2019-43-3-455-463.
Mikhaylichenko А.А., Demyanenko Y.M. Detection of the bone contours of the knee joints on medical X-ray images. Computer Optics 2019; 43(3): 455-463, https://doi. org/10.18287/2412-6179-2019-43-3-455-463.
34. Kazanskiy N.L., Khonina S.N., Butt M.A. Plasmonic sensors based on Metal-insulator-metal waveguides for refractive index sensing applications: a brief review. Physica E Low Dimens Syst Nanostruct 2020; 117: 113798, https://doi. org/10.1016/j.physe.2019.113798.
35. J^drzejewska-Szczerska M., Karpienko K., Wrobel M.S., Tuchin V.V. Sensors for rapid detection of environmental toxicity in blood of poisoned people. In: Nikolelis D.P., Nikoleli G.P. (editors) Biosensors for security and bioterrorism applications. Switzerland: Springer International Publishing; 2016; p. 413430, https://doi.org/10.1007/978-3-319-28926-7_19.
36. Казанский Н.Л., Бутт M.A., Дегтярев С.А., Хони-на С.Н. Достижения в разработке плазмонных волновод-ных датчиков для измерения показателя преломления. Компьютерная оптика 2020; 44(3): 295-318.
Kazanskiy N.L., Butt M.A., Degtyarev S.A., Khonina S.N. Achievements in the development of plasmonic waveguide sensors for measuring the refractive index. Computer Optics 2020; 44(3): 295-318.
37. Ebrahimi A., Scott J., Ghorbani K. Microwave reflective biosensor for glucose level detection in aqueous solutions. Sens Actuator A Phys 2019; 301: 111662, https://doi. org/10.1016/j.sna.2019.111662.
38. Govind G., Akhtar M.J. Metamaterial-inspired microwave microfluidic sensor for glucose monitoring in aqueous solutions. IEEE Sens J 2019; 19(24): 11900-11907, https://doi.org/10.1109/jsen.2019.2938853.
