CC BY
12
DOI 10.36622/^Ти.2021.17.4.005 УДК 621.383.8
ПОВЫШЕНИЕ ИНФОРМАТИВНОСТИ СОВМЕЩЕННЫХ РАЗНОДИАПАЗОННЫХ ИЗОБРАЖЕНИЙ В МЕДИЦИНСКОЙ ДИАГНОСТИКЕ
А.Н. Ветров, А.Ю. Потлов Тамбовский государственный технический университет, г. Тамбов, Россия
Аннотация: задача повышения качества результатов медицинской диагностики и удобства их интерпретации является актуальной на современном этапе развития биомедицинской инженерии. Особый интерес представляют методы визуализации, применимые при диагностике онкологических заболеваний. Повышать достоверность медицинской диагностики таких патологических состояний предлагается посредством совмещения разнодиапазонных изображений, в частности сканов в инфракрасном и видимом диапазонах длин волн. Предлагается методика, в которой два изображения конкретного биообъекта, полученные от датчиков, работающих в разных частотных диапазонах, имеющие одинаковые пространственные параметры и сформированные с общего ракурса, сводятся в общее изображение чересстрочно. Новизна предлагаемой методики заключается в том, что после совмещения изображений производится взаимная передача заданных частей каждого пикселя соседним пикселям по вертикали. В полученном изображении каждый пиксель содержит информацию оптического и инфракрасного изображений в заданных пропорциях. Показано, что предлагаемая методика обеспечивает увеличение информативности в полученном изображении в шесть раз относительно исходных изображений. Предлагаемая методика совмещения разнодиапазонных изображений может быть применена в различных прикладных областях
Ключевые слова: медицинская визуализация, медицинская диагностика, изображение, пиксель, информативность
Введение
Вероятность ошибки при постановке диагноза в значительной мере зависит от качества результатов медицинской визуализации. В первую очередь речь идет о пространственном разрешении и тканевом контрасте. Для снижения риска врачебной ошибки (неверной интерпретации уже имеющихся диагностических данных) часто используются дополнительные многократные сканирования исследуемой ткани или органа с использованием разнодиапа-зонных методов медицинской диагностики. Такой подход во много обоснован, т.к. из бо льшего количества снимков можно получить больше полезной информации. Однако весь потенциал полученных диагностических данных все же не используется в полном объеме ввиду сложности анализа многомерных разноформатных массивов данных. К тому же сбор и интерпретация излишних данных финансово затратны и, что не менее важно, отнимает время, которое при лечении подавляющего большинства заболеваний является критически важным фактором.
Совмещение изображений позволяет упростить и ускорить процесс диагностики и интерпретации результатов медицинской визуализации. Такой подход обеспечивает разум-
ный баланс между объемом диагностических данных, временными и финансовыми затратами на их сбор, а также простотой и удобством их анализа. Среди вариантов совмещения раз-нодиапазонных медицинских изображений следует отметить комплексирование теплови-зионного и оптического изображений [1], поскольку от таких датчиков формируется наиболее достоверная информация об онкологических заболеваниях кожного и приповерхностного типа [2].
Идея совмещения изображений от разно-диапазонных датчиков уже находит разноплановую реализацию. Например, известен «Способ дистанционного обследования объектов электрических сетей с помощью тепловидео-съемочного устройства» [3]. В приведённом способе применяется обычное наложение двух изображений - инфракрасного и оптического, снятых в одном масштабе и с общего ракурса. Недостаток - в результирующем изображении теряются важные детали в оптическом изображении за счёт их перекрытия сегментами инфракрасного изображения, соответствующими наиболее нагретым участкам исследуемого биообъекта.
Существует также метод, в котором использован принцип простого суммирования значений яркости пикселей разнородных изображений - «Способ формирования матричного изображения» [4]. Но этот способ применим
© Ветров А.Н., Потлов А.Ю., 2021
только для чёрно-белых изображений. Недостаток - теряется температурная информация об объектах, т.е. анализ количественных показателей тепловых режимов инфракрасного изображения исключён.
Известен способ «Комплексирование цифровых полутоновых телевизионных и теп-ловизионных изображений» [5]. Но здесь необходимо предварительное преобразование аналоговых сигналов изображений, снимаемых непосредственно с датчиков, в цифровую форму.
Далее организуется комплексирование изображений путём суммирования каждых соответствующих своему положению пикселей по яркости с дальнейшей нормализацией результирующего изображения по яркостному диапазону. Помимо определённых издержек в виде необходимых аппаратурных затрат, этот способ содержит существенный недостаток в том, что сформированное изображение содержит информацию с преобладанием либо теплового изображения, либо оптического. При этом существенно информативность конечного изображения не увеличивается.
Проведённый анализ показал, что в большинстве случаев совмещение изображений сводится к упорядоченной расстановке разнородных пикселей в объединённом изображении в заданном порядке - «Способ совмещения изображений, полученных с помощью различных фотодатчиков» [6].
В этом способе присутствует тот же недостаток, что и в приведённом выше. Более того, информативность результирующего изображения не повышается.
Постановка задачи
На основе приведённых примеров совмещения разнодиапазонных изображений можно сделать вывод, что после совмещения изображений необходимо произвести определённую обработку полученного массива с целью придания каждому пикселю информации о соседних прилежащих пикселях.
Цель - существенное повышение информативности полученного изображения.
Материал и метод исследования
В настоящей работе предлагается методика обработки предварительно совмещённых разнодиапазонных изображений [7,8] с целью существенного повышения информативности.
Суть методики сводится к взаимному внедрению определённой части каждого пикселя в соседний пиксель другого диапазона. Процедура сводится к следующему.
Изначально имеем два массива разнородных изображений с одинаковыми пространственными параметрами по границам и количеству пикселей в каждом изображении. Далее построчно формируется единое изображение, причём предусмотрено чередование строк оптического (телевизионного - ТВ) и теплового (инфракрасного - ИК) (рис. 1). Обозначим: пк -количество пикселей ИК изображения, п - количество пикселей ТВ изображения, 2п^ - количество пикселей общего изображения.
ИК ТВ
ь 0000000000 2: 0000000000 + з: 0000000000 А 0000000000
1, г. 3,4; б. 7, 9, 10, I: 1 3, 4; 5. 6. 7, 8, 9, 10,
& п.
Ь ХХ.ХХХХХХХХ
л X XX х х х х х X х
Ь ХХХХХХХХХХ
41 X X X XX X X X X X
X XX XXXX X XX 0000000000 ХХХХХХХ XXX
"Р
0"0'0"0" X X X X 0000 X X X X
00000 X X X X X 00000 X X X X X 000000000 0 1, :, 3, 41 Ь, 1 71 5, 9, 10,
-11к[
Рис. 1. Принцип формирования совмещённого изображения
Зададим определённые величины - в объединённом изображении расположенные напротив в соседних строках п-е пиксели содержат конкретные количественные значения: Qf- для ТВ и Qtk - для ИК изображений. После показанного совмещения вводится процедура передачи определённых частей каждого пикселя соседним пикселям по противоположным строкам. Каждый пиксель делится по следующим долям: 'Л, %, %. Оптимальность деления пикселей в показанных коэффициентах задавалась требованием по максимальной яркости полученного изображения. Процедура определения полученных коэффициентов деления пикселей сводилась к перебору различных
значений этих коэффициентов с шагом 0,01 от 0 до 0,49 при условии, что два коэффициента должны быть равны, а сумма трёх коэффициентов каждого пикселя равна единице.
Процедура итерации по определению яркости всего изображения Q, с количеством пикселей N сводилась к следующему [9, 10]:
1 N
+ °р + Вр'
Р=1
В результате чего получена следующая графическая зависимость значений суммарной яркости при различных коэффициентах (рис. 2).
Рис. 2. График определения максимальной яркости совмещенных изображений
Таким образом, пиксели видео и теплового изображения состоят из следующих частей:
Qt = QI + QI + QI, ^ =& + & + &.
2 4 4 ' 2 4 4
Отсюда графическая модель предлагаемой методики смешивания двух разнодиапа-зонных изображений сводится к следующему (рис. 3).
Рис. 3. Графическая модель исходного состояния
Математическая модель примет следующий вид:
Qti+1 = Qi+1 2 + Qtk+1 4 + пг+1 "к-1 4 '
Qtk+1 = Qtk+1 2 + (¿Г1 4 + 4 '
= + Qtk+Л + Чк-2
2 4 4
П1+1 = 2 + (¿Г 4 + 4
о1+1 = 2 + Qtk+1 4 + Сгс+1 4 '
Чк+г = 2 + 4 + 4
где Q*+1- состояние п-го пикселя в результате процедуры обмена.
Результирующая графическая модель после передачи заданных частей каждого пикселя примет следующий вид (рис. 4).
Рис. 4. Итоговое значение пикселей
* V ЖШ-АЙ
Для практической реализации предлагаемой методики была применена компьютерная обработка ТВ и ИК изображений общего изображения, что показано на рис. 5.
Рис. 5. Реализация программой Delphi-7 Результат исследований
Для практической реализации предлагаемой методики были сформированы два раз-нодиапазонных изображения одного объекта в инфракрасном (ИК) и оптическом (ТВ) (рис. 6) и (рис. 7) соответственно.
Рис. 6. Первоначальное ИК изображение
Следует отметить, что ИК изображение не детализирует объект съёмки, а только показывает распределение температуры по поверхности объекта. Детализация реализуется только на оптическом изображении.
Рис. 7. Первоначальное ТВ изображение
Оба эти изображения сводились в одно общее изображение путём чередования строк инфракрасного и оптического диапазонов (рис. 8).
Следствием этой процедуры явилось то, что обобщённое изображение увеличилось по вертикали в два раза. Сформированное изображение стало содержать информацию об инфракрасном диапазоне и оптическом диапазоне рассматриваемого объекта.
Информативность полученного изображения увеличена в два раза относительно исходных изображений.
Рис. 8. Результат процедуры чересстрочного объединения исходных изображений
Далее организуется передача частей каждого пикселя по вертикали. Результат после перемещения заданных частей каждого пикселя по вертикали показан на рис. 9.
Рис. 9. Результирующее изображение после перемешивания частей соседних пикселей
Для того, чтобы определить полученную информативность [11] при реализации предлагаемой методики воспользуемся следующими рассуждениями.
ТВ и ИК изображения содержат одинаковое количество пикселей т.
где т.1 - число пикселей ИК изображения, т1 - число пикселей ТВ изображения.
Пусть h - информативность исходного пикселя. Предлагаемая методика совмещения основана на поочередном суммировании строк ИК и ТВ изображений. Таким образом, число пикселей Мс в совмещенном изображении можно вычислить как сумму числа пикселей ИК и ТВ изображений:
Мс _ т.1 + т1: _ 2 • т,
где Мс - количество пикселей в объединённом изображении. Тогда обобщённая информативность будет:
Объединённое изображение имеет в два раза больше пикселей по отношению к исходным изображениям. Можно сделать вывод, что на данном этапе совмещения по предлагаемому способу информативность относительно исходного ТВ или ИК изображения повысилась в 2 раза. В разработанной методике после поочередной записи строк в результирующее изображение организуется разделение значений пикселей на предусмотренные доли. Далее организуется перемещение (внедрение) двух четвертных долей всех пикселей по одной в соседние пиксели по вертикали. За счёт этого каждый пиксель полученного изображения хранит информацию как о ТВ изображении, так и об ИК изображении. Причём один пиксель будет состоять из двух частей ИК пикселя и одной части ТВ, а другой пиксель из двух частей ТВ пикселя и одной части ИК пикселя.
То есть каждый пиксель совмещенного изображения несет в себе в три раза больше информации относительно исходного. Если h -информативность исходного пикселя, тогда 3h - информативность пикселя совмещенного изображения.
Если Я; = т.1 • к - информативность исходного ИК изображения; = • к - информативность исходного ТВ изображения, то информативность совмещенного изображе-
ния:
Н* _ тг • 3 • к + • 3 • к = 3 • к
(тг + тс)
Рассчитаем относительную эффективность п предлагаемой методики, принимая за меру информативность исходного изображения Нс:
_ Н* _ 6-т-к _ 6
^ Нс т-К .
Таким образом, разработанная и предложенная методика совмещения и обработки разнодиапазонных изображений позволяет увеличить информативность итогового изображения по отношению к исходным изображениям в шесть раз.
Нс _ 2 • т • к.
Выводы
Разработана методика совмещения и обработки разнодиапазонных изображений с целью повышения информативности при медицинской диагностике онкологических заболеваний приповерхностного характера. Определены пропорции оптимального деления пикселей обоих исходных изображений по критерию максимальной яркости. Показано, что информативность полученного изображения превышает каждое из исходных изображений в шесть раз.
Литература
1. Многофункциональное использование матричных приборов с зарядовой связью в системе поиска пострадавших / А.Н. Ветров, И.Ю. Артюхин, В.Ю. Ошурков, М.А. Гахзар // Вестник ТГТУ. 2013. № 2. С. 298-302.
2. Шушарин А.Г., Морозов В.В., Половинка М.П. Медицинское тепловидение - современные возможности метода // Современные проблемы науки и образования. 2011. № 4. С. 241-251.
3. Пат.2258204 Российская Федерация. Способ дистанционного обследования объектов электрических сетей с помощью тепловидеосъемочного устройства / Кузнецов А.Е., Калюжный В.И., Ковалев А.О., Ефремов И.Ф., Гектин Ю.М.; заявитель и патентообладатель ЗАО "Центр перспективных наукоемких технологий" (RU). № 2258204. 2004; заявл. 16.02.2004 ; опубл. 10.08.2005; Бюл. № 22.
4. Пат. 2004 120046 Российская Федерация. Способ формирования матричного объекта / Бендицкий А.А.; заявитель и патентообладатель Бедницкий А.А. №
2305320.2006; заявл. 02.06.2004.; опубл. 10.01.2006 Бюл. № 1.
5. Пат. 2451338 Российская Федерация. Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений / Богданов А.П., Костяшкин Л.Н., Морозов А.В., Павлов О.В., Романов Ю.Н., Рязанов А.В.; заявитель и патентообладатель открытое акционерное общество «Государственный рязанский приборный завод». № 2451338.2010; заявл. 23.12.2010; опубл. 20.05.2012. Бюл. № 14.
6. Пат. 2007 145889 Российская Федерация. Способ совмещения изображений, полученных от различных фотодатчиков и устройство для его реализации / Ерош И.Л., Сергеев М.Б., Соловьев Н.В., Филатов Г.П., Козлов А.А., Литвинов М.Ю.; заявитель и патентообладатель государственное образовательное учреждение высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения» (RU). № 2435221.2007; заявл. 10.12.2007; опубл. 20.06.2009. Бюл. № 17.
7. Елесина С.И., Ломтева О.А. Исследование алгоритмов корреляционного совмещения изображений в системах комбинированного видения // Цифровая обработка сигналов. 2015. № 3. С. 71-76.
8. Елесина С.И. Совмещение изображений в корреляционно-экстремальных навигационных системах. М.: Радиотехника, 2015. 208 с.
9. Новиков, А.И., Саблина В.А., Ефимов А.И. Совмещение изображений в системах технического зрения методами проективной геометрии // Техническое зрение в системах управления - 2015: науч.-техн. конф. М.: ИКИ РАН, 2015. С. 51.
10. The Contour Analysis and Image-Superimposition Problem in Computer Vision Systems / A.I. Novikov, V.A. Sablina, M.B Nikiforov, et. al. // Pattern Recognition and Image Analysis. 2015. № 1(25). P. 73-80.
11. Брянский С.А., Визильтер Ю.В. Условные морфологические меры сложности и информативности изображений // Математические методы распознавания образов. 2017. Т. 18. № 1. С. 110-111.
Поступила 24.05.2021; принята к публикации 23.08.2021
Информация об авторах
Ветров Александр Николаевич - канд. техн. наук, доцент кафедры «Биомедицинская техника», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106), e-mail: [email protected] Потлов Антон Юрьевич - канд. техн. наук, доцент кафедры «Биомедицинская техника», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106), e-mail: [email protected]
IMPROVEMENT OF INFORMATIVITY OF COMBINED DIFFERENT-RANGE IMAGES IN
MEDICAL DIAGNOSTICS
A.N. Vetrov, A.Yu. Potlov
Tambov State Technical University, Tambov, Russia
Abstract: in the medical diagnostics of diseases, it is necessary to obtain the most reliable information in order to obtain the correct diagnosis and, as a result, the correct treatment for the patient. One of the methods of diagnostic studies of oncological diseases of a near-surface nature is to obtain infrared images. It is possible to increase the reliability of information by combining images obtained from thermal imagers, as well as from television video cameras. In this paper, we propose a technique in which two images of a particular object obtained from sensors operating in different frequency ranges, having the same spatial parameters, and formed from the same angle, are interlaced into a common image. The novelty of the proposed method lies in the fact that after combining the images, the specified parts of each pixel are mutually transmitted to the neigh-
boring pixels vertically. In the resulting image, each pixel contains information of optical and infrared images in appropriate
proportions. It is shown that the proposed method provides an increase in information content in the resulting image six times
relative to the original image. The proposed technique for combining multi-range images can be applied in various areas
Key words: medical imaging, medical diagnostics, image, pixel, information content
References
1. Vetrov A.N., Artyukhin I.Yu., Oshurkov V.Yu., Gakhzar M.A. "Multifunctional use of charge-coupled matrix devices in the victim search system", Bulletin of TSTU (Vestnik TGTU), 2013, no. 2, pp. 298-302.
2. Shusharin A.G., Morozov V.V., Polovinka M.P. "Medical thermal imaging - modern possibilities of the method", Modern Problems of Science and Education (Sovremennye problemy nauki i obrazovaniya), 2011, no. 4, pp. 241-251.
3. Kuznetsov A.E., Kalyuzhnyy V.I., Kovalev A.O., Efremov I.F., Gektin Yu.M. "A method for remote inspection of electrical network objects using a thermal imaging device" ("Sposob distantsionnogo obsledovaniya ob"ektov elektricheskikh setey s pomoshch'yu teplovideos"emochnogo ustroystva"), patent 2258204 Russian Federation, 2004, publ. 10.08.2005, bul. 22.
4. Benditskiy A.A. "A method of forming a matrix object" ("Sposob formirovaniya matrichnogo ob"ekta"), patent 2004 120046 Russian Federation, publ. 10.01.2006 bul. 1.
5. Bogdanov A.P., Kostyashkin L.N., Morozov A.V., Pavlov O.V., Romanov Yu.N., Ryazanov A.V. "A method for integrating digital halftone television and thermal imaging images" ("Sposob kompleksirovaniya tsifrovykh polutonovykh televizi-onnykh i teplovizionnykh izobrazheniy"), patent 2451338 Russian Federation, publ. 20.05.2012, bul. 14.
6. Erosh I.L., Sergeev M.B., Solov'ev N.V., Filatov G.P., Kozlov A.A., Litvinov M.Yu. "A method of combining images obtained from various photosensors and a device for its implementation" ("Sposob sovmeshcheniya izobrazheniy, poluchennykh ot razlichnykh fotodatchikov i ustroystvo dlya ego realizatsii"), patent 2007 145889 Russian Federation, publ. 20.06.2009, bul. 17.
7. Elesina S.I., Lomteva O.A. "Investigation of algorithms for correlative superposition of images in combined vision systems", Digital Signal Processing (Tsifrovaya obrabotka signalov), 2015, no. 3, pp. 71-76.
8. Elesina S.I. "Alignment of images in correlation-extreme navigation systems" ("Sovmeshchenie izobrazheniy v kor-relyatsionno-ekstremal'nykh navigatsionnykh sistemakh"), Moscow, Radiotekhnika, 2015, 208 p.
9. Novikov A.I., Sablina V.A., Efimov A.I. "Combining images in technical vision systems using projective geometry methods", Scientific and Technical. Conf.: Technical Vision in Control Systems - 2015 (Tekhnicheskoe zrenie v sistemakh uprav-leniya - 2015), Moscow, IKI RAN, 2015, pp. 51.
10. Novikov A.I., Sablina V.A., Nikiforov M.B et al. "The contour analysis and image-superimposition problem in computer vision systems", Pattern Recognition and Image Analysis, 2015, no. 1 (25), pp. 73-80.
11. Bryanskiy S.A., Vizilter Yu.V. "Conditional morphological measures of complexity and information content of images", Mathematical Methods of Pattern Recognition (Matematicheskie metody raspoznavaniya obrazov), 2017, vol. 18, no. 1, pp. 110-111.
Submitted 24.05.2021; revised 23.08.2021
Information about the authors
Aleksandr N. Vetrov, Cand. Sc. (Technical), Associate Professor, Tambov State Technical University (106 Sovetskaya st., Tambov 392000, Russia), e-mail: [email protected]
Anton Yu. Potlov, Cand. Sc. (Technical), Associate Professor, Tambov State Technical University (106 Sovetskaya st., Tambov 392000, Russia), e-mail: [email protected]
