CC BY
9
УДК 004.021
DOI: 10.21122/2309-4923-2022-4-65-72
СМАЛЮКА. Ф.1, ЖУКОВЕЦА. Г.2, ТРИЗНА Н. М.3
РЕГИСТРАЦИЯ ДЕРМАТОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ НОВООБРАЗОВАНИЙ КОЖИ И ВЫЯВЛЕНИЕ СТРУКТУРНЫХ ОТЛИЧИЙ
1 Белорусский национальный технический университет 2Белорусская медицинская академия последипломного образования 3Республиканский научно-практический центр онкологии и медицинской радиологии
им. Н.Н. Александрова
Рассмотрено применение алгоритма определения структурных различий на основе морфологического проектора для сравнения дерматоскопических изображений. Это позволит выявлять изменения, произошедшие в новообразованиях кожи с течением времени, для более точной диагностики их злокачественности. Предлагаемый алгоритм позволяет выявить различия в изображениях при наличии существенной разницы в яркости и цветовой гамме сравниваемых изображений, а также не учитывать мелкие несущественные детали, такие, как шум, метки оптики дерматоскопа, волосы и т.д.Также рассмотрена методика корректировки рассинхронизации полученных в разное время изображений, использующая индекс структурного сходства в качестве метрики подобия, и алгоритм синусов-косинусов в качестве оптимизационного. Проведено тестирование предлагаемых алгоритмов на дерматоскопических изображениях и продемонстрирован возможность их применения.
Ключевые слова: меланома; новообразование кожи; дерматоскоп; структурное различие; морфологический проектор; метрика подобия; оптимизационный алгоритм.
Введение
Беларусь входит в группу стран с относительно низкой заболеваемостью меланомой кожи. Одной из характерных черт динамики заболеваемости меланомой кожи населения Республики Беларусь является ее быстрый рост (за 25 лет заболеваемость увеличилась в 3,3 раза), высокий уровень среди городских жителей, высокая доля лиц, заболевающих в трудоспособном возрасте и более высокий риск заболевания городских женщин в молодом и среднем возрасте. Несмотря на то, что в 85% случаев меланома диагностируется на I и II стадиях, Беларусь входит в группу стран с высоким отношением смертности к заболеваемости (27%) и значительно отстает от ряда стран мира. В связи с этим актуальна диагностика ранней меланомы.
Используемые в настоящее время общеизвестные клинические тестовые системы диагностики меланомы (система ABCDE[1];[2], Глазговская 7-ми точечная система и др.) не всегда позволяют распознавать начальные признаки меланомы, особенно при ее развитии в небольших по размерам мелано-цитарных невусах [3]. Новые возможности для улучшения дифференциальной диагностики пигментных образований кожи и своевременного распознавания меланомы открывает включение в диагностические алгоритмы методов дерматоскопии, в том числе с использованием разрабатываемых автоматизированных систем распознавания опухоли [4]. При динамическом наблюдении меланоцитарных новообразований кожи особое значение приобретают инструменты для сравнения дерматоскопических изображений, сделанных в разное время, выявление структурных отличий в них, изменений формы и размера новообразования.
Структурными изменениями называют изменения формы и размера элементов изображения,
для их выявления существуют различные методики, используемые для анализа как медицинских изображений, так и спутниковых снимков, которые выявляют структурные изменения даже для изображений, существенно отличающихся по уровням яркости и контрастности.
При этом обычно эти методики для получения корректного результата требуют точного совмещения сравниваемых изображений, что может вызывать проблемы, так как положение и ориентация исследуемых объектов на изображениях, сделанных в разное время, может существенно отличаться.
Поэтому для выявления изменений в новообразованиях кожи потребуется создание алгоритма поиска структурных отличий в изображениях, а также совмещение исходных изображений для получения корректного результата.
Методика выявления структурных отличий в изображениях
Предлагаем использовать алгоритм на основе морфологического проектора, позволяющий выявлять структурные различия при наличии существенных отличий в яркости контрастности и цветовой гамме изображений. Алгоритм ранее применялся для анализа спутниковых снимков [5]. Сравниваются два изображения, которые обозначим f и g. Для корректной работы алгоритма изображения должны иметь одинаковый размер. Последовательность поиска состоит из 6 шагов:
1. Оба изображения преобразуются в изображения с оттенками серого.
2. Для каждого изображения создается функция преобразования яркости ^ и Ffg. Две функции необходимы, чтобы сравнение было симметричным, и результаты
3. На основе функций строятся новые изображения
f'=Ff (f) и g'=Fg(g). Полученное изображение f' не отличается по структуре от исходногоf имеет аналогичное распределение яркости, как ^.Это справедливо и для g'.
4. Из полученных на предыдущем шаге изображений строятся разностные изображения Rg(x) = f(x) - g(x)\ и Rf(x) = \g'(x) - f(x)\. Эти изображения содержат информацию о структурных различиях. Чем ярче точка в разностном изображении, тем больше вероятность, что здесь имеется структурное различие между изображениями.
5. Картина структурных различий, полученная в разностных изображениях может отличаться, поэтому создается суммарное разностное изображение, с использованием определения максимальной яркости точки из двух изображений R(x) = max(R (x), Rfx)).
6. Полученное на предыдущем шаге изображение подвергается пороговой обработке. Выбирается пороговый уровень T. Точки, имеющие яркость выше T, белые, а имеющие яркость ниже T - черные. В полученном итоговом изображении пиксели белого цвета показывают наличие структурных отличий в заданной области.
Изображение, полученное на шаге 6, часто требует дополнительной обработки. Это связано с тем, что в чистом виде подход оказывается излишне чувствительным к шуму и наличию мелких посторонних элементов на изображении. Для дерматоско-пических изображений это особенно важно из-за возможного наличия волос на снимаемом участке кожи, а также меток на оптике дерматоскопа, которые могут не совпадать на разных снимках и показываются как структурные различия.
Для решения этой задачи можно использовать метод скользящего окна, когда с порогом сравнивается не яркость в указанной точке, а яркость в окне заданного размера, центром которого является
выбранная точка. В результате контуры выявленных областей структурных различий сглаживаются, значительно уменьшаются проявления шума, исчезает значительная часть посторонних элементов. При этом необходимо учитывать, что могут пропадать мелкие структурные отличия.
Функции преобразования яркости
Чтобы получить изображения с приведенной яркостью, могут использоваться различные функции. В работе [5] установлено, что для поиска структурных различий одной из лучших функций является морфологический проектор (1).
(1)
где X - множество всех точек изображения, I - уровни яркости изображений.
При этом показано, что главным недостатком морфологического проектора является повышенная чувствительность к шуму, что можно компенсировать описанным ранее методом скользящего окна.
Достоинствами являются достаточно высокое быстродействие и точность получаемого результата.
Поиск структурных различий на тестовых дерматоскопических изображениях
Далее показано сравнение двух дерматоско-пических изображений с использованием описанного выше метода. Исходные изображения, приведенные к градациям серого, показаны на рисунке 1.
Рисунок 1. Исходные изображения в градациях серого Оба изображения имеют размер 1200 на 800 точек.
Изображения отличаются уровнями яркости, новообразование имеет некоторые отличия в форме и размере.
На рисунке 2 показаны изображения с приведенными уровнями яркости, полученные на шаге 3.
Рисунок 2. Изображения с приведенными уровнями яркости
ч
Первое изображение получило заменто более светлый фон, что соответствует уровням второго исходного изображения, а второе стало более темным.
Разностные изображения, полученные в ре-зультате реализации шага 4, показаны на рисунке 3.
Рисунок 3. Разностные изображения
После суммирования разностных изображений на шаге 5 и их пороговой обработки на шаге 6 получены изображения, показанные на рисунке 4.
Рисунок 4. Обработанные разностные изображения
Оба изображения получены с одним пороговым уровнем, однако для получения левого изображения использовался метод скользящего окна, размером 10 точек, а для получения правого изображения - простое попиксельное сравнение.
Здесь хорошо видно, что использование скользящего окна позволяет успешно избавиться от многих мелких элементов, таких как волосы на дерматоскопическом снимке и минимизировать влияние шума. При этом основные области структурных изменения остаются хорошо видны.
Влияние рассинхронизации сравниваемых изображений на результаты поиска структурных отличий
В задачах поиска структурных отличий рассинхронизацией изображений называют смещение изображений относительно положения, при котором происходит точное совпадение. В качестве критерия для оценки влияния рассинхронизации на результат можно использовать площадь найденных структурных различий между изображениями.
Увеличение площади найденных структурных различий означает появление ложных срабатываний, и, соответственно, чем больше найденная площадь, тем больше ложных срабатываний происходит.
Далее рассматриваются величины площади для изображений, одно из которых смещено относительно другого. На рисунке 5 показаны графики зависимости площади от величины смещения. Оба параметра приведены в пикселах.
Верхний график показывает зависимость для алгоритма без использования скользящего окна, нижний показывает результаты для алгоритма со скользящим окном величиной в 10 точек.
Из полученных графиков можно увидеть, что алгоритм без использования скользящего окна является весьма чувствительным к рас-синхронизации и имеет практически линейную зависимость площади обнаруженных структурных различий от величины смещения.
Рассинхронизация, рх
Рисунок 5. Графики зависимости площади структурных различий от величины рассинхронизации
Алгоритм с использованием скользящего окна в свою очередь может компенсировать небольшие величины рассинхронизации, которые не превышают размер используемого окна, что указывает на предпочтительность использования именно этого варианта алгоритма в случаях, если возможны небольшие рассинхронизации.
Графики на рисунке 6 показывают зависимость изменения площади найденных структурных отличий от рассинхронизации, вследствие несовпадающей ориентации изображений. Для получения этих графиков одно из изображений поворачивалось относительно собственного центра. Ось ординат -угол поворота изображения.
350000 | 300000 I 250000 з 200000
X
I 150000
| 100000
о
| 50000
о ц
с
0
•окно 0 окно 10рх
2 4 6 8 10 12 14 16 18 Рассинхронизация град.
Рисунок 6. Графики зависимости площади структурных различий от величины рассинхронизации
Верхний график показывает зависимость алгоритма отсутствующим (нулевым) окном, нижний - с окном размером 10 точек.
Из этих графиков можно сделать вывод, что использование скользящего окна также компенсирует рассинхронизацию, вызванную поворотом изображения, однако в меньшей степени, чем рассинхронизацию, вызванную сдвигом.
Методики корректировки рассинхронизации изображений
Рассинхронизация изображений может иметь разное происхождение: использование различного оборудования при получении изображений, деформация снимаемого объекта, изменение положения и ориентации камеры и т. д. От этого могут зависеть инструменты, применяемые для получения точного совмещения.
Методики синхронизации изображений обычно состоят из трех частей: модели преобразования, метрики подобия, и оптимизационного алгоритма [6].
Модель преобразования
В случае дерматоскопических изображений, изображения получаются с использованием одного оборудования, деформацией снимаемого объекта можно пренебречь из-за относительно малого размера рассматриваемых новообразований. Следовательно, важной причиной рассинхронизации является отличия в положении и ориентации дерматоскопа. Поэтому модель преобразования описывается матрицей М (2)
M =
cos(0) —sin(0) X sin(0) cos(0) y 0 0 1
(2)
где x и y - смещения одного изображения относительно другого и 0 - угол поворота.
Метрика подобия
Существует большое количество метрик подобия для изображений, и выбор конкретной метрики обычно связан с особенностями сравниваемых изображений, быстродействием получаемого алгоритма. В частности в качестве метрики подобия можно использовать описанную выше площадь найденных структурных различий у изображений. Как видно из графиков на рисунках 5 и 6, зависимость площади от величины смещения для алгоритма без скользящего окна близка к линейной, что должно обеспечить хорошую сходимость алгоритмов оптимизации. Проблемой при этом является достаточно большое время, необходимое для вычисления метрики, и как следствие имеет смысл воспользоваться метриками, требующими меньших вычислительных затрат.
Одной из распространенных метрик для этих задач является индекс структурного сходства (SSIM от англ. structure similarity) [7], который вычисляется следующим образом:
SSIMix, у) = (2^у + С0(2^у + С2)
[к + И-У + с i)(o* + °у + сг)
(3)
где - математическое ожидание х;
- математическое ожидание у; а2х - дисперсия х; а2у - дисперсия у; оу - ковариация х и у; сХ= (к1Ь)2; с2 = {кр2; к1 = 0.01; к2= 0.03;
Ь - динамический диапазон значений пикселей.
Рассмотренная метрика получила большую популярность из-за простоты и невысокой
вычислительной сложности. Ее значения могут варьироваться от 1 - максимальная схожесть, достигается, если изображения идентичны, то до -1.
Оптимизационный алгоритм
В качестве оптимизационного алгоритма использован алгоритм синусов-косинусов.
Это сравнительно недавно предложенный [8] алгоритм из категории популяционных методов оптимизации, набирающий популярность.
Для него формируется начальное множество решений, для каждого из которых вычисляется метрика. Далее из множества выбирается наилучшее из решений (в нашем случае с метрикой, наиболее близкой к 1). Решение запоминается как Р, которое называется точкой назначения. Затем, на каждой итерации для каждого решения получается новое значение, по формуле (4).
хР+1 = |Х" + П х 5т(г2) х |г3Р? - Х{\,г4 < 0.51 (4)
где Х'+1 - значение параметра на новом шаге; XI - значение параметра на предыдущем шаге; РI - целевое значение на новом шаге; г1 - случайное значение от 0 до 2; г2 - случайное значение от 0 до 2п; г3 и г4 - случайные значения от 0 до 1.
После вычисления нового множества решений для них вычисляются новое целевое решение, и цикл повторяется.
Поиск решения может быть остановлен либо после достижения предельного количества итераций, либо, если метрика для очередного целевого решения окажется достаточно близка к 1.
Для улучшения сходимости алгоритма значение г1 может вычисляться по формуле (5), что уменьшит разброс получаемых на новом шаге значений, при приближении к предельному количеству итераций.
(5)
где а - константа; г - номер текущей итерации; Т - предел количества итераций.
Рассмотренный алгоритм был реализован с ипользованием платформы Jаva [9], обеспечивающей максимальную переносимость полученного кода и возможность использования на разных платформах от серверов до мобильных устройств. Проведено тестирование данного алгоритма на смещенных и повернутых друг относительно друга изображениях новообразования кожи. Проведенное тестирование показало, что точность получаемых с помощью данного алгоритма результатов достаточна, для дальнейшего выявления структурных отличий в изображениях с использованием скользящего окна.
Графики изменения метрики при выполнении нескольких вычислений показаны на рисунке 7. 1.2
0.8
ё 0,6
0.4
0.2
0
\ <Ь # ф, # # £ ъл
III 1111 II II II II II IIIII II II llllllll IIIIIII IIIIIII II III
Л* # ^ # ^ & f 43 & ^ & ^ ^
итерация
Рисунок 7. Изменение метрики при нескольких вычислениях
По приведенным графикам видно, что из-за случайного характера выбора новых значений на очередной итерации, характер схождения отличается при каждом новом запуске алгоритма. Кроме того, из-за случайного характера, есть небольшая вероятность схождения алгоритма к локальному, а не глобальному максимуму метрики подобия. Тем не менее, в наших испытания алгоритм продемонстрировал достаточную надежность.
Заключение
Рассмотренные в работе методики регистра-
ции дерматоскопических изображений позволяют провести корректировку рассинхронизации изображений новообразований кожи, сделанных в разное время, для дальнейшего выявления структурных различий в изображениях. Нахождение структурных различий позволит точнее диагностировать злокачественные новообразования кожи у наблюдаемых пациентов. Описываемая в статье методика нахождения структурных различий позволяет не учитывать мелкие и несущественные детали и выявлять только различия, указывающие на изменение формы и размера новообразования.
ЛИТЕРАТУРА
1. Rigel DS, Russak J, Friedman R. The evolution of melanoma diagnosis: 25 years beyond the ABCDs. CA Cancer J Clin. 2010 Sep-0ct;60(5):301-16.
2. Duarte AF, Sousa-Pinto B, Azevedo LF, Barros AM, Puig S, Malvehy J, Haneke E, Correia O. Clinical ABCDE rule for early melanoma detection. Eur J Dermatol. 2021 Dec 1;31(6):771-778.
3. Жуковец А.Г., Океанов А.Е., Моисеев П.И. Прокошин А.В. Меланома кожи в Республике Беларусь: эпидемиология, диагностика и результаты лечения // Онкологический журнал. - 2017. - Т. 11, N.1. - С. 35 - 46.
4. Mabrouk MS, Sayed AY, Afifi HM, Sheha MA, Sharwy A. Fully Automated Approach for Early Detection of Pigmented Skin Lesion Diagnosis Using ABCD. J Healthc Inform Res. 2020 Mar 3;4(2):151-173.
5. Корнилов Ф.А Поиск структурных различий изображений: алгоритмы и методика исследования // Машинное обучение и анализ данных, 2014. Т. 1. No 7. С.902-919.
6. Dida, H., Charif, F. & Benchabane, A. Image registration of computed tomography of lung infected with COVID-19 using an improved sine cosine algorithm. Med Biol Eng Comput 60, 2521-2535 (2022).
7. Zhou W, Bovik AC, Sheikh HR, Simoncelli EP (2004) Image quality assessment: from error measurement to structural similarity. IEEE Trans Image Process 48:600-642
8. Mirjalili S (2016) SCA: a sine cosine algorithm for solving optimization problems. Knowl Based Syst 96:120-133.
9. Core Java: Fundamentals, Volume 1 (Oracle Press Java) / Cay Horstmann. - Oracle Press, 2021. - 944 p.
REFERENCES
1. Rigel DS, Russak J, Friedman R The evolution of melanoma diagnosis: 25 years beyond the ABCDs. CA Cancer J Clin. 2010 Sep-0ct;60(5):301-16.
2. Duarte AF, Sousa-Pinto B, Azevedo LF, Barros AM, Puig S, Malvehy J, Haneke E, Correia O. Clinical ABCDE rule for early melanoma detection. Eur J Dermatol. 2021 Dec 1;31(6):771-778.
3. Zhukovets AG., Okeanov A.E., Moiseyev P.l, Prokoshyn A.V. Skin melanoma in the repablic of belarus: epidemiology, diagnosis and treatment outcomes // Oncology journal. - 2017. - V. 11, N.1. - Pp. 35 - 46.
4. Mabrouk MS, Sayed AY, Afifi HM, Sheha MA, Sharwy A. Fully Automated Approach for Early Detection of Pigmented Skin Lesion Diagnosis Using ABCD. J Healthc Inform Res. 2020 Mar 3;4(2):151-173.
5. Kornilov F. A. Detection of structural differences in images:algorithmsand methods of research // Machine learning and data analysis, 2014. V 1. No 7. P.902-919.
6. Dida, H., Charif, F. & Benchabane, A. Image registration of computed tomography of lung infected with COVID-19 using an improved sine cosine algorithm. Med Biol Eng Comput 60, 2521-2535 (2022).
7. Zhou W, Bovik AC, Sheikh HR, Simoncelli EP (2004) Image quality assessment: from error measurement to structural similarity. IEEE Trans Image Process 48:600-642
8. Mirjalili S (2016) SCA: a sine cosine algorithm for solving optimization problems. Knowl Based Syst 96:120-133.
9. Core Java: Fundamentals, Volume 1 (Oracle Press Java) / Cay Horstmann. - Oracle Press, 2021. - 944 p.
SMALIUKA. F., ZHUKOVETS A. G, TRIZNA N. M.
REGISTRATION OF DERMATOSCOPIC IMAGES OF SKIN NEOPLASMS AND DETECTION OF STRUCTURAL DIFFERENCES
Belarusian National Technical University N. N. Alexandrov National Cancer Centre of Belarus Belarusian Medical Academy of Postgraduate Education
The paper considers the application of an algorithm based on a morphological projector for determining structural differences for comparing dermoscopic images. This will allow to identify changes that have occurred in skin lesions over time, for a more accurate diagnosis of their malignancy. The proposed algorithm makes it possible to detect differences in images even if there is a significant difference in the brightness and color levels of the compared images, and also ignores small insignificant details, such as noise, dermatoscope optics marks, hair, etc. A methodfor correcting the desynchronization of images using the structural similarity index as a similarity metric, and the sine-cosine algorithm as an optimization algorithm is proposed. The proposed algorithms were tested on dermatoscopic images and the possibility of their application was demonstrated.
Keywords: melanoma; skin lesion; dermatoscope; structural differences; morphological projector; similarity metric; optimization algorithm.
Смалюк Антон Федорович. Ведущий научный сотрудник научно-исследовательской лаборатории Механики материалов и динамики технических систем Белорусского национального технического университета. Кандидат физико-математических наук. Smalyuk A.F. Phd. Leading Scientist of the Research Laboratory of Mechanics of Materials and Dynamics of Technical Systems of Belarusian National Technical University.
E-mail: dsmsm@bntu.by
Жуковец Александр Геннадьевич. Заведующий кафедрой онкологии Белорусской медицинской академии последипломного образования. Кандидат медицинских наук, доцент.
Zhukovets A.G. MD. Head of the Department of Oncology of the Belarusian Medical Academy of Postgraduate Education.
E-mail: zhukavets@gmail.com
Тризна Наталья Михайловна. Заведующий отделением (малоинвазивной хирургии) дневного пребывания, Республиканского научно-практического центра онкологии и медицинской радиологии им. Н.Н. Александрова. Доцент, кандидат медицинских наук, высшая квалификационная категория.
Trizna N. M MD. Head of the Department (Minimally Invasive Surgery) Day Care of the N. N. Alexandrov National Cancer Centre of Belarus. Associate Professor.
E-mail: triznachka@gmail.com
