CC BY
46
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2020 - V. 27, № 4 - P. 106-109
УДК: 004.932.72'1:616.5-006 DOI: 10.24411/1609-2163-2020-16620
АЛГОРИТМЫ СЕГМЕНТАЦИИ ДЛЯ ВЫДЕЛЕНИЯ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ КОЖИ К.М. ПАРАСКЕВОПУЛО, А.Н. НАРКЕВИЧ, К.А. ВИНОГРАДОВ
ФГБОУ ВО «Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого» Минздрава
России, ул. Партизана Железняка, д. 1, г. Красноярск, 660022, Россия, e-mail: konstparaskevopulo@gmail.com
Аннотация. Целью данного исследования явилось изучение возможности применения алгоритмов сегментации для выделения объектов на дерматоскопических цифровых изображениях. Материалы и методы исследования. В работе использованы три алгоритма выделения объектов на цифровом изображении. Исследование проводилось на 3000 дерматоскопических изображениях базы данных The International Skin Image Collaboration. В первую очередь в работе с данными изображениями применялись два алгоритма, для которых необходимо указать предполагаемый центр объекта, так как они требуют меньшего количества вычислительных операций и времени на работу с изображениями. Алгоритм сегментации, для которого требуется обвести контур объекта использовался лишь в крайних случаях, когда полученные результаты выделения объектов при помощи предыдущих алгоритмов не соответствовали объекту на исходном цифровом изображении кожи. Результаты и их обсуждение. По полученным результатам исследования было установлено, что алгоритм сегментации, основанный на расчете среднего арифметического цветов и яркости изображения, позволяет выделить объект на 2407 (80,23%), из взятых в выборку, цифровых изображений кожи. Заключение. Предложенный алгоритм сегментации дерматоскопических цифровых изображений может быть использован при разработке интеллектуальных систем поддержки принятия решения медицинскими работниками для диагностики злокачественных новообразований кожи.
Ключевые слова: сегментация изображений, цифровые изображения кожи, дерматоскопия, автоматическая обработка, злокачественные новообразования кожи.
SEGMENTATION ALGORITHMS FOR OBJECTS HIGHLIGHTING IN DIGITAL SKIN IMAGES
K.M. PARASKEVOPULO, A.N. NARKEVICH, K.A. VINOGRADOV
Krasnoyarsk State Medical University named after Prof. V.F. Voino-Yasenetski, Partisan Zheleznyak str., 1, Krasnoyarsk, 660022, Russia, e-mail: konstparaskevopulo@gmail.com
Abstract. Research purpose is to study the application possibilities of segmentation algorithms for objects highlighting in dermo-scopic digital images. In this study were used three algorithms of object revealing in images. Materials and methods. For this study was used International Skin Imaging Collaboration database including 3000 dermatoscopic images. To use two algorithms requires an indication of the center of the object. To use the third algorithm requires the selection of the contour of an object. Algorithms, which require an indication of supposed center of the object, were used primarily because these algorithms are fast in image processing using a few computational operations. An algorithm, that requires the selection of the contour of an object, was used last when the other algorithms did not select the object. Results and discussion. The result of the study showed that segmentation algorithm based on the calculation of the arithmetic mean of brightness and colors allows selecting an object in 2407 (80.23%) skin images in the database. Conclusion. The proposed dermatoscopic digital images segmentation algorithm can be used in development of intellectual systems of physician decision support for skin cancer diagnosing.
Keywords: image segmentation, digital skin images, dermatoscopy, automatic processing, skin cancer.
Введение. В настоящее время для преинвазив-ной диагностики злокачественных новообразований (ЗНО) кожи врачи активно используют дерматоско-пию - метод визуального оценивания кожных поражений, который требует высокой квалификации специалиста [8]. При диагностике ЗНО кожи количество врачебных ошибок варьирует от 18 до 81%, и даже при проведении гистологических исследований может быть установлено от 20 до 30% ошибочных диагнозов [3], что приводит к неправильному ведению, а также к позднему началу лечения пациентов.
С учетом такой статистики, а также при росте заболеваемости ЗНО кожи в России [6], создание интеллектуальной информационной системы для распознавания ЗНО на цифровых изображениях кожи, как системы поддержки принятия решений медицинскими работниками, для ранней диагностики заболевания, а также снижения вероятности постановки неправильного диагноза, является крайне актуальной
задачей.
Для решения данной задачи в первую очередь необходимо разработать алгоритм, который позволит выделить изучаемый объект на цифровом изображении кожи и исключить участки, не имеющие ценность в дальнейшем анализе. Во многих областях медицины уже ведутся разработки алгоритмов сегментации для работы с диагностическими изображениями. Например, их применение для выделения объектов можно наблюдать: на изображениях кровеносных сосудов глазного дна [5], на компьютерных томографических изображениях органов забрюшин-ного пространства [1], а также в ангиографии коронарных сосудов [9] и в ультразвуковой диагностике блока бедренного нерва [10].
Цель исследования - изучение возможности применения алгоритмов сегментации для выделения объектов на дерматоскопических цифровых изображениях.
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2020 - V. 27, № 4 - P. 106-109
Материалы и методы исследования. Для проведения исследования использовалась база данных The International Skin Image Collaboration (ISIC). Выборочная база данных содержала 3000 цифровых изображений кожи с гистологически подтвержденным наличием или отсутствием ЗНО. Минимальное разрешение изображений в базе 600*450 пикселей, а максимальное - 6780*4480. Чтобы устранить возможное влияние различий разрешения изображений на качество сегментации, было решено привести его значение у всех изображений к разрешению 800*600 пикселей.
В данной работе изучалась возможность применения трех алгоритмов сегментации, для двух из которых требуется указание координат центра объекта (рис. 1), а для одного - обведение контура объекта (рис. 2).
Kin>|i inn;iii.i щщрл <ifn.t4.ia
3*
%
Рис. 1. Схема выделения объекта алгоритмами сегментации с указанием координат центра объекта:
1 - указание центра объекта на исходном изображении;
2 - представление изображения в цветовой схеме RGB, расчет яркости; 3 - бинаризация алгоритмом, основанным
на расчете среднего арифметического значения цветов и яркости (а); основанным на расчете среднего арифметического и стандартного отклонения (б).
4 - применение медианного фильтра; 5 - выделение пикселей объекта, координаты центра которого были указаны;
6 - получение выделенного объекта
В процессе исследования в первую очередь производилась попытка сегментации используемых изображений алгоритмом, основанным на расчете среднего арифметического значения цветов и яркости изображения, так как он с точки зрения вычислений быстрее остальных алгоритмов при работе с изображением и более прост в применении для пользователя. Реализация данного алгоритма требует минимального участия пользователя в виде указания визуального центра выделяемого объекта. Не требуется указание истинного центра, а требуется указать лишь предполагаемый пользователем центр.
После указания координат центра объекта, цифровое изображение кожи представляется в виде цветовой модели RGB, где каждый пиксель анализируемого изображения имеет значение интенсивности красного (R), зелёного (G) и синего (B) цвета. Помимо этого, дополнительно определяются значения яркости (Y) пикселей изображения по формуле [4]:
Y = 0,299*Д+0,587*С+0,П4*В, (1)
где, Y - значение яркости пикселя, R, G, Б - значения интенсивности красного, зеленого и синего цвета пикселя.
Таким образом, сегментируемое изображение представляется в виде 4 каналов: красного, зеленого, синего и яркости.
На следующем этапе полученные значения яркости каждого пикселя, а также интенсивности красного, зеленого и синего цвета, используются в расчете средних арифметических значений каждого канала для всего изображения.
Далее производится бинаризация изображения, которая заключается в том, что пикселям, у которых рассчитанные интенсивности цветов и яркость равны или больше средних арифметических значений данных параметров изображения, присваивается белый цвет, а если хоть один из параметров меньше - серый.
На следующем этапе изображение, которое получено в результате бинаризации, обрабатывается при помощи медианного фильтра для получения границ объектов с меньшими искажениями [7]. Четвертый этап сегментации, заключается в том, что из центра объекта, который был указан на исходном изображении, под различным углом строятся лучи, которые заканчиваются в месте перехода цвета пикселя в белый цвет. Таким образом определяются координаты границ объекта.
На последнем этапе сегментации с исходного изображения вырезается объект ограниченный полученными на предыдущем этапе координатами границ.
%
Рис. 2. Схема сегментации изображения кожи с выделением контура объекта; 1 - исходное изображение после обведения контура объекта (а); с рассчитанным центром
объекта относительно контура (б); 2 - применение медианного фильтра на контрастированном изображении; 3 - выделение пикселей с низкой интенсивностью цвета; 4 - вырезанный из исходного изображения объект
В случае, когда объект выделенный представленным алгоритмом, визуально не соответствовал тому объекту, который был на исходном изображении, тогда применялся алгоритм с расчетом среднего арифметического и среднеквадратичного отклонения, для которого требуются дополнительные расчеты и, следовательно, время на обработку изображения. В отличии от первого алгоритма сегментации, значения интенсивности цветов и яркости пикселя сравниваются с разницей между средним арифмети-
<
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2020 - V. 27, № 4 - P. 106-109
ческим и среднеквадратичным отклонением значений яркости и цветов изображения. Несмотря на то, что такой подход увеличивает время реализации алгоритма, включение в процесс сегментации стандартного отклонения позволяет повысить значимость цвета кожи, на котором находится образование, для успешной сегментации объекта.
В случае, когда и вторым алгоритмом не удавалось выделить объект, тогда использовался алгоритм сегментации с обводкой контура объекта на цифровом изображении кожи, который уступает остальным алгоритмам, сравниваемым в этой работе, как по времени, которое затрачивается на обработку изображения, так и в удобстве применения пользователем.
Выделение объектов также осуществлялось поэтапно:
1. Определение координат центра объекта по средним координатам пикселей обводки.
2. Максимальное контрастирование изображения и обработка медианным фильтром, чтобы получить различимые границы объекта.
3. Формирование от границ контура к центру воображаемых лучей. По ходу каждого луча оценивается изменение цвета. Если значение цвета меняется, то пиксель, на котором произошло изменение, считается границей объекта.
4. Получение с исходного изображения объекта ограниченного полученными на предыдущем этапе координатами границ.
Оценка качества сегментации производилась наиболее широко используемым в подобных задачах субъективным методом [2]. Считалось, что результат был качественным только тогда, когда изображение, полученное после сегментации, содержит только один объект с границами, как и на исходном изображении, а также когда вокруг объекта не было выделено слишком больших участков кожи.
Результаты и их обсуждение. В результате сегментации 3000 цифровых изображений кожи, объект был выделен хотя бы одним из трёх сравниваемых алгоритмов на 2944 изображениях (98,13%). В табл. представлены результаты выделения объектов на цифровых изображениях кожи.
Таблица
Результаты выделения объектов на цифровых изображениях кожи
Алгоритм сегментации Количество цифровых изображений кожи Процент цифровых изображений кожи
С расчетом среднего арифметического 2407 80,23
С расчетом среднего арифметического и стандартного отклонения 158 5,27
С обведением контуров объекта 379 12,63
Не удалось выделить объект ни одним из алгоритмов 56 1,87
Всего 3000 100,00
С помощью алгоритма сегментации, который основан на расчете среднего арифметического цветов и яркости изображения, удалось выделить объект на 2407 (80,23%) цифровых изображениях кожи.
Алгоритм сегментации с расчетом среднего арифметического и стандартного отклонения цветов и яркости изображения применялся реже всех. Это связано с тем, что если не удается выделить объект первым алгоритмом, то в большинстве случаев и данный алгоритм не позволял получить хороший результат. Его применение обосновано тем, что иногда в результате выделения объекта первым алгоритмом на изображении оставались большие участки кожи, которые не имеют ценность в дальнейшем анализе.
Алгоритм с обведением контуров объекта показал хорошие результаты на 379 (12,63%) цифровых изображениях кожи. Причина, по которой приходилось применять данный алгоритм сегментации, заключается в том, что некоторые объекты имеют неоднородную структуру на изображении: «засвеченные» участки ближе к центру, волосы, перекрывающие объект, а также выделение объекта врачом при помощи ручки.
На рис. 3 представлены примеры результатов выделения объектов каждым из алгоритмов сегментации.
Рис. 3. Результаты применения алгоритмов сегментации: 1 - исходное изображение; 2 - выделенный объект алгоритмом, основанном на расчете среднего арифметического значения цветов и яркости (а); на расчете среднего арифметического и среднеквадратичного отклонения (б); с обведением контура объекта (в)
Не удалось выделить объект на 56 (1,87%) цифровых изображениях кожи, так как объект на этих изображениях имеет такую же интенсивность каждого параметра из цветовой схемы RGB и значение яркости, как и окружающая его кожа, либо объект перекрывается большим количеством волос. Примеры изображений, на которых не получилось выделить объект ни одним из алгоритмов, представлены на рис. 4.
Выводы. Результаты исследования показали, что описанные алгоритмы позволяют выделить 98,13% объектов на разнообразных дерматоскопиче-ских изображениях. При этом, алгоритм основанный
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2020 - V. 27, № 4 - P. 106-109
на расчете среднего арифметического значений цветов и яркости изображения позволяет выделить объект на большей части изображений (80,23%). Данный алгоритм среди представленных требует наименьших вычислительных затрат и наименьшего участия человека.
- *
я ' / *
Рис. 4. Дерматоскопические изображения, на которых не удалось выделить объект ни одним из сравниваемых алгоритмов сегментации
Таким образом, представленные в работе алгоритмы выделения объектов на цифровых дермато-скопических изображениях кожи могут применяться для разработки систем автоматизированного анализа таких изображений с целью совершенствования визуальной диагностики ЗНО кожи. При этом, наиболее эффективным является алгоритм, основанный на расчете среднего арифметического значений цветов и яркости изображения.
Литература / References
1. Ерусланов Р.В., Орехова М.Н., Дубровин В.Н. Сегментация изображений органов забрюшинного пространства по компьютерным томографическим изображениям на основе функции уровня // Компьютерная оптика. 2015. Т. 39, №4. С. 592-599 / Eruslanov RV, Orekhova MN, Dubrovin VN. Segmentatsiya izobrazheniy organov zabryushinnogo prostranstva po komp'yuternym tomograficheskim izo-brazheniyam na osnove funktsii urovnya [Retroperitoneal space organ segmentation from ct images based on the level set function]. Komp'yuternaya optika. 2015;39(4):592-9. Russian.
2. Захаров А.В., Кольцов П.П., Котович Н.В., Кравченко А.А., Куцаев А.С., Осипов А.С. Критерии оценки качества сегментации изображений // Труды научно-исследовательского института системных исследований Российской академии наук. 2012. Т. 2, №2. С. 87-99 / Zakharov AV, Kol'tsov PP, Kotovich NV, Kravchenko AA, Kutsaev AS, Osipov AS. Kriterii otsenki kachestva segmentatsii izobrazheniy [Criteria for evaluating image segmentation]. Trudy nauchno-is-sledovatel'skogo instituta sistemnykh issledovaniy Rossiyskoy akademii nauk.2012;2(2):87-99. Russian.
3. Кунгуров Н.В., Малишевская Н.П., Кохан М.М., Игликов В.А., Бакуров Е.В., Берзин С.А., Снегирев В.В., Ковальчук И.А., Де-
мина М.А., Куклин И.А., Римар О.Г. Злокачественные новообразования кожи: заболеваемость, ошибки диагностики, организация раннего выявления, профилактика. Курган: «Зауралье», 2010. 232 с. / Kungurov NV, Malishevskaya NP, Kokhan MM, Iglikov VA, Bakurov EV, Berzin SA, Snegirev VV, Koval'chuk IA, Demina MA, Kuklin IA, Rimar OG. Zlokachestvennye novoobrazovaniya kozhi: zabolevaemost', oshibki di-agnostiki, organizatsiya rannego vyyavleniya, profilaktika [Skin cancer: morbidity, diagnostic errors, early revealing organization, prevention]. Kurgan: «Zaural'e»; 2010. Russian.
4. Порев В.Н. Компьютерная графика. Санкт-Петербург: БХВ-Петербург, 2002. 432 с. / Porev VN. Komp'yuternaya grafika [Computer graphics]. Sankt-Peterburg: BKhV-Peterburg; 2002. Russian.
5. Пугин Е.В., Жизняков А.Л., Титов Д.В. Сегментация изображений кровеносных сосудов глазного дна с применением нечеткого представления изображения // Известия Юго-Западного государственного университета. 2018. №1. С. 6-17 / Pugin EV, Zhiznyakov AL, Titov DV. Segmentatsiya izobrazheniy krovenosnykh sosudov glaznogo dna s primeneniem nechetkogo predstavleniya izobrazheniya [Segmentation of images of eye ground blood vessels involving application of fuzzy imaging]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universi-teta.2018;(1):6-17. Russian.
6. Старинский В.В. Злокачественные новообразования в России в 2018 году (заболеваемость и смертность); под ред. А.Д. Ка-прина, В.В. Старинского, Г.В. Петровой. Москва: Московский научно-исследовательский онкологический институт имени П.А. Герцена -филиал Федерального государственного бюджетного учреждения «Национального медицинского исследовательского центра радиологии» Минздрава России, 2019. 250 с. / Starinskiy VV. Zlokachestvennye novoobrazovaniya v Rossii v 2018 godu (zabolevaemost' i smertnost') [Malignant neoplasms in Russia in 2018 (morbidity and mortality). AD Kaprina, VV Starinskogo, GV Petrovoy, editors. Moscow: Moskovskiy nauchno-issledovatel'skiy onkologicheskiy institut imeni PA Gertsena -filial Federal'nogo gosudarstvennogo byudzhetnogo uchrezhdeniya «Natsional'nogo meditsinskogo issledovatel'skogo tsentra radiologii» Minzdrava Rossii; 2019. Russia.
7. Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Машиностроение и компьютерные технологии. 2012. №5. С. 270-280 / Strugaylo VV. Obzor metodov fil'tratsii i segmentatsii tsifrovykh izobrazheniy [Review of filtration and segmentation methods for digital images]. Mashinostroenie i komp'yuternye tekhnologii. 2012;(5):270-80. Russian.
8. Jones O.T., Jurascheck L.C., van Melle M.A., Hickman S., Burrows N.P., Hall P.N., Emery J., Walter F.M. Dermoscopy for melanoma detection and triage in primary care: a systematic review // BMJ Open. 2019. Vol. 9. P. 1-15 / Jones OT, Jurascheck LC, van Melle MA, Hickman S, Burrows NP, Hall PN, Emery J, Walter FM. Dermoscopy for melanoma detection and triage in primary care: a systematic review. BMJ Open.2019;9:1-15.
9. Yang S., Kweon J., Roh J. H., Lee J. H., Kang H., Park L. J., Kim D. J., Yang H., Hur J., Kang D. Y., Lee P. H., Ahn J. M., Kang S. J., Park D. W., Lee S. W., Kim Y. H., Lee C. W., Park S. W., Park S. J. Deep learning segmentation of major vessels in X-ray coronary angiography // Scientific reports. 2019. Vol. 16897, №9. P. 1-11 / Yang S, Kweon J, Roh JH, Lee JH, Kang H, Park LJ, Kim DJ, Yang H, Hur J, Kang DY, Lee PH, Ahn JM, Kang SJ, Park DW, Lee SW, Kim YH, Lee CW, Park SW, Park SJ. Deep learning segmentation of major vessels in X-ray coronary angiography. Scientific re-ports.2019;16897(9):1-11.
10. Zhou Y., Huang C., Tan W., Oiu Z., Zhou H., Song Y., Zhao Y., Gao S. Applying deep learning in recognizing the femoral nerve block region on ultrasound images // Annals of Translational Medicine. 2019. Vol. 18, №7. P. 1-7 / Zhou Y, Huang C, Tan W, Oiu Z, Zhou H, Song Y, Zhao Y, Gao S. Applying deep learning in recognizing the femoral nerve block region on ultrasound images. Annals of Translational Medi-cine.2019;18(7):1-7.
Библиографическая ссылка:
Параскевопуло К.М., Наркевич А.Н., Виноградов К.А. Алгоритмы сегментации для выделения объектов на цифровых изображениях кожи // Вестник новых медицинских технологий. 2020. №4. С. 106-109. DOI: 10.24411/1609-2163-2020-16620.
Bibliographic reference:
Paraskevopulo KM, Narkevich AN, Vinogradov KA. Algoritmy segmentatsii dlya vydeleniya ob"ektov na tsifrovykh izobrazheniyakh kozhi [Segmentation algorithms for objects highlighting in digital skin images]. Journal of New Medical Technologies. 2020;4:106-109. DOI: 10.24411/1609-2163-2020-16620. Russian.
