Научная статья на тему 'МЕТОД СЕГМЕНТАЦИИ ПЕРЕКРЫВАЮЩИХСЯ ФОРМЕННЫХ ЭЛЕМЕНТОВ КРОВИ НА МИКРОСКОПИЧЕСКИХ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЯХ'

МЕТОД СЕГМЕНТАЦИИ ПЕРЕКРЫВАЮЩИХСЯ ФОРМЕННЫХ ЭЛЕМЕНТОВ КРОВИ НА МИКРОСКОПИЧЕСКИХ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЯХ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
130
27
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЭРИТРОЦИТОМЕТРИЯ / КОМПЬЮТЕРНОЕ ЗРЕНИЕ / МИКРОСКОПИЧЕСКОЕ ИЗОБРАЖЕНИЕ КРОВИ / ПЕРЕКРЫВАЮЩИЕСЯ ОБЪЕКТЫ / ВОГНУТЫЕ ТОЧКИ / АНАЛИЗ КРИВИЗНЫ / ОБЪЕКТ ЭЛЛИПТИЧЕСКОЙ ФОРМЫ / ERYTHROCYTOMETRY / COMPUTER VISION / BLOOD MICROSCOPIC IMAGE / OVERLAPPING OBJECTS / CONCAVE POINTS / CURVATURE ANALYSIS / ELLIPTICAL OBJECT

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Батищев Д.С., Михелев В.М., Утянский А.А.

В статье рассматривается решение задачи эритроцитометрии с использованием методов компьютерного зрения. Для проведения эритроцитометрии необходимо выделить эритроциты намикроскопическом изображении крови и затем вычислить такие их параметры как диаметр, объём и толщину. Основная проблема при подсчете площадей эритроцитов заключается в том, что они могут перекрываться друг другом, а также изменять свою форму в некотором диапазоне. Предлагаемыйподход на первом этапе предусматривает предобработку микроскопических изображений клеток крови. Затем выполняется разделение контура группы перекрывающихся объектов на множествосегментов, разделенных специальными точками, так называемыми вогнутыми точками. Предложен комбинированный подход для извлечения контурных доказательств, который основан на обнаружении вогнутых точек с помощью анализа кривизны, использовании проверки на вогнутость и эффективнойпроцедуры поиска. Затем предлагается использовать метод группировки сегментов, чтобы найти группу сегментов контура, которые вместе образуют объект эллиптической формы. Группировкасегментов подразумевает перебор предварительно отобранных сегментов контура с целью возможности их объединить в единый замкнутый объект. Приведенное тестирование алгоритма сегментации перекрывающих друг друга эритроцитов на микроскопических изображениях,выполненное на 24 реальных микроскопических медицинских изображениях крови, показало эффективность разработанного метода.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

METHOD OF SEGMENTATION OF OVERLAPPING BLOOD CELLS ON MICROSCOPIC MEDICAL IMAGES

The article discusses the solution to the problem of erythrocytometry using computer vision methods. To carry out erythrocytometry, it is necessary to isolate erythrocytes on a microscopic image of blood and then calculatetheir parameters such as diameter, volume and thickness. The main problem when calculating the areas of red blood cells is that they can overlap each other, and also change their shape in a certain range. At the first stage, the proposed approach provides for the preprocessing of microscopic images of blood cells. Then, the outlineof a group of overlapping objects is divided into many segments, separated by special points, the so-called concave points. A combined approach is proposed for extracting contour evidence, which is based on the detection of concave points using curvature analysis, the use of concavity testing and an efficient search procedure. It is then suggested to use the segment grouping method to find a group of path segments that together form an elliptical object. Segment grouping means iterating over preselected contour segments in order to be able to combine them into a single closed object. The testing of the segmentation algorithm for overlapping erythrocytes in microscopic images on 24 real microscopic medical images of blood showed the effectiveness of the developed method.

Текст научной работы на тему «МЕТОД СЕГМЕНТАЦИИ ПЕРЕКРЫВАЮЩИХСЯ ФОРМЕННЫХ ЭЛЕМЕНТОВ КРОВИ НА МИКРОСКОПИЧЕСКИХ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЯХ»

УДК 004.9

DOI 10.18413/2687-0932-2020-47-4-803-815

Метод сегментации перекрывающихся форменных элементов крови на микроскопических медицинских изображениях

Батищев Д.С., Михелев В.М., Утянский А.А.

Белгородский государственный национальный исследовательский университет, Россия, 308015, г. Белгород, ул. Победы, 85 E-mail: batishchev@bsu.edu.ru

Аннотация

В статье рассматривается решение задачи эритроцитометрии с использованием методов компьютерного зрения. Для проведения эритроцитометрии необходимо выделить эритроциты на микроскопическом изображении крови и затем вычислить такие их параметры как диаметр, объём и толщину. Основная проблема при подсчете площадей эритроцитов заключается в том, что они могут перекрываться друг другом, а также изменять свою форму в некотором диапазоне. Предлагаемый подход на первом этапе предусматривает предобработку микроскопических изображений клеток крови. Затем выполняется разделение контура группы перекрывающихся объектов на множество сегментов, разделенных специальными точками, так называемыми вогнутыми точками. Предложен комбинированный подход для извлечения контурных доказательств, который основан на обнаружении вогнутых точек с помощью анализа кривизны, использовании проверки на вогнутость и эффективной процедуры поиска. Затем предлагается использовать метод группировки сегментов, чтобы найти группу сегментов контура, которые вместе образуют объект эллиптической формы. Группировка сегментов подразумевает перебор предварительно отобранных сегментов контура с целью возможности их объединить в единый замкнутый объект. Приведенное тестирование алгоритма сегментации перекрывающих друг друга эритроцитов на микроскопических изображениях, выполненное на 24 реальных микроскопических медицинских изображениях крови, показало эффективность разработанного метода.

Ключевые слова: эритроцитометрия, компьютерное зрение, микроскопическое изображение крови, перекрывающиеся объекты, вогнутые точки, анализ кривизны, объект эллиптической формы.

Благодарности: работа выполнена при финансовой поддержке гранта РФФИ 19-07-00133 А.

Для цитирования: Батищев Д.С., Михелев В.М., Утянский А.А. 2020. Метод сегментации перекрывающихся форменных элементов крови на микроскопических медицинских изображениях. Экономика. Информатика. 47 (4): 803-815. DOI 10.18413/2687-0932-2020-47-4-803-815.

Method of segmentation of overlapping blood cells on microscopic

medical images

Batishchev D.S., Mihelev V.M., Utyanskij A.A.

Belgorod National Research University, 85 Pobeda St, Belgorod, 308015, Russia E-mail: batishchev@bsu.edu.ru

Abstract

The article discusses the solution to the problem of erythrocytometry using computer vision methods. To carry out erythrocytometry, it is necessary to isolate erythrocytes on a microscopic image of blood and then calculate their parameters such as diameter, volume and thickness. The main problem when calculating the areas of red blood cells is that they can overlap each other, and also change their shape in a certain range. At the first stage, the proposed approach provides for the preprocessing of microscopic images of blood cells. Then, the outline of a group of overlapping objects is divided into many segments, separated by special points, the so-called

concave points. A combined approach is proposed for extracting contour evidence, which is based on the detection of concave points using curvature analysis, the use of concavity testing and an efficient search procedure. It is then suggested to use the segment grouping method to find a group of path segments that together form an elliptical object. Segment grouping means iterating over preselected contour segments in order to be able to combine them into a single closed object. The testing of the segmentation algorithm for overlapping erythrocytes in microscopic images on 24 real microscopic medical images of blood showed the effectiveness of the developed method.

Keywords: erythrocytometry, computer vision, blood microscopic image, overlapping objects, concave points, curvature analysis, elliptical object.

Acknowledgements: this work was carried out with the financial support of the RFBR grant 19-07-00133 A.

For citation: Batishchev D.S., Mihelev V.M., Utyanskij A.A. 2020. Method of segmentation of overlapping blood cells on microscopic medical images. Economics. Information technologies. 47 (4): 803-815 (in Russian). DOI 10.18413/2687-0932-2020-47-4-803-815.

Введение

В задачах анализа изображений клеток крови, полученных с помощью микроскопа, в рамках цитологических исследований часто возникает необходимость подсчета количества клеток определенного типа. При исследовании препаратов крови важной задачей является подсчет количества эритроцитов, исходя из этого показателя можно диагностировать нарушения в кровообразовании или повреждения эритроцитов вследствие различных факторов. Одним из важных диагностических исследований для установления правильного и точного диагноза является измерение диаметра эритроцитов - эритроцитометрия [Камышников, 2015]. Графическое изображение соотношения содержания в крови эритроцитов с различными диаметрами называют эритроцитометрической кривой Прайс-Джонса, которая у практически здоровых людей носит характер нормального распределения. При этом ключевым этапом диагностики любого вида анемии является оценка морфологии эритроцитов. Основная проблема при подсчете площадей эритроцитов [Батищев и др., 2108] заключается в том, что они могут перекрываться друг другом [Park et al., 2013], а также изменять свою форму в некотором диапазоне. Наличие различных шумов и посторонних объектов в поле зрения микроскопа дополнительно усложняет анализ изображения.

Таким образом, очевидно, что разработка методов сегментации перекрывающихся форменных элементов крови на микроскопических медицинских изображениях и их программно-алгоритмическая реализация на основе компьютерного зрения является актуальной задачей для решения перечисленных выше проблем.

Теоретические основы

Для проведения эритроцитометрии необходимо выделить эритроциты на изображении крови и затем вычислить такие их параметры, как диаметр, объём и толщину. Основной проблемой при сегментации эритроцитов, часто возникающей на практике, является то, что на микроскопическом изображении крови некоторые эритроциты могут перекрывать друг друга [Липунова, Скоркина, 2004].

Предполагается, что цвет эритроцитов четко отличается от фона изображения, а их контуры имеют приблизительно эллиптические формы. Предлагается для сегментации частично перекрывающихся объектов предварительно решить задачу извлечения контурных данных, а затем выполнить оценку контуров.

Для извлечения контурных данных необходимо выполнить два этапа: первый -сегментация контура, второй - группировка сегмента. На первом этапе контуры объекта

делятся на отдельные сегменты. На втором этапе выполняется проверка доказательства наличия контура путем объединения найденных ранее сегментов контура, которые принадлежат одному и тому же объекту. Как только доказательство наличия контура получено, то выполняется оценка контура в результате чего наблюдаемые объекты моделируются в форме объектов эллиптической формы. Предлагается новый комбинированный подход для извлечения контурных доказательств, который основан на обнаружении вогнутых точек с помощью анализа кривизны, использовании проверки на вогнутость и эффективной процедуры поиска.

Сегментация перекрывающихся объектов. Предлагаемый подход на первом этапе предусматривает предобработку микроскопических изображений клеток крови. Для этого при создании силуэта изображения используется бинаризация изображения путем подавления фона на основе метода Оцу [Otsu, 1979] и морфологическая обработка для сглаживания границ объекта [Сойникова и др., 2018]. Карта границ исследуемых объектов строится с использованием детектора краев Канни [Canny, 1986; Сойникова и др., 2016].

На этапе получения доказательства наличия контура граничные точки, которые принадлежали каждому объекту, группируются с использованием вогнутых точек [Кудрявцев, 1981] и свойств подогнанных эллипсов [Zhang, 2012]. Когда доказательство наличия контура будет получено, тогда выполняется оценка этого контура и осуществляется дорисовка недостающих частей перекрывающихся объектов.

Извлечение контурных доказательств. Вначале происходит извлечение данных контура, содержащего видимые части границ объектов, которые затем можно использовать для вывода перекрытых (невидимых) частей перекрывающихся объектов. Извлечение данных о наличии контура включает две отдельные задачи: сегментация контура и группирование сегмента.

Контурная сегментация. Частичное перекрытие между двумя или более объектами эллиптической формы приводит к вогнутой форме с вогнутыми краевыми точками, которые соответствуют пересечениям границ объекта. Именно эти вогнутые точки используются для сегментирования контура перекрывающихся объектов.

Предлагается, что после нахождения края изображения детектором краев Канни [Canny, 1986], вогнутые точки определяются путем обнаружения угловых точек с последующей проверкой их на вогнутость. Угловые точки обнаруживаются с использованием метода модифицированного пространства кривизны, основанного на анализе кривизны [He, Yung, 2004]. Данный метод позволяет определить точки с максимальной кривизной, лежащие как в вогнутой, так и в выпуклой областях контуров объекта. Так как нас интересуют только вогнутые точки, соединяющие контуры перекрывающихся объектов, обнаруженные угловые точки проверяются на то, находятся ли они на вогнутых областях [Zafari, 2015a; Zafari, 2017].

Обозначим обнаруженную угловую точку через pi, а две смежные точки контура через Pi-k и pi + к. Угловая точка pt квалифицируется как вогнутая, если линия, соединяющая точки Pi-k и pt + к, не находится внутри объекта. Полученные вогнутые точки затем будут использоваться для разбиения контуров объекта на сегменты контура. На рисунке 1 показан пример извлечения вогнутой точки и сегментации контура.

Группировка сегментов. Из-за существующих перекрытий между объектами один объект может создавать несколько сегментов контура. Группировка сегментов необходима для объединения всех контурных сегментов, принадлежащих одному объекту. Основная идея предлагаемого метода группировки сегментов состоит в том, чтобы найти группу сегментов контура, которые вместе образуют объект эллиптической формы. Группировка сегментов подразумевает перебор предварительно отобранных сегментов контура с целью возможности их объединения в единый замкнутый объект. Для оптимизации процесса группировки предлагается использовать ограниченное пространство поиска. Сегмент контура в процессе группировки рассматривается только находящийся рядом с соседними сегментами. Два

сегмента считаются соседними, если евклидово расстояние между их центральными точками меньше заданного порогового значения.

Группировка сегментов контура осуществляется в процессе подбора эллипса [2аГап, 2015а]. При наличии пары контурных сегментов, Эг и Sj, и функции, измеряющей качество подгонки эллипса, сегмент Эг группируется с сегментом Sj, если вычисленное качество эллипса, подогнанного к сегментам соединения, выше, чем качество эллипса, установленного на каждый отдельный сегмент контура в отдельности.

Рис. 1. Сегментация контура: (а) карта объектов; (б) испытание на вогнутость для извлечения вогнутых углов и удаленных выпуклых углов; (в) сегментация контура по вогнутым точкам Fig. 1. Segmentation of the contour: (a) map of objects; (b) a concavity test to extract concave corners and distant convex corners; (c) segmentation of the contour by concave points

Достоверность соответствия описывается как среднее отклонение расстояния (ADD), которое измеряет расхождение между подобранной кривой и точками-кандидатами на контуре [Zhang et al., 2012]. Более низкое значение ADD указывает на более высокую степень соответствия, и поэтому объединенное правило для выполнения группировки сегментов в терминах ADD определяется как

ADD

< ADDс

SiUSj —

ADDs.Us. < ADDS.,

(1)

где значение ADD определяется следующим образом для заданного отрезка контура Si, состоящего из n точек,

Si = {pk (xk, yk)} n к = 1,

и соответствующие подогнанные точки эллипса

sf, i = {Pf,k f yf,k)} n к = Ь ADDs

определяется как

ADDsi = -n

1 ^ J(xk - xj,k)2 + (Ук - У],к)2 ■ k=1

(2)

В преобразованной системе координат

$ = [

cosQ sinQ sinO cosQi

-Ук Уео

] ■

(3)

Уравнение (1) может быть упрощено до

k=1

где Dk определяется как

ADDsi = ^ ^ J(xk-xjik)2 + (yk-yjik)2 , (4)

Jsi - - / J (лк - л1,к) -т- (Уk- У],к,

у'2 л,'2

= £ + £ , (5)

где a, b, (xeo, yeo) и в являются параметрами эллипса, это - длина большой полуоси, длина малой полуоси, координаты центра эллипса и угол ориентации эллипса относительно оси x. Однако использование критерия ADD (4) для группировки сегментов может привести к нежелательным результатам, если точки контура не соответствуют модели эллипса. Для решения этой проблемы необходимы дополнительные правила.

В том случае, если обрабатываются два сегмента контура с целью их группировки, то сегмент с большей длиной должен обеспечивать больший вклад в рассматриваемый критерий, чем сегмент с более короткой длиной. Исходя из этого предположения, параметр, представляющий длину сегментов контура, добавляется к критерию группировки. Предполагая, что контурный сегмент s/ длиннее контурного сегмента sj, уравнение (1) заменяется следующим соотношением

ADDs.Us. < WiADDSi (6)

ADDs.Us. < WiADDSj,

к

где Wj —

1 к+1]

Ь и /у - длины отрезков контура я/ и я/ соответственно.

Надо отметить, что отдельные сегменты контура, находящиеся в непосредственной близости друг к другу, с меньшей вероятностью представляют один объект, и поэтому они не должны объединяться. Однако, два сегмента контура, модели эллипса которых находятся на очень большом расстоянии друг от друга, также не должны группироваться.

Поэтому, следуя этим соглашениям [Bai et а1., 2009] и будучи заинтересованным в группировании сегментов близкого контура, предлагается применить два дополнительных правила.

Обозначим центры эллипса для отрезков контура я*, Я] и яцц через в*, еи вц] соответственно. Тогда сегменты контура я* и Я] не должны группироваться как один сегмент, при условии, что, во-первых, расстояние от центра эллипса комбинированных сегментов контура вщ] до центра его элементов в* и е] больше заданного порога 1

Л (еI, е¿у) > ^ (7)

й (е]-, еи) > ^

и во-вторых, расстояние между их соответствующими центрами эллипса больше, чем предопределенный порог t2

й (е^, е£у) > t2 (8)

где ё (р1, р2) - евклидово расстояние между точками р1 и р2.

Значение ^ может быть определено с использованием свойств объекта и обычно близко к длине малой оси подогнанных эллипсов. Значение t2 должно быть установлено таким образом, чтобы не допустить группирования контура сегмента, принадлежащего разным объектам, это обычно достигается при t2 в 2,5-4 раза выше, чем порог

Оценка контура. Последним этапом предлагаемого метода является оценка контура [Ек2§1ЬЬоп et я1., 1999], когда на основе визуальной информации, полученной на предыдущем этапе, оцениваются недостающие части контуров объекта. Подгонка эллипса является очень распространенным подходом в сегментации перекрывающихся объектов. Наиболее эффективные современные методы подбора эллипса, основанные на граничных точках формы, обычно решаются с помощью классической задачи наименьших квадратов. Поэтому оценка контура выполняется с помощью метода прямой подгонки по методу наименьших квадратов, где частично наблюдаемые объекты моделируются в форме объектов эллиптической формы. На рисунке 2 показан пример оценки контура, примененной к доказательствам контура.

Рис. 2. Оценка контура: (а) исходное изображение; б) извлечение контурных доказательств;

(в) оценка контура

Fig. 2. Evaluation of the contour: (a) original image; b) extracting contour evidence; (c) contour estimate

Блок-схема сегментации перекрывающихся объектов на изображении представлена на рисунке 3. Идея метода решения поставленной задачи заключается в разделении контура группы перекрывающихся объектов на множество сегментов, разделенных специальными точками, так называемыми вогнутыми точками. Далее приведено описание основных этапов рассматриваемого метода.

Разделение изображения на отдельные области. На этом этапе производится поиск контуров на бинарном изображении. Для нахождения контуров предлагается использовать алгоритм Сатоши Сузуки [Suzuki, Abe, 1985], который позволяет определить иерархические отношения между контурами. Таким образом, можно определить, когда контур одного объекта вложен в другой. Данная ситуация при исследовании клеток крови обычно возникает при наличии на изображении двояковогнутых эритроцитов. В таком случае вогнутость эритроцита при засветке может не фиксироваться камерой, из-за чего получается объект с отверстием. Алгоритм Сузуки примет их за два объекта и поэтому необходимо удалить такие вложенные контуры из области интереса.

а)

б)

в)

Разработка метода сегментации

сегмента ция объе егов(изо браженне, кофф ицие нт_аппр ОЕСима цин)

i

бинарное изображение = иредобработать нзображенне(нзображенгие)

+

Еонтуры = найти_конгуры(бннарное_н'зображение)

Ж.

сглаженныеконтуры = аппроЕсимировать_Еонтуры(Еонтуры. кофициентаппроксимации)

i

разделяющие точки = найти_разделяшщне точен(сглаженные Еонтуры. бинароное изображение)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

+

сегментированные_контуры = разделЕнтъ_контуры_по_точкам(кошуры, разделяющне_точкн)

Л

сегиентированные_сглаженные_контуры = разделЕпь_к0Еггуры_п0_10чкаи(сглаженные_к0нтуры, разаеляющнеточкн)

i

сгру1тированные_се:шенты = сгрутжровать_сетенты(сетентнрованные_Еонтуры, сетентнрованные_сглаженные_Еонтуры)

V

ПЛОЩаДИ_КОНТурОВ = В ЫЧИСЛИТЬ_ПЛОЩаДИ_ЕОНТуров (контуры) +

максдпиныконтуров = вычисаи1ь_макс_дпины_кошуров(контуры) _ * _

итоговые_Еонтуры = найти_итоговые_Еонтуры(сгруп1шрованные_Еонтуры. площади_Еотуров, макс дпины контуров)

*

итоговые_контуры = отобрать_Еонтуры_по_площади(итоговые_контуры. ыинплощадь. макс_площадь)

J итоговые^_контуры j Еонёц^)

Рис. 3. Блок-схема сегментации перекрывающихся объектов на изображении Fig. 3. Block diagram of segmentation of overlapping objects in the image

Предварительная обработка изображения. В начале проводится перевод изображения в цветовое пространство HSL (Hue, Saturation, Lightness). Перевод изображения производится по следующим формулам (9).

_ Max(R, G, В)+ Min(R, G, В) L = 2

(Max(R, G, В) -Min(R, G, В) .

Max(R, G, В) + Min(R, G, В), ^ L <

Max(R, G, B) - Min(R, G, B)

------- - (Max(R, G, B) + Min(R, G, B)), if L> 0.5

5

-6a(G B)^, R = Max(R,G,B)

H = l120 + 60 (B-V/S, if G = Max(R, G, B) (9)

24° + 6°.(R-G)/s, .f B = Max(R) G) B)

где R, G, B - значения цвета в цветовой модели RGB, значения в диапазоне [0:1], S - насыщенность [0:1], H- тон [0: 360], L - светлота [0:1].

Затем из полученного изображения выделяем один канал. В данном случае будем использовать L-канал.

Удаление фона изображения. Удаление фона изображения выполняется, чтобы сгладить перепады между группами соседних пикселей, которые могут возникнуть на

изображениях в случае неравномерного освещения. Сглаживание изображения выполняем с помощью размытия по Гауссу [Гонсалес, Вудс, 2005].

На следующем повышаем контрастность изображения для того, чтобы после удаления фона изображения оставить основные объекты. Для этого используем адаптивную эквализацию гистограммы с ограничением CLAHE [Stephen et al., 1987].

После повышения контрастности между фоном и объектами можно удалить фон изображения по следующему правилу (10):

где х^ — светимость / — го пикселя, X — множество всех пикселей

Бинаризация. Для того, чтобы отнести пиксель на полутоновом изображении к какому-либо значению, используется порог (11):

где Xj — значение i — го пикселя, threshold — порог бинаризации Выбор порога сегментации предлагается определять по методу Оцу.

Аппроксимация контуров. Аппроксимацию контуров необходимо выполнять для их сглаживания. Данная операция позволяет избавиться от неровностей контуров объектов, которые часто присутствуют в исследуемой предметной области. Для аппроксимации контуров используется алгоритм Рамера - Дугласа - Пекера [Ramer, 1972; Douglas, Thomas, 1973]. Данный алгоритм позволяет с использованием метода наименьших квадратов по данной ломаной кривой построить аппроксимирующую ломаную с меньшим числом точек искривления. Алгоритм определяет расхождение, которое вычисляется по максимальному расстоянию между исходными и упрощёнными кривыми.

Группировка сегментов, которые являются частями одного элемента. На этом этапе выполняется группировка сегментов, которые принадлежат одному объекту. Алгоритм группировки сегментов выполняет итерации по каждой паре контурного сегмента, проверяя, могут ли они быть объединены в один эллипс. Надо отметить, что данный алгоритм перебора отнимает много времени для нахождения решения. В качестве показателя для группировки сегментов используется критерий среднего отклонения расстояния (ADD) [Zhang et al., 2012]. ADD основан на эвристике, согласно которой все искомые контуры имеют эллиптическую форму. Метод объединяет две группы сегментов, если значение ADD каждой группы выше, чем значение ADD объединенных групп. Для решения проблемы большого количества перестановок предлагается использовать две эвристики. Первый подход позволяет ограничить пространство поиска, согласно правилу, что расстояние между центрами сегментов меньше предварительно определенного некоторого порогового значения. Второй подход основан на алгоритме оптимизации ветвей и границ. В этом случае сегменты каждого контура будут группироваться независимо друг от друга. При этом сегменты, принадлежащие одному контуру, не будут группироваться с сегментами другого контура. После завершения процесса группировки у каждого контура будет одна или более групп контуров. Несколько сегментов может быть получено в том случае, если сегменты: не пересекают других сегментов; не являются соседними; образуют выпуклую фигуру.

Оценка полного контура объекта с помощью подбора эллипса. Для реализации данного алгоритма необходимы следующие параметры: площадь контура и максимальная длина контура. Эти данные необходимы для сравнения с подобранными контурами, и, если параметры подобранных контуров будут превышать найденные, то такие контуры исключаются. В качестве способа оценки контура используется метод подбора эллипса. Этот

(10)

(11)

метод основан на том, предполагается, что перекрывающиеся объекты имеют форму близкую к эллиптической. Подбор параметров эллипса основан на минимизации суммы расстояний между точками контуров и эллипсом.

Предлагается оценку контуров к группам сегментов осуществлять тремя способами. Во-первых, если сегмент в контуре один, тогда итоговым контуром будет являться данный сегмент. Во-вторых, если в группе найден только один контур и расстояние между начальной и конечной точкой невелико, то тогда для группы сегментов итоговым контуром будет являться именно этот сегмент. В-третьих, если в группе найдено несколько сегментов, то тогда к данной группе будет подобран эллипс по способу, предложенному Эндрю Фитцгиббоном [Б^ЬЬоп а; а1., 1999].

Исследование работоспособности метода сегментации

Тестирование алгоритма сегментации перекрывающих друг друга эритроцитов на микроскопических изображениях проведено на 24 реальных медицинских изображениях клеток крови, при этом данные изображения были разделены на 4 группы. Для каждой группы были определены следующие параметры: четкость и контрастность изображения, количество перекрывающихся объектов на изображении, наличие шумов.

Предложено оценивать результаты сегментирования объектов на изображении по стобалльной шкале с использованием следующего выражения.

N-К-Р-Е X 0.5 5 = 100 X---, (12)

где K - количество нераспознанных объектов, N - эталонное количество объектов на изображении, E - количество объектов, чей контур заметно отличается от эталонного, F - количество ложных распознаваний.

Коэффициент аппроксимации (сглаживания) подбирался эмпирическим путём. На рисунке 4 представлен пример сегментации объектов на изображениях из 3-й группы.

Результаты тестирования алгоритма сегментации объектов представлены в таблице 1. Показано, что на изображениях для различных групп, алгоритм сегментации определяет 86,05 % объектов, что можно считать удовлетворительным результатом. При этом на качество сегментирования объектов влияет как качество самого изображения и наличие посторонних частиц, так и количество эритроцитов, их форма, а также насколько часто эритроциты накладываются друг на друга.

4P» I

Ч

ОсР О £МЭ Оп ОЛО Iх dU-o сз оо орооС ©0о > .оЦЗо оо 0 00

°о © : Ъ о9Р Н9а о о

§ °8оО%>«

cv. Шо°0

Сл. »£»«S — •

а) б)

Рис. 4. Тестирование алгоритма сегментации на изображении из 3-й группы: а) - исходное изображение; б) - коэффициент аппроксимации 3,7 Fig. 4. Testing the segmentation algorithm on the image from the 3rd group: a) - the original image;

b) - coefficient of approximation 3.7

Таблица 1 Table 1

Результаты тестирования алгоритма сегментации Segmentation algorithm test results

№ Коэффициент аппроксимации Количество объектов Количество найденных объектов Количество пропущенных объектов Количество ложных срабатываний Количество неточно найденных объектов Успешно распознанных объектов (max 100)

1 2 3 4 5 6 7 8

1-я группа изображений

1 3 125 122 3 0 3 96.40

2 8 107 102 6 1 2 92.52

3 5 122 114 8 0 2 92.62

4 4 115 110 7 2 2 91.30

5 5 115 112 3 0 0 97.39

6 8 112 106 9 3 1 88.84

Среднее 93.18

2-я группа изображений

1 8 106 98 9 1 1 90.09

2 4 140 129 13 3 5 86.79

3 4 141 129 15 3 1 86.88

4 3 125 113 12 0 7 87.60

5 5 138 130 12 4 3 87.32

6 4 144 138 6 0 4 94.44

Среднее 88.85

3-я группа изображений

1 4 114 106 9 1 5 89.04

2 4 151 141 13 3 10 86.09

3 5 157 147 21 11 16 74.52

4 5 137 125 12 0 3 90.15

5 3 133 123 16 6 12 78.95

6 5 159 146 14 1 4 89.31

Среднее 84.68

4-я группа изображений

1 3 184 179 9 4 9 90.49

2 3 175 169 11 5 13 87.14

3 3 163 106 58 1 8 61.35

4 5 158 135 25 2 18 77.22

5 3 159 149 14 4 8 86.16

6 3 119 92 33 6 11 62.61

Среднее 77.49

Общее среднее 86.05

Заключение

Представленный метод сегментации перекрывающих форменных элементов крови на микроскопических медицинских изображениях позволяет более точно решать задачу эритроцитометрии. Данный метод позволяет вычислить правильные площади эритроцитов на основании более точного определения их перекрывающихся контуров. Благодаря этому при проведении диагностических исследований появляется возможность установления

достоверного и точного диагноза в области персональной медицины. Результаты выполненных вычислительных экспериментов продемонстрировали работоспособность и эффективность разработанных методов и алгоритмов компьютерного зрения для сегментации перекрывающих друг друга эритроцитов на микроскопических медицинских изображениях клеток крови.

Список литературы

1. Батищев Д.С., Сойникова Е.С., Михелев В.М., Синюк В.Г. 2018. Использование алгоритмов компьютерного зрения для выполнения гематологического анализа на основе кривой Прайс-Джонса. Научные ведомости белгородского государственного университета. Серия: экономика. Информатика. 45 (3): 537-546.

2. Гонсалес Р., Вудс Р. 2005. Цифровая обработка изображений. М.: Техносфера, 1072 с.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3. Камышников В. 2015. Методы клинических лабораторных исследований (6-е издание). ISBN: 978-5-00030-273-6. 8-е изд. перераб., 736 с.

4. Кудрявцев Л.Д. 1981. Гл. 1. Дифференциальное исчисление функций одного переменного. Математический анализ. Москва: «Высшая школа». Т. 1. С. 190-195.

5. Липунова Е.А., Скоркина М.Ю. 2004. Система красной крови: сравнительная физиология. БелГУ. Белгород: БелГУ, 215 с.: ил., табл.

6. Сойникова Е.С., Рябых М.С., Батищев Д.С., Синюк В.Г., Михелев В.М. 2016. Высокопроизводительный метод обнаружения границ на медицинских изображениях. Научный результат. Информационные технологии, 1 (3): 4-9.

7. Сойникова Е.С., Батищев Д.С., Михелев В.М. 2018. О распознавании форменных объектов крови на основе медицинских изображений. Научный результат. Информационные технологии. 3 (3): 54-65.

8. Bai, X., Sun, C., Zhou, F. 2009. Splitting touching cells based on concave points and ellipse fitting. Pattern Recognition 42: 2434-2446.

9. Canny, J. 1986.A computational approach to edge detection, IEEE Transactions on pattern analysis and Machine Intelligence, 8 (6): 679-698.

10.David Douglas, Thomas Peucker. 1973. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature», The Canadian Cartographer 10(2), 112-122.

11.Fitzgibbon, A., Pilu, M., Fisher, R.B. 1999. Direct least square fitting of ellipses. IEEE Transactions on Pattern Analysis and Machine Intelligence 21: 476-480.

12.He, X., Yung, N.: Curvature scale space corner detector with adaptive threshold and dynamic region of support. In: Proceedings of the 17th International Conference on Pattern Recognition. ICPR 2004. (Volume 2.) 791-794.

13.Otsu N. A threshold selection method from gray-level histograms. IEEE Trans. Sys., Man., Cyber.: journal. - 1979. - Vol. 9. - P. 62-66.

14. Park, C., Huang, J.Z., Ji, J.X., Ding, Y.: Segmentation, inference and classification of partially overlapping nanoparticles. IEEE Transactions on Pattern Analysis and Machine Intelligence 35 (2013) 669-681.

15.Pizer Stephen M.et al. Adaptive histogram equalization and its variations. Computer vision, graphics, and image processing. 1987. V.39. No 3. P. 355-368.

16.Satoshi Suzuki, Keiichi Abe. New fusion operations for digitized binary images and their applications. IEEE Transactions on Pattern Analysis and Machine Intelligence. Volume: PAMI-7, Issue: 6, Nov. (1985) 638-651.

17.Urs Ramer. An iterative procedure for the polygonal approximation of plane curves. Computer Graphics and Image Processing, 1(3), 1912, 244-256.

18.Z Zafari S., Eerola T., Sampo J., Kalviainen H., Haario H. Segmentation of partially overlapping nanoparticles using concave points. In: Advances in Visual Computing, Springer, 2015, 187-197.

19.Zafari S., Eerola T., Sampo J., Kalviainen H., Haario H. H. Segmentation of overlapping elliptical objects in silhouette images. IEEE Transactions on Image Processing24(12), 2015, 5942-5952.

20.Zafari S., Eerola T., Sampo J., Kalviainen H., Haario H. Comparison of concave point detection methods for overlapping convex objects segmentation. In: 20th Scandinavian Conference on Image Analysis. SCIA 2017,June12-14, 2017, 245-256.

21.Zhang, W.H., Jiang, X., Liu, Y.M.: A method for recognizing overlapping elliptical bubbles in bubble image. Pattern Recognition Letters (2012) 33(12), 1543-1548.

References

1. Batishhev D.S., Sojnikova E.S., Mihelev V.M., Sinjuk V.G. 2018. Performing a hematological analysis Price-Jones Using a computer vision algorithms to perform hematological analysis based on the Price-Jones curve. Nauchnye vedomosti belgorodskogo gosudarstvennogo universiteta. Serija: jekonomika. Informatika. 45 (3): 537-546. (in Russian)

2. Gonsales R., Vuds R. Digital image processing. M.: Tehnosfera, 2005. 1072 s. (in Russian)

3. Kamyshnikov V. 2015. Clinical laboratory research methods (6th edition). ISBN: 978-5-00030273-6. 8-e izd. pererab., 736 s. (in Russian)

4. Kudrjavcev L.D. 1981. Gl. 1. Differential calculus of functions of one variable. Matematicheskij analiz. - Moskva: «Vysshaja shkola», T. 1. S. 190-195. (in Russian)

5. Lipunova E.A., Skorkina M.Ju. 2004. The red blood system: comparative physiology.

6. . BelGU. - Belgorod: BelGU, 215 s.: il., tabl. (in Russian)

7. Sojnikova E.S., Rjabyh M.S., Batishhev D.S., Sinjuk V.G., Mihelev V.M., 2016. High-performance method for detecting a boundary of medical images. Nauchnyjre zul'tat. Informacionnye tehnologii, 1(3): 4-9. (in Russian)

8. Sojnikova E.S., Batishhev D.S., Mihelev V.M. 2018. Recognition of shaped blood objects based on medical images. Nauchnyj rezul'tat. Informacionnye tehnologii. 3 (3): 54-65. (in Russian)

9. Bai, X., Sun, C., Zhou, F. 2009. Splitting touching cells based on concave points and ellipse fitting. Pattern Recognition 42: 2434-2446.

10.Canny, J. 1986.A computational approach to edge detection, IEEE Transactions on pattern analysis and Machine Intelligence, 8 (6): 679-698,

11.David Douglas, Thomas Peucker. 1973. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature», The Canadian Cartographer 10(2), 112-122.

12.Fitzgibbon, A., Pilu, M., Fisher, R.B. 1999. Direct least square fitting of ellipses. IEEE Transactions on Pattern Analysis and Machine Intelligence 21: 476-480.

13.He, X., Yung, N. 2004. Curvature scale space corner detector with adaptive threshold and dynamic region of support. In: Proceedings of the 17th International Conference on Pattern Recognition. ICPR. (Volume 2.) 791-794.

14.Otsu N. 1979. A threshold selection method from gray-level histograms. IEEE Trans. Sys., Man., Cyber.: journal. Vol. 9. P. 62-66.

15.Park, C., Huang, J.Z., Ji, J.X., Ding, Y. 2013. Segmentation, inference and classification of partially overlapping nanoparticles. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35: 669-681.

16.Pizer Stephen M. et al. 1987. Adaptive histogram equalization and its variations. Computer vision, graphics, and image processing. 39 (3): 355-368.

17.Satoshi Suzuki, Keiichi Abe. 1985. New fusion operations for digitized binary images and their applications. IEEE Transactions on Pattern Analysis and Machine Intelligence. Volume: PAMI-7, Issue: 6, Nov. 638-651.

18.Urs Ramer. 1912. An iterative procedure for the polygonal approximation of plane curves. Computer Graphics and Image Processing, 1 (3), 244-256.

19.Z Zafari S., Eerola T., Sampo J., Kalviainen H., Haario H. 2015. Segmentation of partially overlapping nanoparticles using concave points. In: Advances in Visual Computing, Springer, 187-197.

20.Zafari S., Eerola T., Sampo J., Kalviainen H., Haario H. H. 2015. Segmentation of overlapping elliptical objects in silhouette images. IEEE Transactions on Image Processing. 24 (12): 5942-5952.

21.Zafari S., Eerola T., Sampo J., Kalviainen H., Haario H. 2017. Comparison of concave point detection methods for overlapping convex objects segmentation. In: 20th Scandinavian Conference on Image Analysis. SCIA 2017, June 12-14, 245-256.

22.Zhang, W.H., Jiang, X., Liu, Y.M.: 2012. A method for recognizing overlapping elliptical bubbles in bubble image. Pattern Recognition Letters. 33 (12): 1543-1548.

ИНФОРМАЦИЯ ОБ АВТОРАХ

Батищев Денис Сергеевич, ассистент кафедры математического и программного обеспечения информационных систем Белгородского государственного национального исследовательского университета, Белгород, Россия

Михелев Владимир Михайлович, кандидат технических наук, доцент, доцент кафедры математического и программного обеспечения информационных систем Белгородского государственного национального исследовательского университета, Белгород, Россия

Утянский Артем Анатольевич, магистрант кафедры математического и программного обеспечения информационных систем Белгородского государственного национального исследовательского университета, Белгород, Россия

INFORMATION ABOUT THE AUTHORS

Denis S. Batischev, Assistant of the Department of "Mathematical and Software of Information Systems" Belgorod National Research University, Belgorod, Russia

Vladimir M. Mikhelev, Candidate of technical sciences, Docent, Docent of the Department of "Mathematical and Software of Information Systems" Belgorod National Research University, Belgorod, Russia

Artem A. Utyansky, Undergraduate of the Department of "Mathematical and Software of Information Systems" Belgorod National Research University, Belgorod, Russia

i Надоели баннеры? Вы всегда можете отключить рекламу.