Цифровая Обработка гистологических изображений: введение в область исследования и алгоритмы для морфометрии изображений ангиогенеза и лимфангиогенеза Текст научной статьи по специальности «Компьютерные и информационные науки»

Врач Езвв Обработка изображений

^ и информационные

технологии

#

>М.В. СПРИНДЖУК,

младший научный сотрудник, аспирант, Объединенный Институт Проблем Информатики, Национальная Академия Наук Беларуси, sprindzuk@tut.by

ЦИФРОВАЯ ОБРАБОТКА ГИСТОЛОГИЧЕСКИХ ИЗОБРАЖЕНИЙ: ВВЕДЕНИЕ В ОБЛАСТЬ ИССЛЕДОВАНИЯ И АЛГОРИТМЫ ДЛЯ МОРФОМЕТРИИ ИЗОБРАЖЕНИЙ АНГИОГЕНЕЗА И ЛИМФАНГИОГЕНЕЗА

УДК 002 (Информатика)

Спринджук М.В. Цифровая обработка гистологических изображений: введение в область исследования и алгоритмы для морфометрии изображений ангиогенеза и лимфангиогенеза (Объединенный Институт Проблем Информатики, Национальная Академия Наук Беларуси)

Аннотация. Статья представляет собой обзор релевантных источников литературы по темам цифровой гистопатологии, морфометрии ангиогенеза, а также рассмотрение и обсуждение свойств гистологических изображений, алгоритмических подходов к извлечению свойств изображений и сегментации сосудов. Авторы сообщает свой опыт исследования лимфангиогенеза и идеи для разработки новых алгоритмов анализа изображений лимфангиогенеза.

Ключевые слова: анализ изображений, текстурыы, цифровая обработка изображений, гистология, патологическая анатомия, алгоритмыы извлечения признаков изображений.

UDC 002 (Informatics)

Sprindzuk M.V. Digital image processing of histology images: introduction to the research area

and the algorithms for pathology image feature extraction and angiogenesis morphometry (United institute

of informatics Problems, National Belorussian Academy of Sciences)

Abstract. Article represents review of relevant literature on digital pathology and angiogenesis morphometry, and the discussion of histology image features, algorithmic approaches to the image feature retrieval and vessel segmentation. Author also reports his own experience of lymphangiogenesis morphometry and image processing algorithm development.

Keywords: image analysis, texture, digital photo processing, histology, pathology, algorithms for image feature extraction.

Достижения информационных технологий существенно способствуют прогрессу медицинских наук. Цифровая обработка изображений применяется с тех пор, как NASA (National Aeronautics and Space Administration) в 1964 году применила компьютеры для улучшения фотографий проб поверхности Луны [9]. Очевидно, что это была эра других возможностей цифровой техники и коммуникации. Сегодня в сфере гистопатологии выделяют так называемую «цифровую патологию» (Digital pathology). Одной из целей применения обработки изображений в гистологии является получение предикторов — чисел, которые могут использоваться как предсказательные факторы клинико-лабораторного состояния пациентов. Другая, труднодостижимая

© М.В. Спринджук, 2012 г.

68

Обработка изображений

Тесселяция

Вороного

Пространственные

www.idmz.ru

2012, N'4

■■■■

РЧН

Рис. 1. Развернутый обзор свойств гистологических изображений.

Рисунок автора из текста источника [12].

цель — разработка систем дифференциальной диагностики, практическая ценность которой несомненна.

Гистологические изображения широко применяются для оценки состояния пациента и исследования состава ткани. Не смотря на разнообразие интересов, проблем для решения, разнообразие гистологических изображений, существует тенденция измерять основные характеристики изображения, включающие архитектуру ткани, цвет, текстуру и морфологию.

Анализ и свойства гистологических изображений

Общая схема автоматизированного анализа гистологических изображений включает следующие стандартные шаги:

1) сегментацию изображений;

2) выделение свойств;

3) окончательное представление изображений;

4) применение обучающих алгоритмов (learning algorithms).

Наиболее распространенным свойством (см. рис. 7,2) гистологических изображений является текстура как «свойство поля, не имеющего элементов, которые можно перечислить» (M. Tuceryan, 1998). Основные проблемы текстурного анализа: сегментация изображения с учетом его текстурных свойств; отнесение данной текстурной области к одному из конечного числа классов; математическое описание текстурной области; разграничение различных текстурных областей и выделение границы каждой обла-

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 69 ■

JJJJ Обработка изображений

1 и информационные

технологии

'0

>

Алгоритмические подходы к сегментации сосудов

Трэкинг сосудов Фильтр соответствия Морфологический анализ Нейронные сети Трансформация водораздела Пороговая трансформация Фильтры Гаусса Локализация посредством структуризации сосудов NN Классификация Детекция краев Вейвлетная трансформация

>(U) Р( 1,2) т p(lNg)

Pi 2,1)L Р( 2,2)L I ‘ p(2,Ng)

М М О М

p(Ng, 1) P(Ng, 2) L P(Ng,Ng\

лу со значением j. Принимая во внимание строение такой матрицы, свойства Харалика вычисляются следующим образом:

1. ЕЕ/>0‘ ’j) (Угловой повторный момент) (2);

i j

2. Е

п

и=0

Ns Nz '

EE/>(U)

Ml 7-1 ,

\i—j\=n (Контраст) (3);

3.

°x°y

где Цх, Цу, <Jx, ay — средние и стандартные отклонения от рх и py, функции частичной вероятности плотности (Корреляция) (4);

Рис. 2. Алгоритмические подходы к сегментации сосудов [18]

сти на изображении. Нет ни одной книги на русском языке, посвященной текстурному анализу. По своим качественным признакам все текстурные изображения делятся на естественные, стохастические и структурные текстуры [20].

Наиболее применяемые свойства текстуры это свойства Харалика, Габора, Тамуры и статистические свойства уровня серого. Свойства Харалика

Из четырнадцати [4, 10, 11] далее рассматриваемых свойств Харалика, только первые четыре в настоящее время применяются в реальных разработках. Эти свойства основаны на матрице совместной встречаемости уровня серого:

G =

где Ng это общее число уровней серого, а p(i,j) это вероятность получения пиксела, имеющего значение i, прилегающего к пиксе-

4. ЕЕ0‘ ~M)2p(hj) (Сумма квадратов, Варианта) (5);

* ]

5. ЕЕ у

i j 1

1

; i+O'-y)2

p(i,j) (Обратный момент различия) (6);

2Ng

6. Еф,+Д0

1=2

где х и у координаты (строка и столбец) входа в матрицу взаимной встречаемости, а px+y(i) — вероятность совместного появления матричных координат подводящих к х + у (Средняя сумма) (7);

2Ng

7. Е0'-/8)2 Рх+У(0 (Суммарная варианта) (8);

1=1

ш

8. -Е^+Д0^{^+Д0}=/8 (Суммарная

1~2 энтропия) (9);

9. -l^LpiijyogipiUj])=HXY (Энтро-

LJ пия)(10);

10. Ег А-ДО (Варианта различия) (11);

л=0

At—1

ii. -l^Px-ydyogip^yQ)} (Энтропия

г=о

различия) (12);

HXY-HXYi lki „ nol

12. тж{НУ НУ} (Мера к°рреляции 1) (13);

13. 0 - exp[~2(HXY2 -HXY)])m,

где HX и HY это энтропии рх и ру

70

Обработка изображений

www.idmz.ru

2012, N'4

■■■■

РЧН

HXYl = -Y^P{Uj)log{px{i)py (/)},

HXY2 = -Е ЪрХ1 )Py(j)log{px(i)py(j)}

' 1 (Мера корреляции 2) (14);

^ p(i,k)p(j,k) lki

14. 2-----р:—7ъл~ (Максимальная

к РХ\1)РУ\ ) корреляция) (15);

Свойства Габора

Свойства Габора вычисляются из семейства двумерных функций следующей формы:

ёш,9(х’У)=ехр(-х +// )*cos(^y +<р}

x = (x—<!;)cose—(y—T})sin0 (16);

у ={x—^)sin6-(у— т])созв

где о=0,56Л и 7=0,5. Пара (x, у) это координата пиксела изображения на входе I (x, у). Как правило, фильтры Габора применяются с применением равноудаленных предпочитаемых ориентаций (в) и некоторых предпочитаемых пространственных частот (Л). Применяя различные параметры для в и Л, цель — измерить ответ входного изображения и затем вычислить энергию результата.

Свойства Тамуры

Текстурные свойства Тамуры используются для характеристики различных видов гистологических и микроскопических изображений.

Существует 6 различных свойств, которые Тамура предложил для классификации текстуры изображений, но только 3 из них применяются для приложений выделения информации, так как эксперименты показали, что они больше коррелируют с восприятием глаза человека. Шероховатость измеряет масштаб текстуры:

Направленность показывает, соответствует ли изображение конкретному направлению:

F

соп

сгсг4

Ма

(19);

Статистика уровней серого

Для отдельно взятого подблока изображения, статистические уровни серого для значений пикселов это: среднее, медиана, стандартное отклонение, минимум и максимум. Согласно литературным источникам, эти свойства применяются как основные статистические свойства изображений для их отдельно взятых областей. Другой простой способ использовать значения уровня серого в отдельном изображении — это просто построение вектора свойств со значениями пикселов в этом блоке. Такое приложение называется «сырой блок» или текстон [3, 5].

Метод сегментации Отсу (Otsu)

Метод Отсу — популярный метод трэшхол-динга (пороговой сегментации), основанный на дискриминантном анализе (1978). Он разделяет пикселы изображения на два класса по определенному уровню серого t. Оптимальное пороговое значение t* определяется

минимизацией одной отношению к t:

из целевых функций по

_2 л-2 г-г2

^ п (J п (Jir

Я=—f-, К=^у,

(20);

9W

W

2

aw — дисперсия внутри класса; о^ — дисперсия между классами;

— общая дисперсия.

Каждая из дисперсий — это функция от t. На практике, проще минимизировать [19].

Dl(x,y)=\Ak(x+2k \у)—Ак(х — 2к \у)\ (17); Метод множественной сегмен-

тации областей изображений

Контраст определяет динамический спектр Вонга и Харалика (^^ang и интенсивности пикселов: Haralick)

В рекурсивной методике, предложенной Вонгом и Хараликом (1984), пикселы сначала

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■ ■ ■■■ ■ ■■ ■ ■ ■■■ ■■ ■■ ■ ■ ■ ■■■ ■■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■ ■

в(х,у)=^+ш-'т&Щ

(18);

Врач Езвв Обработка изображений

^ и информационные

технологии

Рис. 3. Значение ангиогенеза (схема автора)

Плотность микрососудов

Полуколичественные субъективные шкальные методы Плотность/число сосудов Общая площадь сосудов Периметр

Средний диаметр микрососудов Число точек разветвления

Максимальные и минимальные параметры продольной оси

Евклидовы параметры

Фрактальная размерность Извитость Шкала длин

Компактность Фактор формы объекта Карты расстояний

Фрактальные параметры II Неклаееифицируемые

параметры

Рис. 4. (По Weyn В. и соавт. 2004, Antonio Di Leva, 2010) [7, 17]

классифицируются как краевые и некраевые. Каждый из них затем классифицируется на основе взаиморасположения с соседствующими как относительно темный пиксел или относительно светлый. Затем получается гистограмма уровней серого для относительно темных и относительно светлых пикселов. Порог выбирается на основе интенсивности

значений уровней серого в соответствии с максимальными пиковыми значениями в обеих гистограммах. Чтобы получить множественные пороговые величины, операция выполняется рекурсивно, сначала используются только те пикселы, которые имеют меньшую интенсивность, чем порог, а после этого, пикселы, которые больше пороговой величины [19].

1 72 ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ ■

Обработка изображений

www.idmz.ru

2012, N'4

■■■■

РЧН

Рис. 5. Уровни морфометрического исследования, рисунок автора по Antonio Di Leva, 2010 [7]

Специальные алгоритмы для морфометрического анализа ангиогенеза и лимфангиогенеза

Ангиогенез и лимфангиогенез в яичниках и щитовидной железе человека и других млекопитающих — малоизученная тема, о чем говорит сравнительно малое число публикаций в крупных журналах, технических и медицинских.

Наиболее часто используемый параметр морфометрического исследования ангиогенеза и лимфоангиогенеза — относительная площадь сосудов [15]. Всего в нескольких публикациях [2, 8, 13, 14, 17] упоминается применение фрактального и синтактического структурного анализа для морфометрии ангиогенеза. Нам не удалось в MEDLINE и Google_Scholar найти свидетельств применения признаков Харалика и моментов Ху для предсказания каких-либо клинических событий. На рис. 1-7 сжато представлены основные сведения и источники об ангиогенезе и его морфометрии.

В собственных исследованиях мы использовали оригинальные алгоритмы, вычисляющие

И 0дн_сть

□ ОДМОС

■ ОДКС

□ ПЛК

□ СЗЦВС

Рис. 6. График, иллюстрирующий сравнение значений параметров изображений 40 опухолевых образцов папиллярного рака щитовидной железы. Однородность — наиболее вариабельный параметр (ОДМОС — относительная доля мелких объектов сосудов, ОДКС — относительная доля крупных объектов сосудов, ПЛК — площадь лимфатических капилляров, СЗЦВС — средней значение цветности сосудов)

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 73 ■

Врач Езвв Обработка изображений

^ и информационные

технологии

Area Homogen Large_obj Small_ob| Chromat

Predictor Variables R-Square = 0,28

Рис. 7. Сравнительное прогностическое значение параметров изображений для предсказания факта рецидива рака яичников (исследование авторов, методы бинарной логистической регрессии, случайного леса, опорных векторов и дискриминантного анализа и различные виды корреляции показали аналогичные результаты, n = 72)

относительную площадь сосудов, однородность сосудистой сети, относительные доли крупных и мелких объектов сосудов, цветности.

Мы обнаружили, что все маркеры прокрашивают лимфатические сосуды одинаковым коричневым цветом. Таким образом, морфометрическая картина лимфангиогенеза на бинарном изображении — это однотипные пикселы на других, не имеющих существенного значения структурах фона. Интересным признаком оказалась однородность сосудистой сети, наиболее вариабельный признак и прогностический в отношении развития рецидива карциномы яичников.

Из медицинских наук известно, что сосуды опухоли имеют свойства безграничного распространения, поэтому, опираясь на существующие алгоритмы определения карты расстояний (distance maps) [1, 6, 16] , мы решили превратить биологическую идею распространения сосудистой сети в алгоритмы обработки изображений, результатом которых будет число, которое можно будет использовать как предиктор клинико-лабораторного события, имеющего для практической медицины значение. Таким образом, предлагаемые алгоритмы состоят из следующих шагов:

1. Разбить изображение на 100 равнобедренных треугольников, (одинаковых окружностей или квадратов).

2. Суммировать количество коричневых пикселов, отображающих сосуды, в каждом треугольнике (или в другом регионе).

3. Сосчитать общее количество треугольников, в которых количество коричневых пикселов одинаковое или попадает в дипапзон n = n +/-100 пикселов.

4. Вычислить количество граничащих треугольников, в которых количество коричневых пикселов одинаковое или попадает в дипапзон n = n +/-100 пикселов.

5. Сосчитать количество треугольников, в которых коричневых пикселов больше и меньше заданного диапазона n =n +/-100 пикселов.

6. Вычислить абсолютное расстояние от треугольника с максимальным количеством коричневых пикселов до треугольника с минимальным количеством пикселов.

7. Определить абсолютные расстояния от треугольника со средним количеством пикселов до ближайших с максимальным и минимальным количеством пикселов.

Судить о распространении опухолевых капилляров на плоскости разреза опухоли можно также по соотношению количества регионов с наибольшим, средним и наименьшим количеством пикселов, представляющих объекты сосудистой сети.

1 74 ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ ■

Обработка изображений

www.idmz.ru

2012, N'4

■■■■

РЧН

Заключение

В статье кратко освещены вопросы разработки приложений цифровой обработки изображений, рассмотрена общая схема анализа изображений, перечислены и обсуждено применение алгоритмов исследования текстуры

изображений, собраны в один источник и перечислены свойства гистологических изображений, предложены собственные алгоритмы анализа изображений опухолевого ангиогенеза и лимфангиогенеза для получения прогностических факторов клинико-лабораторных событий.

ЛИТЕРАТУРА

1. Bailey D. An efficient euclidean distance transform//Combinatorial Image Analysis.

— 2005. - № 1. - P. 394-408.

2. Bianchi F, Rosi M, Vozzi G, et al. Microfabrication of fractal polymeric structures for capillary morphogenesis: applications in therapeutic angiogenesis and in the engineering of vascularized tissue//J Biomed Mater Res B Appl Biomater. — 2007. — № 2.

— P. 462-468.

3. Caicedo J.C., Gonzalez F.A, Romero E. Content-based histopathology image retrieval using a kernel-based semantic annotation framework//J Biomed Inform. — 2011.

— № 4. — P. 519-528.

4. Canada B.A., Thomas G.K., Cheng K.C., et al. SHIRAZ: an automated histology image annotation system for zebrafish phenomics//Multimedia Tools and Applications.

— 2011. — № 2. — P. 401-440.

5. Cruz-Roa A., Caicedo J.C., Gonzalez F.A. Visual pattern mining in histology image collections using bag of features//Artif Intell Med. — 2011. — № 2. — P. 91-106.

6. Danielsson P.E. Euclidean distance mapping//Computer Graphics and image processing. — 1980. — № 3. — P. 227-248.

7. Di leva A. Angioarchitectural morphometrics of brain tumors: Are there any potential histopathological biomarkers?//Microvascular Research. — 2010. — №3. — P. 522-533.

8. Di leva A, Grizzi F, Ceva-Grimaldi G, et al. The microvascular network of the pituitary gland: a model for the application of fractal geometry to the analysis of angio-architecture and angiogenesis of brain tumors//J Neurosurg Sci. — 2010. — №2. — P. 49-54.

9. Efford N. Digital image processing : a practical introduction using Java. — Harlow, England; New York, 2000. — xxiii, 340 p.

10. Gipp M, Marcus G, Harder N., et a. Accelerating the Computation of Haralick's Texture Features using Graphics Processing Units (GPUs)//Proceedings of the 4th International Conference on High Performance Scientific Computing. — 2009. — P. 12-23.

11. Gipp M, Marcus G, HarderN, etal. Haralick's Texture Features Computed by CPUs for Biological Applications//IAENG International Journal of Computer Science.

— 2009. — № 1. — P. 66-75.

12. Gurcan M.N., Boucheron L.E., Can A., et al. Histopathological image analysis: A review//Biomedical Engineering, IEEE Reviews in. — 2009. — P. 147-171.

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 75 ■

Врач Езвв Обработка изображений

^ и информационные

технологии

13. Kirchner L.M., Schmidt S.P., Gruber B.S. Quantitation of angiogenesis in the chick chorioallantoic membrane model using fractal analysis//Microvasc Res. — 1996. — № 1. — P. 2-14.

14. Parsons-Wingerter P., Lwai B., Yang M.C., et al. A novel assay of angiogenesis in the quail chorioallantoic membrane: stimulation by bFGF and inhibition by angiostatin according to fractal dimension and grid intersection//Microvasc Res. — 1998. — № 3. — P. 201-214.

15. Van der Auwera I., Cao Y, Tille J.C., et ai. First international consensus on the methodology of lymphangiogenesis quantification in solid human tumours//Br J Cancer. — 2006. — № 12. — P. 1611-1625.

16. Wang L., Zhang Y., Feng J. On the Euclidean distance of images//Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2005. — №8. — P. 1334-1339.

17. Weyn B., Tjalma W.A., Vermeylen P., et al. Determination of tumour prognosis based on angiogenesis-related vascular patterns measured by fractal and syntactic structure analysis//Clin Oncol (R Coll Radiol). — 2004. — № 4. — P. 307-316.

18. Winder R.J, Morrow P.J., McRitchie I.N., et a. Algorithms for digital image processing in diabetic retinopathy//Comput Med Imaging Graph. — 2009. — № 8. — P. 608-622.

19. Wootton R., Springall D.R., Polak J.M. Image analysis in histology: Conventional and confocal microscopy. 1995. — 425 p.

20. Абламейко С., Лагуновский Д. Обработка изображений: технология, методы, применение. 2000. — 304 c.

ИТ-новости

-Л--------------------------------------------------------------------

ПЛАНИРУЕТСЯ СОЗДАТЬ ЕДИНУЮ БАЗУ ДАННЫХ ДОНОРСТВА КРОВИ И ЕЕ КОМПОНЕНТОВ

Досье на проект федерального закона № 632281-5 «О донорстве крови и ее компонентов» (внесен Правительством РФ)

Государственная Дума РФ 6 июля 2012 г. рассмотрела во втором и третьем чтениях и приняла новый Закон о донорстве крови и ее компонентов. Действующий закон, принятый в 1993 г., устарел. В нем не учтены ни современные достижения трансфузиологии, ни международные стандарты в области донорства крови, выработанные в рамках ВОЗ.

В частности, предлагается ввести обширный актуализированный терминологический аппарат. Предусмотрено, что требования безопасности донорской крови и ее компонентов при их заготовке, хранении, транспортировке и клиническом использовании определяются специальным техрегламентом.

Предлагается запретить продавать в другие страны донорскую кровь и (или) ее компоненты, полученные в России. Действующий закон не допускает такую продажу, нацеленную на извлечение прибыли. Вероятно, будет создана единая база данных донорства крови и ее компонентов. В нее хотят включать в том числе сведения о лицах, у которых выявлены противопоказания к донорству.

Источник: ГАРАНТ

1 76 ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ ■