CC BY
63
Анализ эффективности алгоритмов обработки изображений для выделения микрообъектов на гистологических срезах
А.С. Астахов, В.В. Бумагин Волгоградский государственный университет, Волгоград
Аннотация: В работе проведен анализ 11 алгоритмов обработки изображений для выделения микрообъектов на гистологических срезах биоткани. Показано, что для изображений, полученных с помощью различных микроскопов и красителей, не существует одного универсального метода обработки изображений. Выбор алгоритма в существенной мере зависит от конкретного типа микроскопа. Рассмотренные алгоритмы дают более надежные результаты для высококонтрастных изображений при использовании конфокального микроскопа.
Ключевые слова: цифровая обработка изображений, выделение контуров, биологические микрообъекты, ОрепСУ, !ша§е.Г, морфометрическая обработка.
Распознавание образов широко применяется для автоматизации исследования биологических объектов. Можно выделить ПО общего назначения (ImageTool, ImageMagic, OpenCV, пакет IPT для SciLab, MatLab), специализированное ПО с открытым исходным кодом для обработки и анализа биологических изображений (ImageJ, Drishti, InVesalius, ITK-SNAP, MITK, GinkgoCADx, 3DSlicer, Platform, VTK, GIMIAS и другие). Существуюттакже специализированные ОС на базе GNU Linux, поставляющие необходимые программы «из коробки» (BioLinux, Debian-Med, Ubuntu-Med).
Основные проблемы с алгоритмической точки зрения при создании ПО для распознавания биологических микрообъектов (не рассматривая задачу визуализации [1]) можно разделить на три группы:
1) Большое разнообразие биообъектов и форм их представления способствует использованию различных алгоритмов обработки изображений для каждого конкретного случая. Например, изображения, полученные с разных типов микроскопов (конфокального и светового) требуют разных алгоритмов морфометрической обработки
2) Распознавание небольших малоконтрастных объектов (ядро и контуры клеток)
3) Исследуемые микрообъекты (контуры и ядра клеток) на изображении среза являются проекцией трёхмерного тела на плоскости [2, 6], что вносит большие трудности для их распознавания в тканях организма.
Введение
[2-5].
[2].
Эти проблемы приводят к тому, что большинство ПО требует активного участия специалиста по предметной области для выделения исследуемых объектов и областей в ручном режиме.
В связи с этим появляется необходимость создания программы, которая позволяет производить морфометрический анализ в автоматическом режиме (или полуавтоматическом режиме — при ручном задании параметров).
Выбор критериев для выделения объектов и алгоритмов Для разработки программы для обработки и анализа изображений на гистологическом срезе ткани были осуществлены поиск и проверка объективных количественных критериев, позволяющих проводить обработку и анализ полученных изображений с биологическими микрообъектами. В качестве такого критерия был выбран контур, выделяющий клетку на изображении среза.
Контуром изображения можно назвать пространственно-протяженный разрыв (перепад, скачкообразное изменение) значений яркости. Биологические системы зрительного восприятия опираются на очертания контуров, а не разделение объектов по яркости [7]. Задача выделения контуров состоит в построении бинарного изображения, содержащего эти очертания [7].
Выбор контура как интегрального признака научно обоснован [8], но на практике в ЭС обработки биологических изображения используется разделение объектов по яркости [7]. Частично это подтверждается тем, что при разработке автоматизированного программного комплекса для оперативного отождествления человека по походке [9] была использована цветовая модель HSV.
По мнению [10] границы объектов не следует отождествлять с резкими изменениями значений на изображении. Во-первых, объекты могут не сильно отличаться по цвету от фона. Во-вторых, на объекты часто накладываются текстуры или другие объекты, которые имеют свои собственные края,
чтозатрудняет правильное распознавание [6]. Также погрешность вносят тени [10]. На практике мы можем подтвердить это высказывание, но вместе с тем большинство алгоритмов используют именно этот метод (детектирование резких изменений).
Критерии для отбора алгоритмов для выделения контуров были следующие:
-алгоритм широко известен и успешно применялся для распознавания образов;
-для алгоритма существует математическое обоснование;
-реализация алгоритма представлена вбиблиотеках и программах с
открытым исходным кодом (ОреиСУ, ImageMagic и других).
Выбранные изображения и алгоритмы В качестве изображений для обработки были выбраны фотографии срезов хрящей коленных суставов кролика породы Шиншилла (рис. 1, слева и по центру) и собаки (рис.1, справа), полученные с помощью конфокального и оптического светового микроскопов.
Рис. 1. - Исходные изображения
На срезе хряща коленного сустава вручную были выделены интересующие микрообъекты (клетка, ядро), после чего были сформированы признаки, используемые, например, в Blob - детекторе (будет описан ниже)[6]. Например, для конфокального микроскопа и соответствующих красителях ядро красного цвета и имеет небольшой размер, а клетка имеет
больший размер, и она черного цвета. Для оптического микроскопа ядра и клетки имеют другую окраску.
{^истреизп1*1я) (деснрцптор^) ^ ^Гкй^хТ^
__, ^ Псиск го пикселям :
Ч
у'
(сохранить иэобргкениё^ _
У ✓ ^
1 Лткрип. ИГЛ^ЛЧГ'^ I \ \ V.
Г Ьльзсьптггь
(ПСИЖ п° щелочу*} у "^нз; и им
Рис.2. - Диаграмма вариантов использования На рисунках 2 и 3 отображены диаграмма и интерфейс разработанного прототипа экспертной системы. Основа программы разработана как МБС-приложение (интерфейс, вызов функций обработки и отображение входных и выходных изображений) с использованием библиотеки ОрепСУ.
Рис.3 - Интерфейс программы Среди опробованных алгоритмов были выбраны несколько, остальные
не рассматривались ввиду недостаточной точности.Приемлемыйрезультаты
показал алгоритм сравнения контуров (табл. 2 - ТетрЫе), разработанный на
ОрепСУ (рис. 4, слева). Он основан на понятии моментов. Момент - это
суммарная характеристика контура, рассчитанная суммированием всех
пикселей контура [11]. Выделение контуров с помощью сравнения через суммарные характеристики хорошо работает для объектов с четкой выраженной границей, но может не выделять те объекты, которые сильно отличаются по яркости от изображения-образца. Можно увидеть, что выделяются не все объекты. Более того, не все эти объекты замкнуты. Видно, что благодаря нормализации по яркости количество распознанных объектов увеличилось, но недостаток этого метода сохранился - контуры не замкнуты. Наиболее удачным преобразованием является нормализация по яркости с последующим выделением контуров на основе моментов (1):
ц] = ^ з(1) £= 1
где р и д - порядок возведения в степень соответствующего параметра при суммировании; п - число пикселей контура.
Рис. 4. - Применение поиска по шаблону и фильра Собеля
Идея свёрточных алгоритмов состоит в наложении на каждую точку изображения двух масок вращения. Свертка - это некоторое действие, которое выполняется над каждой частью изображения. Эти маски представляют собой две ортогональные матрицы размерностью 3x3.Эти маски выявляют границы, расположенные вертикально и горизонтально на
изображении. При раздельном наложении этих масок на изображение можно получить оценку градиента по каждому из направлений Ох и Оу. Конечное значение градиента определяется по формуле [12, 13]:
Фильтр Собеля (рис. 4, справа) является частным случаем свёрточного алгоритма. Формой применяемого сверточного ядра определяется какое именно действие она выполняет [12, 13]. Фильтр Собеля повышает яркость и ожидалось, что такое преобразование дополнит и улучшит выделение контуров, но вместе с улучшенным распознаванием нужных нам объектов, появились и ложные срабатывания.
Чтобы оценить выбранные алгоритмы были отобраны 12 изображений, полученные с оптического светового и конфокального микроскопов и с разных биологических препаратов. При оценке был использован слепой метод.Чтобы численно оценить процент распознавания у алгоритмов считались обработанные изображения и необработанные (подсчёт специалистами). Затем подсчитанные числа делились на подсчитанные с помощью алгоритмов. Тем самым была получена количественная оценка распознавания. Несмотря на большую погрешность для некоторых изображений (это связано как с самим исходным изображением, так и с обработанным) была получена оценка 0.58. То есть вся совокупность алгоритмов работает с точностью 58% (средний процент распознанных контуров по сравнению с подсчетами специалистов). Подсчёт осуществлялся вручную по уже обработанным изображениям.
Так как снимки с конфокального микроскопа были сделаны без явных оптических искажений, интересно посмотреть какой алгоритм справляется с этой задачей лучше других. Для этого для каждого такого изображения была
(2)
Результаты обработок
получена оценка, являющаяся по сути накоплением ошибки распознавания. Ошибкой будут являться как нераспознанные объекты, так и распознанные ошибочно (ошибки первого и второго рода [14]. Алгоритм поиска по шаблону (на основе моментов) для такого типа изображений является лучшим из этого перечня, но он подходит только для высококонтрастных изображений. Алгоритм сегментации Ктеаш не смог заработать на изображениях с нечетко выраженной границей. Также из табл. 1 видно, что наиболее удачными для распознавания были 7, 8 и 12 изображения.
Таблица №1
_Алгоритмы и их сравнение между собой_
Изображения / Алгоритмы 1 2 3 4 5 6 7 8 9 10 11 12 РЕЗ-Т
Template 235 353 253 162 250,7
BoolEdge 243 242 210 202 249 274 84 128 149 124 120 126 179,2
CompasEdge 184 167 155 146 360 270 83 126 150 129 128 124 168,5
Cmeans 142 105 120 169 240 280 75 68 93 75 70 80 126,5
Edge 160 220 210 142 251 276 56 35 32 20 39 43 123,7
Kmeans 125 99 72 66 190 110,4
СРЗНАЧ 181,5 197,7 170 147,8 258 275 74,5 89,2 106 87 89,25 93,3 176.4
ЭКСПЕРТЫ 233 320 304 283 1054 692 63 41 40 60 63 74 475.4
РЕЗУЛЬТАТ 0,78 0,62 0,55 0,52 0,24 0,39 0,84 0,46 0,38 0,69 0,7 0,78 0,582
Подсчет (табл. 1) осуществлялся следующим образом: количество распознанных объектов алгоритмами делилось на количество распознанных объектов экспертами. Оценка в табл. 2 была получена следующим образом: от единицы отнимался модуль от разности количества распознанных алгоритмами объектов и количества распознанных экспертами объектов (таким образом, чем ближе число к единице, тем лучше):
где 8= К? -
Таблица №2
Проверка обработок для первых четырех изображений
51 52 53 54 91 92 93 94 Итог
Template 0,991 0,9 1,2024 1,747 0,009 0,1 0,202 0,747 1,058
BoolEdge 0,959 1,313 1,4486 1,401 0,041 0,313 0,449 0,401 1,204
CompasEdge 1,266 1,903 1,9626 1,938 0,266 0,903 0,963 0,938 3,07
Cmeans 1,641 3,027 2,535 1,675 0,641 2,027 1,535 0,675 4,877
Edge 1,456 2,219 2,535 1,675 0,456 1,219 1,535 0,675 3,885
Kmeans 1,864 2,219 2,535 1,675 0,864 1,219 1,535 0,675 4,293
В ходе рассмотрения выбранных ранее алгоритмов (табл. 1 и табл.2), было предложено использовать детекторы и дескрипторы для распознавания ядер клеток. Эти группы алгоритмов основываются на понятии особых точек. Под ними понимаются углы (corners), что роднит эти алгоритмы с оператором Кэнни (при этом в некоторых детекторах он применяется как предобработка). Если детектор находит положение особой точки на изображении (геометрический признак), то дескриптор дополнительно строит вектор признаков, характерных для полученной точки [6, 15]. Эти алгоритмы хоть и являются универсально применимыми, но не широко используются для поиска биологических микрообъектов. На рис. 5 отображены примеры работы дескриптора SURF и детектора Харриса.
Из соображения, что дескриптор будет выделять объекты точнее если четко указать для него образец по аналогии с поиском объектов на основе моментов, были применены Blob- и SURF-детекторы с выбранным шаблоном (Рис. 6). Число ложных срабатываний не сократилось, что видно по табл. 3. Морфометрические признаки были учтены путем применения Blob детектора (мы использовали такие характеристики как близость объекта к окружности, цветовой порог, поворот, размер).
Рис.5. - Пример работы SURF-дескриптора и детектора Харриса
Дескрипторы и детекторы хороши тем, что хоть они и занимаются поиском углов, применяя их можно легко получить количество выделенных объектов, а эксперт сможет найти ошибки распознавания как первого, так и второго родов.
Рис. 6. - Пример работы Blob-детектора и SURF-детектора с шаблоном
По аналогии с табл. 1 были проведены подсчеты этих алгоритмов и сравнение с экспертной оценкой (табл. 3). Несмотря на то что детекторы и дескрипторы позволяют легко получить количественную оценку, ей нельзя доверять - превышение до 115 раз (SURF-детектор) относительно оценок экспертов. Рассмотренные ранее алгоритмы (табл. 1 и табл.2) хоть и являются предобработкой, с помощью них эксперту проще произвести оценку.
Таблица №3
Сравнения дополнительных алгоритмов_
Изображения/ Алгоритмы 1 2 3 4 5 6 7 8 9 10 11 12
Harris 336 518 433 360 125 546 408 154 637 1000 634 1000
SURF 2326 3627 3528 2808 1346 1370 4184 1181 3897 4513 6722 8533
SIFT 1228 2034 2052 1436 493 819 836 221 684 467 1160 1527
FAST 6040 12596 11538 8738 1344 1368 789 267 816 1500 3047 5509
Blob 121 202 191 153 22 527 192 92 280 89 249 287
Эксперты 233 320 304 283 1054 692 63 41 40 60 63 74
Заключение
Проведенный анализ алгоритмов показывает, что для изображений, полученных с помощью различных микроскопов и красителей, не существует одного универсального алгоритма по обработке изображений. Для обработки изображений биологических микрообъектов необходимо индивидуально подбирать, как имеющиеся алгоритмы обработки изображений, так и красители в зависимости от гистологического препарата. Более надежные результаты получаются на высококонтрастных изображениях при использовании конфокального микроскопа и на изображениях с четко выраженными границами при использовании оптического светового микроскопа.
Исследование выполнено при финансовой поддержке РФФИ и Администрации Волгоградской области в рамках научного проекта № 15-4702642 р а.
Литература
1. Поляков М.В., Хоперсков А.В. Вычислительные эксперименты для исследования радиационных и тепловых полей в биоткани. // Инженерный вестник Дона, 2017, №2, URL: ivdon.ru/ru/magazine/archive/n2y2017/4239
2. Chvatal A., Anderova M., Kirchhoff F. Three-dimensional confocal morphometry - a new approach for studying dynamic changes in cell morphology in brain slices // J. Anat. - 2007. - Vol. 210, № 6. pp. 671-683.
3. Khoperskov A.V., Kovalev M.E., Astakhov A.S., Novochadov V.V., Terpilovskiy A.A., Tiras T.P., Malanin D.A. Software for full-color 3D reconstruction of the biological tissues internal structure // Lecture Notes in Computer Science, 2017, v.10594. pp.1-10. doi: 10.1007/978-3-319-69182-4_1
4. Абламейко С.В., Недзьведь А.М. Обработка оптических изображений клеточных структур в медицине. Минск: ОИПИ НАН Беларуси, 2005. 156 c.
5. Новочадов В.В., Хоперсков А.В., Терпиловский А.А., Маланин Д.А., Тирас Х.П., Ковалев М.Е., Астахов А.С. Виртуальная полноцветная трехмерная реконструкция коленного сустава человека на основе оцифровки серийных шлифов // Математическая биология и биоинформатика: Доклады VI Международной конференции. 16-21 октября 2016 г., г. Пущино. С. 78-79.
6. Лосев А.Г., Хоперсков А.В., Астахов А.С., Сулейманова Х.М. Проблемы измерения и моделирования тепловых и радиационных полей в биотканях: анализ данных микроволновой термометрии // Вестник Волгоградского государственного университета. Серия 1: Математика. Физика. 2015. № 6 (31). С. 31-71. doi: 10.15688/jvolsu.2015.6.3
7. Сойфер В.А. Методы компьютерной обработки изображений. Москва.: ФИЗМАТЛИТ, 2003. 782 с.
8. Фурман Я. А., Кревецкий А. В., Передреев А. К., Роженцов А. А. Введение в контурный анализ. Приложения к обработке изображений и сигналов. Фурман, под ред. Фурмана, 2-е изд. Москва: ФИЗМАТДИТ, 2003г. - 592 с.
9. Бумагин В. В., Сиволобов С. В. Автоматизированный программный комплекс для оперативного отождествления человека по походке. Информационная безопасность регионов, 2013. - №2(13). - C. 136-140.
10.Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. Москва: Вильямс, 2004. 928 с.
11.Hu M. K. Visual Pattern Recognition by Moment Invariants // IRE Trans. Info. Theory, vol. IT-8, 1962. pp. 179-197.
12.Буй Т.Т.Ч., Спицын В.Г. Анализ методов выделения краев на цифровых изображениях // Доклады ТУСУРа, № 2 (22), часть 2, декабрь 2010 - C. 222.
13.Рвачёва О.В., Чмутин А.М. Управление яркостью в компьютерной графике: нелинейный аспект. // Инженерный вестник Дона, 2017, №1, URL: ivdon.ru/ru/magazine/archive/n1y2017/3974
14.Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. Москва: Форум, 2008. 368 с.
15.Суханов А.В., Артемьев И.С., Долгий A^., Хатламаджиян А.Е. Метод оптической идентификации железнодорожных подвижных единиц на основе интегральных устойчивых признаков // Инженерный вестник Дона, 2013, №4, URL: ivdon.ru/ru/magazine/archive/n4y2013/2217
References
1. Polykov M.V., Khoperskov Inzenernyj vestnik Dona (Rus), 2017, №2. URL: ivdon.ru/ru/magazine/archive/n2y2017/4239
2. Chvatal A., Anderova M., Kirchhoff F. J. Anat. - 2007. Vol. 210, № 6. - pp. 671-683.doi: 10.1111/j.1469-7580.2007.00724.x
3. Khoperskov A.V., Kovalev M.E., Astakhov A.S., Novochadov V.V., Terpilovskiy A.A., Tiras T.P., Malanin D.A. Software for full-color 3D reconstruction of the biological tissues internal structure. Lecture Notes in Computer Science, 2017, v.10594. pp.1-10 doi: 10.1007/978-3-319-69182-4_1
4. Ablamejko S. V., Nedz'ved' A. M. Obrabotka opticheskih izobrazhenij kletochnyh struktur v medicine [Processing of optical images of cellular structures in medicines] Minsk: OIPI NAN Belarus, 2005. 156 p.
5. Novochadov, V.V., Khoperskov, A.V., Terpilovskiy, A.A., Malanin, D.A., Tiras, K.P., Kovalev, M.E., Astakhov, A.S. Virtual full-color three-dimensional reconstruction of human knee joint by the digitization of serial layer-by-layer grinding. In: Mathematical Biology and Bioinformatics. Reports of the VI International Conference, Puschino, 2016, pp. 76-78.
6. Losev A.G., Khoperskov A.V., Astahov A.S., Sulejmanova H.M. Vestnik Volgogradskogo gosudarstvennogo universiteta. Serija 1: Matematika. Fizika. 2015. № 6 (31). pp. 31-71. doi: 10.15688/jvolsu.2015.6.3
7. Sojfer V.A. Metody komp'yuternoj obrabotki izobrazhenij [Methods of computer image processing] M.: FIZMATLIT, 2003. 782 p.
8. Furman YA. A., Kreveckij A. V., Peredreev A. K., Rozhencov A. A.Vvedenie v konturnyj analiz. [Introduction to contour analysis.] Moskva: FIZMATDIT, 2003. 592 p.
9. Bumagin V. V., Sivolobov S. V. Informacionnaya bezopasnost' regionov. 2013. - №2 (13). pp. 136-140.
10.Forsajt D., Pons ZH. Komp'yuternoe zrenie. Sovremennyj podhod [Computer vision. A modern approach] Moskva: Vil'yams, 2004. 928 p.
11. Hu M.K. Visual Pattern Recognition by Moment Invariants. IRE Trans. Info. Theory, vol. IT-8, 1962. pp. 179-197.
12.Bui T.T.CH., Spicyn V.G. Analiz metodov vydeleniya kraev na cifrovyh izobrazheniyah [Analysis of methods for edge detection in digital images] DokladyTUSURa, № 2 (22), chast' 2, dekabr' 2010. pp. 222.
13.Rvacheva O.V., Chmutin A.M. Inzenernyj vestnik Dona (Rus), 2017, №1. URL: ivdon.ru/ru/magazine/archive/n1y2017/3974
14.Tyurin YU. N., Makarov A. A. Analiz dannyh na komp'yutere [Analysis of the data on the computer] M.: Forum, 2008. 368 p.
15.Sukhanov A.V., Artem'ev I.S., Dolgiy A.I., Khatlamadzhiyan A.E Inzenernyj vestnik Dona (Rus), 2013, №4. URL:
ivdon.ru/ru/magazine/archive/n4y2013/2217
