РАСПОЗНАВАНИЕ ОБЪЕКТОВ ИЗОБРАЖЕНИЙ ЭЛЕКТРОННОЙ МИКРОСКОПИИ ЛУЧЕВЫМИ МЕТОДАМИ НА ПРИМЕРЕ МИТОХОНДРИЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93/1

Белокаменская А.А.

ассистент кафедра МОСТ ИИТММ Васильев Е.П. ассистент кафедра МОСТ ИИТММ Новожилов М.М. аспирант кафедра МОСТ ИИТММ Гаврилов Н.И., к. техн. н. научный сотрудник Институт Нейронаук Нижегородский государственный университет им. Н.И.

Лобачевского Россия, г. Нижний Новгород РАСПОЗНАВАНИЕ ОБЪЕКТОВ ИЗОБРАЖЕНИЙ ЭЛЕКТРОННОЙ МИКРОСКОПИИ ЛУЧЕВЫМИ МЕТОДАМИ НА ПРИМЕРЕ

МИТОХОНДРИЙ Предложен, частично конкретизирован и реализован на CPU лучевой подход к сегментации изображений электронной микроскопии для клеток мозга. Целью подхода является совмещение лучевого метода трассировки объекта с одновременным применением методов машинного обучения (ML) для сегментации. Предлагаются и обсуждаются лучевые интерпретации попиксельных и объектных признаков для ML. Реализовано экспериментальное программное обеспечение для проведения исследований. На примере сегментации митохондрий демонстрируются примеры его работы и конкретные способы реализации лучевых вариантов некоторых методов машинного обучения. Планируется расширение списка лучевых реализаций методов ML и реализация на GPU.

Ключевые слова: лучевые методы, электронная микроскопия, геометрическая реконструкция, машинное обучение.

OBJECT RECOGNITION ON THE ELECTRONIC MICROSCOPY DATA BY RAY METHODS FOR THE EXAMPLE OF MITOCHONDRIA In this article we proposed CPU realization of ray method for segmentation of brain cells on the electronic microscopy data. The main idea of the method is fusion of ray method and machine learning for segmentation. We consider ray modifications of pixel and object features for Machine Learning. We created experimental software application for our research. This software contains several methods to research and demonstrate capabilities of ray method approach. We are going to extent ray methods list and implement these algorithms on GPU.

Keywords: ray methods, electronic microscopy, geometric reconstruction, machine learning. 1. Введение

За последние 5-10 лет в нейронауке многое сделано в автоматизации 3D-сегментации и реконструкции клеток мозга. Сегодняшнее состояние в этой области довольно ясно характеризуют следующие работы по автоматической реконструкции в ЭМ: Kaynig 2015 [1], Kasthuri 2015 [2], Hadwiger 2015 [3], Deroulers 2013[4]. В них уже не ставится цель полностью исключить высококвалифицированного специалиста, напротив, благодаря использованию во всех этих работах методов машинного обучения, опыт специалиста учтен и закреплен обучением, но уже только на этапе обучения. Использование методов машинного обучения позволило сегодня перейти к «насыщенной» 3D реконструкции клеток, т.е. реконструкции сплошного реального массива клеток без пропусков, характерных для ручной реконструкции.

Несомненно, что то, что показано в этих работах, достигнуто серьезными усилиями в обучении, многократными корректировками настроек обучения и коррекцией человеком «тонких» мест. Достигнутый уровень позволяет решать чрезвычайно важную задачу полной реконструкции массивов данных объемом до единиц теравокселей, причем и в режиме коллективной обработки. Это позволяет говорить о реальной разработке конвейерной технологии. Широко используется в комплекте с реконструкцией пакет исследования связей Mojo 2.0: Connectome Annotation Tool гарвардского университета.

Самым популярным представителем традиционной технологии и точкой отсчета для оценки сегодняшних успехов исследований является открытая библиотека ILASTIK (http://ilastik.org/) - интерактивный полуавтоматический инструмент для классификации, сегментации и анализа серий изображений с электронного микроскопа. В ILASTIK также реализован набор инструментов разметки и обучения:

A. Вырезание: Извлечение объектов из 3D-объема полуавтоматически (закрашивание среза объекта на одном слое).

B. Классификация и сегментация пикселей: 1)Обучение с помощью простых мазков; 2)Смысловая сегментация с использованием предсказания вероятности класса.

C. Классификация объектов: предсказание смыслового класса объектов.

D. Ручное определение признаков пикселей: назначение пользователем классу объекта точечных или матричных классификационных признаков из простого набора: по интенсивности, принадлежности контуру, типу текстурного заполнения.

E. Отслеживание: автоматическое и ручное отслеживание делящихся клеток (2D + 3D).

Несмотря на успехи в автоматизации реконструкции клеток мозга, растущее число разработок и программного обеспечения в этой области, исследовательскими группами по всему миру продолжается поиск новых идей и методов, направленных на сокращение ресурсов времени и ручного

труда высококвалифицированных специалистов, требуемых для выполнения сегментации данных. Появление новых результатов в данной области открывает возможности решения научных и инженерных задач, которые ранее не решались или решались с неудовлетворительными временными затратами. Учитывая большое число возможных приложений, целесообразно продолжение поиска лучших решений с точки зрения теории алгоритмизации.

2. Содержание предлагаемого лучевого метода

Лучевые методы традиционно применяются в компьютерной графике как основа методов глобального освещения в виртуальной реальности и основа методов трехмерной научной визуализации, в том числе в медицине и нейробиологии [5,6]. Лучевые методы интересны своей принципиальной распараллеливаемостью и возможностью реализации на графических процессорах (GPU). Идея совмещения лучевых методов с машинным обучением сама по себе достаточно проста. Вся ее сложность заключается в реализации результатов обучения в процедуре трассировки луча, и прежде всего в процедуре классификации пикселя во время трассировки.

В качестве исходных данных ЭМ выбраны общедоступные данные ресурса лаборатории компьютерного зрения университета Лозанны (http ://cvlab.epfl.ch/data/em). Из этих данных вырезан куб с ребром 500 вокселов. В качестве задачи, на примере которой мы будем описывать применение метода, выбрана задача сегментации митохондрий, подобно работе [7] владельцев данных ЭМ, тем более, что она посвящена построению моделей специально структурированных под нужды методов Machine Learning (ML) для сегментации 2D и 3D изображений ЭМ. Мы также намерены построить специальные признаки и методы предобработки, которые позволили бы базировать арсенал методов машинного обучения на лучевом принципе трассировки массива слоев ЭМ.

2.1. Статистическое исследование данных ЭМ для классификации пикселей изображений

В основу классификации объектов изображений электронной микроскопии клеток мозга должно быть положено статистическое исследование этих объектов. Обязательным условием такого исследования является ручная разметка объектов интереса на слое ЭМ (Рисунок 1). Далее на рисунке (Рисунок 2) показана суммарная гистограмма плотностей всех объектов слоя. Сегменты, соответствующие вкладу в гистограмму каждого из размеченных классов, даны тем же цветом, что и цвет разметки. Суммарный вклад внутренней части митохондрий показан темно-вишневым цветом.

Рисунок 1. (a) Слой данных ЭМ и (b) разметка объектов интереса: PSD синапсов, миелиновая оболочка аксона (голубой); клеточные мембраны (темно-синий); оболочка митохондрии (зеленый); тело митохондрии; везикулы(светло-голубой); фоновые объекты(болотный); недетерминированные (красный)

Внутри митохондрий PSD, оболочка аксона Везикулы

Оболочка митохондрий Неопределенность Клеточные мембраны Фоновые объекты

iillll'iiii,. .:,

!!!!....................

Ш

54 57 60 63 66 69 72 75 78 81 84 87 90 93 96 99 102105108111114117120123126129132135138141144147150153156159162165168171174177180183186189192195198201204:

Рисунок 2. Суммарная гистограмма объектов, присутствующих на слое

ЭМ клеток мозга

Гистограмма (Рисунок 2) показывает наличие 5 отчетливо разделенных классов пикселей (вокселей). В работе Delon 2006 [8] предложен метод сегментации гистограмм, который можно применять для оценок на гистограммах практически любого качества, но в качество данной гистограммы высокое и сегментация очевидна. Есть возможность использовать метод [8] для гистограмм малых выборок при движении по лучу.

В итоге по гистограмме (Рисунок 2) можно сделать следующие заключения для классификации пикселей, определяющие алгоритм пиксельной классификации:

1) левый класс гистограммы целесообразно использовать в основном для PSD и оболочки аксона; разделение на объектном уровне возможно по простому критерию размера; потери от неиспользования этого сегмента гистограммы для детектирования оболочек митохондрий будут незначительными (на уровне примерно 5% шума);

2) два правых сегмента (максимума) гистограммы целесообразно использовать для сегментации фона, в том числе фона в области везикул;

3) второй и третий слева пики включают пиксели семи и шести классов соответственно, и, поэтому, не допускают однозначной классификации объекта по одному признаку классификации (принадлежности к определенному сегменту гистограммы) на пиксельном уровне;

4) оболочки митохондрий представлены в основном во втором пике гистограммы;

5) такие объекты, как: внутреняя область митохондрий; везикулы; клеточные мембраны; оболочки митохондрий должны дополнительно разделяться по объектным критериям;

6) из наличия близких к нулю минимумов гистограммы следует, что, для уменьшения шума классификации от пересечения классов, значения в окрестности минимумов гистограммы могут быть исключены из классификации (например, классифицированы как фон).

2.2. Исследование объектных признаков в данных ЭМ для лучевой классификации объектов

Согласно пункту (1) классификации пикселей мы можем детектировать PSD синапсов, дополнив принадлежность к первому классу пикселей критерием размера (например, числа пикселей в PSD).

Далее, поскольку мы выбрали центральным объектом классификации митохондрии, то начнем с описания признаков митохондрий. Эти признаки собраны в таблицу (Таблица 1):

Таблица 1 Признаки изображения митохондрии

№ Название Значения Комментарий

Наличие границы

1 Диапазон плотностей линии границы 83-115

2 Средняя плотность границы 98

3 Профиль пересечения извне условие пересечения -прохождение диапазона 83-98

4 Профиль пересечения изнутри не всегда есть профиль пересечения, т.к. внутри митохондрии есть области такой же плотности, как и граница

5 Толщина границы в пикселах 1-2 если митохондрия срезана под углом, то толщина границы может доходить до 10 пикселей

Внутренняя часть митохондрии

6 Диапазон плотностей 84-140 фон внутренней части 114-140

7 Средняя плотность 110

8 Текстурность. Наличие вариаций вдоль луча по Х или по Y да изображения:

9 Гистограмма Рисунок 2 не является признаком относительно везикул, мембран, оболочки

К сожалению, текстура не является стабильным признаком митохондрии и достаточно сложно организовать проверку этого признака в ходе движения по лучу. Обратимся к такому признаку как среднее по объекту {Рисунок 3).

Рисунок 3 - Распределение и средние плотности по объектам оболочка и внутренность митохондрии Видим, что оболочка и внутренняя область митохондрии различаются на уровне средних по объекту. Этот признак можно детектировать на изображениях меньшего разрешения и затем использовать на изображении исходного разрешения как маску. Проиллюстрируем эту возможность на рисунке (Рисунок 4). Видим, что на изображениях с разрешением уменьшенным в 4 и 8 раз внутренняя область митохондрий выглядит существенно более однородной.

Рисунок 4 - Исследуемые изображения разрешения 1/4 и 1/8 для

использования средних значений по объекту митохондрия в качестве

признака

В качестве методов машинного обучения, которые мы предполагаем использовать в лучевой интерпретации, выберем бустинг (использование последовательности простых признаков объекта) и взвешенное голосование признаков (и/или методов), использование корреляции соседних пикселей и соседних слоев для усиления признаков голосованием по окрестности. Рассмотрим механизм лучевой реализации этих методов на CPU и GPU, и возможные варианты признаков в их лучевом исполнении.

В качестве одного из инструментов механизма реализации лучевого подхода предлагается использовать маски, каждая из которых регистрирует наличие в i,j-ом пикселе изображения одного из признаков объекта. Таким образом, маски будут дополнять классификацию пикселей классификацией объектов в каждой точке луча. Использование буфера масок удобно для реализации лучевого варианта ML-сегментирования, как на CPU, так и на GPU.

Для некоторых объектов их текстура может быть однозначно охарактеризована гистограммой и по оценке гистограммы может быть построена карта-маска этой текстуры. Для оценки совпадения гистограмм используем один из 4 методов, используемых в библиотеке OpenCV, -нормированное произведение значений сравниваемых гистограмм (1), эквивалентное скалярному произведению соответствующих координат:

j си ы \ _ E ¿#1(0^2(0 /i\

acorrel(nl,n2) — I == (1)

В качестве третьего инструмента механизма реализации лучевого подхода предлагается использовать исследование окрестности пикселя, соответствующего текущей точке луча для формирования голосующих признаков когерентности, а также для вычисления по окрестным пикселей признаков границ.

В качестве признаков, ориентированных на детектирование границ (оболочек) клеток, как и митохондрий, удобно использовать признаки, используемые методом Канни: максимальный порог, минимальный порог, параметры фильтра Гаусса.

Для других объектов ЭМ, например PSD синапса, также могут быть построены таблицы признаков, подобные Таблица 1. В случае сегментации какого-либо одного или ряда объектов, маски могут быть использованы для сокращения зоны интереса, ускорения и упрощения детектирования оставшихся объектов. Пример такой маски после сегментации PSD синапсов показан на (.Рисунок 5).

Рисунок 5 - Пример масок (показаны красным), наложенных после детектирования PSD синапсов (показаны желтым)

Исключающие маски могут быть использованы также в качестве ускоряющих структур. Например, в качестве такой маски может быть использована маска пикселей (вокселей) фона. Если гистограмма фона частично перекрывается с гистограммой объектов, то в маску можно включить только пикселы относящиеся к неперекрывающейся части, например, относящиеся к последним двум пикам гистограммы (Рисунок 2).

3. Обсуждение результатов

3.1 Характеристика и пример использования созданного экспериментального программного обеспечения

Для визуального и статистического исследования исходных данных ЭМ и исследования возможностей лучевой реализации методов машинного обучения создано специальное исследовательское программное обеспечение. В настоящее время вычисления организованы пока только на CPU. Интерфейс приложения показан на (Рисунок 6). Приложение в частности может: построить профиль данных ЭМ вдоль любой горизонтальной или вертикальной линии; установить фиксированный порог изменяя уровень горизонтали; исследовать последствия применения этого порога; применить разноцветные шаблоны разметки к изображению; наложить шаблон на изображение полупрозрачно; рассчитать и визуализировать в виде гистограммы и значений статистические характеристики размеченных классов; визуализировать часть изображения соответствующую классу или диапазону значений исходных данных.

Рисунок 6 - Интерфейс исследовательского приложения: основное и

дополнительные окна На рисунке (Рисунок 7) показан пример сегментации митохондрий лучевым методом с функциями машинного обучения, реализованными на основе описанных выше приемов (без когерентности слоев), а также разметки и анализа статистики классов.

Рисунок 7 - Пример сегментации митохондрий лучевыми методами

машинного обучения Для сегментации выполняется трассировка горизонтальными и вертикальными лучами и их результаты объединяются по логическому «И». Объединение по логическому «ИЛИ» дает полное заполнение тела митохондрий, но также и примерно вдвое больший процент шума. Время сегментации - около 20 сек.

3.2 Сравнение производительности с альтернативным программным обеспечением

Для исследования производительности альтернативного программного обеспечения на том же материале исследованы возможности пакета Scikit-learning для машинного обучения в среде языка Python. Вычисления проводились на ноутбуке с CPU Intel® Core™ i7-4710HQ CPU (2.20GHZ, 4 cores, 8 threads) с 16 Gb памяти DDR3, Windows 8.1, использовался только CPU. Использованы библиотеки: для имидж-процессинга - scikit-image; для машинного обучения - scikit-learn. Результаты сведены в таблицу (Таблица 2).

Как видим время работы определяется временем вычисления признаков. Вероятно дополнительные потери времени происходят из-за использования среды языка Python не ориентированной на высокопроизводительные вычисления. При распараллеливании вычислений на GPU или эффективном вычислении с использованием SSE и AVX инструкций может получиться на порядок быстрее. Обучение модели и предсказание результата имеет высокую скорость вследствие высокой оптимизированности пакета Scikit-learning.

Таблица 2. Тестирование производительности Scikit-learning

Операция Время выполнения, сек

Попиксельная классификация

Обучение модели на 758016 пикселях 3. 1

Вычисление признаков для 112288 пикселей (тестовое изображение) 95.2

Предсказание результата для 112288 пикселей 0.07

Объектная классификация (сегментация)

Сегментация изображения 1536*2048 (3145728 пикселей) 6.03

Вычисление признаков для 3145728 пикселей (1012 объектов) 11.3

Обучение модели (1012 объектов) 0.005

Алгоритм попиксельной классификации включал вычисление среднеквадратического отклонения. Алгоритм объектной автоматической сегментации включал: 1) размытие по Гауссу с маленьким ядром; 2) фильтр Собеля для усиления границ; 3) бинаризация фильтра Собеля (автоматическое вычисление порога threshold_isodata); 4) построение карты расстояний; 5) сегментация водоразделом. Хотя суммарное время заметно больше, чем у лучевого метода, но сложность признаков была выше, чем в нашей реализации. Можно считать, что производительность лучевых методов до их реализации на GPU не имеет заметных преимуществ.

Заключение

Предложен, во многом конкретизирован и реализован на CPU лучевой подход к сегментации изображений электронной микроскопии для клеток мозга. Основной особенностью подхода является намерение совместить лучевой высокопараллельный метод трассировки объекта с одновременным применением методов машинного обучения (ML) для сегментации объектов. Иллюстрация и тестирование возможностей лучевого подхода выполняется на примере митохондрий. Предлагаются и обсуждаются лучевые интерпретации попиксельных и объектных признаков для ML. Реализовано экспериментальное программное обеспечение для заявленных целей. Демонстрируются примеры его работы и конкретные способы реализации

лучевых вариантов некоторых методов машинного обучения. Кардинальный выигрыш в производительности ожидается при реализации подхода на GPU. Планируется расширение списка лучевых реализаций методов ML.

Работа выполнена при поддержке гранта РФФИ, проект №2 16-37-00396.

Использованные источники:

1. Kaynig V. et al. Large-scale automatic reconstruction of neuronal processes from electron microscopy images // Medical Image Analysis. May 2015. V. 22, Iss. 1, P.77-88 DOI: http://dx.doi.org/10.1016/j.media.2015.02.001

2. Kasthuri N. et al. Saturated Reconstruction of a Volume of Neocortex // Cell 162, 648-661 July, 2015 Elsevier Inc. http://dx.doi.org/10.1016/j.cell.2015.06.054

3. Hadwiger M. et al. ConnectomeExplorer: Query-Guided Visual Analysis of Large Volumetric Neuroscience Data // IEEE Trans Vis. Comput. Graph. 2013 December ; 19(12): 2868-2877. doi:10.1109/TVCG.2013.142. (Author manuscript; available in PMC 2015 Jan.16)

4. Deroulers C. et al. Analyzing huge pathology images with open source software // Diagnostic Pathology (2013), 8:92. DOI: 10.1186/1746-1596-8-92 (https://diagnosticpathology.biomedcentral.com/articles/10.1186/1746-1596-8-92)

5. Gavrilov, N.I.; Turlapov, V.E. Novel approach to development of direct volume rendering algorithms based on visualization quality assessment // Programming and Computer Software, 40 (4), pp. 174-184. DOI: 10.1134/S0361768814040045

6. Turlapov, V.E., Gavrilov, N.I. 3D scientific visualization and geometric modeling in digital biomedicine (2015) Scientific Visualization, 7 (4), pp.27-43. (rus, http://sv-journal. org/2015-4/04.php?lang=en).

7. Lucchi A. et al. Learning Structured Models for Segmentation of 2D and 3D Imagery IEEE Transactions on Medical Images, March 2014, p.1-15 (https: //infoscience.epfl .ch/record/203681/files/paper.pdf?version= 1)

8. Delon Julie. A non parametric approach for histogram segmentation (2006). 6 p. (http://desolneux.perso.math.cnrs.fr/papers/DDLP HistIP 07.pdf)

УДК 338.3

Бенгина П.М. магистр

институт экономики и управления Самарский национальный исследовательский университет

имени академика С.П. Королева Россия, г. Самара УЧЕТ ЧЕЛОВЕЧЕСКОГО КАПИТАЛА НА РОССИЙСКИХ

ПРЕДПРИЯТИЯХ Статья посвящена анализу способа оценки нематериальных активов, а именно человеческого капитала, в деятельности предприятия. Проведен анализ сложившейся ситуации на рынке, и построена модель учета человеческого капитала.