CC BY
29
Доклады БГУИР
Doklady BGUIR
2019, № 4 (122) 2019, No. 4 (122)
УДК 004.045
МОРФОЛОГИЧЕСКИЙ И СПЕКТРАЛЬНЫЙ АНАЛИЗ ГИСТОЛОГИЧЕСКОЙ ТКАНИ С ИСПОЛЬЗОВАНИЕМ ГЛУБОКИХ СВЕРТОЧНЫХ СЕТЕЙ
С В. ТРУХАН1, А.М. НЕДЗЬВЕДЬ1, А. КОЛЕР2
1 Объединенный институт проблем информатики НАНБеларуси, Республика Беларусь 2Норвежский университет естественных наук, Ос, Норвегия
Поступила в редакцию 3 августа 2018
Аннотация. Представлены результаты исследования применения глубоких сверточных нейронных сетей к гиперспектральным изображениям.
Ключевые слова: гиперспектральное изображение, глубокие сверточные нейронные сети.
Abstract. The results of a study of the application of deep neural convolutional networks to hyperspectral images are presented.
Keywords: hyperspectral image, deep convolution neural networks.
Doklady BGUIR. 2019, Vol. 122, ]Чо. 4, pp. 25-31 Morphological and spectral analysis of histological tissue with the use of deep convolutional networks S.V. Trukhan, A.M. Nedzved, A. Kohler
Введение
Гиперспектральное инфракрасное изображение представляет собой форму инфракрасной спектроскопии, в которой спектры отбираются на плоскости изображения. Полученное спектральное изображение является трехмерным. Полный спектр получается в каждом пикселе изображения. Существует экспериментальный способ получения спектров. В этом случае гиперспектральные изображения создаются путем последовательного сканирования плоскости изображения пиксель за пикселем. Альтернативным способом является использование так называемых детекторов матрицы фокальной плоскости, при котором полные гиперспектральные инфракрасные изображения могут быть получены мгновенно. Недавно было показано, что инфракрасные спектры инфракрасных гиперспектральных изображений могут быть использованы для безмаркерной классификации опухолей рака легкого по опухолевым подтипам [1]. Текущие эталонные модели основаны на спектральной информации, которая представляет собой биохимический отпечаток образца ткани. Размер спектральной информации обычно составляет 1000-2000 значений поглощения, полученных в заранее определенных волновых числах в средней инфракрасной области.
Используются различные подходы многомерной классификации образцов тканей на здоровую и больную на основе высокоразмерной спектральной информации, присущей каждому инфракрасному спектру. Они включают в себя искусственные нейронные сети [2-5], случайные леса [1, 6], опорные векторные машины [7-9] и т. д. Изображение инфракрасной спектроскопии обычно состоит из нескольких тысяч до нескольких сотен тысяч пикселей (область изображения) с полным инфракрасным спектром в каждом пикселе. Каждый спектр содержит от нескольких сотен до нескольких тысяч частотных показаний. Таким образом, он содержит глубокую спектральную область. Информация для медицинской диагностики рака
присутствует как в спектральной области, так и в области изображения. Спектральная область содержит информацию о рассеянии и поглощении, а область изображения содержит морфологическую информацию. Морфологическая информация в плоскости инфракрасного изображения и которая доступна для всех химических компонентов, исследованных с помощью FTIR-изображения, еще не используется. Поэтому важной задачей этого исследования является объединение морфологической информации изображений инфракрасной гиперспектральной микроскопии участка ткани со спектральной информацией и оценка возможной лучшей классификации.
Базы данных инфракрасных изображений, используемых для диагностики рака, огромны и сегодня составляют порядка > 10-100 ТБ. Спектральная область этих данных в наши дни используется с помощью многомерного анализа, позволяющего осуществлять извлечения основных химических компонентов из данных. Многомерный анализ использует только спектральное измерение. В настоящее время область изображения не используется в биомедицинской инфракрасной визуализации. С другой стороны, в других областях, в которых применяются методы построения изображений и в которых нет глубокой спектральной области, например, флуоресцентная микроскопическая визуализация, используются изображения для определения нормальной и раковой ткани [10]. В наши дни в качестве методов анализа изображений применяются методы глубоких сверточных нейронных сетей (DCNN), которые были впервые использованы в работе Крижевского и др. [11].
Благодаря большому количеству пикселей изображения, собранных для каждого образца, существует вероятность того, что морфологическая информация, присущая каждому каналу волнового числа, может содержать дополнительную и комплементарную информацию. При диагностике рака сегодня патологоанатом использует химическую морфологическую информацию, основанную на визуальном осмотре стандартных микроскопических изображений образцов иммуногистохимически окрашенных тканей.
Набор данных и общая схема эксперимента
Набор данных предоставлен исследовательской группой PURE (Protein Research Unit Ruhr within Europe), отдел биофизики, Рурский университет Бохум, Германия. Он состоит из гистологических гематоксилин и эозин окрашенных изображений (H&E) легкого разных пациентов и соответствующих им FTIR изображений [1]. Образцы свежей замороженной ткани, взятые во время операции и биопсии, описываются патологоанатомом. На основе аннотаций патологов выбираются характерные спектры для разных классов и подтипов. Эти спектры используются для обучения классификатора с учителем, а именно, случайного леса (RF). Чтобы учесть высокую гетерогенность рака легкого, необходимо создать иерархическое дерево решений нескольких случайных лесов [1]. На первом уровне решения различаются здоровые и патологические области. Патологически релевантные области аннотируются на втором уровне решения пяти классов опухолей. На третьем уровне решения аннотируются подтипы для каждого класса опухоли. В исследовании [1] впервые показано автоматизированное подтипирование без использования маркеров классов опухоли легкого на основе визуализации FTIR. Спектры были предоставлены как в сыром виде, так и предобработанные. Предобработка необходима из-за эффектов дисперсии (рассеивание света) и вариации в толщине слоя образцов. Был произведен качественный анализ сырых спектров, с помощью которого был отобран фон изображения, искаженные спектры в окрестностях пустот или трещин в ткани, или спектров пикселей из высокосферических небольших клеток, таких как лимфоциты, которые могут проявлять сильные рассеивающие артефакты, которые были приписаны «резонансному Mie» рассеянию [12]. Спектры были проверены на соотношение сигнал / шум и уровень сигнала. В дополнении к этому была предоставлена обучающая выборка, состоящая из набора спектров и соответствующих им классов и подклассов рака легкого. Также некоторые H&E окрашенные изображения были размечены профессиональными врачами клинической лабораторной диагностики. Часть данных была проанализирована на возможность выявления морфологических признаков в дополнение к химическим признакам FTIR изображений с помощью методов глубокого обучения чтобы превзойти традиционные подходы в классификации спектров. Общая схема эксперимента, а также основные наборы данных представлены на рис. 1.
Глубокое ! щ
обучение
Индексированные \ цветные
изображения
Набор FTIR изображений
Размеченный набор спектров для обучения с учителем (RF)
Рис. 1. Общая схема эксперимента и набора данных
Нейронные сети в задаче семантической сегментации
Задачей семантической сегментации является построение вывода по модели, на вход которой подается изображение. Вывод представляет собой изображение размерности, равной входному изображению, каждый пиксель которого отнесен к одному из заданных классов. В задаче сегментации изображений инфракрасной спектральной гистопатологии легочной ткани такими классами являются, например, здоровые, патологические, слизь, кровь и зашумленные спектры.
При решении задач компьютерного зрения широко используется подход на основе глубокой сверточной сети. Архитектура сети для семантической сегментации обычно состоит из сети кодировщика (encoder) и следующей за ней сети декодировщика (decoder). Кодировщиком обычно является обученная для классификации изображений свёрточная сеть, в которой последние слои, отвечающие за предсказания класса изображения, обрезаются. К кодировщику достраивается сверточная сеть, целью которой является семантически спроецировать отличительные признаки, выученные кодировщиком, на пространство пикселей, чтобы получить плотную классификацию.
В статье была выбрана U-Net сеть для семантической сегментации, которая зарекомендовала себя во многих областях, в том числе в сегментации медицинских изображений и гистопатологии. Кодировщик в этой сети представляет собой чередующиеся слои свёртки со слоями max-pooling. Декодировщик - чередующиеся слои upsampling (увеличения пространственного разрешения), объединения и конволюции. В этой сети важную роль играет техника skip connections (пропуск соединений), при которой признаки кодировщика на каждом уровне абстракции объединяются с признаками upsampling на каждом уровне декодировщика соответственно. Это позволяет значительно улучшить обучение сети.
Классификация методом случайного леса
В гистологии (изображения инфракрасной спектральной гистопатологии) очень сложно собрать выборку для обучения и тестирования на ней глубоких нейронных сетей. Поэтому в работе для разметки для обучения глубокой нейронной сети используются данные классификации FTIR изображений с помощью метода случайного леса.
Метод случайного леса принадлежит к семейству деревьев решений [13] и основывается на создании ансамбля деревьев. Каждое дерево создается с помощью случайного выбора образцов из исходного набора данных. Каждый узел в дереве оптимизируется, используя случайное подмножество переменных. Таким образом, этот метод
обеспечивает низкие корреляции между деревьями и поэтому препятствует переобучению модели.
В качестве отправной точки исходные данные делятся на обучающие и тестовые наборы данных с использованием случайной выборки с замещением. Примерно две трети всех образцов составляют обучающие наборы, а оставшаяся одна треть - тестовое множество или множество, не вошедшее в набор («out-of-bag» - OOB - set). Для каждого узла в дереве подмножество переменных выбирается случайным образом и оценивается по их способности разделить данные. Переменная, выбранная для определения правила разделения, является той, которая дает наибольшее уменьшение примеси. Примером примеси в RF для задачи классификации является примесь Джини, которая может быть вычислена на каждом узле т
K
дерева следующим образом: /(х) = 1 - ^pk(т)2 , где рк(т)2 - доля образцов, принадлежащих k-й
k=1
группе из общего числа выборок в узле т, K - общее число рассматриваемых групп. Валидация модели выполняется с использованием наборов OOB. Для каждого дерева выборки в наборе OOB пропускаются через дерево, а голосование большинством голосов формирует общий результат классификации.
Все спектры, которые успешно прошли проверку качества, были подвергнуты коррекции Mie и резонансного-Mie-рассеяния на основе EMSC от 2300 до 950 см-1 с одним шагом итерации. Было проверено большее количество шагов итерации (до 20) и установлено, что из-за низких эффектов рассеяния шаг итерации не влияет на окончательную классификацию. Для почти 20 миллионов спектров на одно исследование это также экономит время в процессе. Обучающий набор данных для случайного леса был создан из несглаженных спектров поглощения. Для первого уровня случайного леса (здорового / патологического) спектры интерполируются до 100 равноудаленных точек данных, а для второго (классы опухолей) и третьего RF (разделение на подтипы) - до 385 от 1800-950 см-1. Эти скорректированные спектры измерялись на FTIR аппаратах Hyperion и Cary в аналогичном формате, и это сохраняло время вычисления на первом уровне RF. Специальный отбор признаков не выполнялся. Алгоритм RF реализует взвешивание функций, основанных на важности Gini, и случайным образом выбирает точки для принятия решения [13]. Соответственно, большое количество деревьев, здесь 500, делает отбор признаков излишним. Были проверены вторые производные сглаженных спектров на наборе учебных данных, что не привело к более высокой точности для случайного леса.
Обученные деревья решений были применены к FTIR изображениям. Полученные маски предсказаний были использованы в дальнейшем методом глубинного обучения.
Экспериментальная модель глубокого обучения
Чтобы провести предварительный сравнительный анализ между классификацией спектров методом случайного леса и моделью глубокого обучения, была адаптирована U-Net модель сверточной сети для задачи сегментации [14]. Общая схема обучения алгоритма представлена на рис. 3. Общая схема тестирования алгоритма - на рис. 4.
Рис. 3. Общая схема обучения глубокой сверточной сети
Обучение глубокой модели происходит следующим образом. Готовится набор FTIR изображений вместе с разметкой (маской) по нескольким пациентам. Маска соотносит спектры FTIR изображения с их классами (здоровый/патологический). Из-за большого пространственного разрешения, которое может доходить до 2000^2000 пикселей и более, а также из-за того, что современные сверточные сети принимают на вход фиксированный размер изображения, распространен подход обучения глубокой нейронной сети на небольших участках исходного изображения. Размер фрагмента изображения в нашем случае составляет 224^224x442, где 224 - пространственное разрешение по x и у, 442 - размерность спектральной информации. При обучении сети генерировались случайные фрагменты изображения и подавались на вход сети. Важно отметить процедуру отбрасывания фрагментов, но которых сеть может переобучиться. Для сбалансированного обучения сети отбрасывались фрагменты, на которых число пикселей фона больше 80 %. После извлечения фрагментов по соответствующим им тренировочным маскам считается функция потерь, после чего происходит обновление весов методом обратного распространения ошибки.
В алгоритме обратного распространения каждую итерацию k можно разделить на три шага:
1. Прямой проход, вычисляющий fafc(x).
2. Обратный проход, вычисляющий градиенты А = 5Loss/50.
3. Обновление параметра 0ш = Update (0k , А).
Контроль процесса обучения выполнялся на отложенной выборке, не участвовавшей в обучении сети.
Рис. 4. Общая схема тестирования глубокой сверточной сети на новых данных
Этап тестирования модели на новых FTIR изображениях также начинается с извлечения фрагментов. В этом случае использовался метод скользящего окна с перекрытием. Для улучшения качества на границах можно использовать взвешенные предсказания по фрагментам, т. е. веса предсказания при отдалении от центра фрагмента будут уменьшаться и учитываться при перекрытии при смешивании. Общая схема изображена на рис. 5.
Тестирование результатов
Проведенными экспериментами было показано, что даже несмотря на очень гетерогенную структуру ткани легкого результат метода случайного леса может быть очень хорошо приближен моделью глубокого обучения, что открывает перспективу в дальнейших исследованиях в этой области (рис. 5).
На рис. 5 вторая строка - предсказания, полученные случайным лесом (ЯР), первая -и-№1 Причем тренировка происходила на первых двух изображениях, а тестирование -на последнем (столбце).
Заключение
Метод спектральной гистопатологии, который базируется на обучении с учителем, уже зарекомендовал себя для классификации различных видов ткани. Разметкой в данном случае выступает набор спектров и соответствующие им классы. В данном исследовании было показано, что использование морфологической информации в дополнение к спектральной информации с использованием методов глубоких сверточных сетей открывает новые перспективы для решения задачи классификации. Для тренировки сети использовалась разметка, полученная с помощью обученного классификатора «случайный лес». Тренировочных данных становится все больше, в том числе появляется размеченные врачами области изображения, что может быть использовано для тренировки глубоких нейронных сетей и диагностики заболеваний. Данное исследование открывает новые возможности на применении глубоких сверточных сетей для спектральной гистопатологии.
Список литературы / References
1. Marker-free automated histopathological annotation of lung tumour subtypes by FTIR imaging / F. Großerueschkamp [et al.] // Analyst. 2015. Vol. 140, № 7. P. 2114-2120.
2. Robust classification of low-grade cervical cytology following analysis with ATR-FTIR spectroscopy and subsequent application of self-learning classifier eClass / J.G. Kelly [et al.] // Anal. Bioanal. Chem. 2010. Vol. 398, № 5. P. 2191-2201.
3. Distinction of cervical cancer biopsies by use of infrared microspectroscopy and probabilistic neural networks /
A. Podshyvalov [et al.] // Appl. Opt. 2005. Vol. 44, № 18. P. 3725.
4. Udelhoven T., Novozhilov M., Schmitt J. The NeuroDeveloper®: a tool for modular neural classification of spectroscopic data // Chemom. Intell. Lab. Syst. 2003. Vol. 66, № 2. P. 219-226.
5. Evaluation and discrimination of simvastatin-induced structural alterations in proteins of different rat tissues by FTIR spectroscopy and neural network analysis / S. Garip [et al.] // Analyst. 2010. Vol. 135. P. 3233-3241.
6. Combining random forest and 2D correlation analysis to identify serum spectral signatures for neuro-oncology /
B.R. Smith [et al.] // Analyst. 2016. Vol. 141, № 12. P. 3668-3678.
7. An investigation of the RWPE prostate derived family of cell lines using FTIR spectroscopy / M.J. Baker [et al.] // Analyst. 2010. Vol. 135, № 5. P. 887-894.
8. Vibrational biospectroscopy coupled with multivariate analysis extracts potentially diagnostic features in blood plasma/serum of ovarian cancer patients / G.L. Owens [et al.] // J. Biophotonics. 2014. Vol. 7, № 3-4. P. 200-209.
9. Fourier-transform infrared spectroscopy coupled with a classification machine for the analysis of blood plasma or serum: a novel diagnostic approach for ovarian cancer / K. Gajjar [et al.] // Analyst. 2013. Vol. 138, № 14. P. 3917.
10. Integrating spatial, morphological, and textural information for improved cell type differentiation using Raman microscopy / S.D. Krauß [et al.] // J. Chemom. 2018. Vol. 32, № 1.
11. Krizhevsky A., Sutskever I. , Hinton G.E. ImageNet Classification with Deep Convolutional Neural Networks // NIPS. 2012. P. 1-9.
12. Resonant Mie scattering in infrared spectroscopy of biological materials-understanding the «dispersion artefact» / P. Bassan [et al.] // Analyst. 2009. Vol. 134, № 8. P. 1586-1593.
13. Breiman L. Random Forests // Mach. Learn. 1999. Vol. 45, № 5. P. 1-35.
14. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Miccai. 2015 P. 234-241.
Сведения об авторах
Трухан С.В., аспирант ОИПИ НАН Беларуси.
Недзьведь А.М., доктор технических наук, профессор, главный научный сотрудник ОИПИ НАН Беларуси.
Information about the authors
Trukhan S.V., PG student of UIIP NAS of Belarus.
Nedzved A.M., D.Sci, professor, chief researcher of UIIP NAS of Belarus.
Колер А., доктор естественных наук, профессор физики кафедры RealTek Норвежского университета естественных наук.
Kohler A., PhD, professor in physics at RealTek, NMBU.
Адрес для корреспонденции
220012, Республика Беларусь, г. Минск, ул. Сурганова, 6 Объединенный институт проблем информатики НАН Беларуси тел. +375-29-614-37-27; e-mail: [email protected] Трухан Станислав Вячеславович
Address for correspondence
220012, Republic of Belarus,
Minsk, Surganova st., 6
United institute of informatics problems
of National academy of sciences of Belarus
tel.+375-29-614-37-27;
e-mail: [email protected]
Trukhan Stanislau Vyacheslavovich
