CC BY
44
Гиперспектральный in vivo анализ хромофоров нормальной кожи и визуализация онкологических патологий
В.П. Шерендак 1, И.А. Братченко 1, О.О. Мякинин 1, П.Н. Вольхин 1, Ю.А. Христофорова 1, А.А. Морятов 2, А. С. Мачихин 3, В.Э. Пожар 3, С.Г. Козлов 2, В.П. Захаров 1 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, Самарская область, Самара, Московское шоссе, д. 34;
2 Самарский государственный медицинский университет, Самара, Россия;
3 Научно-технологический центр уникального приборостроения РАН, Москва, Россия
Аннотация
В работе представлены результаты тестирования методов бесконтактной диагностики новообразований кожи, основанные на регистрации снимков, полученных с помощью гиперспектральной камеры с акустооптическим перестраиваемым фильтром. Для идентификации онкологических патологий предложен интегральный спектральный индекс по множеству концентрических областей вокруг источника роста новообразования исследуемой биоткани. Введенный индекс позволяет, наряду с изменением спектральных свойств ткани, косвенно учесть классические дерматоскопические параметры ABCD: асимметрию, неровность границ, цветовое разнообразие, диаметр новообразования. Приведены результаты разделимости обучающей выборки, и показана возможность применения предложенных подходов в клинической практике.
Ключевые слова: гиперспектральная визуализация, хромофоры, меланин, гемоглобин, онкопатология, меланома, базально-клеточный рак, акустооптический видеоспектрометр, оптическая плотность, хромофорный индекс, классификация.
Цитирование: Шерендак, В.П. Гиперспектральный in vivo анализ хромофоров нормальной кожи и визуализация онкологических патологий / В.П. Шерендак, И.А. Братченко, О.О. Мякинин, П.Н. Вольхин, Ю.А. Христофорова, А.А. Морятов, А.С. Мачихин,
B.Э. Пожар, С.Г. Козлов, В.П. Захаров // Компьютерная оптика. - 2019. - Т. 43, № 4. -
C. 661-670. - DOI: 10.18287/2412-6179-2019-43-4-661-670.
Введение
Рак является одним из наиболее опасных и ежегодно прогрессирующих по количеству больных заболеваний. По данным Международного агентства по исследованию рака, за 2012 год было выявлено около 14,1 миллиона новых случаев рака во всем мире, а имеющиеся оценки позволяют заявить, что прогнозируется существенное увеличение (до 19,3 миллиона) новых случаев рака в год к 2025 году в связи с ростом численности населения и повышением его среднего возраста. Рак кожи является одним из наиболее распространённых форм рака [1]. Например, базально-клеточный рак кожи является наиболее часто встречающимся типом рака в мире и составляет около 75 % из всех немеланомных злокачественных образований кожи. Меланома, напротив, имеет наименьший показатель заболеваемости в мире (9 %), но занимает первое место по смертности (75 %) среди всех форм рака кожи [2, 3].
Аналогичные тенденции по увеличению заболеваемостью раком наблюдаются и в России. Например, по данным Московского научно-исследовательского онкологического института имени П.А. Герцена, заболеваемость населения России злокачественными новообразованиями в 2015 году составила 589341 случай [4]. Одной из главных локализаций в общей (оба пола) структуре онкологической заболеваемости является кожа (14,2 %) - второе место среди всех онкологических патологий у женщин и 3 место у мужчин [4]. Прирост заболеваемости злокачественными
новообразованиями кожи с 2005 по 2015 года составляет 31,47 %, в том числе прирост по меланоме -34,84 %.
Учитывая поверхностную локализацию опухоли на коже, наиболее удобным способом её раннего выявления является профилактический осмотр. При раннем обнаружении опухоли пациент имеет более высокие шансы на выздоровление [5]. Однако визуального осмотра для выявления меланомы на ранней стадии обычно бывает недостаточно - точность диагностики пигментных опухолей кожи на ранней стадии (особенно непрофильными специалистами) не превышает 50 % [5] по причине видимой схожести меланомы с невусом.
Различные виды биопсии тканей кожи, как правило, не применяются, поскольку могут привести к негативным последствиям из-за «агрессивного» поведения и высоких рисков метастазирования злокачественного образования [6]. В связи с этим исследования многих научных групп направлены на разработку именно неинвазивных методов первичной диагностики различных типов онкологических патологий кожи. Диагностическая эффективность таких методов, как компьютерная томография и магнитно-резонансная томография из-за недостаточного пространственного разрешения резко падает для опухолей малого диаметра (менее 1,5 мм), характерных для ранних стадий меланомы [7]. В таких случаях более точную оценку злокачественности образований кожи возможно получить с примением оптических методов диагности-
ки, таких как: цифровая дерматоскопия [8], Раманов-ская спектроскопия [9, 10] и гиперспектральная визуализация [11].
Цифровая дерматоскопия является одним из наиболее широко используемых клинических методов диагностики. Основой цифровой дерматоскопии является анализ увеличенного RGB-изображения исследуемой опухоли на предмет асимметричности и неоднородности ее свойств, рассматриваемых в виде ABCD-признаков [15]: асимметрия (assymetry - A), неровность границ (border - B), характер многообразия цветов и их распределение (color - C) и диаметр новообразования (diameter - D). Гиперспектральная визуализация (ГСВ, Hyperspectral imaging) позволяет исследовать как форму опухоли, так и её компонентный состав и его распределение, используя особенности в спектрах поглощения различных хромофоров. Несмотря на то, что ГСВ сравнительно недавно стала использоваться в медицинских исследованиях, она уже нашла широкое применение в различных прикладных областях медицины [12]. Одни из лучших результатов по применению ГСВ для диагностики рака кожи были получены Nagaoka с соавторами [13, 14]: чувствительность определения меланомы от других форм рака составила 90 % при специфичности 84 %. Такая высокая точность диагностики онкопато-логий кожи мотивирует разработку новых подходов для in vivo диагностики злокачественных новообразований кожи с использованием ГСВ.
Фактически ГСВ выглядит естественным обобщением цифровой дерматоскопии, в которой используются три спектральных канала. В случае ГСВ, наряду со стандартными ABCD-признаками, осуществляется как детальный спектральный анализ («расширение» признака C), так и возможна оценка неоднородности и асимметрии/неоднородности пространственного распределения различных хромофоров опухоли.
В качестве основного количественного диагностического признака предлагается использовать интегральный индекс оптической плотности, введенный в работе [5] и вычисляемый в видимом диапазоне длин волн (450 - 750 нм) по областям преимущественного поглощения меланина и гемоглобина - двух основных хромофоров кожи, количественное изменение которых говорит о большом риске малигнизации ткани [16] и приводит к изменению цвета кожи, формы образований, появлению атипичных сосудистых и пигментных паттернов [17]. В настоящем исследовании данный подход используется для дифференциации различных злокачественных новообразований кожи от доброкачественных. В группе злокачественных образований исследовались меланома (Malignant Melanoma - MM) и базально-клеточный рак (Basal Cell Carcinoma - BCC), в группе доброкачественных заболеваний (Benign -BN) - кератомы, гемангиомы и невусы. В работе проведён качественный анализ изменений значений спектральных индексов оптической плотности и их распределения для различных тканей кожи и вариантах выделения области патологии. В качестве быстрой оцен-
ки неоднородности и формы новообразования используются данные об изменении предложенного интегрального индекса по набору рассматриваемых муль-тимасштабных концентрических областей исследуемой биоткани. Результаты проведенного анализа позволяют производить классификацию злокачественных и доброкачественных образований, одновременно используя спектральные признаки (малигнизации ткани), атипичные паттерны и пространственные дерматоско-пические признаки.
Система регистрации спектральных изображений Для регистрации спектральных изображений использовался акустооптический (АО) видеоспектрометр, структурная схема которого представлена на рис. 1.
/ 3 4 5 6 7 8 9
ЯрйН
_7Л
[75
Рис. 1. Схема проведения эксперимента по регистрации спектральных изображений кожи.
1 - исследуемый образец, 2 - широкополосный светодиодный источник, 3 - входной телеобъектив, 5, 7 - АО-ячейки, 4, 6, 8 - поляризаторы, 9 - объектив, 10 - монохромная видеокамера, 11, 12 - ВЧ-усилители, 13 - ВЧ-генератор, 14 - контроллер, 15 - компьютер
Отраженное и рассеянное исследуемым образцом 1 широкополосное излучение светодиодного источника 2 преобразуется входным телеобъективом 3 в коллимированный пучок и направляется на перестраиваемый акустооптический монохроматор, состоящий из двух АО-ячеек 5 и 7 и трёх поляризаторов: входного 4, промежуточного 6 и выходного 8. Особенностью АО-монохроматора является двойная последовательная фильтрация. Она обеспечивает практически полную компенсацию пространственных и спектральных искажений изображения, вызываемых дифракцией Брэгга в одиночной анизотропной АО-ячейке, и, как следствие, измерение спектров в отдельных точках изображения [18]. В предлагаемой схеме в двух идентичных АО-ячейках 5 и 7 последовательно происходит дифракция обыкновенной и необыкновенной волн. Вторая ячейка 7 повернута вокруг первой АО-ячейки 5 в плоскости дифракции на 180°, то есть световая волна идет в ней в этой плоскости в обратном направлении по сравнению с первой АО-ячейкой. Плоскость поляризации поляризатора 6 ортогональна плоскости поляризации ориентированных одинаково поляризаторов 4 и 8. В АО-ячейке 5 оптическое излучение, длина волны X которого соответствует условию синхронизма, дифрагирует на динамической решётке, создаваемой акустической волной заданной частоты /. В результате дифракции излучение меняет свою линейную поляризацию с обык-
новенной на необыкновенную, выделяемую поляризатором 6. Аналогично происходит повторная дифракция в АО-ячейке 7, что повышает контраст выделенной спектральной составляющей при полной компенсации как линейной, так и нелинейной дис-торсии. Далее с помощью объектива 9 отфильтрованное излучение с длиной волны X фокусируется на матрице монохромной видеокамеры 10. Изменяя частоту f акустической волны, пьезоэлектрически возбуждаемой в АО-ячейках 5 и 7 высокочастотными (ВЧ) электрическими сигналами, вырабатываемыми ВЧ-генератором 8 и ВЧ-усилителями 11 и 12 по командам персонального компьютера 15 через контроллер 14, можно перестраивать период дифракционной решетки одновременно в обеих АО-ячейках и получать изображение объекта 1 на произвольной задаваемой длине волны X в диапазоне 440 - 750 нм с достаточно высоким спектральным (5X = 2,5 нм при X = 633 нм) и пространственным (0,14 мм) разрешением.
Образцы тканей кожи
Регистрация гиперспектральных изображений производилась в Самарском областном клиническом онкологическом диспансере. В эксперименте участвовали 15 человек, из которых 9 женщин, 6 мужчин. Получены информационные согласия каждого испытуемого. Проведение исследования было одобрено этическим комитетом Самарского государственного медицинского университета. Предварительный диагноз каждого из исследованных образований кожи и описание их локализации сведены в табл. 1. Окончательный диагноз по каждому исследованному образцу ставился на основании гистологического исследования.
Анализ гиперспектральных изображений.
Расчет оптической плотности
Методика исследования и примеры спектров ГСВ новообразований кожи в видимой области спектра описаны в работе [5]. Результаты ранее представленной работы были дополнены предобработкой изображений для компенсации непроизвольных движений пациента (что является критически важным при проведении in vivo исследований в отличие от ex vivo) и последующим двухэтапным анализом с дифференциацией злокачественных опухолей. Алгоритм предварительной обработки in vivo гиперспектральных изображений биотканей состоит из компенсации артефактов движения и оценки распределения яркости источника Id(x, y, X) Более подробное описание предобработки и стабилизации гиперспектральных изображений можно найти в работе [19]. Последующий анализ образцов тканей кожи включал оценки содержания хромофоров: гемоглобина (Hb) и меланина (M). В каждой точке изображения образца (x, y) рассчитывалась оптическая плотность биоткани (Optical Density - OD) на выделенной длине волны X:
OD(x,y,X) = lgI0(xZ#, (1)
где 10 (х, у, X) - интенсивность обратного рассеяния от белого эталонного рассеивателя (молочной пластины Ф0-1), I (х,у, А) - интенсивность обратного рассеяния от измеряемого образца.
Злокачественные новообразования, в частности ме-ланома, имеют выраженные особенности в спектре обратного рассеяния в области поглощения гемоглобина и меланина (530 - 570 нм), и в области с единственным основным поглотителем - меланином (600 - 700 нм) [19]. Следовательно, можно провести дифференциацию опухолей по оценке средних значений концентрации основных хромофоров кожи, используя интегральные индексы I для выбранных диапазонов длин волн; для гемоглобина - индекс H (Хе[530; 570]), для меланина -индекс М (Хе [600; 670]):
1 Х2
I,(X,у) = — | СЮ(х,у,Х^Х. (2)
Х 2 —1 —
Результаты исследований.
Выбор области вычисления
На первом этапе анализа индексы (2) рассчитывались для всей поверхности патологии, а участок здоровой кожи такой же площади выделялся в пределах 2 - 4 см от области патологии. Это позволяет представить каждое новообразование в виде точки на фазовой плоскости (рис. 2), оси которой представляют значение нормированного индекса, пропорционального концентрации определенного хромофора в измеряемом образце ткани кожи.
Анализ рис. 2 позволяет произвести разделение различных классов образований с применением линейного дискриминантного анализа. После проведения анализа распределения концентраций меланина и гемоглобина для 15 исследованных образцов было установлено, что точность разделения доброкачественных и злокачественных образований составляет 90 %. Такие же показатели точности (см. рис. 2) наблюдаются при дифференциации меланомы от доброкачественных образований.
Рис. 2. Фазовая плоскость индексов оптической плотности распределения хромофоров в исследованных образцах кожи
Оценка влияния величины площади исследования на точность классификации новообразований
На втором этапе исследования была проведена оценка влияния распределения плотности хромофоров (гемоглобина и меланина) и точности выделения границы области патологии на установление типа кожных образований. Чаще всего меланома разраста-
ется лучеобразно от своего «центра» на фоне уже существующего пигментного невуса. Для проведения анализа «центр» каждого образования выбирался равноудаленно от краев образования. Четыре концентрические области, используемые в анализе, строились следующим образом: вокруг «центра» образова-
Табл. 1. Статистика по
ния описывалась окружность возрастающего диаметра, пока края образования не окажутся внутри образованного «круга»». Графики зависимости математического ожидания индексов меланина и гемоглобина от выбранной площади представлены на рис. 3, 5.
исследованным пациентам
№ Пол Локализация Предварительный диагноз Гистологическое заключение
1 (BCC1) ж голова гемангиома базально-клеточный рак
2 (BCC2) м грудная клетка базалиома базально-клеточный рак
3 (BCC3) ж плечо базалиома, меланома базально-клеточный рак
4 (BCC4) ж голова базалиома, меланома базально-клеточный рак
5 (BCC5) м спина меланома базально-клеточный рак
6 (BN1) ж лобковая область кератома кератома
7 (BN2) ж спина пигментный невус смешанный невус
8 (BN3) ж шея - надключичная область меланома кавернозная гемангиома
9 (BN4) ж подмышечная впадина невус смешанный невус
10 (BN5) м правое бедро гемангиома гемангиома
11 (MM1) ж спина меланома пигментная меланома
12 (MM2) м левая поясничная область меланома пигментная меланома, II уровень инвазии
13 (MM3) ж нога меланома эпителиоидная меланома, II уровень инвазии
14 (MM4) м рука меланома беспигментная меланома, III уровень инвазии
15 (MM5) м грудная клетка меланома пигментная меланома, III уровень инвазии
■ —*— ВСС1
ВСС2
ВССЗ
ВСС4
—0- ВСС5
[Базалиома (М)\
( Меланома (М) ]
—*—ММ1 ММ2 -+--ММЗ
-V—MM4 -0--ММ5
40 60 80 100 Диаметр окружности, %
40 60 80 100 б) Диаметр окружности, % в)
Pw. 3. Зависимость индекса меланина кожных патологий от выбора диаметра образования: базалиом (a), доброкачественных новообразований (б) и меланом (в)
В табл. 2 показан относительный показатель вариативности индекса для каждого образца 5 = 1 - Min / Max, где Min и Max - это минимальное и максимальное значение индекса для одного исследуемого образования.
Данный показатель позволяет оценить, насколько сильно индекс изменялся в пределах своего диапазона, ограниченного его максимальным значением. Из табл. 2 легко заметить, что этот показатель больше у меланом-ных образцов в отличие от образцов с доброкачественными образованиями, если в качестве основного классифицирующего индекса выбрать гемоглобин. При этом индекс меланина является неинформативным для данного случая. Вышеизложенное полностью коррелирует с нашими прошлыми исследованиями с помощью спектроскопии обратного рассеяния [16].
Для наглядности на рис. 4 приведены RGB-изображения патологий кожи, которым соответствуют значения графиков BCC4 и BCC5 (a, б), BN3 и BN4 (в, г), MM2 и MM4 (д, е).
Табл. 2. Показатели вариативности индексов меланина 8(M) и гемоглобина 8(Hb)
40 60 80 100 Диаметр окружности, %
Ö(M) S(Hb)
BCC1 0,23 0,16
BCC2 0,10 0,28
BCC3 0,29 0,10
BCC4 0,50 0,57
BCC5 0,06 0,19
BN1 0,14 0,10
BN2 0,37 0,16
BN3 0,31 0,08
BN4 0,19 0,11
BN5 0,39 0,09
MM1 0,18 0,25
MM2 0,42 0,27
MM3 0,28 0,25
MM4 0,15 0,22
MM5 0,23 0,07
Рис. 4. Изображения патологий кожи: базально-клеточный рак (а, б), доброкачественные новообразования (в, г), меланома (д, е). На рисунке (е) показаны концентрические области
ОРнь [Базалиома (НЬ) ) _______
0,35- ^_. -о~~ "
40 60 80 100 ""20 40 60 80 100 ' 20 40 60 80 100 Диаметр окружности, % б) Диаметр окружности, % в) Диаметр окружности, %
Рис. 5. Зависимость индекса гемоглобина в новообразованиях от изменения диаметра исследуемой области Большой разброс в получаемых значениях индексов для различных оцениваемых диаметров является
следствием более интенсивной пигментации в центре опухоли, предположительно включающей струпное образование и неровные границы (рис. 4б). Показатель вариативности 5(М) ВЮ и ВК4 (рис. 3б) - 0,31 и 0,19 соответственно, что характеризуется нечеткой морфологией и неоднородной пигментацией патологий. Таким образом резкие перепады значений индексов, возникают из-за неровностей границ исследуемого объекта, шелушения, секреции желез и развития раневого процесса. Следствием неровности границ является высокое значение вариативности рассчитываемых нормированных индексов.
На рис. 5 изображены графики зависимости содержания гемоглобина в образовании от диаметра исследуемой области. Значения вариативности индексов меланина 5(НЬ) ВСС2 и ВСС1 (рис. 5а) составляет 0,28 и 0,16 соответственно. Разброс значений графика ВСС2 характеризуется наличием неоднородной пигментации (рис. 6а, б). Вариативность ВШ и В№ (рис. 5б) составляет 0,16 и 0,08 соответственно. Кератома ВШ, изображенная на рис. 6в, имеет эллипсоидную форму, а расчеты индексов выполнялись с помощью концентрических областей, поэтому вариативность 5(Ш>) составляет 0,10. Вариативности ММ2 и ММ1 равны 0,27
и 0,25 соответственно. Данные значения показывают, что меланомы имеют наибольшее отклонение при расчете индекса НЬ в силу неоднородной пигментации и нечетких контуров образования. Поэтому предложенные индексы могут использоваться в качестве аналога правила ABCD.
Введение граничного значения показателей вариативности для исследования гемоглобина на уровне 0,15 позволяет добиться в представленном подходе точности диагностики меланом и злокачественных образований на уровне 80 % по показателю чувствительность и 90 - 100 % - специфичность. Рассматривая аналоги предложенного подхода, можно сказать, что наиболее часто сегодня используется мультис-пектральный анализ, причем часто используются дополнительные спектральные диапазоны. Например, в работах [20, 21] предлагается использовать область спектра до 1000 нм. Итоговая чувствительность и специфичность при разделении меланомы от невуса и базально-клеточного рака составила 97 % и 96 % соответственно. Однако данный подход потребует дополнительный монохроматор для ближнего ИК-диапазона, что значительно усложняет конструкцию используемой гиперспектральной камеры. В работах [13, 14] предлагается индекс, описывающий неоднородность новообразования, что является по сути та-
ким же аналогом цветового индекса в дерматоскопии, как и индексы, предложенные в данной работе. При этом чувствительность определения меланом составила 90 %, а специфичность - 84 % [14].
В работе [13] аналогичные результаты получены также на малом количестве образцов (в исследуемую когорту входило всего пять меланом). В работе [22] авторы показали чувствительность 90 % и специфичность 86 % для определения меланом с использованием гиперспектральной камеры в видимом и ближнем ИК-диапазонах. В работах [23, 24] описан пространственный подход к оценке диагностических дермато-скопических признаков ABCD на основе свёрточных нейронный сетей. Авторами [23, 24] заявлены максимальные чувствительность и специфичность диагностики меланомы на уровне 90 % и 85 % соответственно. Отсюда следует, что предложенная методика анализа гиперспектральных изображений кожи в видимой области спектра является более простой и в то же время более точной альтернативой используемым подходам.
Рис. 6. Изображения кожных патологий: базально-клеточный рак кожи ^, б), доброкачественные образования (в, г), меланома (д, е).
На рисунке (а) показаны концентрические области
Заключение
Изменение концентраций меланина и гемоглобина в новообразовании по сравнению со здоровой областью кожного покрова дает представление о степени злокачественности образования и его природе. Ис-
пользование принципа пространственной вариативности данных веществ позволяет повысить надежность и точность диагностирования патологии, а их визуализация дает удобный инструмент пространственной локализации опухоли. Выбор видимого диапазона в качестве области исследования химического состава кожного покрова обусловлен тем обстоятельством, что именно в этом диапазоне (450 - 750 нм) основными поглотителями являются меланин и гемоглобин. Расширение же диапазона в ИК-область приводит к значительному усложнению установки без существенного повышения ее эффективности.
Следует отметить, что в предложенном подходе процесс обработки гиперспектральных данных производится в режиме реального времени и не требует вмешательства оператора. В целом, простота оборудования и быстрота обработки результатов позволяет адаптировать метод для использования в задачах массового скрининга онкопатологий кожи.
В дальнейших работах по развитию предлагаемого подхода планируется увеличение количества исследованных образцов тканей кожи для уточнения данных о чувствительности и специфичности метода. Кроме того, одно из основных преимуществ предлагаемого подхода состоит в возможности его быстрой реализации с помощью параллельной архитектуры вычислений: мультимасштабный метод вычисления интегральных признаков обладает естественным параллелизмом по данным. Кроме того, изменяя положения центра набора концентрических областей, потенциально можно в дальнейшем более точно вычислять такие клинические характеристики ABCD, как неоднородность формы и цветовых распределений, на микроконтроллерах как с последовательной, так и с параллельной архитектурой.
Благодарности Работа выполнена при поддержке РФФИ в рамках проекта № 17-32-50045 мол_нр и гранта Президента Российской Федерации для государственной поддержки молодых российских ученых (проект МК-1888.2019.2).
Литература
1. Parkin, D.M. Global cancer statistics, 2002 / D.M. Parkin, F. Bray, J. Ferlay, P. Pisani // CA: A Cancer Journal for Clinicians. - 2005. - Vol. 5, Issue 2. - P. 74-108. - DOI: 10.3322/canjclin.55.2.74.
2. World cancer report 2008 / ed. by P. Boyle, D. Parkin. - Lyon: International Agency for Research on Cancer, 2008. - 511 p.
3. Siegel, R. Cancer statistics, 2012 / R. Siegel, D. Naishadham, A. Jemal // CA Cancer J Clin. - 2012. -Vol. 62. - P. 10-29. - DOI: 10.3322/caac.20138.
4. Злокачественные новообразования в России в 2015 году (заболеваемость и смертность) / А.Д. Каприн, В.В. Старинский, Г.В. Петрова. - M.: МНИОИ им. П.А. Герцена - филиал ФГБУ «НМИРЦ» Минздрава России, 2017. - 250 c.
5. Братченко, И.А. Гиперспектральная визуализация патологий кожи в видимой области / И.А. Братченко, М.В. Алонова, О.О. Мякинин, А.А. Морятов,
С.В. Козлов, В.П. Захаров. // Компьютерная оптика. -2016. - Т. 40, № 2. - С. 240-248. - DOI: 10.18287/24126179-2016-40-2-240-248.
6. Gross, P.E. Challenges to effective cancer control in China, India, and Russia / P.E. Gross, K. Strasser-Weippl, BL. Lee-Bychkovsky, [et al.] // The Lancet Oncology. - 2014. -Vol. 15. - P. 489-538. - DOI: 10.1016/S1470-2045(14)70029-4.
7. Majoie, С. Perineural tumor extension of facial malignant melanoma: CT and MRI / C. Majoie // Journal of Computer Assisted Tomography. - 1991. - Vol. 15. - P. 570-574.
8. Argenziano, G. Dermoscopy of pigmented skin lesions - a valuable tool for early diagnosis of melanoma / G. Argenziano, H.P. Soyer // The Lancet Oncology. - 2001. - Vol. 2, Issue 7. -P. 443-449. - DOI: 10.1016/S1470-2045(00)00422-8.
9. Bratchenko, J.A. Combined Raman and autofluorescence ex vivo diagnostics of skin cancer in near-infrared and visible regions / I.A. Bratchenko, D.N. Artemyev, O.O. Myakinin, et al. // Journal of Biomedical Optics. - 2017. - Vol. 22, Issue 2. -027005. - DOI: 10.1117/1.JBO.22.2.027005.
10. Lim, L. Clinical study of noninvasive in vivo melanoma and nonmelanoma skin cancers using multimodal spectral diagnosis / L. Lim, B. Nichols, M. Migden, et al. // Journal of Biomedical Optics. - 2014. - Vol. 19, Issue 11. - 117003. - DOI: 10.1117/1.JBO.19.11.117003.
11. Calin, M.A. Hyperspectral imaging in the medical field: Present and future / M.A. Calin, V. Sorin, D. Savastru, M. Dragos // Applied Spectroscopy Reviews. - 2014. - Vol. 49. -P. 435-447. - DOI: 10.1080/05704928.2013.838678.
12. Calin, M.A. Hyperspectral imaging-based wound analysis using mixture-tuned matched filtering classification method / M.A. Calin, T. Coman, S.V. Parasca, et al. // Journal of Biomedical Optics. - 2015. - Vol. 20, Issue 4. - 046004. -DOI: 10.1117/1.JBO.20.4.046004.
13. Nagaoka, T. A possible melanoma discrimination index based on hyperspectral data: A pilot study / T. Nagaoka, A. Nakamura, H. Okutani, et al. // Skin Research and Technology. - 2012. - Vol. 18. - P. 301-310. - DOI: 10.1111/j.1600-0846.2011.00571.x.
14. Nagaoka, T. Hyperspectroscopic screening of melanoma on acral volar skin / T. Nagaoka, A. Nakamura, H. Okutani, et al. // Skin Research and Technology. - 2013. - Vol. 19. -P. e290-e296. - DOI: 10.1111/j.1600-0846.2012.00642.x.
15. Abbasi, N.R. Early diagnosis of cutaneous melanoma: revisiting the ABCD criteria / N.R. Abbasi, H.M. Shaw,
D.S. Rigel, et al. // Journal of the American Medical Association. - 2004. - Vol. 292, Issue 22. - P. 2771-2776. -DOI: 10.1001/jama.292.22.2771.
16. Zakharov, V.P. Comparative analysis of combined spectral and optical tomography methods for detection of skin and lung cancers / V.P. Zakharov, I.A. Bratchenko, D.N. Artemyev, et al. // Journal of Biomedical Optics. - 2015. - Vol. 20, Issue 2. - 025003. - DOI: 10.1117/1.JB0.20.2.025003.
17. Argenziano, G. Epiluminescence microscopy for the diagnosis of doubtful melanocytic skin lesions / G. Argenziano, G. Fabbrocini, P. Carli, V. De Giorgi, E. Sammarco, M. Delfino // Archives of Dermatology. - 1998. - Vol. 134.
- P. 1563-1570. - DOI: 10.1001/archderm.134.12.1563.
18. Machikhin, A. Aberration analysis of AOTF-based spectral imaging systems / A. Machikhin, V. Batshev, V. Pozhar // Journal of the Optical Society of America A. - 2017. -Vol. 34, Issue 7. - P. 1109-1113. - DOI: 10.1364/JOSAA.34.001109.
19. Zherdeva, L.A. In vivo hyperspectral imaging and differentiation of skin cancer / L.A. Zherdeva , I.A. Bratchenko , O.O. Myakinin, et al. // Proceedings of SPIE. - 2016. -Vol. 10024. - 100244G. - DOI: 10.1117/12.2246433.
20. Lihachev, A. Autofluorescence imaging of basal cell carcinoma by smartphone RGB camera / A. Lihachev, A. Derjabo, I. Ferulova, et al. // Journal of Biomedical Optics. - 2015. - Vol. 20, Issue 12. - 120502. - DOI: 10.1117/1.JBO.20.12.120502.
21. Lihacova, L. Semi-automated non-invasive diagnostics method for melanoma differentiation from nevi and pig-mented basal cell carcinomas / L. Lihacova, K. Bolocko, A. Lihachev. // Proceedings of SPIE. - 2017. - Vol. 10592.
- 1059206. - DOI: 10.1117/12.2295773.
22. Neittaanmaki, N. Hyperspectral imaging in detecting dermal invasion in lentigo maligna melanoma / N. Neittaanmaki, M. Salmivuori, I. Polonen, et al. // British Journal of Dermatology. - 2017. - Vol. 177. - P. 17421744. - DOI: 10.1111/bjd.15267.
23. Esteva, A. Dermatologist-level classification of skin cancer with deep neural networks / A. Esteva, B. Kuprel, R.A. Novoa, J. Ko, S.M. Swetter, H.M. Blau, S. Thrun // Nature. - 2017. -Vol. 542. - P. 115-118. - DOI: 10.1038/nature21056.
24. Li, Y. Skin lesion analysis towards melanoma detection using deep learning network / Y. Li, L. Shen // Sensors. -2018. - Vol. 18. - 556. - DOI: 10.3390/s18020556.
Сведения об авторах
Шерендак Виолетта Павловна, 1995 года рождения, окончила бакалавриат Самарского университета по направлению «Биотехнические системы и технологии». В настоящее время является студентом Самарского национального исследовательского университета имени академика С.П. Королева по направлению «Биофото-ника». Области ее научных интересов включают биофотонику, оптику, спектроскопию. E-mail: sherendak.violetta@yandex.ru .
Братченко Иван Алексеевич, 1985 года рождения, окончил Самарский государственный аэрокосмический университет (СГАУ) в 2009 году со степенью магистра по направлению «Прикладные математика и физика», получил степень кандидата наук в СГАУ в 2012 г. В настоящий момент является доцентом кафедры лазерных и биотехнических систем Самарского университета и старшим научным сотрудником лаборатории «Фотоника» Самарского университета. Области его научных интересов включают биофотонику, оптику и спектроскопию, математическое моделирование. E-mail: iabratchenko@gmail.com .
Мякинин Олег Олегович, 1987 года рождения, окончил бакалавриат (2009 год) и магистратуру (2011 год) СГАУ по направлению «Прикладные математика и информатика». В настоящий момент является старшим преподавателем кафедры лазерных и биотехнических систем и научным сотрудником лаборатории «Фотоника»
Самарского университета. Области его научных интересов: компьютерное зрение, искусственный интеллект, обработка биомедицинских сигналов. E-mail: myakole@smail. com .
Вольхин Павел Николаевич, 1996 года рождения, является студентом четвертого года обучения по программе бакалавриата Самарского национального исследовательского университета имени академика С.П. Королева по направлению «Прикладная математика и информатика». Области его научных интересов: компьютерное зрение, обработка изображений. E-mail: volkhinp@yandex.ru .
Христофорова Юлия Александровна, 1992 года рождения, является аспирантом кафедры лазерных и биотехнических систем Самарского национального исследовательского университета. В 2013 окончила бакалавриат по специальности «Прикладные математика и физика», в 2015 году окончила магистратуру по специальности «Прикладные математика и физика» в СГАУ им. С.П. Королева. Области научных интересов: оптика, биофото-ника, Рамановская спектроскопия, Автофлуоресценция. E-mail: khristoforovajulia@smail.com .
Морятов Александр Александрович, 1978 года рождения, является ведущим онкологом кафедры эндоскопии Самарского областного клинического онкологического диспансера, кандидат медицинских наук. Области его научных интересов: онкология, эндосонография, фотодинамическая терапия и радиационная терапия. E-mail: ama78@mail.ru .
Мачихин Александр Сергеевич, 1984 года рождения, в 2007 году окончил МГТУ им. Н.Э. Баумана, доктор технических наук, ведущий научный сотрудник Научно-технологического центра уникального приборостроения РАН (НТЦ УП РАН), доцент кафедры электротехники и интроскопии НИУ «МЭИ». Область научных интересов: машинное зрение, видеоспектрометрия, акустооптика, спектроскопия. E-mail: machikhin@ntcup.ru .
Пожар Витольд Эдуардович, 1958 года рождения, в 1981 году окончил Московский физико-технический институт (МФТИ), д-р. физ.-мат. наук, зав. отделом НТЦ УП РАН, профессор кафедры физико-технических проблем метрологии НИЯУ «МИФИ». Область научных интересов: акустооптика, спектральные методы, фотоника. E-mail: vitold@ntcup.ru .
Козлов Сергей Васильевич, 1957 года рождения, является заведующим кафедрой онкологии Самарского государственного медицинского университета, профессор, доктор медицинских наук. Область его научных интересов включает онкологию, эндосонографию, фотодинамическую терапию и радиционную терапию. E-mail: svkozlovsv@mail.ru .
Захаров Валерий Павлович, 1954 года рождения, получил степень кандидата наук в Институте теоретической физики Боголюбова, Киев, Украина, степень доктора наук в 1999 в СГАУ. В настоящее время занимает должность заведующего кафедрой лазерных и биотехнических систем Самарского университета. Область научных интересов: биофотоника, биомедицинская оптика, спектроскопия, лазерная физика и техника, медицинские лазеры. E-mail: zakharov@ssau.ru .
ГРНТИ: 29.31.26
Поступила в редакцию 3 мая 2018 года. Окончательный вариант - 24 мая 2019 года.
Hyperspectral in vivo analysis of normal skin chromophores and visualization of oncological pathologies
V.P. Sherendak1, I.A. Bratchenko 1, O.O. Myakinin 1, P.N. Volkhin 1, YuA. Khristoforova 1, A.A. Moryatov 2, A.S. Machikhin 3, V.E. Pozhar 3, S.G. Kozlov 2, V.P. Zakharov1 1 Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia;
2 Samara State Medical University, Samara, Russia;
3 Scientific and Technological Center of Unique Instrumentation RAS, Moscow, Russia
Abstract
In the paper, we present test results of methods for the noninvasive diagnosis of skin neoplasms, based on the hyperspectral registration of images by using a camera with an acousto-optic tunable filter. For the identification of oncological pathologies, an integral spectral index has been proposed for a set of concentric regions around the source of neoplasm growth for the tissue sample under study. As well as taking account of changes in the spectral properties of the tissue, the introduced index indirectly takes into account classical ABCD dermatoscopic features: asym-
metry, border irregularity, color diversity, and the tumor diameter. Results of training set separating are presented and the applicability of the proposed approaches to the clinical practice is shown.
Keywords: hyperspectral imaging, chromophores, melanin, hemoglobin, oncopathology, malignant melanoma, basal cell carcinoma, acousto-optical video spectrometer, optical density, chromophore index, classification.
Citation: Sherendak VP, Bratchenko IA, Myakinin OO, Volkhin PN, Khristoforova YA, Mor-yatov AA, Machikhin AS, Pozhar VE, Kozlov SG, Zakharov VP. Hyperspectral in vivo analysis of normal skin chromophores and visualization of oncological pathologies. Computer Optics 2019; 43(4): 661-670. DOI: 10.18287/2412-6179-2019-43-4-661-670.
Acknowledgements: The work was funded by the Russian Foundation for Basic Research under RFBR grant No. 17-32-50045 mol_nr and the Russian Federation President's grant for the state support of young scientists (project MK-1888.2019.2).
References
[1] Parkin DM, Bray F, Ferlay J, Pisani P. Global cancer statistics, 2002. CA Cancer J Clin 2005; 55(2): 74-108. DOI: 10.3322/canjclin.55.2.74.
[2] Boyle P, Parkin D, eds. World cancer report, 2008. Lyon: International Agency for Research on Cancer; 2008.
[3] Siegel R, Naishadham D, Jemal A. Cancer statistics, 2012. CA Cancer J Clin 2012; 62: 10-29. DOI: 10.3322/caac.20138.
[4] Kaprin AD, Starinsky VV, Petrova GV. Malignant neoplasms in Russia in 2015 (morbiliti and mortality) [In Russian]. Moscow: P.A. Hertsen Moscow Oncology Research Center; 2017.
[5] Bratchenko IA, Alonova MV, Myakinin OO, Moryatov AA, Kozlov SV, Zakharov VP. Hyperspectral visualization of skin pathologies in visible region. Computer Optics 2016; 40(2): 240-248. DOI: 10.18287/2412-61792016-40-2-240-248.
[6] Gross PE, Strasser-Weippl K, Lee-Bychkovsky BL, et al. Challenges to effective cancer control in China, India, and Russia. Lancet Oncol 2014; 15: 489-538. DOI: 10.1016/S1470-2045(14)70029-4.
[7] Majoie C. Perineural tumor extension of facial malignant melanoma: CT and MRI. J Comput Assist Tomo 1991; 15: 570-574.
[8] Argenziano G, Soyer HP. Dermoscopy of pigmented skin lesions - a valuable tool for early diagnosis of melanoma. Lancet Oncol 2001; 2(7): 443-449. DOI: 10.1016/S1470-2045(00)00422-8.
[9] Bratchenko IA, Artemyev DN, Myakinin OO, et al. Combined Raman and autofluorescence ex vivo diagnostics of skin cancer in near-infrared and visible regions. J Biomed Opt 2017; 22(2): 027005. DOI: 10.1117/1.JBO.22.2.027005.
[10] Lim L, Nichols B, Migden M, et al. Clinical study of nonin-vasive in vivo melanoma and nonmelanoma skin cancers using multimodal spectral diagnosis. J Biomed Opt 2014; 19(11): 117003. DOI: 1Ü.1117/1.JBO.19.11.117003.
[11] Calin MA, Sorin V, Savastru D, Dragos M. Hyperspectral imaging in the medical field: Present and future. Appl Spectrosc Reviews 2014; 49: 435-447. DOI: 10.1080/05704928.2013.838.
[12] Calin A, Coman T, Parasca SV, et al. Hyperspectral im-aging-based wound analysis using mixture-tuned matched filtering classification method. J Biomed Opt 2015; 20(4): 046004. DOI: 10.1117/1.JBO.20.4.046004.
[13] Nagaoka T, Nakamura A, Okutani H, et al. A possible melanoma discrimination index based on hyperspectral data: A pilot study. Skin Research and Technology 2012; 18: 301-310. DOI: 10.1111/j.1600-0846.2011.00571.x.
[14] Nagaoka T, Nakamura A, Okutani H, et al. Hyperspec-troscopic screening of melanoma on acral volar skin. Skin Research and Technology 2013; 19: e290-e296. DOI: 10.1111/j.1600-0846.2012.00642.x.
[15] Abbasi NR, Shaw HM, Rigel DS, et al. Early diagnosis of cutaneous melanoma: revisiting the ABCD criteria. J Am Med Assoc 2004; 292(22): 2771-2776. DOI: 10.1001/jama.292.22.2771
[16] Zakharov VP, Bratchenko IA, Artemyev DN, et al. Comparative analysis of combined spectral and optical tomography methods for detection of skin and lung cancers. J Biomed Opt 2015; 20(2): 025003. DOI: 10.1117/1.JBO.20.2.025003.
[17] Argenziano G, Fabbrocini G, Carli P, et al. Epilumines-cence microscopy for the diagnosis of doubtful melanocyt-ic skin lesions. Arch Dermatol 1998; 134: 1563-1570. DOI: 10.1001/archderm.134.12.1563.
[18] Machihin A, Batshev V, Pozhar V. Aberration analysis of AOTF-based spectral imaging systems. J Opt Soc Am A 2017; 34(7): 1109-1113. DOI: 10.1364/JOSAA.34.001109.
[19] Zherdeva LA, Bratchenko IA, Myakinin OO, et al. In vivo hyperspectral imaging and differentiation of skin cancer. Proc SPIE 2016; 10024: 100244G. DOI: 10.1117/12.2246433.
[20] Lihachev A, Derjabo A, Ferulova I, et al. Autofluorescence imaging of basal cell carcinoma by smartphone RGB camera. J Biomed Opt 2015; 20(12): 120502. DOI: 10.1117/1.JBO.20.12.120502.
[21] Lihacova L, Bolocko K, Lihachev A. Semi-automated non-invasive diagnostics method for melanoma differentiation from nevi and pigmented basal cell carcinomas. Proc SPIE 2017; 10592: 1059206. DOI: 10.1117/12.2295773.
[22] Neittaanmäki N, Salmivuori M, Pölönen I, et al. Hyperspectral imaging in detecting dermal invasion in lentigo maligna melanoma. Br J Dermatol 2017; 177: 1742-1744. DOI: 10.1111/bjd.15267.
[23] Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature 2017; 542: 115-118. DOI: 10.1038/nature21056.
[24] Li Y, Shen L. Skin lesion analysis towards melanoma detection using deep learning network. Sensors 2018; 18: 556. DOI: 10.3390/s18020556.
Authors' information
Violetta P. Sherendak, born in 1995, graduated from Samara University Bachelor's program in the direction of "Bio-technical Systems and Technologies". Currently he is a master student of the Samara National Research Universi-
ty in the direction of "Biophotonics." Areas of her scientific interests include biophotonics, optics, spectroscopy. Email: sherendak.violetta@yandex.ru .
Ivan A. Bratchenko (b. 1985) received MSc in Applied Mathematics and Physics from Samara State Aerospace University (SSAU) in 2009, received a PhD in 2012. Now he is an assistant professor of Laser and Biotechnical Systems department of SSAU and a leading researcher of the «Photonics» laboratory of SSAU. His research interests include biophotonics, optics and spectroscopy, mathematical modeling. E-mail: iabratchenko@gmail.com .
Oleg O. Myakinin (b 1987) received his bachelor's and master's degrees of Applied Mathematics and Informatics from SSAU in 2009 and 2011. He is a Senior Lecturer of Lasers and Biotechnical Systems department and researcher of «Photonics» laboratory. His research interests include computer vision, interferometry, and biomedical images processing. E-mail: myakole@gmail.com .
Pavel N. Volkhin, born in 1996, is a student of the fourth year of study on the bachelor program of the Samara National Research University in the direction of "Applied Mathematics and Computer Science". Areas of his scientific interests: computer vision, image processing. E-mail: volkhinp@yandex.ru .
Yulia A. Khristoforova, born in 1992, is a graduate student of Laser and Bio-technical Systems department of Samara National Research University. In 2013 she graduated with the bachelor's degree in Applied Mathematics and Physics, in 2015 she graduated from the Master's Degree in Specialty "Applied Mathematics and Physics". Areas of scientific interests: optics, biophotonics, Raman spectroscopy, autofuorescence. E-mail: khristoforovajulia@gmail.com .
Alexander A. Moryatov (b 1978) is an oncologist in the Endoscopy department of Samara Regional Clinical Oncology Dispensary, MD. His research interests include oncology, endosonography, photodynamic therapy, and radiof-requency ablation. E-mail: ama78@mail.ru .
Alexander S. Machikhin, born in 1984, in 2007 he graduated from Bauman Moscow State Technical University, Doctor of Science, Leading Researcher of the Scientific and Technological Center of Unique Instrumentation RAS, associate professor at Moscow Power Engineering Institute (MPEI). Scientific interests: computer vision, video spectrometry, acoustooptics, spectroscopy. E-mail: machikhin@ntcup.ru .
Vitold E. Pozhar, born in 1958, in 1981 graduated from the Moscow Institute of Physics and Technology (MIPT), Doctor of Sciences, Head of department at Scientific and Technological Center of Unique Instrumentation RAS, Professor of Physical and Technical Metrology Problems department of MEPhI. Area of scientific interests: acoustooptics, spectral methods, photonics. E-mail: vitold@ntcup.ru .
Sergey V. Kozlov (b 1957) is the head of the Oncology department of Samara State Medical University, professor, MD. His research interests include oncology, endosonography, photodynamic therapy, and radiofrequency ablation. Email: svkozlovsv@mail. ru .
Valery P. Zakharov (b 1954) received his PhD (1984) in Theoretical Physics from Bogolyubov Institute for Theoretical Physics, Kiev, Ukraine, and his DSc (1999) in Optics from SSAU. Currently, he is a professor and holds the Laser and Biotechnical Systems chair. He is a head of the «Photonics» research laboratory of SSAU. His research interests include biophotonics, biomedical optics, spectroscopy, laser physics and techniques, medical lasers. E-mail:
zakharov@ssau.ru .
Received May 03, 2018. The final version - May 24, 2019.
