CC BY
0
Особенности интеллектуальной обработки цитологических снимков большого объема
И.А. Ложкин, К.С. Зайцев, М.Е. Дунаев, Б.М. Шифман, Ф.М. Абдулхабирова
Аннотация. Целью настоящей работы является исследование особенностей интеллектуальной обработки полнослайдовых цитологических снимков на примере работы с изображениями цитологических препаратов пункционной биопсии щитовидной железы (ЩЖ) размером 3-5 Гб каждый. Для этого на основе анализа научных публикаций и описанных подходов к интеллектуальному анализу цитологических снимков, выявлены специфические действия по обработке больших изображений. Разработан подход с применением компьютерного зрения к многоклассовой категоризации снимков
цитологических препаратов ЩЖ по международной системе Bethesda и выделению информативных признаков, влияющих на процесс категоризации, а также проведено обучение и тестирование моделей. Целевыми метриками для сравнения эффективности моделей, были выбраны для сегментации: Intersection over Union, коэффициент Дайса; для классификации: accuracy, precision, recall, f1-score. Итогом работы стала практическая реализация подхода к обработке и интеллектуальному анализу цитологических снимков ЩЖ с применением компьютерного зрения.
Ключевые слова — снимки большого объема, нейронные сети, сегментация, классификация, щитовидная железа, цитология
1. ВВЕДЕНИЕ
Обработка больших снимков — достаточно сложная задача в сравнении с манипуляцией снимками привычных объемов, так как требует значительно большего времени на все операции работы со снимками (анализ, пересылку, отображение и пр.). Особенно явно это проявляется в тех областях, где человек работает с оцифрованными снимками в реальном времени. Одной из таких областей является медицинская диагностика с помощью инструментальных методов. При инструментальном анализе приходится иметь дело со снимками (или сериями снимков) разных объемов. Работа с большими снимками предстоит при цитологическом или гистологическом анализе. В этих случаях речь идет о нескольких Гб на один снимок в формате svs.
Узел щитовидной железы (ЩЖ) — это четко отграниченное изменение в ЩЖ, определяемое визуализирующими методами [1].
Узлы ЩЖ по данным ряда исследований могут быть выявлены у 50% населения при скрининговом ультразвуковом исследовании (УЗИ) [2]. Их
клиническое значение главным образом связано с необходимостью исключения злокачественных опухолей, которыми могут оказаться от 7% до 15% всех образований [1].
В связи с этим своевременная дифференциальная диагностика узлов ЩЖ населения крайне актуальна и ограничена, в том числе временем, затрачиваемым врачами на два ключевых метода уточнения риска злокачественности образований: УЗИ,
цитологическое исследование. Для определения категории злокачественности узла ЩЖ при УЗИ в нашей стране используется шкала EU-TIRADS, облегчающая построение лечебно-диагностических алгоритмов и коммуникацию между врачами-радиологами [3].
В случае неопределенности результатов УЗИ, рекомендуется выполнение тонкоигольной аспирационной биопсии (ТАБ) с последующим цитологическим исследованием полученного материала [4]. Заключение по результатам последнего, начиная с 2009 года, в большинстве стран принято формулировать в соответствии с системой классификации цитопатологии ЩЖ Бетесда (англ. Bethesda, сокр. TBSRTS). Эта система по аналогии с системами для оценки УЗИ-характеристик узлов, предлагает их стратификацию на основании цитологической картины на 6 категорий, каждой из которых соответствует определенный риск злокачественности и соответствующая лечебная тактика [5].
При необходимости возможно сохранение получаемых по итогам исследований изображений очень высокого разрешения в цифровом формате для дальнейшей передачи и анализа.
Полное и детальное изучение врачом снимков на каждой стадии исследований является время- и трудозатратным. Создание программного продукта, использующего компьютерное зрение для интеллектуального анализа позволит снизить затраты времени врача без потери точности диагностики. После выделения системой информативных признаков врачу на каждом этапе предоставляется информация о тех областях изображения, на которые стоит обратить внимание, и показан предсказанный класс (категория) заболевания. Так формируется «второе компьютерное мнение», в основе которого лежит работа моделей на каждом этапе диагностики.
Настоящее исследование посвящено
интеллектуальному моделированию этапа цитологических исследований. Количество публикаций в этой области на порядок ниже, чем в
кардиологии, пульмонологии или дерматологии, и они не носят системного характера, исследуя отдельные признаки [6-10]. Это связано с несколькими причинами. Во-первых, для решения задачи классификации заболевания приходится выявлять более 10 информативных объектов (признаков) на клеточном уровне, понятных врачу, что существенно сложнее задач в области УЗИ, где объект один — узел ЩЖ [11]. Во-вторых, работать приходится с объемными снимками (3-7 Гб), что сильно усложняет все операции манипулирования изображениями.
Настоящая работа посвящена интеллектуальной обработке цитологических снимков ЩЖ.
2. СОПУТСТВУЮЩИЕ РАБОТЫ
Сегодня существует ряд программных инструментов, позволяющий пользователям, в том числе не имеющим знаний в области интеллектуальной обработки изображений, работать с большими полнослайдовыми медицинскими снимками. Среди них отметим наиболее распространенные: QuPath [12, 13], Digital Pathology [14] и Aperio ePathology Solutions [15]. Эти программные системы позволяют просматривать, аннотировать (размечать) изображения (в том числе и полнослайдовые снимки), с помощью встроенных моделей машинного обучения, Они детектируют и классифицируют отдельные клетки на снимках, рассчитывают некоторые их количественные характеристики, производят пиксельную
классификацию, предоставляет возможности интеграции моделей из ограниченного зоопарка моделей и создания пользовательских скриптов. Кроме этих важных возможностей каждая из систем имеет собственные дополнительные сервисные функции.
Однако все перечисленные и другие не упомянутые здесь, но проанализированные инструменты нацелены на решение общих задач, которые характерны для большинства гистопатологических снимков. Для полноценной же диагностики цитологических исследований ЩЖ с использованием компьютерного зрения
возможностей существующих систем недостаточно. Предоставляемыми ими методами невозможно полноценно автоматизировать классификацию цитологических снимков ЩЖ по системе Bethesda с выделением множества информативных признаков на изображениях.
3. ПОСТАНОВКА ЗАДАЧИ
Имеются оцифрованные цитологические снимки ЩЖ, различные нейросетевые архитектуры, программные инструменты для обработки изображений. Необходимо провести комплекс исследований для реализации подхода к выделению информативных признаков на цитологических снимках ЩЖ и их последующей классификации по международной системе Bethesda.
4. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ПОЛНОСЛАЙДОВЫХ ЦИТОЛОГИЧЕСКИХ СНИМКОВ
4.1. Особенности предварительной обработки
Компьютерная обработка снимков цитологических исследований и, например, ультразвуковых сильно различается [16-18].
Снимки и кинопетли УЗИ, занимающие несколько десятков Кб или Мб, обрабатываются стандартным образом, подобно обычным изображениям. Кинопетли, содержащие несколько десятков кадров, разбиваются покадрово. Далее следует предварительная обработка изображений, формирование набора данных в виде, требуемом для обучения нейронной сети, ее обучение и тестирование.
Для оцифровки же цитологических стекол, занимающих несколько Гб в формате svs, приходится прибегать к технологии WSI (Whole slide imaging), которая позволяет получать детальные изображения с высокой четкостью и просматривать их на разных уровнях увеличения. Размеры сторон таких снимков достигают десятков тысяч пикселей, поэтому работа с ними отличается от работы с обычными изображениями. Анализ целиковых полнослайдовых изображений требует значительных вычислительных ресурсов и времени. При этом для получения более точных результатов необходима тщательная предобработка
изображений [19].
На рис. 1 представлен пример цитологического снимка ЩЖ на низком уровне увеличения, а на рис. 2 приведен пример фрагмента этого снимка на высоком уровне увеличения.
Работа с цитологическими снимками WSI может производиться в двух вариантах — либо обрабатывая целиком все изображение сразу с использованием специальных инструментов, либо разбивая WSI на фрагменты меньшего размера (т.н. плитки) и работы с ними.
Перед делением исходного полнослайдового изображения на плитки необходимо выбрать уровень увеличения. При этом, чем оно крупнее, тем больше времени требуется на разбиение и большее количество плиток образуется при делении снимка. Далее сформированный набор плиток необходимо предобработать и проанализировать с помощью нейросетевых моделей, что тоже потребует времени. Для более быстрого получения результатов может быть выбран меньший уровень увеличения полнослайдового изображения, но это, в свою очередь, окажет влияние на точность предсказаний.
Рис. 1 — Пример цитологического снимка ЩЖ на низком уровне увеличения
Эти рассуждения позволяют понять, что имеются существенные различия между обработкой небольших ультразвуковых и больших цитологических снимков ЩЖ.
При применении инструмента QuPath для предварительной обработки снимков
использовались процедуры выбора типа изображения (Brightfield H&E) и настройки оценки векторов пятен.
При разбиении исходного WSI на изображения-плитки часть из них отсеивалась по порогу из-за отсутствия областей интереса. Предварительная обработка каждого изображения-плитки включала в себя изменение размера и нормализацию.
Аугментация обучающих наборов изображений-плиток включала методы, которые показали свою эффективность при проведенных экспериментах с обучением моделей семантической сегментации и классификации снимков УЗИ ЩЖ.
4.2. Исходный набор данных, разметка Исходный набор цитологических снимков состоял из файлов формата svs и меток классов. Количество цитологических снимков каждого класса во время проведения экспериментов представлено на рис. 3.
Рис. 2 — Пример фрагмента цитологического снимка ЩЖ на высоком уровне увеличения
Непосредственная работа с плитками, имеющими меньшие размеры, схожа с работой со снимками УЗИ. Предварительная обработка изображений-плиток, на которые был разбит исходный WSI, используется для повышения точности используемых алгоритмов. Схожими методами, которые могут применяться как к снимкам УЗИ, так и к цитологическим изображениям-плиткам, являются удаление нерелевантных областей, изменение размеров, пороговая обработка по цвету, нормализация и т.п., а также методы преобразований (аугментации) изображений. По окончании предварительной обработки
цитологических изображений-плиток часть из них отсеивается из-за отсутствия областей интереса, что позволяет ускорить процесс интеллектуального анализа.
Другой способ работы со снимками WSI — обработка целикового изображения без разделения. Такой подход особенно полезен, когда требуется проанализировать не отдельные клетки, а их скопления и провести подсчет скоплений. Такая обработка может проводиться с использованием упомянутого ранее программного обеспечения с открытым исходным кодом QuPath. В качестве предварительной обработки снимков здесь используется процедура выбора типа изображения и настройки оценки векторов пятен.
Рис. 3 — Количественная принадлежность цитологических снимков ЩЖ к классам в исходном наборе данных На представленном рисунке по оси абсцисс использованы следующие обозначения 1.0-6.0 —
классы системы Bethesda для снимков без лимфоузлов; 11.0-13.0 снимки с лимфоузлом (11.0 — неинформативно, 12.0 — отсутствие метастаза, 13 — метастаз). Снимков с имеющимся указанием класса: 158 ед. (109 пациентов), среди них преобладает класс 2 (60%), класс 1 (15%).
Этическая экспертиза. Протокол исследования рассмотрен и одобрен локальным этическим комитетом ФГ НМИЦ Эндокринологии Минздрава России (протокол № 14 от 25.07.2023).
На основе согласованного с врачом-цитологом списка объектов для детекции осуществлялась разметка изображений. Ввиду больших размеров исходных полнослайдовых снимков ручная разметка всех объектов требует большое количество времени, поэтому были использованы функциональные возможности существующих инструментов.
Среди требуемых объектов для детекции имеются скопления клеток разных категорий. На снимках цитологических исследований ЩЖ количество скоплений может достигать нескольких сотен, при этом нужно также вести их подсчет, поэтому первоначально пробовались возможности QuPath для детекции скоплений на исходных снимках WSI целиком. Были опробованы следующие способы:
• обучение на размеченных вручную скоплениях встроенного детектора объектов с последующим применением порога по площади;
• обучение на размеченных вручную скоплениях встроенного детектора тканей с последующим применением порога по площади;
• пороговая обработка по цвету (в том числе с разными порогами для детекции скоплений на светлом и темном фоне, с использованием каналов RGB, отдельно канала Hematoxylin и других каналов) с последующим преобразованием областей в объекты и применением порога по площади;
• обучение на размеченных областях встроенного классификатора пикселей с последующим преобразованием областей в объекты и применением порога по площади.
Лучшие визуальные результаты из перечисленных методов у обученного на размеченных областях встроенного в QuPath пиксельного классификатора ANN_MLP при классификации пикселей на скопление/фон на уровне разрешения low 4,04 цш/px (для оптимальной детализации, без детекции отдельных клеток).
Однако на некоторых снимках, на которых присутствуют окрашенные области, как на рис. 4, выделяется множество лишних объектов на таких областях.
Был опробован способ обучения пиксельного классификатора QuPath только на снимках с полученными плохими предсказаниями, где выделялось множество лишних объектов, но результаты не улучшились — либо выделяется все также много лишних объектов, либо не выделяется ничего.
Рис. 4 — Пример фрагмента WSI с окрашенными областями, на котором обученный пиксельный классификатор в QuPath выделяет множество лишних объектов Таким образом, с учетом полученных результатов от применения методов QuPath для детекции скоплений клеток, лучший из методов использовался при разметке. Применялся обученный классификатор пикселей с последующим преобразованием областей в объекты и использованием порога по площади. Затем во встроенном редакторе скриптов был написан код на Groovy для выгрузки в формате png изображений-плиток и соответствующих им масок. Далее изображения-плитки были вручную распределены по категориям (часть из которых отсеяны ввиду нерелевантности) и переданы на проверку эксперту. В случае несоответствия эксперт вручную перераспределял плитки в нужную папку.
Для ускорения разметки и повышения ее точности при создании масок для изображений-плиток, полученных с высокого уровня увеличения, использовались возможности инструмента аннотирования CVAT [20]. Применялась полуавтоматическая разметка c предобученной моделью SAM [21]: по кликам в область интереса отображаются предсказания, которые возможно корректировать вручную при необходимости. Примеры данных, полученных в результате разметки, показаны на рис. 5 и рис. 6.
»
Рис. 5 — Пример размеченного изображения-плитки со скоплением клеток, отнесенного к классу «бесформенная структура с неупорядоченным расположением клеток»
Рис. 6 — Пример размеченного изображения-плитки с клеткой ЩЖ с внутриядерным псевдовключением
5. ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ПОЛНОСЛАЙДОВЫХ ЦИТОЛОГИЧЕСКИХ СНИМКОВ
5.1. Разработка подхода к классификации снимков цитологических стекол ЩЖ по системе Bethesda с применением компьютерного зрения
Поэтапное представление интеллектуального анализа снимков цитологических исследований ЩЖ представлено на рис. 7.
5.2. Метрики качества В данном разделе представлены метрики, по которым проводилось сравнение способностей обученных нейросетевых моделей.
Для оценивания качества сегментации изображения использовались метрики IoU и DC [22], формулы вычисления которых представлены ниже.
|ЛПВ|
IoU =
|лив|
__ 21АПВ1
DC = —-L, где
И+|в|'
(1)
(2)
A — множество пикселей объекта на маске, B — множество предсказанных пикселей объекта.
Для нескольких изображений рассчитывались средние значения метрик IoU и DC.
Для оценивания качества классификации использовались метрики accuracy, precision, recall, f1-score [23], формулы вычисления которых
Рис. 7 — Интеллектуальный анализ снимков цитологических исследований ЩЖ Предварительно обработанный снимок WSI представлены ниже.
цитологического исследования ЩЖ поступает на вход нескольким моделям глубокого обучения, которые выделяют различные информативные признаки. На основе полученных признаков как для скоплений клеток, так и для отдельных клеток по разработанным и согласованным с экспертом алгоритмам в зависимости от типа снимка осуществляется классификация исходного WSI. При этом, стоит отметить, что разработанный и согласованный с врачом-цитологом алгоритм классификации цитологических снимков по системе Bethesda требует эмпирического определения значений некоторых величин, влияющих на присвоение категорий. Поэтому в ходе практических экспериментов стоит оценить способность имеющихся подходов к классификации WSI сразу целиком с помощью одной нейросетевой модели.
accuracy precision recall =
TP + TN + FP + FN TP
TP + FP TP
/1 score =
TP + FN
2 * recall * precision
recall + precision
(3)
(4)
(5)
(6)
5.3. Локализация скоплений клеток
Для локализации скоплений был разработан подход, включающий последовательность следующих автоматизированных действий:
1) разбиение WSI на изображения-плитки,
2) семантическая сегментация изображений,
3) объединение предсказаний сегментации в исходный полнослайдовый снимок,
4) применение классификатора пикселей QuPath для детекций скоплений на объединенном предсказании сегментации,
5) выгрузка в виде изображений png ROIs с исходного WSI по координатам детектированных скоплений на предсказании сегментации.
Большое число шагов обусловлено тем, что необходимо получить точное число скоплений, а только сегментацией изображений-плиток этого достичь не удастся из-за возможного присутствия единого скопления на разных изображениях-плитках.
Для семантической сегментации изображений-плиток была обучена сеть DeepLabV3+ [24] с энкодером EfficientNet-B6 [25]. Набор данных при обучении и тестировании состоял из изображений-плиток, полученных с максимального уровня увеличения, и соответствующих им размеченных масок: обучающая выборка — 55 ед. (70%), тестовая
Loss (train)
с предсказанными скоплениями клеток необходимо классифицировать по категориям, описанным ранее. На текущий момент в имеющихся данных примеров микрофолликулярных, трабекулярных и
папиллярных структур мало, поэтому осуществлялось обучение модели классификации на 2 класса: бесформенная структура с упорядоченным расположением клеток (класс 0) и бесформенная структура с неупорядоченным расположением клеток (класс 1). Обучающая выборка (1282 изображения, 84%): класс 0 — 635 изображений, класс 1 — 647 изображений, тестовая выборка (236 изображений, 16%): класс 0 — 102 изображения, класс 1 — 134 изображения. Лучшие результаты на тесте у модифицированной ResNet-18 [26]: accuracy = 80,51%. Графики значений функции потерь на обучении и метрики accuracy на тесте представлены на рис. 9, значения лучших метрик на тесте показаны на рис. 10.
Также было необходимо оценить способность
Segmentation metrics (test)
epoch epoch
Рис. 8 — Графики значений функции потерь на обучении и метрик на тесте DeepLabV3+ при сегментации изображений-плиток со скоплениями клеток, полученных с максимального уровня
увеличения
выборка — 24 ед. (30%). Графики значений функции потерь на обучении и метрик на тесте представлен на рис. 8.
Лучшие результаты на тесте обученной модели составили DCср. = 91%, ЬЦ, = 84%.
5.4. Классификация изображений Выгруженные на предыдущем этапе изображения
имеющихся подходов к классификации WSIs сразу целиком с помощью одной нейросетевой модели. На основе [27, 28] проводилась тонкая настройка модели CLAM для классификации полнослайдовых изображений на 2 класса: Bethesda-2 и Bethesda-5— Bethesda-6. В обучающую выборку включено 26 снимков (72%), в тестовую выборку — 10 снимков (28%), снимков каждого класса поровну. Перед
Рис. 9 — Графики значений функции потерь на обучении и метрики accuracy на тесте ResNet-18 с модификацией
precision micro = 9.8050847457627118J recall micro = 0.8050847457527118, fi nie = 0.8050847457627118 precisionmacro - 0.8094573643410853J recallmacro - 0.7920690664325432, flmac - 0.79667365S9751274
Рис. 10 — Лучшие показатели метрик на тесте ResNet-18 с модификацией при бинарной классификации
скоплений клеток
bass
Accuracy
Epoch Epoch
Рис. 11 — Графики значений функции потерь на обучении и тесте и метрики accuracy на тесте
CLAM SB
тонкой настройкой сети выполнялось деление полнослайдовых снимков на плитки и извлечение признаков. Графики значений функции потерь на обучении и тесте и значений accuracy на тесте приведены на рис. 11.
По [29] выполнен отбор части плиток WSI и проведена тонкая настройка модели классификации WSI. Результаты, полученные ранее, не улучшились.
На текущий момент по классификации WSI на 2 класса (Bethesda2 и Bethesda-5—Bethesda-6) лучший результат на тесте из 10 WSI: accuracy = 90%. Будут проведены эксперименты с обучением модели для классификации снимков на все категории системы Bethesda.
6. ЗАКЛЮЧЕНИЕ
В работе представлены особенности обработки и интеллектуального анализа полнослайдовых цитологических снимков на примере работы с цитологическими изображениями пункции ЩЖ. Описаны сложности, которые возникают при работе со снимками WSI от этапа разметки до интеллектуальной обработки, и их возможные решения. Представлен подход с применением компьютерного зрения к классификации снимков цитологических стекол ЩЖ по системе Bethesda и выделению множества информативных признаков на снимках, проведено обучение и тестирование нейросетевых моделей.
БЛАГОДАРНОСТИ
Авторы выражают благодарность Высшей инжиниринговой школе НИЯУ МИФИ за помощь в возможности опубликовать результаты
выполненной работы.
БИБЛИОГРАФИЯ
1. Haugen BR, Alexander EK, Bible KC, et al. 2015 American Thyroid Association Management Guidelines for Adult Patients with Thyroid Nodules and Differentiated Thyroid Cancer: The American Thyroid Association Guidelines Task Force on Thyroid Nodules and Differentiated Thyroid Cancer. Thyroid. 2016;26(1): 1-133. doi: https://doi.org/10.1089/thy.2015.0020
2. Ванушко В.Э. Узлы щитовидной железы — не всегда патология. ИнфоМедФарм Диалог, 2022 [Электронный ресурс].
— Режим доступа: https://imfd.ru/2022/03/15/yzlishitzelez/, свободный — (18.05.2024).
3. Russ G, Bonnema SJ, Erdogan MF, Durante C, Ngu R, Leenhardt L. European Thyroid Association Guidelines for Ultrasound Malignancy Risk Stratification of Thyroid Nodules in Adults: The EU-TIRADS. Eur Thyroid J. 2017. doi: https://doi.org/10.1159/000478927
4. Durante C, Hegedüs L, Czarniecka A, et al. 2023 European Thyroid Association Clinical Practice Guidelines for thyroid nodule management. Eur Thyroid J. 2023;12(5). doi: https://doi.org/10.1530/ETJ-23-0067
5. The Bethesda System for Reporting Thyroid Cytopathology.; 2023. doi: 10.1007/978-3-031-28046-7.
6. Maleki S, Zandvakili A, Gera S, Khutti SD, Gersten A, Khader SN. Differentiating noninvasive follicular thyroid neoplasm with papillary-like nuclear features from classic papillary thyroid carcinoma: analysis of cytomorphologic descriptions using a novel machine-learning approach. J Pathol Inform. 2019;10:29. [PMCID: PMC6767786] [PubMed: 31579155
7. Sanyal P, Mukherjee T, Barui S, Das A, Gangopadhyay P. Artificial intelligence in cytopathology: a neural network to identify papillary carcinoma on thyroid fine-needle aspiration cytology smears. J Pathol Inform. 2018;9:43. [PMCID: PMC6289006] [PubMed: 30607310]
8. Guan Q, Wang Y, Ping B, Li D, Du J, Qin Y, et al. Deep convolutional neural network VGG-16 model for differential diagnosing of papillary thyroid carcinomas in cytological images: a pilot study. J Cancer. 2019;10((20)):4876-82. [PMCID: PMC6775529] [PubMed: 31598159]
9. Elliott Range DD, Dov D, Kovalsky SZ, Henao R, Carin L, Cohen J. Application of a machine learning algorithm to predict malignancy in thyroid cytopathology. Cancer Cytopathol. 2020 Apr;128((4)):287-95. [PubMed: 32012493]
10. Brie Kezlarian, Oscar Lin Artificial Intelligence in Thyroid Fine Needle Aspiration Biopsies. Acta Cytol. 2021 Aug; 65(4): 324-329. Published online 2020 Dec 16. doi: 10.1159/000512097: 10.1159/000512097
11. I. Lozhkin,1, K. Tsyguleva, K. Zaytsev et al. Development of Neural Network Models for Obtaining Information About Nodular Neoplasms of the Thyroid Gland Based on Ultrasound Images. Journal of Theoretical and Applied Information Technology. 2023. Vol.101. No 15. P. 6076-6091.
12. P. Bankhead, et al. QuPath: Open source software for digital evelopment image analysis. Scientific Reports. 2017.
13. QuPath [Электронный ресурс]. — Режим доступа: https://qupath.github.io/, свободный — (18.05.2024).
14. Digital Pathology [Электронный ресурс]. — Режим доступа: https://dpathology.ru/, свободный — (18.05.2024).
15. Aperio Digital Pathology Software [Электронный ресурс]. — Режим доступа: https://www.leicabiosystems.com/digital-pathology/manage/, свободный — (18.05.2024).
16. Ложкин И.А., Миронов А.М., Павлов Д.В., Дунаев М.Е, Зайцев К.С. Цифровая трансформация комплексного анализа изображений с применением компьютерного зрения при диагностике заболеваний щитовидной железы // Цифровая трансформация социальных и экономических систем: материалы
международной научно-практической конференции. 2023. С. 243250.
17. Ложкин И.А., Миронов А.М., Дунаев М.Е, Зайцев К.С. Особенности обработки снимков цитологических исследований щитовидной железы с применением компьютерного зрения // Электронные средства и системы управления: материалы докладов XIX Международной научно-практической конференции. 2023. Часть 2. С. 305-306.
18. I. Lozhkin, A. Mironov, A. Garmash. Features of intelligent analysis of images of ultrasound and cytological studies of the thyroid gland // Physics, Engineering and Technologies for Biomedicine. The 8-th International Symposium and Schools for Young Scientists November 11-15, 2023: Program. Book of Abstracts. 2023. P. 60-61.
19. B. Smith, et al. Developing image analysis pipelines of whole-slide images: Pre-and post-processing // Journal of Clinical and Translational Science. 2021. Т. 5. №. 1. С. 1-11.
20. CVAT. Open Data Annotation Platform [Электронный ресурс]. — Режим доступа: https://www.cvat.ai/, свободный — (18.05.2024).
21. A. Kirillov, E. Mintun, N. Ravi, et al. Segment Anything // Computer Vision and Pattern Recognition. 2023.
22. Metrics to Evaluate your Semantic Segmentation Model // Medium [Электронный ресурс]. — Режим доступа: https://towardsdatascience.com/metrics-to-evaluate-your-semantic-segmentation-model-6bcb99639aa2, свободный — (18.05.2024).
23. Метрики классификации и регрессии // Yandex Education [Электронный ресурс]. — Режим доступа: https://education.yandex.ru/handbook/ml/article/metriki-klassifikacii-i-regressii, свободный — (18.05.2024).
24. L.-C. Chen, Y. Zhu, G. Papandreou, et al. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation // Computer Vision and Pattern Recognition. 2018.
25. M. Tan, Q.V. Le. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // International Conference on Machine Learning. 2019.
26. K. He, X. Zhang, S. Ren, J. Sun. Deep Residual Learning for Image Recognition // Computer Vision and Pattern Recognition. 2015.
27. M. Lu, D. Williamson, T. Chen, et al. Data Efficient and Weakly Supervised Computational Pathology on Whole Slide Images // Electrical Engineering and Systems Science. Image and Video Processing. 2020.
28. CLAM [Электронный ресурс]. — Режим доступа: https://github.com/mahmoodlab/CLAM, свободный — (18.05.2024).
29. WSI-finetuning [Электронный ресурс]. — Режим доступа: https://github.com/invoker-LL/WSI-finetuning, свободный — (18.05.2024).
Статья получена 25 июля 2024.
Ложкин Илья Александрович, Национальный Исследовательский Ядерный Университет МИФИ, магистрант, lozkin.ilya@gmail.com Зайцев Константин Сергеевич, Национальный
Исследовательский Ядерный Университет МИФИ, профессор, KSZajtsev@mephi.ru
Дунаев Максим Евгеньевич, Национальный Исследовательский Ядерный Университет МИФИ, ст. инженер ИИКС, преподаватель кафедры №»132, MEDunaev@mephi.ru
Шифман Борис Михайлович, Национальный медицинский исследовательский центр эндокринологии, врач-эндокринолог, boris-11@mail.ru
Абдулхабирова Фатима Магомедовна, Национальный медицинский исследовательский центр эндокринологии, заведующая лабораторией цитологии и цитогенетики, a-fatima@yandex.ru
Features of Intelligent Processing of Cytological
Whole Slide Images
I.A. Lozhkin, K.S. Zaytsev, M.E. Dunaev, B.M. Shifman, FM. Abdulkhabirova
Abstract - The purpose of this work is to study the features of intelligent processing of full-slide cytological images using the example of working with cytological images of a thyroid puncture (thyroid gland) measuring 3-5 GB each. To do this, based on the analysis of scientific publications and the described approaches to the intelligent analysis of cytological images, specific actions for processing large images were identified. An approach using computer vision has been developed for multi-class categorization of images of thyroid cytological slides using the international Bethesda system and the selection of informative features that influence the categorization process, as well as training and testing of models. The target metrics for comparing the effectiveness of models were chosen for segmentation: Intersection over Union, Dice coefficient; for classification: accuracy, precision, recall, f1-score. The result of the work was the practical implementation of an approach to processing and intelligent analysis of cytological images of the thyroid gland using computer vision.
Keywords — large volume images, neural networks, segmentation, classification, Bethesda
REFERENCES
1. Haugen BR, Alexander EK, Bible KC, et al. 2015 American Thyroid Association Management Guidelines for Adult Patients with Thyroid Nodules and Differentiated Thyroid Cancer: The American Thyroid Association Guidelines Task Force on Thyroid Nodules and Differentiated Thyroid Cancer. Thyroid. 2016;26(1):1-133. doi: https://doi .org/10.1089/thy.2015.0020
2. Vanushko, V.E. Thyroid Nodules — Not Always Pathology. InfoMedFarm Dialogue, 2022 [Internet source]. — Access mode: https://imfd.ru/2022/03/15/yzlishitzelez/, free — (18.05.2024).
3. Russ G, Bonnema SJ, Erdogan MF, Durante C, Ngu R, Leenhardt L. European Thyroid Association Guidelines for Ultrasound Malignancy Risk Stratification of Thyroid Nodules in Adults: The EU-TIRADS. Eur Thyroid J. 2017. doi: https://doi.org/10.1159/000478927
4. Durante C, Hegedüs L, Czarniecka A, et al. 2023 European Thyroid Association Clinical Practice Guidelines for thyroid nodule management. Eur Thyroid J. 2023;12(5). doi: https://doi.org/10.1530/ETJ-23-0067
5. The Bethesda System for Reporting Thyroid Cytopathology.; 2023. doi: 10.1007/978-3-031-28046-7.
6. Maleki S, Zandvakili A, Gera S, Khutti SD, Gersten A, Khader SN. Differentiating noninvasive follicular thyroid neoplasm with papillary-like nuclear features from classic papillary thyroid carcinoma: analysis of cytomorphologic descriptions using a novel machine-learning approach. J Pathol Inform. 2019;10:29. [PMCID: PMC6767786] [PubMed: 31579155
7. Sanyal P, Mukherjee T, Barui S, Das A, Gangopadhyay P. Artificial intelligence in cytopathology: a neural network to identify papillary carcinoma on thyroid fine-needle aspiration cytology smears. J Pathol Inform. 2018;9:43. [PMCID: PMC6289006] [PubMed: 30607310]
8. Guan Q, Wang Y, Ping B, Li D, Du J, Qin Y, et al. Deep convolutional neural network VGG-16 model for differential diagnosing of papillary thyroid carcinomas in cytological images: a
pilot study. J Cancer. 2019;10((20)):4876-82. [PMCID: PMC6775529] [PubMed: 31598159]
9. Elliott Range DD, Dov D, Kovalsky SZ, Henao R, Carin L, Cohen J. Application of a machine learning algorithm to predict malignancy in thyroid cytopathology. Cancer Cytopathol. 2020 Apr;128((4)):287-95. [PubMed: 32012493]
10. Brie Kezlarian, Oscar Lin Artificial Intelligence in Thyroid Fine Needle Aspiration Biopsies. Acta Cytol. 2021 Aug; 65(4): 324-329. Published online 2020 Dec 16. doi: 10.1159/000512097: 10.1159/000512097
11. I. Lozhkin,1, K. Tsyguleva, K. Zaytsev et al. Development of Neural Network Models for Obtaining Information About Nodular Neoplasms of the Thyroid Gland Based on Ultrasound Images. Journal of Theoretical and Applied Information Technology. 2023. Vol.101. No 15. P. 6076-6091.
12. P. Bankhead, et al. QuPath: Open source software for digital evelopment image analysis. Scientific Reports. 2017.
13. QuPath [Электронный ресурс]. — Режим доступа: https://qupath.github.io/, свободный — (18.05.2024).
14. Digital Pathology [Электронный ресурс]. — Режим доступа: https://dpathology.ru/, свободный — (18.05.2024).
15. Aperio Digital Pathology Software [Электронный ресурс]. — Режим доступа: https://www.leicabiosystems.com/digital-pathology/manage/, свободный — (18.05.2024).
16. Lozhkin, I.A., Mironov, A.M., Pavlov, D.V., Dunaev, M.E., Zaitsev, K.S. Digital Transformation of Complex Image Analysis Using Computer Vision in the Diagnosis of Thyroid Diseases // Digital Transformation of Social and Economic Systems: Proceedings of the International Scientific and Practical Conference. 2023. P. 243250.
17. Lozhkin, I.A., Mironov, A.M., Dunaev, M.E., Zaitsev, K.S. Features of Processing Thyroid Cytology Images Using Computer Vision // Electronic Devices and Control Systems: Proceedings of the XIX International Scientific and Practical Conference. 2023. Part 2. P. 305-306.
18. I. Lozhkin, A. Mironov, A. Garmash. Features of Intelligent Analysis of Ultrasound and Cytological Studies of the Thyroid Gland // Physics, Engineering and Technologies for Biomedicine. The 8th International Symposium and Schools for Young Scientists November 11-15, 2023: Program. Book of Abstracts. 2023. P. 60-61.
19. B. Smith, et al. Developing Image Analysis Pipelines for Whole-Slide Images: Pre-and Post-Processing // Journal of Clinical and Translational Science. 2021. Vol. 5, No. 1. P. 1-11.
20. CVAT. Open Data Annotation Platform [Internet source]. — Access mode: https://www.cvat.ai/, free — (18.05.2024).
21. A. Kirillov, E. Mintun, N. Ravi, et al. Segment Anything // Computer Vision and Pattern Recognition. 2023.
22. Metrics to Evaluate Your Semantic Segmentation Model // Medium [Internet source]. — Access mode: https://towardsdatascience.com/metrics-to-evaluate-your-semantic-segmentation-model-6bcb99639aa2, free — (18.05.2024).
23. Classification and Regression Metrics // Yandex Education [Internet source]. — Access mode: https://education.yandex.ru/handbook/ml/article/metriki-klassifikacii-i-regressii, free — (18.05.2024).
24. L.-C. Chen, Y. Zhu, G. Papandreou, et al. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation // Computer Vision and Pattern Recognition. 2018.
25. M. Tan, Q.V. Le. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // International Conference on Machine Learning. 2019.
26. K. He, X. Zhang, S. Ren, J. Sun. Deep Residual Learning for Image Recognition // Computer Vision and Pattern Recognition. 2015.
27. M. Lu, D. Williamson, T. Chen, et al. Data Efficient and Weakly Supervised Computational Pathology on Whole Slide Images
// Electrical Engineering and Systems Science. Image and Video Processing. 2020.
28. CLAM [Internet source]. — Access mode: https://github.com/mahmoodlab/CLAM, free — (18.05.2024).
29. WSI-finetuning [Internet source]. — Access mode: https://github.com/invoker-LL/WSI-finetuning, free — (18.05.2024).
