CC BY
61
ИНФОРМАТИЗАЦИЯ ЗДРАВООХРАНЕНИЯ
Методика разметки медицинских изображений с функцией кросс-проверки и интеллектуального сегментирования
Интеллектуальным алгоритмам по распознаванию медицинских изображений требуется обучаться на коллекции аннотированных или размеченных снимков. Аннотация и разметка изображений позволяют их интерпретировать и использовать как в клинических, так и в исследовательских целях. В статье приводится методика по организации процедур разметки медицинских изображений, в том числе перекрестной разметки сразу несколькими специалистами, и привлечения мнения эксперта в случае расхождения их мнений. Также методика учитывает использование алгоритма сегментации изображения, оперирующего разрезами графов.
Ключевые слова:
медицинские изображения, разметка изображений, коэффициент Жаккара
Финансирование. Исследование не имело спонсорской поддержки. Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Вклад авторов. Разработка интеллектуальных алгоритмов в методике - Ахметвалеев Р.Р.; разработка бизнес-модели процесса разметки - Шабанова К.И.; дизайн методики и оценка ее использования - Паду-кова А.А.; постановка задачи исследования - Лакман И.А.
Для цитирования: Ахметвалеев Р.Р., Шабанова К.И., Падукова А.А., Лакман И.А. Методика разметки медицинских изображений с функцией кросс-проверки и интеллектуального сегментирования // ОРГЗДРАВ: новости, мнения, обучение. Вестник ВШОУЗ. 2021. Т. 7, № 3. С. 62-69. DOI: https://doi.org/10.33029/2411-8621-2021-7-3-62-69
Статья поступила в редакцию 01.08.2021. Принята в печать 01.09.2021.
Ахметвалеев Р.Р.1, Шабанова К.И.1, Падукова А.А.1, Лакман И.А.1- 2
2
1
Общество с ограниченной ответственностью «Лексема», 450104, г. Уфа, Российская Федерация
Федеральное государственное бюджетное образовательное учреждение высшего образования «Башкирский государственный университет», 450076, г. Уфа, Российская Федерация
Methodology of marking medical images with the function of crosscheck and intellectual segmentation
Akhmetvaleev R.R.1, 1 LLC "Lexema", 450104, Ufa, Russian Federation Shabanova K.I.1, 2 Bashkir State University, 450076, Ufa, Russian
Padukova A.A.1, Federation
Lakman I.A.12
Intelligent algorithms for medical image recognition need to be trained on a collection of annotated or tagged images. Image annotation and labeling underlie the medical interpretation of images for both clinical and research purposes. The article provides a methodology for organizing procedures for marking up medical images, including cross-marking by several specialists at once and attracting an expert's opinion in case of disagreement. The technique also considers the use of an image segmentation algorithm operating with graph cuts.
Keywords:
medical images, image markup, Jaccard similarity coefficient
Funding. The study had no sponsor support.
Conflict of interest. The authors declare no conflict of Interest.
Contribution. Development of intelligent algorithms in the methodology - Akhmetvaleev R.R.; development of a business model of the markup process - Shabanova K.I.; method design and evaluation of its use - Padukova A.A.; statement of the research problem - Lakman I.A.
For citation: Akhmetvaleev R.R., Shabanova K.I., Padukova A.A., Lakman I.A. Methodology of marking medical images with the function of cross-check and intellectual segmentation. ORGZDRAV: novosti, mneniya, obuchenie. Vestnik VSHOUZ [HEALTHCARE MANAGEMENT: News, Views, Education. Bulletin of VSHOUZ]. 2021; 7 (3): 62-9. DOI: https://doi.org/10.33029/2411-8621-2021-7-3-62-69 (in Russian) Received 01.08.2021. Accepted 01.09.2021.
В последнее время в клинической практике решающее значение для диагностики ряда заболеваний имеет медицинская визуализация. Современные тенденции применения алгоритмов искусственного интеллекта во многом относятся к решениям задач автоматического распознавания снимков различного рода. Интеллектуальным алгоритмам требуется обучаться на коллекции аннотированных или размеченных снимков. Соответственно аннотация и разметка изображений лежат в основе медицинской интерпретации снимков как в клинических, так и в исследовательских целях. Однако провести маркировку снимков врачам-специалистам, выделить на них артефакты или участки поражения тканей либо патологии, а также отделить визу-
ально здоровую ткань в них без использования специального информационного сопровождения достаточно сложно. Поэтому медицинская информационная система должна содержать в себе модуль разметки (маркирования, аннотирования) медицинских изображений с функцией интеллектуального сегментирования.
На сегодняшний день существует стандарт для получения, обработки, передачи, хранения и отображения медицинских изображений DICOM, однако стандартов для аннотации и разметки изображений не существует. Авторы исследования [1] анализируют возможности создания собственного стандарта для аннотации снимков. Этими же авторами разработано электронное устройство для аннотации врача
(ePAD) - свободное доступное веб-приложение, предназначенное для просмотра, аннотации и количественного анализа радиологических изображений, разработанное для решения задач количественной оценки раковых поражений [2]. Однако его нельзя использовать, например, для аннотации эндоскопических изображений. Эти же авторы [3] предлагают расширение фундаментальной модели для аннотаций и разметки изображений (AIM) для сети биоинформатики рака (caBIG®) Национального института здоровья (NIH, США). Достоинством такого расширения является универсальность предложенной модели - она может применяться к различным типам изображений, созданным с помощью различных методов.
В России также создана программа для организации процесса сбора и маркировки наборов маммографических медицинских изображений (датасетов) для целей машинного обучения [4]. Данная программа позволяет маркировать и аннотировать изображения в формате DICOM, но один снимок может размечать только один специалист, отсутствует функционал перекрестной разметки.
Однако у всех созданных приложений по разметке данных отсутствует функция одновременной разметки одного и того же изображения двумя специалистами и более. Иначе говоря, все системы предлагают основывать обучение на коллекции снимков, промаркированных одним специалистом, таким образом полагаясь на субъективное мнение одного человека.
Целью исследования является разработка методики для создания сервиса аннотации и разметки медицинских изображений сразу несколькими специалистами одновременно и сверки их между собой.
Материал и методы
блюдения (т.е. эмпирических доказательств), в отличие от информации, предоставленной предположением. В области машинного обучения основная истина - это та информация, на основе которой следует обучать графические наборы данных. В рамках работы над созданием сервиса для разметки изображений основанием для определения основной истины объекта на рисунке является мнение эксперта.
Предполагается, что специалист, имеющий роль оператора разметки, обладает компетенциями, достаточными для того, чтобы грамотно выделить на изображении интересующий его объект. Однако человеческий фактор играет большую роль в разметке изображения; как следствие, по одному и тому же изображению разметка объектов будет в той или иной степени различаться у разных специалистов.
В рамках задачи разметки данных в том случае, когда результаты разметок двух операторов не совпадают, эксперту необходимо принять решение на основе оценки степени различия двух результатов. Для реализации метода оценки степени различия двух областей разметки одного и того же изображения в данном исследовании используется коэффициент Жаккара.
Меры, аналогичные коэффициенту Жаккара, широко известны среди исследователей, работающих в области машинного обучения, для оценки степени похожести двух выборок; например, в работе [5] приведен сравнительный анализ мер схожести с эмпирической и теоретической точек зрения.
Коэффициент Жаккара - это статистическая мера, используемая для измерения степени схожести и различия двух выборок. Коэффициент отображает значение схожести двух конечных множеств и определяется как отношение объема пересечения к объему объединения множеств:
Целью разметки изображения является определение так называемой основной истины объекта. Основная истина (ground truth) - термин, применяющийся в различных областях, для обозначения информации, истинность которой подтверждается путем непосредственного на-
J (A, B) =
| A n B
I A n B
| A n B | | A | + | B | - | A n B |
Традиционно в области компьютерного зрения этот коэффициент используется как метрика
качества работы алгоритмов поиска объектов на изображении. Тогда, в соответствии с формулой, A - это область выделения объекта, обозначенная алгоритмом, B - истинная область выделения объекта. В случае решения задачи разметки: A - область выделения объекта, обозначенная первым оператором разметки, B - вторым. В таком случае эксперт должен принять решение, какая из двух разметок больше соответствует истинной области выделения объекта, либо предложить третий альтернативный вариант. К мнению эксперта прибегают в том случае, если рассчитанная мера Жаккара статистически значимо отличается от единицы. Проверку отличия осуществляют на основе двустороннего теста Стьюдента при р<0,05.
Для уменьшения вероятности того, что два разных оператора разметки выделят области таким образом, что алгоритм возвратит маленькое значение коэффициента Жаккара, а также для повышения качества разметки объектов на изображениях предлагается в системах разметки реализовать функцию подгонки границ выделенной пользователем области до ближайших границ объекта. Функция должна быть реализована в качестве сценария, вызываемого сервисом разметки медицинских изображений.
В основе этой функции лежит алгоритм GrabCut - это алгоритм сегментации изображения, оперирующий разрезами графа. Он является достаточно универсальным инструментом в области компьютерного зрения. Например, в работе [6] он используется для решения схожей с нашей задачей семантической сегментации изображения.
Алгоритм GrabCut оценивает распределение цвета объекта и фона, используя смешанную гауссовскую модель в области, определенной вокруг объекта пользователем. Эта оценка используется для построения случайного марковского поля над пикселями с целевой функцией, которая отдает приоритет соотнесению соединенных пикселей к пикселям объекта или пикселям фона. Затем над этим полем осуществляется оптимизация на основе разреза графа. Так как эти операции приводят к результату, показывающему более точное выделение
границ объекта, они повторяются до тех пор, пока не будет достигнут наиболее приемлемый результат.
В качестве системы управления базами данных в системах разметки предлагается использовать свободную объектно-реляционную СУБД PostgreSQL. Выбор в пользу данной СУБД обусловлен, во-первых, имеющейся встроенной поддержкой слабоструктурированных данных в формате JSON с возможностью их индексации; во-вторых, СУБД поддерживает широкий стек технологий и языков программирования: в стандартной поставке поддерживаются pgSQL, Perl, Python и Tcl; в-третьих, в системе имеется возможность создавать новые типы данных, типы индексов, языки программирования, модули расширения, подключать любые внешние источники данных.
Для моделирования бизнес-процесса разметки изображений специалистом и экспертом использовали нотацию BPMN (Business Process Model and Notation).
Результаты
BPMN-модель бизнес-процесса разметки изображений оператором разметки и экспертом представлена на рис. 1. Апробация предложенной методики перекрестной разметки изображений была проведена на коллекции эндоскопических снимков (колоноскопия). Подробно задача разметки эндоскопических изображений при колоноскопии рассмотрена в [7]. В бизнес-процессе предусматриваются две роли: роль оператора разметки - врача-специалиста, аннотирующего и размечающего медицинское изображение, и роль эксперта, который анализирует различия в двух разметках одного и того же медицинского изображения (двумя операторами).
В предложенной модели бизнес-процесса разметка изображения выполняется оператором с помощью формирования области, накладываемой поверх эндоскопического изображения с помощью набора инструментов. Формирование области представляет собой процесс создания при помощи щелчков кнопкой мыши вершин полупрозрачного многоугольника, которые огра-
О) О)
в о
Бизнес-процесс распределения карточек изображений на обработку оператором разметки и экспертом
<
"О X
ш
>
> >
X
го =1 "О
го
"О
сг ш
I
о
го >
в
о
3
о
СП "О
ш ш
о ш ш
Рис. 1. Бизнес-модель в нотации ВРМЫ разметки изображений операторами разметки и сверка их экспертом
Рис. 2. Области, выделенные первым оператором разметки (слева), и области, выделенные вторым оператором разметки (справа)
ничивают область. В соответствии с вышепред-ставленным бизнес-процессом в базах данных созданы, помимо ключевых, вспомогательные таблицы, часть из них является справочными.
Графическое выделение областей, с помощью которых оператор разметки определяет объекты, реализовано с применением графического элемента HTML 5 - Canvas, который предназначен для создания растрового изображения при помощи JavaScript.
Для разметки объекта, для которого в элементе Canvas еще не отрисована область, необходимо выбрать его класс в панели вкладок. Для того чтобы в процессе разметки не мешали объекты других классов (например, область патологии отличить от артефакта) в интерфейсе предусмотрена возможность скрытия областей.
Для реализации алгоритма была смоделирована разметка одного и того же объекта двумя операторами разметки. Пример двух разметок приведен на рис. 2. Для тестирования метода расчета области на рис. 1 образованы заливкой единицами многоугольников, созданных случайным образом на бинарном изображении, состоящем только из нулей. Подобные изображения называются бинарными масками.
Для реализации предложенного метода находилась область пересечения бинарной маски, образованной объединением многоугольников,
указанных в качестве разметки первым оператором, с бинарной маской, образованной объединением многоугольников, указанных в качестве разметки вторым оператором разметки. Далее аналогичным образом находилась область объединения двух бинарных масок. Искомый коэффициент рассчитывался как отношение значения площади области пересечения на значение площади области объединения. Результат работы метода, возвращающего коэффициент Жакка-ра по множествам двух групп многоугольников, представлен на рис. 3.
□2
Рис. 3. Расположение областей фигур, относящихся к разным вариантам разметки объектов, и рассчитанный коэффициент Жаккара
Рис. 4. Разметка оператора и результаты работы алгоритма GrabCut
Обсуждение
Предложенная бизнес-модель разметки изображений была реализована в виде программного модуля в медицинской информационной системе, сопровождения автоматического анализа эндоскопических изображений. На рис. 4 представлен пример реализации разметки по предложенной методике: здесь белым цветом отображены область объекта, указанная оператором разметки, и ограничивающий ее прямоугольник, голубым цветом - область объекта, указанная алгоритмом GrabCut, и ограничивающий ее прямоугольник.
Используемый метод дал хорошие результаты. Как видно из рис. 4, площадь прямоугольника, описывающего область, указанную пользователем, больше площади прямоугольника, описывающего область, рассчитанную алгоритмом GrabCut.
По разработанной методике было маркировано более 1000 эндоскопических снимков при условии их перекрестной разметки двумя операторами. Согласно тесту Стьюдента, статистически значимые различия, согласно мере Жаккарда, в разметке одного снимка сразу двумя операторами составили менее 2% всех изображений, что далее потребовало использовать мнение эксперта.
Заключение
Предложенная методика является перспективной для объективной разметки различных медицинских изображений, в том числе может быть адаптирована для разметки 3D-изображений. Эксперименты показали, что из 50 снимков, размеченных одновременно двумя специалистами, различия регистрируются только в одном снимке, который требует использования мнения эксперта.
СВЕДЕНИЯ ОБ АВТОРАХ
Ахметвалеев Руслан Ренатович (Ruslan R. Akhmetvaleev) - специалист по анализу данных «Лексема», Уфа, Российская Федерация E-mail: akhmetvaLeev.rr@gmaiL.com https://orcid.org/0000-0002-7526-353X
Шабанова Ксения Игоревна (Ksenia I. Shabanova) - инженер-программист ООО «Лексема», Уфа,
Российская Федерация
E-mail: shabanova_ki@lexema.ru
https://orcid.org/0000-0002-1925-3548
Падукова Анастасия Анатольевна (Anastasia A. Padukova) - руководитель проектов ООО «Лексема», Уфа, Российская Федерация E-mail: padukova@lexema.ru https://orcid.org/0000-0002-3630-3084
Лакман Ирина Александровна (Irina A. Lakman) - кандидат технических наук, директор по науке ООО «Лексема», заведующая научной лабораторией исследования социально-экономических проблем регионов ФГБОУ ВО «Башкирский государственный университет», Уфа, Российская Федерация E-mail: Lackmania@mail.ru https://orcid.org/0000-0001-9876-9202
ЛИТЕРАТУРА
1. Channin D.S., Mongkolwat P., Kleper V., Sepukar K., Rubin D.L. The caBIG annotation and image Markup project // J. Digit. Imaging. 2010. Vol. 23, N 2. P. 217-225. DOI: https://doi.org/10.1007/s10278-009-9193-9
2. Rubin D.L., Ugur Akdogan M., Altindag C., Alkim E. ePAD: An Image Annotation and Analysis Platform for Quantitative Imaging // Tomography. 2019. Vol. 5, N 1. P. 170183. DOI: https://doi.org/10.18383/j.tom.2018.00055
3. Mongkolwat P., Kleper V., Talbot S., Rubin D.L. The National Cancer Informatics Program (NCIP) Annotation and Image Markup (AIM) Foundation model // J. Digit. Imaging. 2014. Vol. 27, N 6. P. 692-701. DOI: https://doi.org/10.1007/ s10278-014-9710-3
4. Программный комплекс для организации сбора датасетов маркированных маммографических изображений (ПКОСД-МГ). Свидетельство о регистрации программы для ЭВМ RU 2019662577, 26.09.2019.
5. Verma V., Aggarwal R.K. A comparative analysis of similarity measures akin to the Jaccard index in collaborative recommendations: empirical and theoretical perspective // Soc. Netw. Anal. Min. 2020. Vol. 10. P. 43. DOI: https://doi. org/10.1007/s13278-020-00660-9
6. Göring C., Fröhlich B., Denzle J. Semantic segmentation using GrabCut // Proceedings of the International Conference on Computer Vision Theory and Applications. Vol. 2: VISAPP, (VISIGRAPP 2012). 2012. P. 597-602. DOI: https://doi.org/10.5220/00038299059 70602
7. Ахметвалеев Р.Р., Лакман И.А., Попов Д.В., Красноперов М.В. Методика сегментации изображения для поддержки автоматической разметки объектов на эндоскопических изображениях// Информатизация и связь. 2021. № 2. С. 146-152. DOI: https://doi.org/10.34219/ 2078-8320-2021-12-2-146-154
REFERENCES
1. Channin D.S., Mongkolwat P., Kleper V., Sepukar K., Rubin D.L. The caBIG annotation and image Markup project. J Digit Imaging. 2010; 23 (2): 217-25. DOI: https://doi. org/10.1007/s10278-009-9193-9
2. Rubin D.L., Ugur Akdogan M., Altindag C., Alkim E. ePAD: An Image Annotation and Analysis Platform for Quantitative Imaging. Tomography. 2019; 5 (1): 170-83. DOI: https://doi.org/10.18383/j.tom.2018.00055
3. Mongkolwat P., Kleper V., Talbot S., Rubin D.L. The National Cancer Informatics Program (NCIP) Annotation and Image Markup (AIM) Foundation model. J Digit Imaging. 2014; 27 (6): 692-701. DOI: https://doi.org/10.1007/s10278-014-9710-3
4. A software package for organizing the collection of datasets of labeled mammographic images (PKOSD-MG). Certificate of registration of a computer program RU 2019662577, 09/26/2019. (in Russian)
5. Verma V., Aggarwal R.K. A comparative analysis of similarity measures akin to the Jaccard index in collaborative recommendations: empirical and theoretical perspective. Soc Netw Anal Min. 2020; 10: 43. DOI: https://doi. org/10.1007/s13278-020-00660-9
6. Göring C., Fröhlich B., Denzle J. Semantic segmentation using GrabCut. In: Proceedings of the International Conference on Computer Vision Theory and Applications. Vol. 2: VISAPP, (VISIGRAPP 2012). 2012: 597-602. DOI: https:// doi.org/10.5220/0003829905970602
7. Akhmetvaleev R.R., Lackman I.A., Popov D.V., Kras-noperov M.V. An image segmentation technique to support the automatic marking of objects in endoscopic images. In-formatizatsiya i svyaz' [Informatization and Communication]. 2021; (2): 146-52. DOI: https://doi.org/10.34219/2078-8320-2021-12-2-146-154 (in Russian)
