Научная статья на тему 'ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНОЛОГИИ СЕГМЕНТАЦИИ И КЛАССИФИКАЦИИ МИКРОБИОЛОГИЧЕСКИХ ФОТОИЗОБРАЖЕНИЙ'

ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНОЛОГИИ СЕГМЕНТАЦИИ И КЛАССИФИКАЦИИ МИКРОБИОЛОГИЧЕСКИХ ФОТОИЗОБРАЖЕНИЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
16
8
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
микробиологическое исследование / машинное обучение / сегментация изображений / классификация микроорганизмов / нейронные сети / microbiological analysis / machine learning / image segmentation / microorganism classification / neural networks

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Горохов О.Е., Казачук М.А., Лазухин И.С., Машечкин И.В., Панкратьева Л.Л.

Актуальной задачей в области медицины является необходимость как можно более оперативного обнаружения в организме человека патогенных микроорганизмов. Один из наиболее распространенных в настоящее время подходов к ее решению, основывающийся на методе посева биологического материала на питательные среды и последующего наблюдения за процессом роста колоний, обладает определенными недостатками, связанными, в первую очередь, с человеческим фактором, которые могут приводить к появлению ошибок в итоговом диагнозе. Данная работа посвящена разработке технологий интеллектуальной обработки данных микробиологических анализов на основе фотоизображений чашек Петри, которые позволят уменьшить зависимость от человеческого фактора и улучшить ключевые показатели обработки данных. По результатам проведенных исследований можно сделать вывод, что разработанные эвристические и нейросетевые методы обнаружения и классификации колоний микроорганизмов превосходят результаты существующих методов, позволяют автоматизировать ключевые стадии проведения микробиологического исследования и тем самым могут применяться на практике.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Горохов О.Е., Казачук М.А., Лазухин И.С., Машечкин И.В., Панкратьева Л.Л.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

AN INTELLIGENT APPROACH TO SEGMENTATION AND CLASSIFICATION OF MICROBIOLOGICAL PHOTOGRAPHIC IMAGES

The task of urgent detection of pathogen microorganisms in the human body is a relevant problem in the field of medicine. An approach based on seeding the biomaterial into the media nutritious and monitoring the bacterial colony growth is on the popular side by today’s standards. At the same time it possesses a set of downsides, caused generally by the human factor, introducing possible mistakes to medical verdicts. This work is dedicated to the development of intelligent data-driven technologies for processing microbiological analysis data in the form of photographic images of Petri dishes. Such technologies must allow reducing the dependence on the human factor as well as increasing the key factor quality of the analysis. The results of the conducted experiments allow making a conclusion that developed heuristic and neural network methods for detection and classification of the microorganism colonies surpass existing approaches and allow automating the key stages of the microbiological analysis as well as introducing proposed methods in practice.

Текст научной работы на тему «ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНОЛОГИИ СЕГМЕНТАЦИИ И КЛАССИФИКАЦИИ МИКРОБИОЛОГИЧЕСКИХ ФОТОИЗОБРАЖЕНИЙ»

ВЕСТН. МОСК. УН-ТА. СЕР. 15. ВЫЧИСЛ. МАТЕМ. И КИБЕРН. 2023. № 4. С. 21-32 Lomonosov Computational Mathematics and Cybernetics Journal

УДК 004.932.2

0.Е. Горохов1, М.А. Казачук2 , И.С. Лазухин3 , И.В. Машечкин4 , Л.Л. Панкратьева5 , И.С. Попов6

ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНОЛОГИИ СЕГМЕНТАЦИИ И КЛАССИФИКАЦИИ МИКРОБИОЛОГИЧЕСКИХ ФОТОИЗОБРАЖЕНИЙ

Актуальной задачей в области медицины является необходимость как можно более оперативного обнаружения в организме человека патогенных микроорганизмов. Один из наиболее распространенных в настоящее время подходов к ее решению, основывающийся на методе посева биологического материала на питательные среды и последующего наблюдения за процессом роста колоний, обладает определенными недостатками, связанными, в первую очередь, с человеческим фактором, которые могут приводить к появлению ошибок в итоговом диагнозе. Данная работа посвящена разработке технологий интеллектуальной обработки данных микробиологических анализов на основе фотоизображений чашек Петри, которые позволят уменьшить зависимость от человеческого фактора и улучшить ключевые показатели обработки данных. По результатам проведенных исследований можно сделать вывод, что разработанные эвристические и нейросетевые методы обнаружения и классификации колоний микроорганизмов превосходят результаты существующих методов, позволяют автоматизировать ключевые стадии проведения микробиологического исследования и тем самым могут применяться на практике.

Ключевые слова: микробиологическое исследование, машинное обучение, сегментация изображений, классификация микроорганизмов, нейронные сети.

DOI: 10.55959/MSU/0137-0782-15-2023-47-4-21-32

1. Введение. Современной науке известны более тысячи заболеваний, вызванных патогенными и условно патогенными микроорганизмами, и эта цифра постоянно увеличивается [1]. Поэтому задача оперативного обнаружения в организме человека патогенных и условно патогенных микроорганизмов является чрезвычайно важной. Одним из наиболее распространенных подходов к решению данной задачи является метод посева биологического материала на питательные среды [2]:

• посев образца — фрагмента биоматериала, потенциально содержащего патогенные и условно патогенные микроорганизмы, в чашку Петри с питательной средой;

• помещение в инкубатор и дальнейшее визуальное наблюдение за ростом колоний микроорганизмов в данной чашке;

• установление вердикта об отсутствии роста либо наличии выросших патогенных колоний и определение их точной видовой специфичности специалистом-микробиологом.

Критической особенностью данного подхода является высокая зависимость от человеческого фактора — до 30% чашек отбраковываются по причине ошибок при ручном посеве, а установление вердикта о видовых принадлежностях выросших колоний целиком зависит от внимательности и опыта эксперта-микробиолога при осуществлении ручной/визуальной оценки каждой чашки [3].

1 Факультет ВМК МГУ, асп., e-mail: owlman995@gmail.com

2 Факультет ВМК МГУ, доц., к.ф.-м.н., e-mail: mkazachuk@cs.msu.ru

3 Факультет ВМК МГУ, асп., e-mail: ivanlazuhin@mail.ru

4 Факультет ВМК МГУ, проф., д.ф.-м.н., e-mail: mash@cs.msu.su

5 Федеральный научно-клинический центр детской гематологии, онкологии и иммунологии им. Дмитрия Рога-чева Минздрава России, гл.науч.сотр., д.м.н., e-mail: liudmila.pankratyeva@gmail.com

6 Факультет ВМК МГУ, мл.науч.сотр., e-mail: ivan@jaffar.cs.msu.su

В связи с этим в настоящее время все большее распространение получают программно-аппаратные комплексы, позволяющие автоматизировать большинство стадий проведения микробиологического исследования (маркировка, автоматический посев, помещение в инкубатор, поддержание условий роста и т.п.), а также осуществляющие автоматическое фотографирование чашек Петри по расписанию, предоставляя возможность экспертам-микробиологам проводить исследование по изображениям чашек, без необходимости постоянного взаимодействия непосредственно с образцом [4]. Дополнительно предоставляется возможность осуществления масс-спектрального аппаратного анализа (масс-спектрометрия МЛЬБ1-ТоР МБ [5]), для достоверного определения видовой принадлежности выделенной колонии [6]. Для этого эксперт-микробиолог должен выделить на изображении изолированный регион (или несколько регионов) с потенциально патогенными, по его мнению, колониями микроорганизмов, после чего последовательно осуществляется перемещение каждой выделенной колонии для проведения дополнительного масс-спектрального анализа.

Тем не менее, даже при применении программно-аппаратных комплексов проведения микробиологических исследований остается существенной зависимость от человеческого фактора [2]. Микробиологические лаборатории вынуждены в любом случае содержать определенный штат высококвалифицированных экспертов-микробиологов для обеспечения приемлемой скорости работы, как при только ручной обработке образцов, так и при работе с их изображениями. При этом осуществляется анализ на предмет наличия/отсутствия роста колоний микроорганизмов (для принятия своевременного решения об утилизации образцов и освобождении ресурсов для других), поиска и выделения сегментов с изолированными, потенциально патогенными выросшими колониями (для постановки вердикта о наличии микроорганизма, либо окончательной проверки с помощью масс-спектрального анализа). В любом случае, неоднократно проводимый над каждым образцом визуальный анализ требует немалого количества времени экспертов-микробиологов, будучи дополнительно ограниченным их возможностями и режимом работы, а также приводит в результате к появлению определенной доли ошибок [6].

Таким образом, существует острая необходимость в технологиях автоматизации ключевых стадий проведения микробиологического исследования, требующих непосредственного визуального экспертного анализа для обнаружения и распознавания колоний микроорганизмов на фотоизображениях чашек Петри.

2. Цель исследования. Основной целью исследования является разработка технологий интеллектуальной обработки данных на базе машинного обучения при проведении микробиологических исследований на основе фотоизображений чашек Петри. Использование данных технологий позволит уменьшить зависимость от человеческого фактора и качественно улучшить ключевые характеристики обработки данных, в частности:

1) увеличить общее количество анализируемых образцов (изображений) в единицу времени за счет автоматизированной обработки поступающих данных с минимизированным участием экспертов-микробиологов, что особенно актуально для лабораторий с недостаточным штатом сотрудников, всплесков объемов проводимых исследований в связи с эпидемиями и т.п. Это может достигаться, в частности, за счет своевременного автоматизированного обнаружения образцов с отсутствием роста, так как подбор наиболее точного момента принятия решения об утилизации невыросшего образца позволяет повысить эффективность использования микробиологического комплекса в целом;

2) уменьшить время на принятие решения по образцу, как за счет автоматизированной обработки данных (и уменьшения зависимости от режима работы штата — например, отсутствия ночной смены), так и за счет возможностей интеллектуальных технологий на основе машинного обучения принимать ключевые решения в среднем раньше, чем эксперт-микробиолог — при соблюдении условия предварительно проведенного качественного обучения моделей;

3) повысить качество обработки образца, которое может выражаться по-разному, в зависимости от способа использования технологий:

а) для лабораторий без возможности проведения масс-спектрального анализа (для определения достоверной видовой принадлежности целевого микроорганизма) применение технологий к фотоизображениям может повысить точность постановки вердикта — так как решение о патогенности микроорганизма принимается экспертом-микробиологом исключительно на основании своего опыта. В данной ситуации интеллектуальные технологии могут служить в качестве элемента системы поддержки принятия решения, автоматически выделяя целевые колонии и предлагая наиболее вероятное соответствие (классификацию) согласно своим обученным на исторических данных моделям;

б) повысить скорость и достоверность вынесения вердикта для современных лабораторий, включающих масс-спектральный анализ — за счет автоматического выделения и классификации колоний и использования порогов достоверности вердикта. При превышении порога целевая колония может автоматически, без участия эксперта, отправляться на масс-спектральный анализ, значительно сокращая время обработки образца. При достоверности меньше порога — образец отправляется эксперту-микробиологу для принятия окончательного решения с действиями по образцу;

4) уменьшить количество ошибок, вызванных человеческим фактором, например, ошибочно утилизированных образцов с выросшими колониями, пропущенных целевых патогенных колоний, ошибок, вызванных наличием затрудняющих исследование дефектов изображения (артефактов) и т.п.

Для достижения цели настоящих исследований использованы методы интеллектуальной обработки данных и машинного обучения, включающие в себя как эвристические, так и нейро-сетевые алгоритмы. Для проведения исследований и разработки решения использовались цветные микробиологические фотоизображения в формате RGB, сделанные с помощью программно-аппаратного комплекса проведения микробиологического исследования полного цикла [7]. При проведении исследований использовались исторические данные по Москве и Московской области за 1.5 года, содержащие около 31 тыс. описаний и результатов проведения микробиологических исследований, включающих в себя серии фотоизображений чашек Петри каждого образца, а также наборы метаинформации (данные об экспертной разметке регионов, итоговые результаты масс-спектрального анализа, характеристики исходного биоматериала, источник поступления и пр.).

3. Обзор существующих решений. Данная задача делится на две составляющие — сегментация (обнаружение колоний микроорганизмов) и классификация микроорганизмов в найденных сегментах для определения их точной видовой специфичности.

Существующие современные работы по сегментации медицинских изображений с помощью нейронных сетей (архитектур One-Stage detector (YOLOv4, YOLOv5) и Two-Stage detector (R-CNN, Faster R-CNN, Mask R-CNN)) чаще всего или оставляют интерпретацию своих результатов на плечах пользователя [2,8], или же не предоставляют возможности применения исследуемой модели на других данных (сфотографированных с другим освещением/разрешением и т.п.), предоставляя только описание подхода к построению подобной сети [3]. Классические методы сегментации для медицинских изображений (Fast Marching Method, Multi Threshold, Watershed Segmentation) [4] предоставляют инструменты, способные ускорить работу эксперта, исследующего медицинские изображения, однако не предлагают достаточных средств и знаний для автоматизации процесса. Более того, подобные методы, ищущие колонии микроорганизмов на основе экспертных примеров, способны преумножить количество ошибок, вызванных человеческим фактором. Качество существующих решений не является достаточно высоким [2-4]: метрика полноты составляет порядка 80%, метрика точности — порядка 85%. Также, в рамках данной задачи полезно рассматривать метрику mAP: она показывает, насколько хорошо модель выделяет границы отдельных колоний бактерий относительно разметки. В существующих работах данный показатель также недостаточно велик и достигает значений от 50 до 90% на собственных данных. Все вышеупомянутые методы также показали недостаточно высокие результаты на реальных данных, рассмотренных в данной работе.

Классификация колоний микроорганизмов на фотоизображениях в настоящее время также широко исследуется и развивается. Присутствуют как относительно свежие работы, предлагающие методы на основе совместного использования нейросетей (архитектур ИевКе^ HR.Net, EfficientNet, СопуКеХ^ и более традиционных методов (машин опорных векторов и др.) [9], так и работы, продвигающие свои нейросетевые архитектуры [10, 11]. Однако, оценка таких работ или происходит на достаточно малых объемах данных, или же просто не показывает достаточной точности на реальных данных: аналогично задаче сегментации, метрика полноты составляет порядка 80%, метрика точности — порядка 85% на выборочных данных.

4. Технология обнаружения и классификация колоний микроорганизмов. Для обеих рассматриваемых подзадач авторами были разработаны и предложены оригинальные методы решения, в основе которых предлагается следующая последовательность обработки изображения чашки Петри (см. рис. 1).

Рис. 1. Исследуемое изображение чашки Петри, содержащей колонии микроорганизмов

4.1. Построение бинарной карты объектов. Сначала к изображению применяется медианный фильтр (замена значений яркостей пикселей фрагмента медианными значениями яркостей этого же фрагмента [4,8]), что позволяет снизить влияние шумов. Далее, изображение посегментно обрабатывается собственной нейронной сетью класса энкодер-декодер, обученной на искусственных данных (построение такой модели происходит предварительно и единожды). Задача данной сети — поиск объектов для заданного сегмента, результатом работы является бинарная карта объектов (см. черно-белое изображение, все найденные объекты на котором выделены белым цветом, на рис. 2).

Для построения и обучения такой модели был предложен метод генерации изображений, содержащих искусственные колонии микроорганизмов, и бинарных масок (бинарных карт объектов), им соответствующих (см. рис. 3). Случайно выбирается цвет "питательной среды" и число "колоний", которые случайным образом размещаются в сегменте. Цвет и структура колоний также варьируются, полученный сегмент сглаживается фильтром Гаусса (размытие изображения, использующее фильтр, соответствующий функции плотности нормального распределения [4,8]).

Ниже (см. рис. 4) представлена схема описанной нейросети класса энкодер-декодер, обучаемой по предложенному методу. Параметр п отвечает за сложность построенной модели, в описанных экспериментах выбрано его значение, равное 4.

Рис. 2. Построенная бинарная карта объектов для исследуемого изображения

Рис. 3. Сгенерированные изображения колонии микроорганизмов и соответствующей ей бинарной карты объектов

Рис. 4. Сверточная нейросеть сегментации

4.2. Отбор регионов, наиболее пригодных для исследования. Поскольку для проведения масс-спектрального анализа медицинским персоналом могут использоваться только чистые изолированные колонии выросших микроорганизмов, в качестве основного критерия для поиска регионов (потенциально наиболее пригодных для дальнейшего рассмотрения областей, содержащих изображения микроорганизмов) была выбрана их изолированность. Для интерпретации найденной маски объектов был предложен алгоритм, выделяющий контуры и их замыкающие сегменты-регионы (на основе алгоритма марширующих кубов [12]) и учитывающий локальную и глобальную обособленность каждого региона. На основе комбинированной метрики оценки производится построение ранжированного списка найденных регионов. Данный список фильтруется по заранее заданному порогу доверия, формируя итоговый набор регионов.

Более подробно алгоритм обработки результата состоит из следующих шагов.

1. Маска изображения размывается по Гауссу [4,8].

2. По заданному порогу яркости из черно-белой маски результата выделяются контуры и им соответствующие прямоугольные сегменты-регионы Ri. Для этого используется метод find_contours библиотеки scikit_image языка Python, являющийся реализацией частного случая алгоритма марширующих кубов [13]. Отбрасываются регионы, не соответствующие тривиальным критериям размера.

3. Каждому региону Ri сопоставляется его степень подобия окружности:

ci = 1 — std(dist)/(mean(dist)).

Здесь dist соответствует множеству расстояний от точек региона до его центра, std — среднеквадратичное отклонение, mean — среднее значение элементов данного множества соответственно.

4. Измеряется локальная обособленность региона pi, как доля нулевых значений маски в выбранной малой окрестности контура. Также эта метрика позволит отсеять регионы, на самом деле замыкающие невыпуклые контуры.

5. Измеряется глобальная обособленность региона di как нормализованное минимальное значение в матрице расстояний между центрами всех найденных регионов.

6. На основе полученной метрики score(Ri) = Ci ■ pi ■ di производится построение ранжированного списка найденных регионов.

Результат работы алгоритма представлен на рис. 5. На нем выделены 10 найденных наиболее изолированных регионов, содержащих колонии микроорганизмов, и указана соответствующая каждому региону степень глобальной обособленности.

Рис. 5. Результат работы предложенного метода обнаружения колоний микроорганизмов

4.3. Классификация колоний микроорганизмов в выделенных регионах. Задача классификации подразумевает параллельное применение разработанной архитектуры сверточ-ной нейронной сети к набору всех ранее найденных регионов. Более точно — на этом этапе применяется набор предобученных на исторических данных, содержащих экспертную разметку, бинарных моделей, каждая из которых отвечает за свой вид колонии микроорганизмов и предоставляет свою оценку вероятности содержания данного микроорганизма в заданном регионе. Таким образом, получается набор вероятностей-вердиктов каждой из имеющихся моделей для всех заданных регионов. По умолчанию вердиктом классификации считается колония модели, имеющей наибольшую вероятность из набора.

Такой подход подразумевает масштабируемость и независимость предложенного подхода, относительно списка исследуемых колоний. Каждая нейросетевая модель представляет собой свер-точную архитектуру пирамидального вида (см. рис. 6), добавление новых колоний предлагается путем обучения новой модели на основе размеченных экспертных данных. Для подготовки данных для построения модели используется центрирование размеченных регионов с использованием описанных выше средств сегментации, примененных к регионам, размеченным врачами.

Применительно к данной задаче было исследовано большое количество нейросетевых архитектур, демонстрирующих схожие результаты точности. Предложенная здесь нейросеть была выбрана на основе сравнения метрик классификации (ROC AUC, точность, полнота) на наборах экспертных данных.

Рассмотрим классификацию на примере одного из отобранных регионов (см. рис. 7).

К содержимому региона применяется набор из сформированных моделей, на примере трех, представленных в табл. 1.

Изображение

Рис. 6. Сверточная нейросеть классификации

Таблица 1

Результаты классификации колонии микроорганизмов в исследуемом регионе

Escherichia coli Enterococcus faecalis Klebsiella pneumoniae

0.024 0.881 0.001

По результатам применения с большим перевесом побеждает модель, соответствующая классу ЕпЬетососсиэ /авсаИв, что совпадает с имеющейся экспертной оценкой.

Для демонстрации возможностей разработанных интеллектуальных технологий был спроектирован и реализован программный прототип, позволяющий на практике применять разработанные технологии на реальных данных. Ключевыми функциями прототипа являются микробиологический атлас (пользовательский интерфейс для взаимодействия с данными хранилища, включающего в себя фотоизображения, сопутствующие данные, историческую экспертную разметку, результаты применения разработанных интеллектуальных технологий, на основе разнообразных фильтров-запросов), а также модуль применения технологии обнаружения и классификации колоний микроорганизмов. Модуль применения технологии обнаружения и классификации предназначен для автоматизированного проведения этапов сегментации колоний микроорганизмов и классификации вида микроорганизмов в найденных сегментах. Также данный модуль реализует дополнительные технологии по определению степени роста колоний микроорганизмов (либо его отсутствия) и методы обнаружения артефактов на изображениях (засветы, конденсат и др.).

5. Результаты. Для оценки качества разработанных технологий интеллектуальной обработки данных при проведении микробиологических исследований на основе фотоизображений чашек Петри было осуществлено экспериментальное исследование на реальных исторических данных независимой выборки.

5.1. Оценка качества технологий обнаружения и классификации колоний микроорганизмов. Для оценки качества работы предлагаемых алгоритмов сегментации и классификации была исследована независимая выборка, собранная среди 30755 пациентов, состоящая из данных, собранных в Москве и Московской области за 1.5 года. Характеристики рассмотренной выборки представлены в табл. 2.

Таблица 2

Характеристики выборки данных, используемой для исследования задач обнаружения и

классификации колоний микроорганизмов

Характеристика Значение

Число женщин, % 70

Число мужчин, % 30

Минимальный возраст пациента 4 месяца

Максимальный возраст пациента 100 лет

Количество видов исследуемых биоматериалов 52

Наиболее распространенные виды биоматериала Цервикальный канал (отделяемое/мазок) (28%), зев (отделяемое/мазок) (16%), кровь (9%), нос (отделяемое/мазок) (8%), влагалище (отделяемое/мазок) (6%), кал (5%)

Наиболее часто встречаемые клинически значи- Е.соЫ, ЕШ^аесаИв, Ш.рпе-зз-рпе

мые патогенные микроорганизмы

Для оценки качества алгоритмов технологии обнаружения и классификации колоний микроорганизмов на фотоизображениях чашек Петри было осуществлено экспериментальное исследование на данных указанной выше выборки. Применительно к задаче сегментации исследовалась задача выявления наличия роста микроорганизмов на фотоизображениях. Для задачи классификации были построены бинарные модели из набора наиболее широко представленных экспертно-размеченных микроорганизмов. Результаты исследования приведены в табл. 3 и 4.

Согласно полученным оценкам, разработанные технологии могут использоваться как в качестве полностью автоматического средства обнаружения и классификации определенных видов микроорганизмов, так и в качестве средства поддержки принятия решения экспертом-микробиологом в автоматизированном режиме.

Таблица 3

Результаты работы предложенного метода сегментации изображений

Точность Точность Полнота Точность Полнота Площадь Объем

(accuracy) (precision) (recall) для (precision) (recall) для под 110 С- выборки

для нали- наличия для от- отсутствия кривой (коли-

чия роста роста сутствия роста (ИОС ЛИС) чество

роста изображе-

ний)

0.897 0.952 0.879 0.822 0.927 0.926 10000

Таблица 4

Результаты работы предложенного метода классификации колоний микроорганизмов

Вид Точность (Precision) Полнота (Recall) Точность (Accuracy) Площадь под ИОС-кривой (ИОС АиС) Количество образцов

Е. сой 0.952 0.882 0.970 0.978 150

Ent.faecalis 0.841 0.932 0.950 0.980 250

Kl.pne-ss-pne 0.716 0.773 0.931 0.935 200

5.2. Выводы. Проведем анализ полученных результатов с точки зрения отличия от существующих исследований, рассматривая их соответствие следующим критериям научной ценности: отличие от известных результатов, научная новизна, практическая применимость.

Существующие решения по обнаружению и классификации колоний микроорганизмов на микробиологических фотоизображениях обладают недостаточно высокой точностью работы для возможности применения их на практике, а также не позволяют полностью автоматизировать процесс микробиологического исследования, поскольку либо не поддерживают интерпретацию результатов своей работы, либо не предоставляют средств для автоматизации процесса.

По результатам проведенных исследований можно сделать вывод, что разработанные методы обнаружения и классификации колоний микроорганизмов превосходят результаты существующих методов, позволяют автоматизировать ключевые стадии проведения микробиологического исследования и тем самым могут активно применяться на практике.

Научная новизна работы заключается в разработанном нейросетевом алгоритме построения бинарной маски объектов на изображениях чашек Петри, предложенной процедуре отбора регионов, наиболее пригодных для исследования, разработанном нейросетевом алгоритме классификации колоний микроорганизмов в найденных регионах. Данные алгоритмы обладают интерпретируемыми результатами работы и способны значительно уменьшить участие человека в процессе проведения микробиологического исследования.

Практическая применимость результатов заключается в возможности создания интеллектуальной системы автоматизации процессов микробиологического исследования и использования ее в современных медицинских лабораториях. Данная система позволит значительно ускорить процессы обнаружения микроорганизмов в организме человека и подбора необходимых схем лечения, а также сократит количество ошибок, вызванных человеческим фактором. Программная реализация разработанных алгоритмов позволяет сделать предлагаемую систему масштабируемой относительно списка исследуемых колоний микроорганизмов.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Достоверность предложенных методов подтверждается экспериментальными исследованиями на реальных данных. Несмотря на то, что исследования проводились на фотоизображениях чашек Петри, сделанных с помощью конкретного программно-аппаратного комплекса проведения

микробиологического исследования, разработанные технологии не являются чувствительными к параметрам съемки и характеристикам фотоизображений и могут применяться к фотоизображениям, полученным из других источников.

6. Заключение. В данной работе была рассмотрена задача разработки технологий интеллектуальной обработки данных на базе машинного обучения для фотоизображений чашек Петри и сопутствующих данных при проведении микробиологических исследований.

К задаче визуального анализа чашек Петри привлекаются как лаборанты, так и высококвалифицированные специалисты-микробиологи. Однако ручная визуальная обработка требует достаточно большого количества времени (замедляя скорость обработки каждого анализа), а также приводит к ошибкам, связанным с человеческим фактором, поэтому появляется необходимость в автоматизации данного процесса на основе интеллектуальных технологий.

В данной работе были предложены новые интеллектуальные технологии обнаружения и классификации колоний микроорганизмов на микробиологических фотоизображениях чашек Петри. Реализованные в технологиях алгоритмы обладают интерпретируемыми результатами работы и уменьшают необходимость участия человека в процессе проведения микробиологического исследования. Для оценки качества работы предлагаемых методов была исследована независимая выборка данных, состоящая из серий фотоизображений и сопутствующих данных. По результатам экспериментов предложенные в данной работе алгоритмы превосходят по качеству существующие решения по данной тематике и могут быть использованы в определенных ситуациях как в качестве полностью автоматического средства, так и в качестве средства поддержки принятия решения экспертом-микробиологом в автоматизированном режиме.

СПИСОК ЛИТЕРАТУРЫ

1. Deusenbery C., Wang Y., Shukla A. Recent innovations in bacterial infection detection and treatment // ACS Infectious Diseases. 2021. 7. N 4. P. 695-720.

2. Kurumisawa T., Kawai K., Shinozuka Y. Verification of a simplified disk diffusion method for antimicrobial susceptibility testing of bovine mastitis isolates // Japanese J. Veterinary Research. 2021. 69. N 2. P. 135-143.

3. N a e t s T. et al. A Mask R-CNN approach to counting bacterial colony forming units in pharmaceutical development // ArXiv preprint arXiv:2103.05337. 2021.

4. To r e 11 i A. et al. AutoCellSeg: robust automatic colony forming unit (CFU)/cell analysis using adaptive image segmentation and easy-to-use post-editing techniques // Scientific Reports. 2018. 8. N 1. P. 1-10.

5. Croxatto A., Pro dh o m G., G r e u b G. Applications of MALDI-TOF mass spectrometry in clinical diagnostic microbiology // FEMS microbiology reviews. 2012. 36. N 2. P. 380-407.

6. Shamash M., Maurice C.F. OnePetri: accelerating common bacteriophage Petri dish assays with computer vision // BioRxiv. 2021.

7. Snyder J.V. et al. Automated preparation for identification and antimicrobial susceptibility testing: evaluation of a research use only prototype, the BD Kiestra IdentifA/SusceptA system // Clinical Microbiology and Infection. 2021. 27. N 5. P. 783.e1-783.e5.

8. Majchrowska S.etal. AGAR a microbial colony dataset for deep learning detection / / ArXiv preprint arXiv:2108.01234. 2021.

9. Z i e l i n s k i B. et al. Deep learning approach to bacterial colony classification // PloS One. 2017. 12. N 9. P. e0184554.

10. Huang L., Wu T. Novel neural network application for bacterial colony classification // Theoretical Biology and Medical Modelling. 2018. 15. N 1. P. 1-16.

11. Zhu H., Rohling R., Salcudean S. Multi-task unet: Jointly boosting saliency prediction and disease classification on chest x-ray images // ArXiv preprint arXiv:2202.07118. 2022.

12. L i a o Y., Donne S., G e i g e r A. Deep marching cubes: Learning explicit surface representations // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. P. 2916-2925.

13. Saringer C. et al. Direct determination of the area function for nanoindentation experiments //J. Materials Research. 2021. 36. N 11. P. 2154-2165.

Поступила в редакцию 03.07.23 Одобрена после рецензирования 06.07.23 Принята к публикации 06.07.23

i Надоели баннеры? Вы всегда можете отключить рекламу.