CC BY
5ANALYSIS OF EPICARDIAL ELECTROGRAMS USING ARTIFICIAL INTELLIGENCE
A. V. Rybkin, R. O. Smirnov, E. E. Kotikhina, D.A. Karchkov, V.A. Moskalenko, G.V. Osipov, L.A. Smirnov
National Research Lobaehevsky State University of Xizhny Xovgorod, 603022, Xizhny Xovgorod, Russia
DOI: 10.24412/2073-0667-2024-3-58-71 EDX: SZYHQZ
One of the most effective electrophysiological methods for studying the myocardium today is the method of using microelectrode arrays, which is characterized by high spatial resolution of recording extracellular potentials. Difficulties in analyzing bioelectric potentials recorded from living objects of study (cell, tissue, organ) by direct methods lie in the instability of the shape, amplitude and frequency of the recorded bioelectric potentials depending on the experimental conditions, as well as in the presence of electrical noise and artifacts. There is a need to constantly monitor the parameters of the signal processing algorithm over multiple short time intervals, followed by careful verification of the result. Taking into account the high recording sampling rates of modern measuring equipment and the impressive volumes of output data, the need to use artificial intelligence algorithms to solve these analytical problems becomes obvious. In addition, the use of artificial intelligence methods has great prospects for identifying predictors of life-threatening arrhythmias in cardiac electrograms during experimental modeling of these conditions. The electrograms involved in the study were obtained by multielectrode mapping with flexible arrays, including 64 recording electrodes, from the epicardial surface of isolated perfused rat hearts. The moments of activation on the electrogram graph mean the points of maximum steepness of the potential decline, which correspond to the moments of the appearance of action potentials on the membranes of cardiomyocytes, that is, tissue excitation. Analysis of the frequency of occurrence of activation moments on one electrode or the sequence of occurrence on several electrodes within the arrays allows one to evaluate such parameters of the heart as its pacemaker activity and electrical conductivity of the myocardium. As part of the study of the bioelectrical activity of the heart, a promising direction is the use of artificial intelligence methods to automate the analysis of electrograms recorded from the surface of the epicardium. The presented work describes the creation of a software package for analyzing electrograms of isolated hearts of small rodents, the main part of which is a segmenting neural network for localizing moments of myocardial activation based on UNct architecture. The choice of this architecture is due to its effectiveness in image segmentation tasks, which is especially important for identifying structures in cardiac electrograms. UNct architecture is characterized by the presence of convolutional layers for feature extraction and a decoder for accurate reconstruction of spatial information. This makes it an excellent choice for medical data segmentation tasks, such as electrograms, where prescision and recall are critical. However, as mentioned earlier: UNct from the original paper is intended for image segmentation, and therefore the neural network
Data collection arid preprocessing was carried out with the financial support of the Ministry of Education and Science of the Russian Federation, project N 0729-2021-013. Neural network training was carried out as part of the implementation of the strategic academic leadership program Prioritet 2030.
(c) A.V. Rybkin, R. O. Smirnov, E. E. Kotikhina, D.A. Karchkov, V. A. Moskalenko, G. V. Osipov, L. A. Smirnov, 2024
was adapted for the analysis of one-dimensional signals. Due to the small amount of labeled data, cross-validation was carried out to measure the quality of the model; it was evaluated on eight folds. The success of segmentation is measured by F1 metric, which is the harmonic mean between precision and recall. In this context, an F1 value of around 0.77 indicates the model's ability to accurately identify and localize moments of activation in a heart. The goal of the work is to create software that includes the following functionality: creating a data set for training, validation and testing, training a model; creating and editing markup. Taken together, this will allow automatic localization of activation moments in epicardial electrograms. Thus, the software package we have developed ensures the identification and precise determination of the desired moments of activation, which facilitates further analysis of bioelectrical activity and increases the efficiency of research in the field of cardiology, including due to the possibility of processing big data. In general, the developed software package represents a promising solution for automating the analysis of epicardial electrograms using a segmenting neural network based on UNet architecture and related algorithms.
Key words: deep learning, neural networks, UNet, microelectrode mapping, local field potential, myocardial electrograms.
References
1. Baldazzi, G., Orru, M., Viola, G. and Pani, D. Computer-aided detection of arrhvthmogenic sites in post-ischemic ventricular tachycardia // Scientific Reports. 2023. 13(1). P. 6906-6917. DOI: 10.1038/s41598-023-33866-w.
2. Louisse, Jochem. Assessment of acute and chronic toxicity of doxorubicin in human induced pluripotent stem cell-derived cardiomvocvtes. Toxicology In Vitro 42. 2017. P. 182-190. DOI: 10.1016/j.tiv.2017.04.023.
3. Kujala, Ville J. Laminar ventricular myocardium on a microelectrode array-based chip // Journal of Materials Chemistry. 2016. P. 3534-3543.' DOI: 10.1039/D0BM01373K.
4. Kharkovskava E., Osipov G., Mukhina I. V. Ventricular fibrillation induced by 2-aminoethoxvdiphenvl borate under conditions of hvpoxia/reoxvgenation // Minerva Cardioangiologica 68.6. 2020. P. 619-628. DOI: 10.23736/S0026-4725.20.05376-L
5. Moskalenko V., Zolotvkh N., Osipov G. Deep learning for ECG segmentation // Advances in Neural Computation, Machine Learning, and Cognitive Research III: Selected Papers from the XXI International Conference on Neuroinformatics, Springer International Publishing. 2020. P. 246-254. DOI: 10.1007/978-3-030-30425-6^29.
6. Zhang, Z. Improved adam optimizer for deep neural networks // 26th international symposium on quality of service. IEEE, 2018. P. 1-2. DOI: 10.1109/IWQoS.2018.8624183.
7. Zhou, L., Zhang, C. and Wu, M. D-LinkNet: LinkNet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction //In Proceedings of the IEEE conference on computer vision and pattern recognition workshops. IEEE, 2018. P. 182-186.
8. Hu M., Frega M., Tolner E.A., van den Maagdenberg A.M.J.M., Frimat J. P., le Feber J. MEA-ToolBox: an Open Source Toolbox for Standardized Analysis of Multi-Electrode Array Data // Neuroinformatics. 2022 Oct; 20(4):1077-1092. DOI: 10.1007/sl2021-022-09591-6. Epub 2022 Jun. 9. PMID: 35680724; PMCID: PMC9588481.
9. Dastghevb R. M., Yoo S. W., Haughev N. J. MEAnalvzer — a Spike Train Analysis Tool for Multi Electrode Arrays // Neuroinformatics. 2020 Jan; 18(1):163-179. DOI: 10.1007/sl2021-019-09431-0. PMID: 31273627.
10. Li Z, Wang Y, Zhang N, Li X. An Accurate and Robust Method for Spike Sorting Based on Convolutional Neural Networks. Brain Sci. 2020 Nov. 11; 10(11):835. DOI: 10.3390/brainscil0110835. PMID: 33187098; PMCID: PMC7696441.
11. Ottom M. A., Rahman H. A., Dinov I. D. Znet: deep learning approach for 2D MRI brain tumor segmentation // IEEE Journal of Translational Engineering in Health and Medicine. 2022. T. 10. S. 1-8. DOI: 10.1109/JTEHM.2022.3176737.
12. Yang Q., Zhang H., Xia J., Zhang, X. Evaluation of magnetic resonance image segmentation in brain low-grade gliomas using support vector machine and convolutional neural network // Quantitative Imaging in Medicine and Surgery, 11(1), 300. DOI: 10.21037/qims-20-783.
13. Yang S., Kweon J., Roh J. H., Lee J. H., Kang H., Park L. J., Park S. J. Deep learning segmentation of major vessels in X-ray coronary angiography // Scientific reports, 9(1), 16897. DOI: 10.1038/s41598-019-53254-7.
14. Yildirim O., Baloglu U. B., Acharva U. R. A deep convolutional neural network model for automated identification of abnormal EEG signals // Neural Computing and Applications. 2020. T. 32. N 20. C. 15857-15868. DOI: 10.1007/s00521-018-3889-z.
15. Smirnov L. A., Osipov G.V., Kotikhina E.E., Smirnov R. O., Rvbkin A.V., Moskalenko V. A., Karchkov D. A. A software for visualization, segmentation and marking of electrical graph signal // Type: Certificate of state registration of a computer program. Certificate number: RU 2023685068. Publication year: 2023. Registration date: 11/16/2023.
АНАЛИЗ ЭПИКАРДИАЛЬНЫХ ЭЛЕКТРОГРАММ СРЕДСТВАМИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
А. В. Рыбкин, P.O. Смирнов, Е. Е. Котихина, Д. А. Карчков, В. А. Москаленко, Г. В. Осипов, Л. А. Смирнов
Национальный исследовательский нижегородский государственный университет
им. Н. И. Лобачевского, 603022, Нижний Новгород, Россия
УДК 004.93
DOI: 10.24412/2073-0667-2024-3-58-71 EDX: SZYHQZ
Одним из наиболее эффективных на см'одняшний день электрофизиологичееких методов изучения миокарда является метод использования микроэлектродных матриц, который отличается высоким пространственным разрешением регистрации внеклеточных потенциалов. Сложности при анализе биоэлектрических потенциалов, регистрируемых с живых объектов исследования (клетка, ткань, орган) прямыми методами, заключаются в нестабильности формы, амплитуды и частоты регистрируемых биоэлектрических потенциалов в зависимости от условий эксперимента, а также в присутствии электрических шумов и артефактов. Существует необходимость постоянно!^ контроля параметров алх'оритма обработки сигнала на множественных коротких временных интервалах с последующей тщательной верификацией результата. Принимая во внимание высокие значения частоты дискретизации записи современной измерительной техники и внушительные объемы выходных данных, становится очевидной необходимость использования алх'оритмов иекуеетвеннсих) интеллекта для решения данных аналитических задач. Кроме Toi'o, применение методов иекуеетвеннсих) интеллекта имеет большие перспективы для выявления на электрсираммах сердца предикторов жизнеухрожающих аритмий при экспериментальном моделировании данных состояний. Электрснраммы, задействованные в проведенном исследовании, были получены методом мультиэлектроднеих) картирования гибкими матрицами, включающими 64 регистрирующих электрода, с поверхности эпикарда изолированных перфузируемых сердец крыс. Под моментами активации на графике электрснраммы подразумеваются точки максимальной крутизны спада потенциала, которые соответствуют моментам возникновения потенциалов действия на мембранах кардиомиоцитов, то есть возбуждению ткани. Анализ частоты возникновения моментов активации на одном электроде или последовательности возникновения на нескольких электродах в пределах матрицы позволяет оценить такие параметры сердца, как ei'o пейемейкерная активность и электрическая проводимость миокарда. В рамках исследования биоэлектрической активности сердца перспективным направлением является применение методов иекуеетвеннсих) интеллекта для автоматизации анализа электренрамм, зарегистрированных с поверхности эпикарда.
Сбор и предобработка данных выполнена при финансовой поддержке Минобрнауки РФ. проект № 0729-2021-013. Обучение нейронной сети выполнено в рамках реализации программы стратегического академического лидерства Приоритет 2030.
(с) A.B. Рыбкин, P.O. Смирнов, Е. Е. Котихина, Д. А. Карчков, В. А. Москаленко, Г. В. Осипов, Л. А. Смирнов, 2024
Представленная работа описывает создание программного комплекса анализа электрограмм изолированных сердец мелких грызунов, главной частью которого является сегментирующая нейронная сеть для локализации моментов активации миокарда на основе архитектуры ТЖе^ Выбор данной архитектуры обусловлен ее эффективностью в задачах сегментации изображений, что особенно важно для выделения структур на электрограммах сердца. Архитектура UNet характеризуется наличием сверточных слоев для извлечения признаков и декодером для точного восстановления пространственной информации. Это делает ее отличным выбором для задач сегментации медицинских данных, таких как электрограммы, где точность и полнота крайне важны. Однако, как упоминалось ранее, UNet из оригинальной статьи предназначен для сегментации изображений, в связи с чем нейросеть была адаптирована для анализа одномерных сигналов. Ввиду небольшого количества размеченных данных для оценки качества модели была проведена кросс-валидация, она проходила на восьми наборах данных. Успешность сегментации оценивается показателем Р1, который представляет собой гармоническое среднее между точностью и полнотой. В данном контексте значение метрики Р1 в районе 0.77 свидетельствует о способности модели точно выделять и локализовать моменты активации в сердце. Цель работы заключается в создании программного обеспечения, включающего в себя следующий функционал: создание набора данных для обучения, валидации и тестирования, обучение модели, создание и редактирование разметки. В совокупности это позволит автоматически локализовывать моменты активации на эпикардиальных электрограммах. Таким образом, разработанный нами программный комплекс обеспечивает выделение и точное определение искомых моментов активации, что облегчает дальнейший анализ биоэлектрической активности и повышает эффективность исследований в области кардиологии, в том числе благодаря возможности обработки больших данных. В целом, разработанный программный комплекс представляет собой перспективное решение для автоматизации анализа эпикардиальных электрограмм, с использованием сегментирующей нейронной сети на основе архитектуры UNet и сопутствующих алгоритмов.
Ключевые слова: глубокое обучение, нейронные сети, ТЖе^ микроэлектродное картирование, локальный полевой потенциал, электрограммы миокарда.
Введение. Перспективной задачей как для медицинских целей, так и для фундаментальных исследований является применение искусственного интеллекта для автоматизации анализа частотных и пространственно-временных параметров биоэлектрической активности сердца. Уже сейчас предпринимаются попытки использования ИИ для анализа электроанатомических карт, получаемых в ходе проведения электрофизиологического исследования сердца при катетерной аблации [1].
В фундаментальных исследованиях одним из наиболее эффективных на сегодняшний день методов изучения биоэлектрических свойств миокарда является метод использования микроэлектродных матриц, который отличается высоким пространственным разрешением регистрации внеклеточных потенциалов. Полученные при помощи матриц данные анализируются путем определения моментов активации, соответствующих точкам максимальной крутизны спада потенциалов на графике электрограммы.
Анализ частоты возникновения моментов активации на одном электроде или последовательности возникновения на нескольких электродах в пределах матрицы даст возможность оценить такие параметры сердца, как его пейемейкерная активность и электрическая проводимость миокарда.
Использование методов машинного обучения направлено на автоматизацию процесса распознавания моментов активации, локализации шумовых участков электрограммы и участков, представляющих наибольший интерес для исследователя. Сложности при ана-
лизе биоэлектрических потенциалов, регистрируемых с живых объектов исследования (клетка, ткань, орган) прямыми методами, заключаются в нестабильности формы, амплитуды и частоты регистрируемых биоэлектрических потенциалов в зависимости от условий эксперимента, а также в присутствии электрических шумов и артефактов. Существует необходимость постоянного контроля параметров алгоритма обработки сигнала на множественных коротких временных интервалах с последующей тщательной верификацией результата. Принимая во внимание высокие значения частоты дискретизации записи современной измерительной техники и внушительные объемы выходных данных, становится очевидной необходимость использования алгоритмов искусственного интеллекта для решения данных аналитических задач,
1. Обзор существующих решений. В работах, проведенных с применением микроэлектродных матриц немецкой компании "Multichannel system", для регистрации, визуализации и предобработки биоэлектрических потенциалов используются программные комплексы, предложенные непосредственно фирмой-производителем, в частности программный комплекс Cardio2D [2-4],
Программное обеспечение для обработки и анализа экспериментальных данных в лабораториях, использующих метод микроэлектродного картирования, часто разрабатывается самостоятельно. Иногда созданные таким образом программные приложения регистрируются в качестве коммерческого продукта или публикуются в открытом доступе, как, например, МЕА-Тоо1Вох [8], MEAnalvzer [9] и др. Опубликованы методы, предполагающие использование алгоритмов искусственного интеллекта для анализа данных, полученных при микроэлектродной регистрации нейрональной электрофизиологической активности [10], Аналогичных подходов для исследования структур кардиального происхождения на сегодняшний день не обнаружено,
В зашумленных сигналах процент корректно сегментированных моментов активации очень низок и стремится к нулю. Сложность при работе с такой программой заключается и в ручной настройке параметров для методов сегментации, что крайне неинтуитивно и ведет к возникновению ошибок разметки.
Стоит отметить, что применение нейронных сетей архитектуры UNet для задачи сегментации сигнала не нова. Отличные результаты сегментации одномерного сигнала электрокардиограммы продемонстрированы в работе "Deep learning for ECG segmentation" [5], В частности, точность в локализации срабатывания предсердий достигнута на уровне 0,96 метрики F1, а локализация QRS- и Т-комплексов достигает точности 0,99,
2. Постановка задачи. Таким образом, существующие решения для обработки и анализа сигнала электрограммы имеют ряд существенных недостатков: низкая точность локализации моментов активации, сложная и неинтуитивная настройка сегментации, отсутствие качественных алгоритмов подавления шума и гибкости в проведении анализа. Для решения этих проблем предлагается разработка программного комплекса на базе методов искусственного интеллекта, ориентированных на решение задачи сегментации и локализации моментов активации на электрограммах активности сердца для проведения анализа экспериментальных результатов,
В рамках работы представлены результаты разработки сегментирующей нейронной сети, основанной на архитектуре UNet,
2,1, Метрики качества. Оценка качества бинарной классификации будет происходить с использованием Fl-меры (F1 score), которая является мерой, объединяющей точность (precision) и полноту (recall) модели, Fl-мера вычисляется по следующей формуле:
Рис. 1. Исходная размотка сигнала (слова) и скорректированная разметка (справа)
precision * recall F 1 = 2 * ; ; — (!)
precision + recall
Fl-мера является подходящим показателем, когда важны и точность, и полнота. Высокое значение Fl-меры указывает на хорошую сбалансированность между точностью и полнотой классификационной модели.
По этой же причине к данной мере качества прибегают при оценке валидности моделей, применяемых при сегментации медицинских изображений |12|, трехмерных визуализаций компьютерной и магнитно-резонансной томографии |11. 13|. а также одномерных сигналов |14|.
2.2. Входные данные. В ходе исследования были получены сигналы электрограмм с сердец крыс посредством наложения мультиэлектродной матрицы непосредственно на орган. Матрица представляет собой сетку, состоящую из 64 сенсоров, каждый из которых фиксирует разность потенциалов в одной точке на исследуемой поверхности.
В качестве данных дня обучения нейронной сети были использованы 8 электрограмм продолжительностью 10 минут, содержащие 64 канала. Часть каналов были исключены из тренировочной выборки в силу сильной зашумленности сигнала или его отсутствия. Наличие таких сигналов определяется экспериментом и исключается специалистом. Частота дискретизации сигнала равна 5 кГц, что соответствует 5000 измерений в секунду. Временные метки были установлены экспертом с использованием специально разработанного программного обеспечения |16|, что позволило классифицировать каждый отсчет сигнала как принадлежащий или не принадлежащий к моменту активации,
2.3, Предобработка данных. Этан предобработки данных долится на два: коррекция разметки и подготовка обучающих данных. При коррекции разметки сопоставлялись разметка, сформированная экспертом, и моменты активации на реальном сигнале. Было проведено сведение набора индексов, соответствующих пикам в сигнале с единичными активациями, На полученных таким образом данных наблюдался сильный дисбаланс классов. Чтобы избежать этого, единичные активации были заменены функциями унимодального тина (рис, 1),
В ходе коррекции исходной разметки были выявлены ошибки локализации: часть разметки, сгенерированная автоматически упрощенными методами, была упущена экспертом и не была удалена из тренировочной выборки. Дня устранения артефактов анализировались все валидные капаны из предоставленных, нараллелыю. Моменты активации рас-
полагаются во всех отведениях (каналах) сигнала примерно в одном месте, с возможной погрешностью в несколько сотен микросекунд. Отмеченный момент активации считается ложным в том случае, если он отсутствует в более чем половине всех активных каналов, В таком случае метка удаляется из выборки с последующей коррекцией сегментации.
Протокол формирования тренировочной выборки представлен следующими этапами:
1) Из предоставленных файлов выбирался один для формирования тестовой выборки;
2) Оставшиеся файлы разбивались на обучающую выборку по следующему принципу:
— случайно, с равной вероятностью, выбирался файл;
— в данном файле равновероятно выбирался канал;
— на сигнале с данного канала случайным образом выбиралась точка;
— случайным образом выбиралось смещение относительно выбранной точки;
— в конечном счете, относительно данного смещения вырезался фрагмент сигнала длительностью 2 секунды (10 ООО сэмплов сигнала) с соответствующей данному сигналу сегментацией.
Случайный выбор компоненты сигнала и смещения подчиняется закону равномерного распределения вероятности. Согласно данному протоколу, была сформирована обучающая выборка, содержащая 100 ООО размеченных примеров,
2,4, Описание архитектуры сети. В качестве целевой архитектуры сегментирующей нейронной сети выбрана модификация сети UNet: UNet ID, адаптированная для обработки одномерных сигналов. Архитектура состоит из двух частей: энкодер и декодер. На вход поступает участок сигнала, после чего производим процедуру downsampling, выделяя на каждом уровне карту признаков. После чего производится upsampling с конкатенацией карт признаков, полученных на первом этапе.
Обученная модель сохраняется в формате ONNX для дальнейшего использования в инфраструктуре программного комплекса.
При работе модели на конечном устройстве будет осуществляться следующий сценарий работы:
1) На вход модели поступает запись электрограммы, у которой обрабатываются все активные каналы. Решение об отклонении канала принимается из расчета стандартного отклонения и превышения некоторого порогового значения, установленного экспериментально;
2) При обработке одного канала данные в модель поступают партиями по 2 секунды. Проводится операция масштабирования амплитуды сигнала так, чтобы его максимальное и минимальное попадали в диапазон [— 1,1], Результатом обработки сигнала выступает некоторая локализованная область момента активации;
3) Для уточнения времени момента активации по дискретным значениям сигнала в локализованной области строится сплайн для повышения дискретизации. Это позволит точнее определить положение точки с минимальной первой производной;
4) После полной обработки записи, запускается проверка на некорректность сегментации сигнала путем поиска одиночных артефактов: из полученной разметки удаляются сегменты, которые по конкретной временной метке не имеют парных на большей части других каналов.
Графически архитектура решения представлена на рис, 2, В таблице 1 отображены значения размера ядра свертки (kernel^size) и размер отступов (padding) на каждом уровне архитектуры. Шаг свертки выбран по умолчанию равным единице. Для такой архитекту-
ры количество параметров сети равно 6 606 625, При обучении использовался оптимизатор Adam [6] в силу следующих преимуществ:
— скорость обучения для каждого параметра автоматически адаптируется на основе их градиентов и вторых моментов градиентов, что позволяет эффективно управлять шагами обучения для каждого параметра;
— оптимизатор объединяет в себе идеи метода момента (когда используется момент градиента) и адаптивной скорости обучения (когда скорость обучения адаптируется для каждого параметра), позволяя оптимизатору более эффективно обновлять параметры нейронной сети и преодолевать проблемы «застревания» в локальных минимумах;
— хорошо подходит для обучения на больших объемах данных или в случае разреженных градиентов, так как он эффективно адаптирует скорость обучения и обновляет параметры сети;
— вычислительная эффективность, благодаря использованию накопленных моментов,
2.5, Функция потерь. Одной из наиболее используемых функций потерь в задаче сегментации является Dice Loss [12-14], представляющая собой метрику "Intersection Over Union" из области компьютерного зрения, которая измеряет степень перекрытия между областями, предсказанными моделью, и истинными областями на сигнале, выражая отношение пересекающихся образцов к общему числу образцов, занимаемых предсказанным и истинным расположением пиков. Среди преимуществ данной функции потерь выделяют устойчивость к несбалансированным классам, а ее применение в задаче сегментации обеспечивает хорошие показатели выделения целевого объекта. Формулу данной функции можно представить в следующем виде:
N
Е У г • Уг
DiceLoss =1 - 2 • -, (2)
Е {у% + Уг) + е
г=1
где N — размер входного вектора, уг — i-ая компонента предеказания, уj — i-ая компонента истины, е — небольшое число для избежания деления на 0,
Для избежания проблем, связанных с невыпуклостью функции Dice Loss, к ней добавляется Cross Entropy Loss, получая новую функцию потерь, называемую BCE^DICE [7],
Формулу Cross Entropy Loss можно представить в следующем виде:
1 N
ВСЕ = --J2[Уг • log(yi) + (1 - Уг) • log(1 - уг)], (3)
г=1
где N — размер входного вектора, уг — i-ая компонента предек азания, yi — i-ая компонента истины.
Функция BCE^DICE Loss представляет собой сумму Cross Entropy Loss и Dice Loss, что обеспечивает наиболее стабильное обучение модели,
2.6, Описание программной части. Программное обеспечение для взаимодействия с электрограммами, проверки гипотез и проведения экспериментов можно разделить на несколько модулей:
— модуль для загрузки, предобработки и стандартизации сигналов электрограмм для задач сегментации, подсчета характеристик исследуемого объекта, обучения нейронной сети;
64x625 ) [ 64x625 )
Рис.2. Архитектура сети UNet ID, применяемая для сегментации электрограмм
Таблица 1
Значения kernel_size и padding для слоев сети
Энкодер Декодер
kernel size padding kernel size padding
9 4 8 3
17 8 14 6
17 8 14 6
29 14 22 10
29 14 22 10
29 14 30 14
41 20 - -
— модуль, реализующий архитектуру сети, отвечающий за организацию обучения нейронной сети, валидирование и тестирование полученной модели, анализ процесса обуче-
— компонента, отвечающая за подсчет метрик качества обученной модели, анализ полученных ошибок, а также графическую демонстрацию параметров нейронной сети;
— модуль графического интерфейса, ориентированный на демонстрацию и обеспечение интерактивного взаимодействия с сигналом электрограммы: сегментация, корректировка разметки, подсчет биологических характеристик, оценка распространения электрического импульса.
Таблица 2
Значение метрики Recall, Precision и Fl-score по каждой записи
Идентификатор файла Recall Precision F1 score
22ph0 0.95 0.97 0.96
22phl 0.95 0.59 0.73
23ph0 0.92 0.92 0.92
23phl 0.57 0.80 0.67
25ph0 0.85 0.87 0.86
25phl 0.31 0.87 0.46
26ph0 0.98 0.81 0.88
26phl 0.89 0.53 0.67
Языком разработки программного комплекса выбран Python по ряду причин: гибкость языка позволяет быстро и просто интегрировать дополнительный функционал, а натив-ность большинства библиотек машинного обучения позволяет воспроизводить сложные архитектурные решения с интерактивными механизмами отслеживания процесса обучения модели,
В качестве базового фреймворка для обучения нейронной сети выбран PyTorch. Для обработки сигналов электрограмм использовались библиотеки NumPv и SeiPv, в силу широкого спектра возможностей и скорости обработки больших массивов данных. Получение сводной информации о процессе и результатах обучения модели осуществляется инструментарием модуля MLflow,
3. Результаты. Результат кросс-валидации приведены в таблице 2, Метрики измерялись после всех этапов локализации моментов активации в сигнале электрограммы, включая избавление от артефактов сегментации и уточнения точки минимального значения производной.
Как можно видеть из таблицы, были получены высокие значения метрики F1 на файлах 22ph0, 23ph0, 25ph0, 26ph0, Это связано с тем, что сигнал в данных файлах содержит минимальное количество шумов и артефактов. Файлы 22phl, 23phl, 25phl, 26phl были записаны в условиях эксперимента с введением стимулирующего вещества в исследуемый объект. Для таких сигналов сторонняя система диагностики предоставила разметку с большим числом ошибок, которые сложно исправить эксперту вручную.
Для реализации дальнейших итераций реализации программного обеспечения разработана программа коррекции автоматической разметки для эксперта. Это позволит подготовить качественную разметку для обучающей выборки, тем самым повысив предиктивную способность модели.
Заключение, В ходе реализации программного обеспечения для сегментации и обработки электрограмм реализована сегментирующая нейронная сеть для локализации моментов активации в сердце крысы. Была достигнута средняя метрика F1, равная 0,77, Были проанализированы базовые ошибки, которые в основном сосредоточены в подготовке разметки. Для их исправления разработан программный модуль.
Таким образом, в ходе проведения представленной работы были продемонстрированы хорошие перспективы разработки программного обеспечения для эффективной и результативной обработки электрограмм.
Список литературы
1. Baldazzi, G., Orrii, М., Viola, G. and Pani, D. Computer-aided detection of arrhvthmogenic sites in post-ischemic ventricular tachycardia // Scientific Reports. 2023. 13(1). P. 6906-6917. DOI: 10.1038/s41598-023-33866-w.
2. Louisse, Jochem. Assessment of acute and chronic toxicity of doxorubicin in human induced pluripotent stem cell-derived cardiomvocvtes. Toxicology In Vitro 42. 2017. P. 182-190. DOI: 10.1016/j.tiv.2017.04.023.
3. Kujala, Ville J. Laminar ventricular myocardium on a microelectrode array-based chip // Journal of Materials Chemistry. 2016. P. 3534-3543. DOI: 10.1039/D0BM01373K.
4. Kharkovskava E., Osipov G., Mukhina I. V. Ventricular fibrillation induced by 2-aminoethoxvdiphenvl borate under conditions of hvpoxia/reoxvgenation // Minerva Cardioangiologica 68.6. 2020. P. 619-628. DOI: 10.23736/S0026-4725.20.05376-1.
5. Moskalenko V., Zolotvkh N., Osipov G. Deep learning for ECG segmentation // Advances in Neural Computation, Machine Learning, and Cognitive Research III: Selected Papers from the XXI International Conference on Neuroinformatics, Springer International Publishing. 2020. P. 246-254. DOI: 10.1007/978-3-030-30425-6^29.
6. Zhang, Z. Improved adam optimizer for deep neural networks // 26th international symposium on quality of service. IEEE, 2018. P. 1-2. DOI: 10.1109/IWQoS.2018.8624183.
7. Zhou, L., Zhang, C. and Wu, M. D-LinkNet: LinkNet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction //In Proceedings of the IEEE conference on computer vision and pattern recognition workshops. IEEE, 2018. P. 182-186.
8. Ни M., Frega M., Tolner E.A., van den Maagdenberg A.M.J.M., Frimat J. P., le Feber J. MEA-ToolBox: an Open Source Toolbox for Standardized Analysis of Multi-Electrode Array Data // Neuroinformatics. 2022 Oct; 20(4):1077-1092. DOI: 10.1007/sl2021-022-09591-6. Epub 2022 Jun. 9. PMID: 35680724; PMCID: PMC9588481.
9. Dastghevb R. M., Yoo S. W., Haughev N. J. MEAnalvzer — a Spike Train Analysis Tool for Multi Electrode Arrays // Neuroinformatics. 2020 Jan; 18(1):163-179. DOI: 10.1007/sl2021-019-09431-0. PMID: 31273627.
10. Li Z, Wang Y, Zhang N, Li X. An Accurate and Robust Method for Spike Sorting Based on Convolutional Neural Networks. Brain Sci. 2020 Nov. 11; 10(11):835. DOI: 10.3390/brainscil0110835. PMID: 33187098; PMCID: PMC7696441.
11. Ottom M. A., Rahman H. A., Dinov I. D. Znet: deep learning approach for 2D MRI brain tumor segmentation // IEEE Journal of Translational Engineering in Health and Medicine. 2022. T. 10. S. 1-8. DOI: 10.1109/JTEHM.2022.3176737.
12. Yang Q., Zhang H., Xia J., Zhang, X. Evaluation of magnetic resonance image segmentation in brain low-grade gliomas using support vector machine and convolutional neural network // Quantitative Imaging in Medicine and Surgery, 11(1), 300. DOI: 10.21037/qims-20-783.
13. Yang S., Kweon J., Roh J. H., Lee J. H., Kang H., Park L. J., Park S. J. Deep learning segmentation of major vessels in X-ray coronary angiography // Scientific reports, 9(1), 16897. DOI: 10.1038/s41598-019-53254-7.
14. Yildirim O., Baloglu U. В., Acharva U. R. A deep convolutional neural network model for automated identification of abnormal EEG signals // Neural Computing and Applications. 2020. T. 32. N 20. C. 15857-15868. DOI: 10.1007/s00521-018-3889-z.
15. Smirnov L. A., Osipov G.V., Kotikhina E.E., Smirnov R. O., Rvbkin A.V., Moskalenko V. A., Karchkov D. A. A software for visualization, segmentation and marking of electrical graph signal // Type: Certificate of state registration of a computer program. Certificate number: RU 2023685068. Publication year: 2023. Registration date: 11/16/2023.
Рыбкин Антон Васильевич — окончил Нижегородский государственный университет им. Н. И. Лобачевского в 2022 году. В настоящее время обучается в магистратуре. Его исследовательские интересы включают обработку биологических сигналов, глобальную оптимизацию и компьютерное зрение. E-mail: tosharybking@ gmail.com. Тел.: +7 921 150 16 17.
Rybkin Anton Vasilievich — graduated from Nizhny Novgorod State University. N. I. Lobachevsky in 2022. Currently studying for a master's degree. His research interests include biological signal processing, global optimization and computer vision. E-mail: tosharybking@ gmail.com. Phone number: +7 921 150 16 17.
Смирнов Руслан Олегович — выпускник Нижегородского государственного университета им. Н. И. Лобачевского 2022 года. В настоящее время обучается в магистратуре. Его исследовательские интересы включают обработку биологических сигналов, глобальную оптимизацию, компьютерное зрение. E-mail: ruslan.ol. [email protected]. Тел.: +7 930 671 09 95.
Smirnov Ruslan Olegovich — graduated from Nizhny Novgorod State University named after. N.I. Lobachevsky in 2022. Currently studying for a master's degree. His research interests include biological signal processing, global optimization, computer vision. E-mail: [email protected]. Phone number: +7 930 671 09 95.
Котихина Елена Евгеньевна — окончила Нижегородский государственный университет им. Н. И. Лобачевского в 2010 году. В настоящее время является заведующей лабораторией «Электрофизиология и моделирование живых систем» кафедры теории управления и динамики систем Института информационных технологий, математики и механики. Ее исследовательские интере-
сы включают электрофизиологию сердца в экспериментальных условиях. E-mail: elharkov@ itmm.unn.ru. Тел.: +7 930 707 70 30.
Kotikhina Elena Evgenievna — graduated from Nizhny Novgorod State University in 2010. Currently he is the head of the laboratory "Electrophysiology and modeling of living systems" of the Department of Control Theory and System Dynamics of the Institute of Information Technologies, Mathematics and Mechanics. Her research interests include cardiac electrophysiology in experimental settings. Email: [email protected]. Phone number: +7 930 707 70 30.
Карчков Денис Александрович — выпускник Нижегородского государственного университета им. Н. И. Лобачевского 2018 года. В настоящее время является старшим преподавателем кафедры математического обеспечения и суперкомпьютерных технологий Института информационных технологий, математики и механики. Его исследовательские интересы включают обработку биологических сигналов, глобальную оптимизацию, технологии интернета вещей. E-mail: karchkov@ itmm.unn.ru. Тел.: +7 952 448 03 24.
Karchkov Denis Aleksandrovich — graduated from Lobachevsky State University of Nizhny Novgorod in 2018. Currently, he is a PhD student at the same university. His research interests are biological signal processing, global optimization, IoT technologies. E-mail: karchkov@ itmm.unn.ru. Phone number: +7 952 448 03 24.
Москаленко Виктор Алексеевич — в 2019 году окончил Нижегородский государственный университет им. Н. И. Лобачевского. В настоящее время является аспирантом того же университета. Областью научных интересов является машинное обучение. E-mail: moskalenkoviktor@list .ru. Тел.: +7 904 069 88 33.
Moskalenko Viktor Alekseevich — graduated from Lobachevsky State University of Nizhny Novgorod in 2019. Now he is a graduate
student at the same University. The field of his scientific interests are machine learning. E-mail: moskalenkoviktor@list .ru. Phone number: +7 904 069 88 33.
Hil
Осипов Григорий Владимирович — почетный выпускник Нижегородского государственного университета им. Лобачевского 1982 года. В 1989 г. получил ученую степень кандидата физико-математических наук, в 2004 г. — доктора наук. В настоящее время является профессором Нижегородского государственного университета, кафедры теории управления и динамики систем. В сферу его научных интересов входят нелинейная динамика, синхронизация, математическое моделирование, управление хаосом, формирование паттернов, теория бифуркаций, вычислительная нейронаука, машинное обучение. E-mail: [email protected]. Тел.: +7 929 040 14 04.
Osipov Grigory Vladimirovich — graduated from Lobachevsky State University of Nizhny Novgorod in 1982. He received a PhD degree in Physics and Mathematics in 1989, and a Doctor of Science in 2004. Now he is a professor at Lobachevsky State University of Nizhny Novgorod and the head of the Department of the Control Theory and System Dynamics. The field of his scientific interests includes nonlinear dynamics, synchronization, mathematical modeling, controlling chaos, pattern formation, theory of bifurcations, computational neuroscience, machine learning. E-mail: grosipov@gmail. com. Phone number: +7 929 040 14 04.
Смирнов Лев Александрович — руководитель лаборатории искусственного интеллекта и больших данных Института информационных технологий, математики и механики Университета Лобачевского, Россия. В 2013 году получил степень кандидата физико-математических наук в Институте прикладной физики имени Гапонова-Грехова РАН, Нижний Новгород. С 2008 года проводит исследования в России и Германии. С 2012 года является обладателем грантов России и Германии. Его научные интересы охватывают широкий спектр областей, включая сложные динамические сети, неравновесные процессы, формирование закономерностей и алгоритмы глубокого обучения в физике и медицине. E-mail: lev.smirnov@itmm. unn.ru. Тел.: +7 920 022 64 51.
Smirnov Lev Alexandrovich — a Head of Laboratory of AI and Big Data at Institute of Information Technologies, Mathematics and Mechanics, Lobachevsky University, Russia. In 2013, he earned a PhD degree in Physics and Mathematics from the A. V. Gaponov-Grekhov Institute of Applied Physics of the Russian Academy of Sciences, Nizhny Novgorod. Since 2008 he has conducted research in Russia and Germany. Since 2012, he has been awarded grants from Russia and Germany. His scientific interests cover a wide range of fields, including complex dynamical networks, nonequilibrium processes, pattern formation, and deep learning algorithms in physics and medicine. E-mail: lev. smirnov@itmm. unn.ru. Phone number: +7 920 022 64 51.
Дата поступления — 31.01.2024
