CC BY
29
ВЕСТНИК НОВЫХ МЕДИЦИНСКИХ ТЕХНОЛОГИЙ - 2021 - Т. 28, № 4 - С. 103-106
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - Vol. 28, № 4 - P. 103-106
УДК: 616.12 - 004.891.3 DOI: 10.24412/1609-2163-2021-4-103-106
РАЗРАБОТКА ПРОГНОСТИЧЕСКОЙ МОДЕЛИ НАСТУПЛЕНИЯ ИНФАРКТА МИОКАРДА НА ОСНОВЕ
ТЕХНОЛОГИЙ МАШИННОГО ОБУЧЕНИЯ
А.В. МАКАРИХИН*, А.Г. НЕМКОВ**, О.М. РЕЙТБЛАТ***, Д.Б. ЕГОРОВ**
*ООО «Лаборатория разработки информационно-когнитивных систем», ул. Мельзаводская, д. 8, кв. 26, г. Тюмень, 625001, Россия **Федеральное государственное бюджетное образовательное учреждение высшего образования «Тюменский государственный медицинский университет» Министерства здравоохранения Российской Федерации,
ул. Одесская, д. 54, г. Тюмень, 625023, Россия ***ГБУЗ ТО «Областная клиническая больница №1», ул. Котовского, д. 55, г. Тюмень, 625023, Россия
Аннотация. Актуальность. В настоящее время высокая смертность населения России, обусловленная болезнями системы кровообращения, является одной из самых актуальных проблем отечественной системы здравоохранения. Главным инструментом снижения смертности от таких заболеваний остаются профилактические мероприятия, эффективность которых во многом определяется таргетностью подхода. Большинство традиционных факторов риска для прогнозирования бесполезны. Необходимо получение новых прогностических знаний при использовании таких современных технологий анализа, как машинное обучение в дополнение к экспертным знаниям. Цель исследования. Анализ факторов наступления неблагоприятных кардиологических событий у прикрепленного населения медицинской организации и разработка прогностической модели на их основе. Материалы и методы исследования. С использованием инструментов анализа больших данных и методов машинного обучения было проведен анализ данных пациентов, перенесших инфаркт миокарда по сведениям, накопленным в медицинской информационной системе Тюменской области. В основу анализа легла выборка из 7557 данных пациентов. Структура выборки была разделена на две группы по признаку коронарных событий: 1. пациенты, перенесшие инфаркт миокарда; 2. пациенты с лабильной артериальной гипертензией и отсутствием на момент проведения исследования сосудистых катастроф. Суммарно для целей исследования было отобрано 130 тыс. рутинно и лабораторно зарегистрированных показателей. Результаты и их обсуждение. Была разработана модель машинного обучения, построена модель классификации с применением градиентного бустинга над решающими деревьями на базе свободно распространяемой библиотеки CatBoost, а также прикладных пакетов scikit-Iearn и eli5 для языка программирования python. Заключение. По итогам работы сделаны выводы о подкрепляющем на частоту инфаркта миокарда эффекте уровня гематокрита. Разработана модель прогнозирования инфаркта миокарда по динамике показателей за 5 недель до наступления инфаркта, учитывающая 47 признаков. Результаты, полученные в ходе «полевого» исследования, косвенно подтверждают прогностическую значимость реализованной модели.
Ключевые слова: инфаркт миокарда, факторы риска, машинное обучение, искусственный интеллект.
DEVELOPMENT OF A PREDICTIVE MODEL OF MYOCARDIAL INFARCTION BASED ON MACHINE LEARNING
TECHNOLOGIES
А.У. MAKARICHIN*, А.С. NEMKOV**, О.М. REYTBLAT***, D.B. EGOROV**
*LLC "Laboratory for the Development of Information and Cognitive Systems ", st. Melzavodskaya, 8, apt. 26, Tyumen, 625001, Russia
** Tyumen State Medical University, st. Odessa, 54, Tyumen, 625023, Russia *** Tyumen Regional Clinical Hospital №1, st. Kotovskogo, 55, Tyumen, 625023, Russia
Abstract. Introduction. The high mortality rate of the population of Russia, caused by diseases of the circulatory system, is one of the most pressing problems of the domestic health care system. Preventive measures remain the main tool for reducing mortality from such diseases, the effectiveness of which is largely determined by the targeted approach. Most of the traditional predictive risk factors are useless. New predictive knowledge is needed using advanced analysis technologies such as machine learning in addition to expert knowledge. The research purpose was to analyze the factors of adverse cardiac events in the attached population of a medical organization and to develop a prognostic model based on them. Materials and methods. Using big data analysis tools and machine learning methods, we analyzed the data of patients who had myocardial infarction according to the information accumulated in the medical information system. The analysis was based on a sample of 7.557 patient data. The sample structure was divided into two groups based on coronary events: the 1st group - the patients with myocardial infarction; the 2nd group - the patients with labile arterial hypertension and the absence of vascular catastrophes at the time of the study. In total, 130 thousand routinely and laboratory recorded indicators were selected for the purposes of the study. Results and its discussion. А machine learning model was developed. Based on these data, a classification model was built using gradient boosting over decision trees based on the free CatBoost library, as well as scikit-learn and eli5 application packages for the python programming language. Conclusion. Based on the results of the work, conclusions were drawn about the effect of hematocrit level on the frequency of myocardial infarction. A model for predicting myocardial infarction was developed based on the dynamics of indicators 5 weeks before the onset of a heart attack, taking into account 47 signs. The results obtained in the course of the "field" study indirectly confirm the predictive value of the implemented model.
Keywords: myocardial infarction, risk factors, machine learning, artificial intelligence.
Актуальность. В настоящее время высокая смертность населения России, обусловленная болезнями системы кровообращения (БСК), является одной из самых актуальных проблем отечественной системы здравоохранения [1]. Также по данным ВОЗ, стандартизированный коэффициент смертности от БСК в РФ остается одним из самых высоких в Европе [5]. Несмотря на наличие определенных успехов в лечении неотложных кардиологических состояний, главным инструментом снижения смертности от БСК остаются профилактические мероприятия, эффективность которых во многом определяется таргетно-стью подхода. При этом пригодность традиционных факторов риска для выявления атеросклероза на доклинической стадии очень спорная. Исследование INTERHEART с использованием данных 52 стран показало, что большинство традиционных факторов риска, хоть и выявляются у пациентов с инфарктом миокарда, для прогнозирования его - бесполезны [8].
В Тюменской области, благодаря созданию централизованной лаборатории и работе с 2016 г. амбулаторного звена в электронной медицинской карте, сформировался существенный объём истинных медицинских данных [6], что позволяет предполагать возможность получения новых прогностических знаний при использовании таких современных технологий анализа, как машинное обучение в дополнение к экспертным знаниям.
Цель исследования - анализ факторов наступления неблагоприятных кардиологических событий у прикрепленного населения медицинской организации и разработка прогностической модели на их основе. В основе этой работы лежит междисциплинарный подход, обобщающий применение экспертных знаний, инструментов анализа больших данных и методов машинного обучения.
Для достижения поставленной цели были выделены следующие задачи:
1. Подготовка данных: выравнивание, нормализация, очистка;
2. Определение периода прогностической значимости исследуемых данных и набора исследуемых признаков;
3. Построение прогностической модели;
4. Оценка качества прогностической модели.
Материалы и методы исследования. С использованием инструментов анализа больших данных и методов машинного обучения было проведен анализ данных пациентов, перенесших инфаркт миокарда (ИМ) по сведениям, накопленным в медицинской информационной системе Тюменской области, которая хранит информацию о 1.61 млн. приписного населения и включает в себя приблизительно 22.6 млн. протоколов осмотров, 8.1 млн. электронных рецептов, 1.6 млн. исследований и порядка 125 млн. зарегистрированных показателей здоровья граждан,
а также другие структурированные/неструктурированные данные. В основу анализа легла выборка из 7557 данных пациентов. Структура выборки была разделена на две группы по признаку коронарных событий: 1) пациенты, перенесшие ИМ; 2) пациенты с лабильной артериальной гипертензией и отсутствием на момент проведения исследования сосудистых катастроф (НеИМ). Суммарно для целей исследования было отобрано 130 тыс. рутинно и лабора-торно зарегистрированных показателей.
На следующем этапе была разработана модель машинного обучения. На основании этих данных была построена модель классификации с применением градиентного бустинга над решающими деревьями на базе свободно распространяемой библиотеки CatBoost, а также прикладных пакетов scikit-learn и eli5 для языка программирования python, что в совокупности сделало возможным осуществить анализ данных пациентов за 5 недель до наступления инфаркта и обнаружить, в том числе, краткосрочные тенденции (факторы), недостаточно описанные в современной литературе.
Набор критериев полученной модели определялся экспертно с учётом полноты исследуемых данных для сохранения прогностической значимости модели.
Результаты и их обсуждение. Период прогностической значимости (5 недель) был определён экспериментально путём добавления переменных, соответствующих периоду наблюдения, и их исключения при снижении прогнозной способности модели. В качестве метрики использовалась Логистическая функция ошибки, результаты доступны в табл. 1.
Результаты ретроспективного анализа, отражены на рис. 1 *, где представлена диаграмма влияния факторов наступления коронарных событий. Она получена с помощью методов машинного обучения и характеризует удельный вес признака на наступление инфаркта.
Среди наиболее выделяющихся признаков - традиционные: пол, возраст, уровень холестерина венозной крови, уровень липопротеинов низкой плотности венозной крови и индекс массы тела в последнюю неделю до ИМ. Все эти признаки хорошо известны. Необычным с точки зрения удельного веса в данной выборке оказался гематокрит.
Для исследования данного показателя, было вы-
Таблица 1
Сравнение точности алгоритмов по Logloss критерию
Оценщик Недели наблюдения (количество признаков)
0 (11) 1 (20) 2 (29) 3 (38) 4 (47) 5 (56)
Logloss Learn 0.2733 (0.0) 0.2030 (-0.0703) 0.2224 (+0,0194) 0.1810 (-0,0414) 0.1534 (-0,0276) 0.1752 (+0.0218)
Test 0.3663 (0.0) 0.3050 (-0,0613) 0.2946 (-0,0104) 0.2769 (-0,0177) 0.2580 (-0,0189) 0.2792 (+0.0212)
*
Рисунки данной статьи представлены на обложке 3-4
полнено сопоставление групп пациентов по максимальному уровню гематокрита за период наблюдения. Результат отражен на рис. 2, 3.
На рис. 2 видно, что доля ИМ увеличивается вместе с уровнем гематокрита и уменьшается при его снижении. 60% пациентов, перенесших ИМ, имели максимальный уровень гематокрита в диапазоне от 40 до 50, в то время как 53% пациентов из противоположной группы имели уровень гематокрита от 30 до 40. На рис. 3 видно, что точка гематокрита, разделяющая две группы, находится в интервале значений 40-45. При этом коэффициент корреляции Спирмена между коронарным событием и максимальным уровнем гемато-крита дает небольшое значение =0.176, что свидетельствует о подкрепляющем эффекте данного показателя.
Рабочая гипотеза такова, что у пациентов перенесших ИМ, гематокрит в комбинации с другими признаками, в конечном итоге, провоцировал тромбоз и последующий инфаркт. Информация о состоянии анатомии сосудов намеренно не была включена в исследование, ввиду валового отсутствия её у второй группы наблюдаемых. Полученные выводы лежат в основе модели машинного обучения, метрики которой представлены далее.
Метрики модели. Для оценки алгоритмов в задачах бинарной классификации, как правило, используется матрица ошибок (confusion matrix) [3]. В нашем случае есть два класса и алгоритм, предсказывающий принадлежность каждого объекта одному из классов. Сформированная матрица ошибок на базе нашего алгоритма отражена на рис. 4, в соответствии с которым был выполнен расчет общей доли правильных ответов: доля правильных ответов характеризует способность модели правильно определять истинно-больных и истинно-здоровых пациентов и рассчитывалась по формуле (Accuracy): (TP + TN)/(TP + FP + FN + TN) = 0.89.
Как показывает расчетное значение, модель демонстрировала хорошую долю правильных ответов (Accuracy = 0.89), но не учитывала сбалансированность выборки, поэтому был рассмотрен баланс классов более детально, что представлено в табл. 2.
Важно отметить, что в бинарной классификации чувствительность положительного класса равна специфичности отрицательного класса. Для расчета показателей применялась метрика для оценки точности классификационных моделей [2]. Согласно табл. 2 «Точность (Precision)» отражает долю правильно классифицированных больных пациентов от общего количества пациентов, классифицированных, как больные, и рассчитывается по формуле: TP/(TP + FP); «Чувствительность (Se)» демонстрирует долю правильно классифицированных больных пациентов от общего фактического количества больных пациентов и рассчитывается по формуле: TP/(TP + FN); «Специфичность (Spe)» характеризует долю правильно классифицированных здоровых пациентов от общего количества здоровых и рассчитывается по формуле: TN/(FP + TN).
Таблица 2
Оценка точности классификационных моделей
Класс Точность (Precision) Чувствительность (Se) Специфичность (Spe) F1 -score Количество
НеИМ 0.90 0.96 0.66 0.93 303
ИМ 0.84 0.66 0.96 0.74 90
Ave/Total 0.87 0.81 0.81 0.83 393
В отличие от доли правильных ответов (Accuracy), «Точность» и «Чувствительность» не зависят от соотношения классов и потому применимы в условиях несбалансированных выборок. Тем не менее качество алгоритма находится приблизительно посередине между точностью и специфичностью, и для того, чтобы найти эту середину, используется F1 -score критерий [4]. Он выступает средней гармонической этих двух метрик и рассчитывается по формуле: (1 + р2) * (precision * recall/(Р2 * precision) + recall).
Где р, в данном случае, определяет вес точности в метрике, и при р = 1, это среднее гармоническое (с множителем 2, чтобы в случае precision = 1 и recall = 1 иметь F1 = 1). Таким образом, способность алгоритма качественно относить пациентов к группе ИМ с использованием F1-score критерия составляет 74%.
Несмотря на все преимущества взвешенного прогностического критерия F1 -score и его доступную интерпретацию, основной метрикой определения качества модели в нашем случае выступила логистическая функция потерь [7]: 1 п
LogLoss = — ) [yt log^ + (1 - yt) log(1 - %)],
П Z—i
i=0
где у - это ответ алгоритма на г-ом объекте; у - истинная метка класса на г-ом объекте, а п - размер выборки.
Можно представить минимизацию logloss, как задачу максимизации точности (Accuracy) путем штрафа за неверные прогнозы. Такой подход позволяет вести «жадную» оценку штрафом при неверном ответе классификатора. Этот метод позволяет отсекать выбросы в данных, которые нужно не забывать фильтровать или рассматривать отдельно. Оптимальное значение logloss для данной модели на имеющихся данных = 0.2580, этому значению соответствуют метрики, полученные в табл. 2.
Полученная модель была апробирована на данных приписного населения медицинской организации амбулаторного звена в городе Тюмени. Были отобраны зарегистрированные показатели пациентов за 5 недель до текущей даты и отправлены в модель для формирования прогноза наступления неблагоприятных коронарных событий. Система классифицировала 56 пациентов как лиц, имеющих с высокой степенью вероятности получение коронарной катастрофы. Данные этих пациентов были направлены в учреждение для проведения дополнительного исследования и оценки клинического состояния. В результате были получены характеристики исследуемой группы, которые представлены в табл. 3, где доли групп содержат
ВЕСТНИК НОВЫХ МЕДИЦИНСКИХ ТЕХНОЛОГИЙ - 2021 - Т. 28, № 4 - С. 103-106
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - Vol. 28, № 4 - P. 103-106
пересечения относительно общей суммы.
Таблица 3
Характеристики исследуемой группы
п/п Доля в группе Описание доли
1 55,4% Имели ИБС
2 25,0% Имели по ЭКГ нарушение реполяризации. Из них 10,7% провели каротидную ангиографию
3 26,8% Имели сахарный диабет 2 типа, из них 7,1% перенесли катастрофу
4 35,7% Перенесли сосудистые катастрофы: 12,5% -ОНМК; 16,1% - МПИКС; 7,1% - ПИКС-ОНМК
5 39,3% Получили ВМП, из них 25% перенесли катастрофу
6 28,6% Имеют фактор риска повышенной мочевой кислоты
7 30,4% Имеют превышение креатинина более 90 ммоль/л, из них 17,9% перенесли катастрофу
8 25% Имеют превышение триглицеридов
Таким образом, можно сделать следующие выводы:
1) Уровень гематокрита оказывает подкрепляющий эффект на частоту ИМ. 60% пациентов, перенесших ИМ, имели максимальный уровень гематокрита в диапазоне от 40 до 50, в то время как 53% пациентов из противоположной группы имели уровень гематокрита ниже (от 30 до 40).
2) Разработана модель прогнозирования ИМ по динамике показателей за 5 недель до наступления инфаркта, учитывающая 47 признаков. На выборке 5% от генеральной совокупности, точность модели составляет согласно F1-score критерию 74%, логистическая функция потерь достигает минимального значения 0.2580.
3) Результаты, полученные в ходе «полевого» исследования, косвенно подтверждают прогностическую значимость реализованной модели.
4) Инструменты анализа больших данных и методы машинного обучения позволяют взглянуть на проблему инфаркта с точки зрения «анатомии данных» и получить в том числе, новые знания о причинах его возникновения и развития.
Литература / References
1. Григорьева Н.С., Демкина А.Е. Ограничения и возможности для достижения целей национального проекта «Здравоохранение» в борьбе с сердечно-сосудистыми заболеваниями в условиях современной модели государственного устройства // Государственное управление. Электронный вестник. 2019. №76. С. 258-278 /
Grigor'eva NS, Demkina AE. Ogranicheniya i vozmozhnosti dlya dosti-zheniya tseley natsional'nogo proekta «Zdravookhranenie» v bor'be s ser-dechno-sosudistymi zabolevaniyami v usloviyakh so-vremennoy modeli gosudarstvennogo ustroystva [Limitations and opportunities for achieving goals of national healthcare project in the fight against cardiovascular diseases in the context of a modern state model]. Gosudarstvennoe upravlenie. Elektronnyy vestnik. 2019;76:258-78. Russian.
2. Информационно-образовательный портал, посвященный вопросам анализа и обработки данных [Электронный ресурс] // Лучшая метрика для оценки точности классификационных моделей. Режим доступа: http://datareview.info/article/luchshaya-metrika-dlya-ocenki-tochnosti-klassifikacionnyx-modelej/ (Дата обращения: 01.09.2021) / Information and educational portal dedicated to the analysis and processing of data [Internet]. The best metric for assessing the accuracy of classification models. Russian. Available from: http://datare-view.info/article/luchshaya-metrika-dlya-ocenki-tochnosti-klassi-fikacionnyx-modelej/ (cited: 2021 Sep 01).
3. Информационный портал, посвященный вопросам анализа и обработки данных [Электронный ресурс] // Confusion Matrix — Deep Dive. Адрес доступа: https://towardsdatascience.com/confusion-matrix-deep-dive-8a028b005a97. Дата обращения: 01.09.2021 / Information portal dedicated to the analysis and processing of data [internet]. Confusion Matrix - Deep Dive. Rus-sian. Available from: https://to-wardsdatascience.com/confusion-matrix-deep-dive-8a028b005a97. (cited: 2021 Sep 01).
4. Мюллер А., Гвидо С. Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными. Вильямс, 2017. С. 306 / Müller A, Guido C. An Introduction to Machine Learning with Python. A guide for data scientists [Vvedenie v mashinnoe obuchenie s pomoshch'yu Python. Rukovod-stvo dlya spetsialistov po rabote s dannymi]. Williams; 2017. Russian.
5. Оганов Р.Г., Масленникова Г.Я. Демографические тенденции в Российской Федерации: вклад болезней системы кровообращения // Кардиоваскулярная терапия и профилактика. 2012. № 11(1). С. 5-10 / Oganov RG, Maslennikova GYa. Demograficheskie tendentsii v Rossiyskoy Federatsii: vklad bolezney sistemy krovoobrashcheniya [Demographic trends in the Russian Federation: the contribution of diseases of the circulatory system]. Kardiovaskulyarnaya terapiya i profilaktika. 2012;11(1):5-10. Russian.
6. РИА Новости. Тюменская область // В Тюменской области сократилась смертность от сердечных заболеваний. [Электронный ресурс] Адрес доступа: https://ria.ru/20191101/1560488325.html. Дата обращения: 01.09.2021 / RIA News. Tyumen region // In the Tyumen region, mortality from heart disease has decreased. [Electronic resource] Available from: https://ria.ru/20191101/1560488325.html. Date of access: 01.09.2021. Russian.
7. Vidgen R., Kirshner S., Tan F. Business Analytics: A Management Approach Kindle Edition. Red Globe Press, 2019. P. 223 / Vidgen R, Kirshner S, Tan F. Business Analytics: A Management Approach Kindle Edition. Red Globe Press; 2019.
8. Yusuf S., Hawken S., Ôunpuu S. Effect of potentially modifiable risk factors associated with myocardial infarction in 52 countries (the INTERHEART study): case-control study // Lancet. 2004. № 364. P. 937952 / Yusuf S, Hawken S, Ôunpuu S. Effect of potentially modifiable risk factors associated with myocardial infarction in 52 countries (the INTERHEART study): case-control study. Lancet. 2004;364:937-52.
Библиографическая ссылка:
Макарихин А.В., Немков А.Г., Рейтблат О.М., Егоров Д.Б. Разработка прогностической модели наступления инфаркта миокарда на основе технологий машинного обучения // Вестник новых медицинских технологий. 2021. №4. С. 103-106. БОТ: 10.24412/1609-2163-2021-4-103-106.
Bibliographic reference:
Makarichin AV, Nemkov AG, Reytblat OM, Egorov DB. Razrabotka prognosticheskoy modeli nastupleniya infarkta miokarda na osnove tekhnologiy mashinnogo obucheniya [Development of a predictive model of myocardial infarction based on machine learning technologies]. Journal of New Medical Technologies. 2021;4:103-106. DOI: 10.24412/1609-2163-2021-4-103-106. Russian.
