CC BY
99
Российский кардиологический журнал 2021;26(12):4618
doi:10.15829/1560-4071-2021-4618 https://russjcardiol.elpub.ru
ОБЗОРЫ ЛИТЕРАТУРЫ ISSN 1560-4071 (print) ISSN 2618-7620 (online)
Совершенствование возможностей оценки сердечно-сосудистого риска при помощи методов машинного обучения
Гусев А. В.1, Гаврилов Д. В.1, Новицкий Р. Э.1, Кузнецова Т. Ю.2, Бойцов С. А.3
Рост распространенности сердечно-сосудистых заболеваний (ССЗ) определяет важность их прогноза, необходимость точной стратификации рисков, профилактических и лечебных воздействий. Большие базы медицинских данных и технологии их обработки в виде алгоритмов машинного обучения, появившиеся в последние годы, потенциально позволяют улучшить предсказательную точность и персонализировать терапевтические подходы к ССЗ. В обзоре исследуется применение машинного обучения в предсказании и определении клинических событий кардиологического профиля. Обсуждается роль данной технологии как в расчете общего сердечно-сосудистого риска, так и предсказании отдельных заболеваний и событий. Сравнивается предсказательная точность с принятыми шкалами расчета рисков и действие различных алгоритмов машинного обучения. Анализируются условия для применения машинного обучения и возможности разработки персонализированной тактики ведения больных с ССЗ.
Ключевые слова: сердечно-сосудистые заболевания, оценка риска, предсказание сердечно-сосудистых событий, машинное обучение, искусственный интеллект.
Отношения и деятельность. Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Соглашения № 075-15-2021-665.
1К-Скай, Петрозаводск; 2ФГБОУ ВО ПетрГУ, Петрозаводск; 3ФГБУ НМИЦ Кардиологии Минздрава России, Москва, Россия.
Гусев А. В. — к.т.н., директор по развитию, ORCID: 0000-0002-7380-8460, Гаврилов Д. В.* — эксперт по медицине, ORCID: 0000-0002-8745-857Х, Новиц-
кий Р. Э. — генеральный директор, ORCID: 0000-0002-2350-977X, Кузнецова Е. Ю. — д.м.н., доцент, зав. кафедрой факультетской терапии, фтизиатрии, инфекционных болезней и эпидемиологии, ORCID: 0000-00026654-1382, Бойцов С. А. — д.м.н., профессор, академик РАН, генеральный директор, ORCID: 0000-0001-6998-8406.
*Автор, ответственный за переписку (Corresponding author): dgavrilov@webiomed.ai
АГ — артериальная гипертензия, АМО — автоматизированное машинное обучение, ГО — глубокое обучение, ИБС — ишемическая болезнь сердца, ИМ — инфаркт миокарда, МО — машинное обучение, ОКС — острый коронарный синдром, СД — сахарный диабет, СН — сердечная недостаточность, ССЗ — сердечно-сосудистые заболевания, ССР — сердечно-сосудистый риск, ССС — сердечно-сосудистые события, ФР — факторы риска, ЭМК — электронная медицинская карта, Accuracy — точность, AUC (area under curve) — площадь под кривой.
Рукопись получена 26.07.2021
Рецензия получена 17.08.2021 ^сс^ТТИН
Принята к публикации 25.10.2021 ^
Для цитирования: Гусев А. В., Гаврилов Д. В., Новицкий Р. Э., Кузнецова Т. Ю., Бойцов С. А. Совершенствование возможностей оценки сердечно-сосудистого риска при помощи методов машинного обучения. Российский кардиологический журнал. 2021;26(12):4618. doi:10.15829/1560-4071-2021-4618 ®
Improvement of cardiovascular risk assessment using machine learning methods
Gusev A. V.1, Gavrilov D. V.1, Novitsky R. E.1, Kuznetsova T. Yu.2, Boytsov S. A.3
The increase in the prevalence of cardiovascular diseases (CVDs) specifies the importance of their prediction, the need for accurate risk stratification, preventive and treatment interventions. Large medical databases and technologies for their processing in the form of machine learning algorithms that have appeared in recent years have the potential to improve predictive accuracy and personalize treatment approaches to CVDs. The review examines the application of machine learning in predicting and identifying cardiovascular events. The role of this technology both in the calculation of total cardiovascular risk and in the prediction of individual diseases and events is discussed. We compared the predictive accuracy of current risk scores and various machine learning algorithms. The conditions for using machine learning and developing personalized tactics for managing patients with CVDs are analyzed.
1K-Skai, Petrozavodsk; Petrozavodsk State University, Petrozavodsk; 3National Medical Research Center of Cardiology, Moscow, Russia.
Gusev A. V. ORCID: 0000-0002-7380-8460, Gavrilov D.V.* ORCID: 0000-0002-8745-857X, Novitsky R. E. ORCID: 0000-0002-2350-977X, Kuznetsova T.Yu. ORCID: 0000-0002-6654-1382, Boytsov S. A. ORCID: 0000-0001-6998-8406.
'Corresponding author: dgavrilov@webiomed.ai
Received: 26.07.2021 Revision Received: 17.08.2021 Accepted: 25.10.2021
Keywords: cardiovascular diseases, risk assessment, prediction of cardiovascular events, machine learning, artificial intelligence.
Relationships and Activities. This research was financially supported by the Ministry of Science and Higher Education of the Russian Federation Theme No. 075-152021-665.
For citation: Gusev A. V., Gavrilov D. V., Novitsky R. E., Kuznetsova T.Yu., Boy-tsov S. A. Improvement of cardiovascular risk assessment using machine learning methods. Russian Journal of Cardiology. 2021;26(12):4618. doi:10.15829/1560-4071-2021-4618
Сердечно-сосудистые заболевания (ССЗ) являются ведущей причиной заболеваемости и смертности в большинстве стран мира. Каждый год от
ССЗ умирает 17,5 млн человек, а это каждая третья смерть в общемировых масштабах [1]. Такие заболевания, как ишемическая болезнь сердца (ИБС)
и инсульт, уносят больше всего человеческих жизней [2].
Прогресс в снижении заболеваемости и смертности от ССЗ имеет ключевое значение для здравоохранения любой страны мира [3]. Одним из важнейших направлений этого является комплексная профилактика, включающая скрининг, выявление и модификацию факторов риска (ФР) ССЗ [3, 4]. Основная задача профилактики ССЗ состоит в раннем и более точном выявлении лиц с высоким риском различных сердечно-сосудистых событий (ССС), и в конечном счете — прогнозирование риска смерти от ССЗ [5]. Для этого в настоящее время разработано большое количество алгоритмов, таких как SCORE, QRISK-2, Фрамингемская шкала, Reynolds, CRUSADE, GRACE и т.д. Анализ существующих подходов к оценке сердечно-сосудистого риска (ССР) выявил ряд проблем [6, 7]:
♦ невысокая прогностическая точность существующих алгоритмов ССР связана с ограниченным числом прогностических факторов, разработкой моделей на данных 30-40 летней давности, методами математической обработки;
♦ большое число различных шкал и методик по оценке ССР затрудняет их комплексное применение на рутинной практике;
♦ низкая приверженность врачей, особенно, первичного здравоохранения, к всесторонней оценке ССР, связанная с недостатком времени, отсутствием необходимых знаний и уверенности в их полезности.
В последнее время развитие и широкое внедрение электронных медицинских карт (ЭМК) открыло перспективы для решения данных проблем. Стала возможной автоматическая интерпретация имеющихся в ЭМК данных о здоровье пациентов с применением различных моделей оценки рисков, в т.ч. созданных на основе так называемых "больших данных" и технологий искусственного интеллекта, включая методы машинного обучения (МО) [8]. Более того, накапливаемые "большие данные" и современные подходы к их анализу открывают широкие перспективы в сфере научных исследований в области профилактики ССЗ, цифровой трансформации организации здравоохранения и подходов к оказанию медицинской помощи [9]. Ретроспективное использование данных позволяет выявлять и лучше понимать различные причинно-следственные связи, выявлять ценные, в т.ч., ранее скрытые закономерности. МО позволяет точнее создавать прогнозные и диагностические модели, которые могут принимать в качестве входных данных неограниченное количество признаков (features) и на их основе давать самые разнообразные оценки и прогнозы, повышая тем самым ценность ведения врачами ЭМК и обеспечивая комплексный и персонифицированный подход к оценке ССЗ. Такой подход позволяет устранить многие не-
достатки существующих практик: передать "на плечи" систем поддержки принятия врачебных решений глубокий анализ медицинских данных, повысить точность предсказания ССС за счет создания новых алгоритмов на основе МО.
В данном обзоре проведена оценка имеющихся публикаций по теме применения МО с целью создания прогностических моделей оценки рисков развития ССЗ.
Обзор исследований по применению МО для прогнозирования ССЗ
Первые исследования
С начала 2000гг возникает рост научных работ с результатами применения методов МО для создания диагностических и прогнозных моделей для ССЗ. В статье Song X, et al. демонстрируется возможность выявления пациентов высокого риска развития ССЗ с помощью моделей МО [10]. Авторами отмечается, что большинство шкал оценки рисков ССС основаны на использовании небольшого числа входных переменных, и это может быть причиной недостаточной их точности. Были созданы 2 модели, которые анализировали 37 различных признаков и предсказывали смерть пациента от ССЗ в течение ближайших 30 дней и в течение 1 года. Точность полученных моделей характеризуется площадью под кривой (Area Under Curve — AUC), которая составила 0,87 и 0,89, соответственно. Wu J, et al. применили несколько методов МО для выявления пациентов с сердечной недостаточностью (СН). Созданная на основе 10 входных признаков и логистической регрессии модель обеспечила AUC 0,77 и предсказывала СН более чем за 6 мес. до постановки клинического диагноза [11]. Jeremy C, et al. оценивали разные методы МО для создания модели предсказания инфаркта миокарда (ИМ), используя известные ФР из ЭМК. Итоговая модель обладала предсказательной точностью: AUC 0,84, точность (accuracy) 79,1%
[12]. Van Houten JP, et al. создали модель для прогнозирования рисков у пациентов с острым коронарным синдромом (ОКС), используя данные ЭМК. Ее AUC составила 0,84, а AUC для шкалы GRACE — 0,623
[13]. Dai W, et al. создали модели предсказания повторных госпитализаций пациентов с ССЗ, обучив их анализировать 59 признаков: демографические данные (возраст, пол, раса, место проживания), диагностированные заболевания, курение, артериальное давление, лабораторные и инструментальные исследования, пребывание в реанимации, число дней госпитализации и выполненные операции. Авторы применили 5 различных алгоритмов МО: опорных векторов, AdaBoost, логистическую регрессию, наивный байесовский классификатор, тест отношения правдоподобия. Алгоритм AdaBoost показал самую лучшую предсказательную точность 82% [14]. Tay D, et al. применили сложный многоэтапный подход
к созданию модели предсказания ССЗ, изначально использовав 412 входных признаков, из которых 179 продемонстрировали влияние на прогноз. Авторы пришли к выводу, что несмотря на то, что большинство входных признаков хорошо описаны в литературе как ФР, им все-таки удалось выявить некоторые плохо изученные, но в то же время значимые предикторы развития ССЗ, как, например, хронический стресс [15]. Loghmanpour NA, et al. создали модель прогнозирования риска смерти у пациентов со вспомогательными механическими устройствами левого желудочка, (accuracy 96,3%, AUC 0,89). Важной новизной этой работы стало то, что применение МО для создания более точных моделей порождает проблему "черного ящика". И поэтому необходимо стремиться не только к максимальной точности, но также обеспечивать интерпретируемость и объясни-мость результатов работы модели [16]. Churpek MM, et al. сравнивали методы МО и обычной регрессии для прогнозирования ухудшения состояния у госпитализированных пациентов с ССЗ. Авторы применили несколько подходов для создания моделей прогнозирования остановки сердца, перевода пациента в отделение интенсивной терапии и смерти. Модель, обученная алгоритмом случайного леса, была наиболее точной (AUC 0,80) [17].
Таким образом, на основании первоначальных исследований можно было заключить, что МО позволяет создавать более точные модели за счет работы с "большими данными", применения различных методов МО и создания "больших" ретроспективных наборов данных. Применение МО на основе ретроспективных данных позволяет проводить перспективные исследования и разработки, в т.ч. открывать новые взаимосвязи между предикторами ССЗ. Появление проблемы понимания работы моделей МО и интерпретации их результатов. Человеческому разуму будет сложнее объяснять решения моделей, работающих с большим количеством входящих в анализ признаков и моделирующих сложные события. Потому для повышения доверия медицинского сообщества к решению модели целесообразно искать компромисс между точностью и интерпретируемостью результатов, делая акцент на объяснимость действий модели.
Сравнение точности работы моделей МО с алгоритмами клинических рекомендаций и шкал
К 2016г было накоплено достаточно фактов, демонстрирующих перспективы МО для создания моделей разнообразных событий и прогнозов. Исследователи стали пристально сравнивать эти модели с ранее разработанными шкалами. Narain R, et al. сравнили точность фрамингемской шкалы в оценке риска развития ССЗ с моделями, созданными при помощи 5 методов МО. В результате модель, обученная методом квантовых нейронных сетей, имела
accuracy 98,5%, что было заметно выше, чем у фра-мингемской шкалы — 19,2% [18]. Motwani M, et al. разработали модель МО прогнозирования смертности пациентов с подозрением на ИБС с точностью выше, чем у фрамингемской шкалы (AUC 0,79 и 0,61, соответственно) [19]. Jae Kwon Kim и Sanggil Kang создали модель МО, предсказывающую развитие ИБС на данных корейской популяции, и ее точность также получилась выше Фрамингемской шкалы (AUC 0,74 и 0,39, соответственно). Это исследование показало, что применение общеизвестной шкалы оценки ССР в реальной клинической практике в отдельно взятой стране может приводить к более низкой её точности [20]. Shouval R, et al. создали модели МО прогнозирования смерти после ИМ с подъемом сегмента ST в течение 30 дней, предсказательная способность которых ровнялась шкале GRACE и превосходила шкалу TIMI (p<0,05), а главными предикторами негативного события стали возраст, класс Killip при поступлении, уровни артериального давления, креатинина и глюкозы крови [21]. Nanayakkara S, et al. создали прогнозную модель смерти пациентов в отделении интенсивной терапии, использовав базу данных 186 отделений интенсивной терапии Австралии и Новой Зеландии, с 1,4 млн случаев лечения или 90% всех госпитализаций в эти отделения с 200 6г по 2016г. Обученная модель показала лучшую предсказательную способность (AUC 0,87) в сравнении со шкалой APACHE III (AUC 0,80) и ANZROD (AUC 0,81) [22]. Kakadiaris LA, et al. сравнили точность расчета ССР при помощи калькулятора ACC/AHA, разработанного для оценки 10-летнего риска развития ате-росклеротического ССЗ (AUC 0,71) и созданной модели МО (AUC 0,95). На внешних валидационных данных модель МО показала лучшую точность, на 13% выявляя больше лиц с высоким ССР и на 25% меньше рекомендуя терапию статинами у лиц низкого риска. Таким образом, данная модель сокращает ложноположительные результаты и неэффективные затраты на профилактическое лечение, которое не было показано [23]. Dimopoulos AS, et al. для прогнозирования ССЗ сравнили модели МО со шкалой HellenicSCORE. HellenicSCORE имела точность 85%, специфичность 20%, чувствительность 97%, положительную прогностическую ценность 87% и отрицательную прогностическую ценность 58%. Модели, построенные с помощью различных методов МО и различным числом входных параметров, показали точность от 65 до 84%, специфичность от 46 до 56%, чувствительность от 67 до 89%, положительная прогностическая ценность от 89 до 91% и отрицательная прогностическая ценность от 24 до 45%. Самый лучший результат показал алгоритм случайного леса [24]. Quesada JA, et al. изучали перспективы МО в повышении точности предсказания ССЗ по сравнению
со шкалами SCORE и REGICOR. Авторы создали 15 моделей с различными алгоритмами МО, из которых модель с квадратичным дискриминантным анализом имела наибольшую прогностическую способность (AUC 0,70). Прогностическая точность шкал REGICOR и SCORE была значительно ниже (AUC 0,63). Таким образом, авторы подтвердили, что МО позволяет более точно выявлять пациентов высокого ССР [25].
Данные работы, выполненные в разных странах и на разных популяциях и алгоритмах МО, позволили сделать ряд важных выводов. При применении стандартных статистических методов, таких как логистическая регрессия, с выбором признаков-предикторов экспертом, требуется длительный сбор данных и используется ограниченный набор предикторов (в среднем — 7). Выбор признаков модели, основываясь на известных экспертных знаниях о заболеваниях, может приводить к игнорированию других признаков, потенциально влияющих на точность прогноза. Часто эти признаки недостаточно изучены или распространены, а их потенциальное использование будет повышать прогностическую точность в ССЗ. Применение существующих шкал оценки ССР является не самым точным подходом, с возможностью как недооценки, так и переоценки. В следствие этого эффективность профилактических мер и их персональная ценность для пациентов не высоки. Таким образом, имеется потенциал для повышения качества прогнозирования и профилактики ССЗ, т.к. модели, созданные методами МО, как правило, дают более высокую предсказательную точность, чем существующие шкалы. Применимость моделей МО наиболее точна на той популяции, где они создавались географически. Их использование на других популяциях требует дополнительных доказательств эффективности. Использование существующих шкал с ограниченным набором ФР не позволяет раскрыть весь потенциал современных ЭМК, содержащих множество клинически значимой информации. При этом встраивание моделей МО в системы поддержки принятия врачебных решений позволяет использовать теоретически неограниченное количество входных признаков, поэтому целесообразно изучить влияние такого подхода на точность работы моделей.
МО при использовании большого количества входных признаков
Одной из причин, позволяющих моделям МО давать более точные прогнозы, является их способность учитывать неограниченное количество разнообразных данных, включая как явные, так и неочевидные факторы, встречающиеся в медицинских и парамедицинских данных ЭМК. Venkatesh AB, et al. улучшили точность прогнозирования ССЗ за счет использования разнообразных признаков: демогра-
фических, данных анкетирования, традиционных ФР, электрокардиограммы, магнитно-резонансной томографии сердца и аорты, компьютерной томографии коронарных артерий, ультразвукового исследования сонных артерий, лекарственных препаратов; всего 735 признаков. Была создана модель, обученная методом случайного леса, с прогностической точностью 0,86 [26]. Ren Y, et al. создали модель прогнозирования заболеваний почек у пациентов с артериальной гипертензией (АГ) с использованием структурированных (преимущественно численных) и неструктурированных данных в ЭМК. Набор данных был составлен из 35 тыс. записей ЭМК 12 больниц Китая. Для создания моделей авторы использовали сверточную нейронную сеть (CNN), двунаправленную кратковременную память (BiLSTM), наивный байесовский метод (NB), метод опорных векторов (SVM), метод логистической регрессии (LR) и дерево решений с градиентным ускорением (GBDT). Наибольшая точность 89,7% была получена у модели BiLSTM, использующей одновременно текстовые и числовые данные [27]. Samad MD, et al. создали различные модели прогнозирования выживаемости по данным эхокардиографии. Набор данных включал сведения о 171 тыс. пациентов, которым было сделано 331 тыс. эхокардиограмм. Было выбрано 157 признаков, в т.ч. 57 из них — данные эхокардиограмм. Авторы сравнили точность работы модели с оценкой риска по фрамингемской шкале и алгоритмами оценки ССР Американского колледжа кардиологов и Американской кардиологической ассоциации. Модели на основе МО показали более высокую точность прогноза (все AUC >0,82) по сравнению с ранее принятыми шкалами определения риска (AUC от 0,61 до 0,79), а наибольшую точность прогноза 96% показала модель случайного леса [28]. Zack CJ, et al. создали модели оценки рисков смерти или госпитализации пациентов с СН, перенесших чрескожное коронарное вмешательство. Набор данных 11 тыс. пациентов включал 52 демографических и клинических признака при поступлении в стационар и 358 признаков при выписке. Модель учитывала сложные нелинейные связи данных пациента. В результате AUC модели прогноза повторной госпитализации в течение 30 дней, созданная регрессионным анализом алгоритма случайного леса, составила 0,90 [29]. Dinh A, et al. создали модель выявления пациентов на ранних стадиях ССЗ, предиабета и сахарного диабета (СД). Авторы применили различные методы МО: логистическую регрессию, метод опорных векторов (SVM), классификатор случайных лесов (RFC), градиентные деревья (GBT), взвешенную модель ансамбля (WEM) и экстремальное повышение градиента (XGBoost) для интерпретации 3900 признаков. Для выявления пациентов высокого риска СД лучше всего подошла модель, обученная ме-
тодом XGBoost (AUC 0,957), а для выявления ССЗ — взвешенная модель ансамбля (AUC 0,839). Авторы показали, что увеличение числа записей в наборе данных и максимальное использование доступных признаков (таких как лабораторные показатели, СД) позволяют существенно повысить прогностическую точность [30]. Steele AJ, et al. исследовали МО с использованием ЭМК с целью создания наиболее точных моделей прогнозирования смертности от ИБС. Были созданы 2 модели: первая обучена с использованием 27 признаков, предварительно отобранных экспертами и с известным влиянием на прогноз ССЗ. Вторую модель создали с использованием 586 признаков без учета мнения экспертов значимости признаков на целевое событие. В итоге вторая модель, обученная на расширенном наборе данных (C-индекс 0,801), превзошла модель, обученную на признаках, выбранных экспертами (С-индекс 0,793)
[31]. Pieszko K, Hiczkiewicz J, et al. прогнозировали внутрибольничную летальность при ОКС у 6769 пациентов при помощи 2 наборов данных: полного (из 53 лабораторных и клинических признаков) и краткого (23 признака). Модель, обученная на полном наборе данных, в который были включены маркеры воспаления, имела чувствительность 81,03%, специфичность 81,06% и предсказательную точность 81,0%. Авторы сделали вывод, что модели МО помогают оценить важность лабораторных и клинических характеристик для прогнозирования исходов ОКС
[32]. Angraal S, et al. создали прогнозные модели при помощи МО для амбулаторных пациентов с СН и сохранной фракцией выброса и выявили, что в одной и той же когорте пациентов разные признаки и разные модели МО по-разному влияют на 3-летний прогноз госпитализаций и летальности. Модель с использованием алгоритма случайного леса (RF) показала наилучшую точность в предсказании смерти 72%, госпитализации — 76%. Оценка по опроснику кардиомиопатий Канзас-Сити учитывает качество жизни и социальные факторы, уровень мочевины крови и индекс массы тела — существенные факторы, влияющие на прогноз. Это исследование подтверждает утверждение, что увеличение количества признаков, учитываемых моделью, в целом повышает точность ее прогноза [33].
В результате этих исследований было выявлено, что использование максимального количества входных признаков позволяет повысить прогнозную точность моделей. Целесообразно критически относиться к отбору признаков исключительно медицинскими экспертами при создании моделей МО, поскольку могут не учитываться значимые признаки, и обученная модель будет иметь низкую точность. При МО необходимо тщательно анализировать вес каждого признака и учитывать те из них, которые достоверно влияют на прогноз. У разных ССЗ и ССР признаки
и их вклад в точность модели различаются, поэтому целесообразно использовать ансамбль различных моделей для прогнозирования разных событий, а не пытаться создавать одну универсальную модель. Пропущенные в наборе данные могут существенным образом снижать точность работы моделей.
Исследования перспектив МО на больших данных
В последние несколько лет исследователи стали проводить обучение на больших наборах данных, например, на национальных базах биомедицинских данных и сведениях, объединенных из различных медицинских организаций и систем ЭМК. Weng SF, et al. исследовали возможности МО в оценке рисков развития ССЗ и их осложнений, используя 12 млн записей, накопленных в системах ЭМК из 700 клиник Великобритании. Авторы сравнили точность работы существующих шкал оценки риска AHA/ ACC с моделями МО. Модели почти на 5% точнее предсказывали истинно-положительные результаты и 0,5% ложноположительные. Также было показано, что добавление значений С-реактивного белка приводит к повышению точности модели на 1%. Таким образом, вклад ФР в наступление ССС может быть существенно переосмыслен благодаря способности МО открывать новые ФР и новые взаимосвязи между ними [34]. В работе Ye C, et al., посвященной прогнозированию развития АГ в течение 1 года, был использован один из самых крупных наборов данных. Для этого были проанализированы ЭМК штата Мэн: в ретроспективную когорту были включены 823 тыс. пациентов, в проспективную — 680 тыс. Из 15 тыс. различных признаков были взяты для МО 169: демографические данные, результаты лабораторных и рентгенографических исследований, диагнозы, выписанные рецепты, записи врачебных осмотров, ряд социально-экономических переменных. В результате была создана одна из самых точных моделей (AUC 0,91) предсказания АГ, а ее валидация на проспективной когорте показала AUC 0,87. Благодаря большому набору данных и широкому спектру признаков были обнаружены необычные предикторы развития АГ: уровень образования, использование седативных препаратов, близость продовольственных магазинов. Также учет динамических изменений некоторых предикторов, возможно, позволит улучшить точность модели, а выделение группы высокого риска развития АГ интенсифицировать профилактические мероприятия, усилить контроль над ФР [35]. Mallya S, et al., используя набор данных из 216 тыс. пациентов с 30 тыс. различных признаков, создали модель прогнозирования СН в течение 15 мес. при помощи рекуррентных нейронных сетей (RNN) с высокой точностью (AUC 0,91). Разработанная модель может поддерживать врачебные решения по активации стратегий коррекции ФР, а исследователей для си-
стематической оценки превентивных вмешательств, потенциально замедляющих развитие СН [36].
Представленные результаты исследований позволили заключить, что повышение числа записей в наборе данных позволяет существенно повысить точность работы моделей МО. Кроме того, следует тщательно готовить данные для МО и правильно работать с моделями, т.к. природа ошибок модели содержится не в закономерностях развития заболеваний, а в некачественных наборах данных.
Исследования различных методов МО для прогнозирования ССЗ
Применение больших наборов данных с сотнями и тысячами входных признаков потребовало изучения, какие методы и подходы к МО могут обеспечить максимальную точность, а какие — лучшую интерпретируемость. Wallert J, et al. создали прогнозную модель выживаемости в течение 2 лет после первого ИМ. Авторы исследовали 4 алгоритма МО: биномиальная линейная регрессия (LR), Boosted C5.0, случайный лес (RF) и нелинейный SVM, который показал наилучшую AUC 0,845 [37]. Golas SB, et al. создали модель прогнозирования повторной госпитализации в течение 30 дней пациентов с СН с оценкой 34 тыс. различных признаков, извлеченных из ЭМК. Авторы применили искусственные нейронные сети и глубокое обучение (ГО) для разработки модели с использованием глубокой нейронной сети (DNN), автоэнкодера, глубокой сети убеждений (CDBN), машины Больцмана, рекуррентной нейронной сети (RNN), сверточной нейронной сети (CNN) и глубоких унифицированных сетей (DUN), которые показали лучшую AUC 0,70 [38]. Xia E, et al. исследовали предсказание ОКС алгоритмом k-средних. Авторы пришли к выводу, что кластерный анализ с использованием ориентированной на результат многозадачной нейронной сети является перспективным подходом для классификации пациентов с ИМ [39]. Sakr S, et al. опубликовали несколько работ по изучению точности прогнозирования различных событий, связанных с ССЗ [40, 41]. В 2018г авторы опубликовали результаты определения пациентов высокого риска развития АГ. Используя различные методы МО, они создали модель на основе леса случайных деревьев (RTF) с AUC 0,89 [40]. В 2019г эта же группа авторов опубликовала данные о модели, прогнозирующей длительность пребывания в стационаре пациентов с ССЗ, с лучшими результатами работы алгоритма случайного леса (AUС 0,94) [41]. Kendale S, et al. создали модель прогнозирования развития послеоперационной гипотонии, для чего было использовано 8 алгоритмов МО: логистическая регрессия (LR), случайный лес (RF), метод опорных векторов (SVM); наивный байесовский метод (NB); k-ближайший сосед (K-NN); ли-
нейный дискриминантный анализ (LDA); нейронная сеть (NN) и машина повышения градиента (GBM). Наихудший результат был получен у SVM (AUC 0,59), наилучший — у GBM (AUC 0,76). Тюнинг модели, включая оптимизацию набора входных данных до 30 признаков, повысил AUC до 0,77 [42]. Meyer A, et al. создали модель прогнозирования послеоперационных осложнений пациентов, перенесших кар-диохирургическое вмешательство. Созданная с помощью ГО модель показала наиболее точные прогнозы смерти (AUC 0,90), почечной недостаточности (AUC 0,87), кровотечений (AUC 0,84). Эти прогнозы были доступны врачу отделения реанимации при поступлении пациента сразу после оперативного вмешательства [43]. Xu F, et al. изучили точность различных методов МО в предсказании развития АГ. Авторы использовали регрессию Кокса (М-модель) и три алгоритма МО: искусственной нейронной сети (ANN), наивного байесовского классификатора (NBC) и дерева классификации и регрессии (CART). Искусственная нейронная сеть дала лучший показатель прогноза (AUC 0,76) [44]. Chen Y и Qi B изучили точность работы различных алгоритмов МО для оценки рисков развития СН после оперативного вмешательства и показали, что в случае использования текстовых данных и изображений для улучшения качества прогноза модели необходимо учитывать формализованные данные и временные ряды. Модель, созданная при помощи градиентного дерева принятия решений (GBDT), показала наилучшую прогностическую точность (AUC 0,92) [45]. Barrett LA, et al. исследовали различные алгоритмы МО для предсказания госпитальной летальности пациентов с ИМ. Авторы применили 23 различных алгоритма МО, а наилучший результат был получен на наборе данных из 79 признаков с использованием метода деревьев логистических моделей (LMT) (accuracy 85,12%, AUC 0,90). Затем они дополнительно использовали неструктурированные медицинские записи с извлечением признаков при помощи методов Natural Language Processing (NLP). Благодаря этому число признаков в наборе удалось увеличить до 279. ГО на наборе структурированных и неструктурированных данных показало лучшую точность (accuracy 92,89%, AUC 0,91) [46, 47]. Cheon S, et al. сравнили различные алгоритмы МО для выявления подозрений на ИБС с использованием данных ЭМК: механизм опорных векторов (SVM), случайный лес (RF), искусственную нейронную сеть (ANN), глубокую нейронную сеть (DNN), логистическую регрессию (LR) и другие. Путем подбора параметров модели и количества внутренних слоев авторам удалось получить лучшую модель на основе DNN (AUC 0,84) [48]. Alaa AM, et al. одними из первых стали использовать технологию автоматизированного машинного обучения (АМО), которая автоматически выбирает
и настраивает ансамбли конвейеров моделирования МО (включая вложение данных, обработку признаков, классификацию и алгоритмы калибровки). Используя данные о 423 тыс. пациентов, полученные из Британского биобанка, авторы создали модель оценки риска развития ССЗ. Технология АМО показала самую лучшую точность (AUC 0,77) из всех исследованных алгоритмов МО [49]. Padmanabhan M, et al. также исследовали перспективы технологии АМО, с обучением модели за 30 мин (AUC 0,85), что оказалось лучше ручного перебора 10 алгоритмов МО специалистом в течение 2 нед. (AUC 0,84). Авторы получили практическое подтверждение, что АМО позволяет быстро находить конкурентные классификаторы с минимальными трудозатратами и открывает новые перспективы дальнейшего развития МО в предсказании ССЗ путем ускорения и удешевления процесса МО за счет инструментов автоматизации [50].
Анализируя данные представленных работ, можно заключить, что разные методы МО дают разные точности и качество прогноза. При создании модели целесообразно использовать все доступные алгоритмы МО с последующим выбором наиболее точного алгоритма. Алгоритмы глубокого обучения, как правило, дают максимальную точность работы модели. Вместе с этим они не могут объяснить, какой конкретно ФР или их совокупность у конкретного пациента определили высокий риск события. Это является существенным недостатком данного подхода и требует решения проблемы. Необходимо обеспечивать визуализацию найденных связей между входными признаками и исходом, чтобы врач лучше понимал результаты работы модели. Необходимо тщательно изучать и оценивать производительность моделей МО с использованием различных метрик оценки моделей, поскольку точность прогнозирования может существенно различаться. При этом не обязательно применять сложные модели МО, потому что они могут давать выше точность прогнозирования, в некоторых случаях более простые модели могут работать лучше.
Проверка работы моделей на внешних наборах данных и в реальной клинической практике
С 2018г опубликованы работы, в которых была показана значимость внешней валидации моделей МО, т.к. метрики их точности в реальной клинической практике и на обучаемых данных могут значительно отличаться. Rasmy L, et al. провели исследование изменения точности работы моделей МО на данных ЭМК различных медицинских центров. Для этого они использовали модель RETAIN прогнозирования развития СН на основе рекуррентных нейронных сетей (RNN), которая была предложена в 2016г Choi (accuracy 87%) [51, 52], и сравнили ее с собственной версией этой модели, обученной дру-
гими данными, показав отличия полученных метрик работы модели от изначально заявленных [53]. Park J, et al. разработали модели для прогнозирования цереброваскулярных событий у пациентов с АГ, используя для обучения базу данных национальной скрининговой программы Южной Кореи со сведениями о 514 тыс. пациентах, прошедших профилактический медицинский осмотр. Валидация моделей осуществлялась на внешнем наборе данных из 1 млн пациентов (2,2% от числа граждан страны). При внутреннем тестировании лучшим методом стал многослойный персептрон, а при внешней валидации — RF (accuracy 80,6% и 76,9%, соответственно) [54]. Важным результатом этой работы является доказательство того, что даже на большом наборе данных для обучения, большом числе признаков и разнообразных методах МО, внешняя валидация на независимом наборе данных показывает отличающиеся метрики точности модели. Mezzatesta S, et al. проверили работу модели, прогнозирующей ухудшение ССЗ у пациентов с терминальной стадией почечной недостаточности. Авторы использовали 2 набора данных: итальянский и американский. Модель, созданная при помощи нелинейной SVC, показала различную точность на итальянском (95,25%) и американском (92,15%) наборах данных [55]. Mansoor H, et al. провели внешнюю валидацию модели прогнозирования госпитальной летальности у женщин с ИМ с подъемом сегмента ST. Модель, созданная при помощи логистической регрессии (LR) и 32 входных признаков, продемонстрировала предсказательную точность 89% на наборе данных при обучении и 81% на внешних данных [56]. Sung JM, et al. использовали данные 514 тыс. пациентов из Национальной базы скрининга здоровья Южной Кореи для создания и 13 тыс. пациентов Роттердамского исследования для внешней валидации модели предсказания развития ССЗ. Точность модели с алгоритмом ГО при обучении составила 0,96, внешней валидации 0,9 [57]. Segar MW, et al. провели внешнюю валидацию модели, оценивающей риск СН у пациентов с СД 2 типа. В результате проспективного наблюдения было показано, что алгоритм случайного леса имеет лучшую способность классификации, чем регрессия Кокса (С-индекс 0,77 и 0,73, соответственно) и приемлемую калибровку (статистика Хосмера-Лемешова Х2=9,63, р=0,29) в используемом наборе данных. Проверка модели на внешнем источнике данных также показала хорошую дискриминацию (C-индекс 0,74 и 0,70, соответственно) и приемлемую калибровку (р>0,20 для обоих) [58].
Анализ публикаций по этой теме позволяет сделать ряд выводов:
1. Целесообразно проводить валидацию моделей на внешних наборах данных, которые не использовались на этапе МО, в т.ч. проспективную валидацию.
Таблица 1
Перспективы МО в повышении эффективности выявления пациентов высокого риска и предсказания различных событий, связанных с ССЗ
№ Вывод Ссылки
1 Точность предсказания различных ССС у моделей, созданных методами МО, выше, чем у алгоритмов, используемых в клинических рекомендациях и шкалах. 14, 15, 18, 19, 22-26, 28, 33-35, 37, 42, 43, 49, 54, 56
2 Различные методы МО дают разную точность модели, поэтому при их создании целесообразно использовать весь доступный математический аппарат для выбора наиболее точной предсказательной модели. 10, 14-16, 18, 21, 22, 24-27 30, 32-34, 36-38, 40, 42, 44-47, 49, 50, 52, 54, 55, 58
3 Созданные с помощью МО модели потенциально могут иметь сложность понимания полученного результата, поэтому требуется визуализация и интерпретация полученных зависимостей, и объяснение результата модели для врача. 14, 16, 20, 22, 24, 31, 34, 57
4 Использование максимального количества данных в качестве входных параметров модели позволяет повышать точность предсказания событий/классификации, но в различных исследованиях данные по этому наблюдению противоречивы. 14, 15, 24, 26-28, 30-37, 47, 49, 52, 56
5 Использование всех доступных признаков позволяет открывать новые зависимости и предикторы заболеваний, которые могут быть неожиданными для исследователей. 10, 14, 16, 20, 22, 26, 28, 30, 34, 35, 37, 42, 47
6 Большое число записей в наборе данных, используемом для МО, повышает точность предсказания модели, но имеет при этом предел такого повышения. 22-24, 28, 30, 36, 37 45, 52
7 Качество наборов данных является критически важным для точности работы модели, т.к. ошибки или пропуски в данных влияют на точность также существенно, как и правильность использования методов МО. 10, 34, 35, 37 50, 52
8 Внешняя валидация моделей на наборах данных, не использованных при обучении и внутреннем тестировании, целесообразна для получения дополнительных доказательств клинической эффективности модели и проверки ее метрик в условиях, максимально приближенных к реальной клинической практике. 35, 37, 42, 52, 54, 57
Сокращения: МО — машинное обучение, ССС — сердечно-сосудистые события.
2. Точность применения одной и той же модели может существенно отличаться в зависимости от медицинских организаций, рас, половозрастных групп, числа врачебных осмотров.
3. Модель, обученная на данных одной когорты, как правило, дает более низкую точность на данных другой когорты той же самой популяции, её снижение может составлять 3-12%.
4. Применение модели в той медицинской организации, на которой был создан набор для обучения, дает, как правило, максимальные показатели точности.
5. Модель, обученная на обобщенном наборе данных, как правило, дает лучшую точность, демонстрируя тем самым ценность больших данных, однако характеризуется вариабельностью метрик. Это означает, что клиническое применение единой модели для всех медицинских организаций должно быть тщательно продуманным и выверенным шагом.
6. Точность моделей постепенно улучшается с увеличением размера выборки, что указывает на свойство насыщения моделей по мере роста данных для обучения.
7. Внешняя валидация моделей в целом подтвердила выводы предыдущих исследований о преимуществах глубокого МО, но в то же время показала, что точность работы моделей на основе ГО все равно снижается по сравнению со значением, полученным при внутреннем тестировании.
Заключение
Проанализированные публикации свидетельствуют, что применение методов МО на основе "больших данных" позволяет создавать действительно более точные модели для выявления пациентов высокого риска и/или предсказания различных ССС по сравнению с используемыми в настоящее время шкалами и алгоритмами. Более того, МО извлеченных из ЭМК наборов данных позволяет проводить перспективные исследования и разработки, включая получение новых знаний о влиянии различных ФР и их комбинаций на течение ССЗ. Основные выводы авторов о перспективах МО в части профилактики ССЗ представлены в таблице 1.
Анализ существующих публикаций о применении МО для построения моделей прогнозирования ССЗ показывает перспективность использования данной технологии с целью улучшения прогностических возможностей оценки рисков, что, в свою очередь, является важным для дальнейшего повышения эффективности профилактических действий, сокращения заболеваемости и смертности от ССЗ.
Отношения и деятельность. Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Соглашения № 075-15-2021-665.
Литература/References
1. Shlyakhto EV, Baranova EI. Central directions for reducing cardiovascular mortality: what can be changed today? Russian Journal of Cardiology. 2020;25(7):3983. (In Russ.) Шляхто Е. В., Баранова Е. И. Основные направления снижения сердечно-сосудистой смертности: что можно изменить уже сегодня? Российский кардиологический журнал. 2020;25(7):3983. doi:1015829/1560-4071-2020-3983.
2. Timmis A, Townsend N, Gale CP, et al. European Society of Cardiology: Cardiovascular Disease Statistics 2019. European Heart Journal. 2020;41 (1 ):12-85. doi:101093/ eurheartj/ehz859.
3. WHO. Global action plan for the prevention and control of noncommunicable diseases 2013-2020. (In Russ.) ВОЗ. Глобальный план действий по профилактике неинфекционных заболеваний и борьбе с ними на 2013-2020 годы. Доступно на: https://apps. who.int/iris/bitstream/handle/10665/94384/9789244506233_rus.pdf.
4. WHO. Global Situation Report on Noncommunicable Disease, 2014. (In Russ.) ВОЗ. Доклад о ситуации в области неинфекционных заболеваний в мире, 2014. Доступно на: https://apps.who.int/iris/bitstream/handle/10665/148114/WH0_NMH_ NVI_15.1_rus.pdf.
5. Shlyakhto EV, Zvartau NE, Villevalde SV, et al. Cardiovascular risk management system: prerequisites for developing, organization principles, target groups. Russian Journal of Cardiology. 2019;(11):69-82. (In Russ.) Шляхто Е. В., Звартау Н. Э., Виллевальде С. В. и др. Система управления сердечно-сосудистыми рисками: предпосылки к созданию, принципы организации, таргетные группы. Российский кардиологический журнал. 2019;(11):69-82. doi:10.15829/1560-4071-2019-11-69-82.
6. Damen JA, Hooft L, Schuit E, et al. Prediction models for cardiovascular disease risk in the general population: systematic review. BMJ. 2016;353:i2416. doi:101136/bmj.i2416.
7. Rossello X, Dorresteijn J AN, Janssen A, et al. Risk prediction tools in cardiovascular disease prevention: A report from the ESC Prevention of CVD Programme led by the European Association of Preventive Cardiology (EAPC) in collaboration with the Acute Cardiovascular Care Association (ACCA) and the Association of Cardiovascular Nursing and Allied Professions (ACNAP). European Journal of Preventive Cardiology. 2019;26(14):1534-44. doi:101177/2047487319846715.
8. Benjamins JW, Hendriks T, Knuuti J, et al. A primer in artificial intelligence in cardiovascular medicine. Netherlands Heart Journal. 2019;27:392-402. doi:101007/ s12471-019-1286-6.
9. Hemingway H, Asselbergs FW, Danesh J, et al. Innovative Medicines Initiative 2nd programme, Big Data for Better Outcomes, BigData@Heart Consortium of 20 academic and industry partners including ESC. Big data from electronic health records for early and late translational cardiovascular research: challenges and potential. Eur Heart J. 2018;39(16):1481-95. doi:101093/eurheartj/ehx487.
10. Song X, Mitnitski A, Cox J, Rockwood K. Comparison of machine learning techniques with classical statistical models in predicting health outcomes. Stud Health Technol Inform. 2004;107(Pt 1):736-40. doi:10.3233/978-1-60750-949-3-736.
11. Wu J, Roy J, Stewart WF. Prediction modeling using EHR data: challenges, strategies, and a comparison of machine learning approaches. Medical Care. 2010;48(6 Suppl):S106-13. doi:101097/MLR.0b013e3181de9e17.
12. Weiss JC, Natarajan S, Peissig PL, et al. Machine Lea rning for Personalized Medicine: Predicting Primary Myocardial Infarction from Electronic Health Records. AI Magazin. 2012;33(4):33-45. doi:10.1609/aimag.v33i4.2438.
13. VanHouten JP, Starmer JM, Lorenzi NM, et al. Machine learning for risk prediction of acute coronary syndrome. AMIA Annu Symp Proc. 2014:1940-9. eCollection 2014.
14. Dai W, Brisimi TS, Adams WG, et al. Prediction of hospitalization due to heart diseases by supervised learning methods. Int J Med Inform. 2015;84(3):189-97. doi:101016/j. ijmedinf.2014.10.002.
15. Tay D, Poh CL, Kitney RI. A novel neural-inspired learning algorithm with application to clinical risk prediction. Journal of Biomedical Informatics. 2015;54:305-14. doi:10. 1016/j.jbi.2014.12.014.
16. Loghmanpour NA, Kanwar MK, Druzdzel MJ, et al. A new Bayesian network-based risk stratification model for prediction of short-term and long-term LVAD mortality. ASAIO J. 2015;61(3):313-23. doi:10.1097/MAT.0000000000000209.
17. Churpek MM, Yuen TC, Winslow C, et al. Multicenter Comparison of Machine Learning Methods and Conventional Regression for Predicting Clinical Deterioration on the Wards. Crit Care Med. 2016;44(2):368-74. doi:10.1097/CCM.0000000000001571.
18. Narain R, Saxena S, Goyal AK. Cardiovascular risk prediction: a comparative study of Framingham and quantum neural network based approach. Patient Preference and Adherence. 2016;10:1259-70. doi:10.2147/PPA.S108203.
19. Motwani M, Dey D, Berman DS, et al. Machine learning for prediction of all-cause mortality in patients with suspected coronary artery disease: a 5-year multicentre prospective registry analysis. Eur Heart J. 2017;38(7):500-7. doi:101093/eurheartj/ehw188.
20. Jae Kwon Kim, Sanggil Kang. Neural Network-Based Coronary Heart Disease Risk Prediction Using Feature Correlation Analysis. Journal of Healthcare Engineering. 2017:2780501. doi:101155/2017/2780501.
21. Shouval R, Hadanny A, Shlomo N, et al. Machine learning for prediction of 30-day mortality after ST elevation myocardial infraction: An Acute Coronary Syndrome Israeli Survey data mining study. Int J Cardiol. 2017;246:7-13. doi:10.1016/j.ijcard.2017.05.067.
22. Nanayakkara S, Fogarty S, Tremeer M, et al. Characterising risk of in-hospital mortality following cardiac arrest using machine learning: A retrospective international registry study. PLoS Med. 2018;15(11 ):e1002709. doi:10.1371/journal.pmed. 1002709.
23. Kakadiaris IA, Vrigkas M, Yen AA, et al. Machine Learning Outperforms ACC/AHA CVD Risk Calculator in MESA. Journal of the American Heart Association. 2018;7:e009476. doi:10.1161/JAHA.118.009476.
24. Dimopoulos A, Nikolaidou M, Caballero FF, et al. Machine learning methodologies versus cardiovascular risk scores, in predicting disease risk. BMC Medical Research Methodology. 2018;18:179. doi:10.1186/s12874-018-0644-1.
25. Quesada JA, Lopez-Pineda A, Gil-Guillén VF, et al. Machine learning to predict cardiovascular risk. The International Journal of Clinical Practice. 2019;73(10):e13389. doi:10.1111/ijcp.13389.
26. Ambale-Venkatesh B, Yang X, Wu CO, et al. Cardiovascular Event Prediction by Machine Learning: The Multi-Ethnic Study of Atherosclerosis. Circ Res. 2017;121(9):1092-101. doi:10.1161/CIRCRESAHA.117.311312.
27. Ren Y, Fei H, Liang X, et al. A hybrid neural network model for predicting kidney disease in hypertension patients based on electronic health records. BMC Med Inform Decis Mak. 2019;19:51. doi:10.1186/s12911-019-0765-4.
28. Samad MD, Ulloa A, Wehner GJ, et al. Predicting Survival From Large Echocardio-graphy and Electronic Health Record Datasets: Optimization With Machine Learning. JACC Cardiovasc Imaging. 2019;12(4):681-9. doi:101016/j.jcmg.2018.04.026.
29. Zack CJ, Senecal C, Kinar Y, et al. Leveraging Machine Learning Techniques to Forecast Patient Prognosis After Percutaneous Coronary Intervention. JACC Cardiovasc Interv. 2019;12(14):1304-11. doi:10.1016/j.jcin.2019.02.035.
30. Dinh A, Miertschin S, Young A, et al. A data-driven approach to predicting diabetes and cardiovascular disease with machine learning. BMC Med Inform Decis Mak. 2019;19(1):211. doi:101186/s12911-019-0918-5.
31. Steele AJ, Denaxas SC, Shah AD, et al. Machine learning models in electronic health records can outperform conventional survival models for predicting patient mortality in coronary artery disease. PLoS ONE. 2018;13(8):e0202344. doi:10.1371/journal. pone.0202344.
32. Pieszko K, Hiczkiewicz J, Budzianowski P, et al. Machine-learned models using hematological inflammation markers in the prediction of short-term acute coronary syndrome outcomes. J Transl Med. 2018;16(1):334. doi:10.1186/s12967-018-1702-5.
33. Angraal S, Mortazavi BJ, Gupta A, et al. Machine Learning Prediction of Mortality and Hospitalization in Heart Failure With Preserved Ejection Fraction. JACC: Heart Failure. 2020;8(1):12-21. doi:10.1016/j.jchf.2019.06.013.
34. Weng SF, Reps J, Kai J, et al. Can machine-learning improve cardiovascular risk prediction using routine clinical data? Plos One. 2017;12(4):e0174944. doi:101371/ journal.pone.0174944.
35. Ye C, Fu T, Hao S, et al. Prediction of Incident Hypertension Within the Next Year: Prospective Study Using Statewide Electronic Health Records and Machine Learning. J Med Internet Res. 2018;20(1):e22. doi:10.2196/jmir.9268.
36. Mallya S, Srivastava N, Arai TJ, et al. Effectiveness of LSTMS in predicting congestive heart failure onset. 2019. Available from: https://arxiv.org/ftp/arxiv/ papers/1902/1902.02443.pdf.
37. Wallert J, Tomasoni M, Madison G, et al. Predicting two-year survival versus non-survival after first myocardial infarction using machine learning and Swedish national register data. BMC Medical Informatics and Decision Making. 2017;17(1):99. doi:10.1186/s12911-017-0500-y.
38. Golas SB, Shibahara T, Agboola S, et al. A machine learning model to predict the risk of 30-day readmissions in patients with heart failure: a retrospective analysis of electronic medical records data. BMC Medical Informatics and Decision Making. 2018;18(1):44. doi:10.1186/s12911-018-0620-z.
39. Xia E, Du X, Mei J, et al. Outcome-Driven Clustering of Acute Coronary Syndrome Patients Using Multi-Task Neural Network with Attention. Stud Health Technol Inform. 2019;264:457-61. doi:10.3233/SHTI190263.
40. Sakr S, Elshawi R, Ahmed A, et al. (2018). Using machine learning on cardiorespiratory fitness data for predicting hypertension: The Henry Ford Exercise Testing (FIT) Project. PLoS ONE. 2018;13(4):e0195344. doi:10.1371/journal.pone.0195344.
41. Daghistani TA, Elshawi R, Sakr S, et al. Predictors of in-hospital length of stay among cardiac patients: A machine learning approach. Int J Cardiol. 2019;288:140-7. doi:10.1016/j.ijcard.2019.01.046.
42. Kendale S, Kulkarni P, Rosenberg AD, Wang J. Supervised Machine-learning Predictive Analytics for Prediction of Postinduction Hypotension. Anesthesiology. 2018;129(4):675-88. doi:10.1097/ALN.0000000000002374.
43. Meyer A, Zverinski D, Pfahringer B, et al. Machine learning for real-time prediction of complications in critical care: a retrospective study. Lancet Respir Med. 2018;6(12):905-14. doi:101016/S2213-2600(18)30300-X.
44. Xu F, Zhu J, Sun N, et al. Development and validation of prediction models for hypertension risks in rural Chinese populations. J Glob Health. 2019;9(2):020601. doi:10.7189/ jogh.09.020601.
45. Chen Y, Qi B. Representation learning in intraoperative vital signs for heart failure risk prediction. BMC Med Inform Decis Mak. 2019;19(1):260. doi:10.1186/s12911-019-0978-6.
46. Barrett LA, Payrovnaziri SN, Bian J, He Z. Building Computational Models to Predict One-Year Mortality in ICU Patients with Acute Myocardial Infarction and Post Myocardial Infarction Syndrome. Available from: https://arxiv.org/pdf/1812.05072.pdf.
47. Payrovnaziri SN, Barrett LA, Bis D, et al. Enhancing Prediction Models for One-Year Mortality in Patients with Acute Myocardial Infarction and Post Myocardial Infarction Syndrome. Stud Health Technol Inform. 2019;264:273-7. doi:10.3233/SHTI190226.
48. Cheon S, Kim J, Lim J. The Use of Deep Learning to Predict Stroke Patient Mortality. Int J Environ Res Public Health. 2019;16(11):e1876. doi:10.3390/ijerph16111876.
49. Alaa AM, Bolton T, Di Angelantonio E, et al. Cardiovascular disease risk prediction using automated machine learning: A prospective study of 423,604 UK Biobank participants. PLoS ONE. 2019;14(5):e0213653. doi:101371/journal.pone.0213653.
50. Padmanabhan M, Yuan P, Chada G, Nguyen HV. Physician-Friendly Machine Learning: A Case Study with Cardiovascular Disease Risk Prediction. J Clin Med. 2019;8(7):e1050, doi:10.3390/jcm8071050.
51. Choi E, Bahadori MT, Kulas JA, et al. RETAIN: an interpretable predictive model for healthcare using reverse time attention mechanism. Adv. Neural Inf. Process. Syst. 2016;3504-12. Available from: https://arxiv.org/pdf/1608.05745.pdf.
52. Choi E, Schuetz A, Stewart WF, Sun J. Using recurrent neural network models for early detection of heart failure onset. J Am Med Inform Assoc. 2017;24(2):361-70. doi:10.1093/ jamia/ocw112.
53. Rasmy L, Wu Y, Wang N, et al. A study of generalizability of recurrent neural network-based predictive models for heart failure onset risk using a large and heterogeneous EHR data set. J Biomed Inform. 2018;84:11-6. doi:101016/j.jbi.2018.06.011.
54. Park J, Kim JW, Ryu B, et al. Patient-Level Prediction of Cardio-Cerebrovascular Events in Hypertension Using Nationwide Claims Data. J Med Internet Res. 2019;21(2):e11757. doi:10.2196/11757.
55. Mezzatesta S, Torino C, Meo P, et al. A machine learning-based approach for predicting the outbreak of cardiovascular diseases in patients on dialysis. Comput Methods Programs Biomed. 2019;177:9-15. doi:10.1016/j.cmpb.2019.05.005.
56. Mansoor H, Elgendy IY, Segal R, et al. Risk prediction model for in-hospital mortality in women with ST-elevation myocardial infarction: A machine learning approach. Heart Lung. 2017;46(6):405-11. doi:10.1016/j.hrtlng.2017.09.003.
57. Sung JM, Cho IJ, Sung D, et al. Development and verification of prediction models for preventing cardiovascular diseases. PLoS One. 2019;14(9):e0222809. doi:10.1371/ journal.pone.0222809.
58. Segar MW, Vaduganathan M, Patel KV, et al. Machine Learning to Predict the Risk of Incident Heart Failure Hospitalization Among Patients With Diabetes: The WATCH-DM Risk Score. Diabetes Care 2019;42(12):2298-306. doi:10.2337/dc19-0587.
