CC BY
318
РАЗРАБОТКА СИСТЕМЫ ПРОГНОЗИРОВАНИЯ ДИАГНОЗОВ ЗАБОЛЕВАНИЙ НА ОСНОВЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
М. В. Сахибгареева и , А. Ю. Заозерский ООО «КОМТЕК», Уфа
В статье представлены результаты исследования по применению технологий искусственного интеллекта для решения одной из основных проблем здравоохранения — повышения качества диагностики заболеваний. Предложен подход к прогнозированию нозологических диагнозов путем интеллектуального анализа совокупности результатов лабораторных исследований (200 тестов), проводимых по каждому случаю заболевания пациентов. В общую выборку, разделенную впоследствии на обучающую и тестовую, включили данные о 7 918 случаях заболеваний по 4 нозоло-гиям: D50 (железодефицитная анемия), E11 (инсулиннезависимый сахарный диабет), E74 (другие нарушения обмена углеводов), E78 (нарушения обмена липопротеидов и другие липидемии). Методом градиентного бустинга для них была построена модель машинного обучения. Точность распознавания моделью выбранных диагнозов составила более 89 % (ROC AUC) при средней уверенности модели в каждом прогнозируемом диагнозе в 92 %. Исследование показало принципиальную возможность применения методов машинного обучения для анализа данных такого рода. Система прогнозирования диагнозов заболеваний внедряется в виде веб-сервиса в программный комплекс «Здравоохранение», предназначенный для автоматизации работы медицинских учреждений.
Ключевые слова: искусственный интеллект, анализ медицинских данных, машинное обучение, градиентный бустинг, лабораторная диагностика, нозологический диагноз, многоклассовая классификация, железодефицитная анемия, липидемия, нарушения обмена углеводов
Для корреспонденции: Сахибгареева Маргарита Владимировна ул. Бехтерева, д. 16, кв. 48, г Уфа, 450047; margarita.vl2011@gmail.com
Статья получена: 23.11.2017 Статья принята к печати: 13.12.2017
DEVELOPING AN ARTIFICIAL INTELLIGENCE-BASED SYSTEM FOR MEDICAL PREDICTION
Sakhibgareeva MV E3, Zaozersky AYu COMTEK LLC, Ufa, Russia
Diagnostic accuracy remains one of the central problems of medical care. In this work we attempt to apply artificial intelligence to solve this challenge. We propose an approach to medical prediction based on the intelligent analysis of patients' data from 200 different laboratory tests. The initial sample included 7, 918 cases falling into 4 nosological categories: D50 (iron deficiency anemia), E11 (non-insulin-dependent diabetes mellitus), E74 (other disorders of carbohydrate metabolism), and E78 (disorders of lipoprotein metabolism and other lipidemias), and was further divided into the training and testing datasets. Using gradient boosting, we constructed a machine learning model. The model demonstrated a recognition rate of 89 % (AUC-ROC) and a mean certainty in the diagnosis of 92 %. Our study proves feasibility of using machine learning in the analysis of this type of medical data. We are currently implementing a web-service for medical prediction as part of our Healthcare platform aiming at automation of clinical practice.
Keywords: artificial intelligence, analysis of medical data, machine learning, gradient boosting, laboratory diagnostics, nosological diagnosis, multiclass classification, iron deficiency anemia, lipidemia, carbohydrate metabolism disorders
gg Correspondence should be addressed: Margarita Sakhibgareeva
ul. Bekhtereva 16, kv. 48, Ufa, Russia, 450047; margarita.vl2011@gmail.com
Received: 23.11.2017 Accepted: 13.12.2017
Совершенствование процессов организации медицинской помощи за счет внедрения информационных технологий является одним из приоритетных направлений развития здравоохранения России. Все большее внимание уделяется не только внедрению информационных систем в медицинскую практику и ведению документации в электронном виде, но и применению технологий интеллектуального анализа больших данных с целью повышения качества оказываемой медицинской помощи [1, 2].
В некоторых работах [3, 4] отмечается острота проблемы сбора и перевода медицинских данных в электронный формат для применения машинного обучения, вследствие чего создание аналитического программного обеспечения
оказывается затруднено. Благодаря разработке и внедрению программного комплекса (ПК) «Здравоохранение» в работу ряда медицинских учреждений и активному сотрудничеству с ООО «Сибирский центр защиты информации», нам удалось сформировать обширную базу медицинских данных с правом их обработки. В результате появилась возможность осуществить интеллектуальный анализ данных с использованием методов машинного обучения.
Значительный интерес для практического здравоохранения представляют системы для диагностики заболеваний, поскольку высокая загруженность врачей или недостаточный практический опыт молодых специалистов ограничивает возможности принятия ими верных решений.
Кроме того, задачи диагностики, прогнозирования течения заболевания, выбора стратегии и тактики лечения требуют учета совокупности имеющейся информации о пациенте, без чего медицинские решения носят приблизительный, «неточный» характер [5].
По статистике, приведенной академиком А. Г. Чучали-ным в докладе на II Национальном конгрессе терапевтов, каждый третий диагноз, который ставят российские врачи, неверен [6]. Значительное число ошибок при постановке диагнозов было выявлено и нами при анализе результатов диагностирования в нескольких медицинских учреждениях, которые являются пользователями нашего программного обеспечения. Анализ проводили как по отделениям учреждений (табл. 1), так и непосредственно по нозологическим диагнозам (табл. 2), путем определения доли несоответствий заключительного и предварительного диагнозов. Из этических соображений наименования данных медицинских учреждений в статье не приводятся.
От неверного предварительного диагноза страдают не только пациенты, которых лечат не от той болезни, но и сами медицинские учреждения, которые несут значительные финансовые затраты, поскольку Фонд обязательного медицинского страхования финансирует только лечение, соответствующее заключительному диагнозу.
В связи с этим при разработке интеллектуальной системы задача прогнозирования нозологического диагноза была выбрана нами в качестве приоритетной. Целью данной работы являлась проверка принципиальной возможности аналитической обработки имеющихся данных методами машинного обучения и определение точности прогнозирования, при которой модель машинного обучения может иметь практическую ценность, а также дальнейшее расширение функционала ПК «Здравоохранение».
МАТЕРИАЛЫ И МЕТОДЫ
Исходные данные
Для принятия медицинских решений могут использоваться разнообразные данные: анамнез, результаты клинического осмотра, лабораторных тестов и исследований с помощью сложных функциональных методов. При этом лабораторные исследования предоставляют, пожалуй, наиболее объективную информацию о состоянии здоровья пациента. Зачастую именно они позволяют выявить или подтвердить наличие той или иной патологии, когда сделать это иными методами не удается. Особенно актуально проведение лабораторной диагностики при определении таких
форм нозологий, как различные анемии, липидемии, гепатиты, ревматоидный артрит серопозитивный и др.
В качестве исходной выборки для проведения машинного обучения мы отобрали случаи заболеваний с известными заключительными диагнозами. В качестве пространства информационных признаков выступали пол и возраст пациента, а также результаты различных лабораторных тестов, взятые из данных диспансеризации одной из поликлиник, которые были собраны в результате работы ПК «Здравоохранение» [7]. Из встречавшихся в медицинском учреждении случаев анализировали данные по 4 нозологическим формам (D50, E11, E74, E78), которые могут быть заподозрены и диагностированы с использованием данных лабораторных анализов. Структура выборки была следующей:
• железодефицитная анемия (D50) — 778 случаев (10 %);
• инсулиннезависимый сахарный диабет (E11) — 1 392 случая (17 %);
• другие нарушения обмена углеводов (E74) — 163 случая (2 %);
• нарушения обмена липопротеидов и другие липидемии (E78) — 5 585 случаев (71 %).
Итого в выборку включили 7 918 случаев с результатами 200 лабораторных тестов (анализы крови, урины, цитологическое исследование и т. д.) за 2005-2017 гг. Данные были получены от пациентов в возрасте 18-99 лет, в том числе 71 % женщин и 29 % мужчин. Часть результатов лабораторных тестов была представлена категориальными признаками «в норме», «ниже нормы», «выше нормы».
Выбор метода машинного обучения и метрики качества
Рассматриваемая задача прогнозирования диагноза по результатам лабораторных анализов представляет собой задачу многоклассовой классификации.
Анализ данных осуществляли с использованием Scikit-learn [8] — библиотеки для машинного обучения с открытым исходным кодом, написанной на языке программирования Python. В серии предварительных вычислительных экспериментов с использованием различных методов (нейронных сетей, решающих деревьев, градиентного бу-стинга) наилучший результат показал градиентный бустинг, который относится к методам последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов [9]. Считается, что градиентный бустинг над решающими деревьями — это один из самых универсальных и
Таблица 1. Доля ошибочных диагнозов в различных отделениях нескольких российских медицинских учреждений
Отделение Доля ошибочных диагнозов, %
Учреждение 1 Учреждение 2 Учреждение 3
Пульмонологическое 76,80 39,28 -
Анестезиологии и реанимации 72,96 24,11 73,11
Кардиологические (несколько) 57,88 23,00 46,43
Терапевтическое 56,36 - -
Гастроэнтерологическое 66,38 11,29 -
Травматологическое 32,19 - 60,64
Неврологическое 55,04 14,97 -
Урологическое - - 67,72
Таблица 2. Доля ошибочных диагнозов по нозологиям в нескольких российских медицинских учреждениях
Нозология Доля ошибочных диагнозов, %
Нарушения обмена липопротеидов и другие липидемии 92,73
Холера 88,89
Нарушения обмена сфинголипидов и другие болезни накопления липидов 88,72
Иммунодефициты с преимущественной недостаточностью антител 83,33
Последствия других и неуточненных инфекционных и паразитарных болезней 80,00
Доказательство влияния алкоголя, определенного по его содержанию в крови 80,00
Юношеский (ювенильный) артрит при болезнях, классифицированных в других рубриках 75,00
Другие бактериальные болезни, не классифицированные в других рубриках 66,67
Лицо, находившееся в легковом автомобиле и пострадавшее при его столкновении с велосипедистом 66,67
Непереносимость лактозы 60,00
Перикардит при болезнях, классифицированных в других рубриках 60,00
Трихомоноз 50,00
Другие кишечные гельминтозы, не классифицированные в других рубриках 50,00
Вирусные агенты как возбудители болезней, классифицированных в других рубриках 50,00
Злокачественное новообразование губы 50,00
Карцинома in situ шейки матки 50,00
Недостаточность других элементов питания 50,00
Другие болезни внутреннего уха 50,00
Нарушения всасывания в кишечнике 50,00
Гипертрихоз 50,00
Другие поражения почки и мочеточника при болезнях, классифицированных в других рубриках 50,00
Существовавшая ранее гипертензия с присоединившейся протеинурией 50,00
Буллезный эпидермолиз 50,00
Неуточненная желтуха 50,00
Аномалия лейкоцитов, не классифицированная в других рубриках 50,00
Гликозурия 50,00
Другие отклонения от нормы, выявленные при исследовании мочи 50,00
Другие нарушения обмена углеводов 20,70
Железодефицитная анемия 13,90
Инсулиннезависимый сахарный диабет 3,240
эффективных методов машинного обучения, известных на сегодняшний день. При этом сами решающие деревья хорошо зарекомендовали себя в практике решения задач классификации.
Отдельное внимание уделяли выбору метрики для оценки качества алгоритма, учитывая специфику задачи и несбалансированность выборки данных. Рассматриваемые метрики будем описывать в терминах матрицы ошибок (confusion matrix) [9, 10] применительно к случаю многоклассовой классификации c использованием подхода Один-Против-Всех. Данный подход основан на сведении задачи многомерной классификации к серии бинарных задач, когда текущий рассматриваемый класс обозначается единицей, а все остальные классы относят к классу 0. Для каждого рассматриваемого класса i определяются следующие показатели:
• TP (true positive) — число истинноположительных, верно отнесенных к классу i примеров;
• TN (true negative) — число истинноотрицательных, верно не отнесенных к классу i примеров, отнесенных к некоторому другому классу j ф i;
• FP (false positive) — число ложноположительных, ошибочно отнесенных к классу i примеров;
• FN (false negative) — число ложноотрицательных примеров, ошибочно отнесенных к некоторому другому классу j ф i, в то время как истинный класс примеров — i.
Наиболее интуитивно понятная метрика качества accuracy — доля правильных ответов — оказывается неподходящей в случае несбалансированных выборок:
accuracy =
TP + TN
TP + TN + FP + FN
Поэтому чаще рассматривают другие метрики качества, такие как:
• точность (precision) — доля истинноположительных примеров от общего количества предсказанных положительных примеров. Иными словами, сколько из предсказанных положительных примеров оказались действительно положительными:
precision --
TP
TP + FP
• полнота (recall) — доля истинноположительных примеров от общего количества фактически положительных примеров (размерности класса). Полноту еще называют долей истинно положительных примеров (true positive rate, TPR):
recall = -
TP + FN
Полнота используется в роли показателя качества модели машинного обучения, когда необходимо определить все положительные примеры, т. е. снизить количество ложноотрицательных примеров (FN) [10]. Поэтому данная
TP
Таблица 3. Показатели качества построенной модели машинного обучения для прогнозирования диагнозов заболеваний
Диагноз Метрика Размерность тестовой выборки, число случаев
ROC AUC Recall (полнота) Precision (точность) Accuracy (доля верных ответов)
D50 (железодефицитная анемия) 0,98 0,66 0,83 0,95 44
E11 (инсулиннезависимый сахарный диабет) 0,91 0,62 0,69 0,9 69
E74 (другие нарушения обмена углеводов) 0,89 0,21 0,6 0,97 14
E78 (нарушения обмена липопротеидов и другие липидемии) 0,94 0,96 0,89 0,89 318
метрика предпочтительна для решения задачи медицинской диагностики, когда важно не пропустить случай того или иного заболевания. Хотя она также достаточно понятна, она не всегда подходит для работы с несбалансированными выборками.
Еще один критерий, который был выбран в данной работе — это ROC AUC, рекомендуемый [10] для оценки качества моделей на несбалансированных данных. ROC AUC — это площадь (area under curve) под кривой ошибок ROC (receiver operating characteristic). Данная кривая представляет собой линию от (0,0) до (1,1) в координатах true positive rate (TPR) и false positive rate (доля ложноположи-тельных примеров, FPR):
TP
TPR =
FPR --
TP + FN FP
FP + TN
Считается, что чем выше показатель ROC AUC, тем качественнее классификатор. При этом значение 0,5 демонстрирует непригодность выбранного метода классификации (соответствует случайному гаданию). Значение менее 0,5 говорит о том, что классификатор действует с точностью до наоборот: если положительные примеры назвать отрицательными, и наоборот, то классификатор будет работать лучше.
В связи с вышеизложенным в данной работе в роли основного показателя качества модели использовали метрику ROC AUC, но также обращали внимание на метрику recall.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Отобранные случаи заболеваний с представленными результатами лабораторных тестов были поделены на 2 выборки: обучающую (75 % случаев) и тестовую (25 % случаев). В результате построения модели методом градиентного бустинга для рассмотренных 4 нозологий (D50, E11, E74, E78) на тестовой выборке был достигнут показатель площади под кривой ошибок (ROC AUC), равный более чем 89 % (табл. 3). При этом средняя вероятность, с которой были правильно распознаны диагнозы в тестовой выборке, составила 92 %.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Достаточно высокие значения показателя ROC AUC (от 89 до 98 %) говорят о пригодности построенного классификатора к предсказанию выбранных диагнозов. При этом преимуществом проведенного исследования является рассмотрение совокупности данных: результатов лабораторных анализов (200 различных тестов) и таких призна-
ков, как пол и возраст пациента. Сильной стороной проведенного анализа является также достаточно большой объем реальных данных — за 12 лет работы медицинского учреждения. Так, в работе [11] анализировали данные всего за 3 месяца работы госпиталя в Бостоне. В этом исследовании решали задачу предсказания результатов лабораторных тестов, а именно: содержания ферритина в крови. Как и в нашем случае, в роли метрики качества в работе [11] была выбрана площадь под кривой ошибок, которая составила 97 %. Тем не менее стоит отметить, что в соответствии с рядом работ [12-14] сосредоточение на конкретных нозологических диагнозах может позволить увеличить точность их предсказания. И, согласно работам [15, 16], для повышения качества моделей перспективны различные способы предобработки медицинских данных.
ВЫВОДЫ
Проведенное исследование показало принципиальную возможность анализа накопленных нами данных методами машинного обучения. В настоящее время ведется внедрение данной модели в работу программного комплекса «Здравоохранение» для использования во врачебной практике. Внедрение осуществляется путем создания веб-сервиса, в который будут поступать на анализ данные результатов лабораторных тестов по каждому случаю заболевания пациента, а веб-сервис будет возвращать в ПК «Здравоохранение» результат анализа в виде нескольких наиболее вероятных диагнозов, которые могут быть приняты во внимание лечащим врачом при дальнейшей работе с пациентом.
Ближайшими планами являются расширение перечня анализируемых нозологий и повышение качества моделей за счет построения отдельных моделей для каждого диагноза с учетом экспертной информации о нем с целью определения лабораторных анализов, оказывающих наибольшее влияние на результат моделирования. Это позволит сделать следующий шаг — разработать инструмент, предлагающий рекомендации относительно тех или иных лабораторных исследований для диагностирования различных заболеваний.
Главной целью начатой работы является переход к персонализированной медицине [17, 18]: анализ данных конкретного пациента, включающих не только результаты лабораторных исследований, но и анамнез и историю его заболеваний; использование искусственного интеллекта не только для прогнозирования диагноза, но и для формирования рекомендаций по назначению подходящего именно данному пациенту лечения. Достижение этой цели позволит снизить число врачебных ошибок и повысить значение профилактики заболеваний путем технологического наблюдения за пациентом.
Литература
1. Гусев А. В. Перспективы нейронных сетей и глубокого машинного обучения в создании решений для здравоохранения. Врач и информационные технологии. 2017; (3): 92-105.
2. Kononenko I. Machine learning for medical diagnosis: history, state of the art and perspective. Artificial Intelligence in Medicine. 2001; 23(1): 89-109.
3. Бледжянц Г. А., Саркисян М. А., Исакова Ю. А., Туманов Н. Ф., Попов А. Н., Бегмуродова Н. Ш. Ключевые технологии формирования искусственного интеллекта в медицине. Ремедиум. Журнал о российском рынке лекарств и медицинской технике. 2015; (12): 10-5.
4. Машинное обучение поможет врачам принимать более информированные решения. Телемедицина.ш [Интернет]. Сентябрь 2017 г [процитировано 4 сентября 2017 г.]. Доступно по ссылке: https://telemedicina.ru/news/equip/ mashinnoe-obuchenie-pomojet-vracham-prinimat-bolee-informi rovannyie-resheniya.
5. Жариков О. Г., Мещеряков Ю. В., Литвин А. А. Нейросетевые технологии в медицине. Вопросы организации и информатизации здравоохранения. 2007; 4 (53): 59-63.
6. Головачев В. Ошибочный диагноз. Газета «Труд». 28 октября 2014 г
7. Коротаев И. Г., Чернухин Г. А., авторы; ООО «КОМТЕК», правообладатель. Программный комплекс «Здравоохранение». Свидетельство об официальной регистрации программы для ЭВМ № 2007613347 от 09.08.2007.
8. Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O et al. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research. 2011; 12: 2825-30.
9. Shalev-Shwartz S, Ben-David S. Understanding Machine Learning: From Theory to Algorithms. New York: Cambridge University Press; 2014. 410 p.
10. Müller AC, Guido S. Introduction to Machine Learning with Python: A Guide for Data Scientists. 1st ed. O'Reilly Media; 2016. 285 p.
References
1. Gusev AV. [Perspectives of neural networks, and deep machine learning to create solutions for healthcare]. Doctor and information technologies. 2017; (3): 92-105. Russian.
2. Kononenko I. Machine learning for medical diagnosis: history, state of the art and perspective. Artificial Intelligence in Medicine. 2001; 23(1): 89-109.
3. Bledzhiants GA, Sarkisian MA, Isakova IA, Tumanov NF, Popov AN, Begmurodova NS. [The key technologies of artificial intelligence in medicine]. Remedium. Magazine about the Russian market of medicines and medical equipment. 2015; (12): 10-5. Russian.
4. [Machine learning helps physicians to make more informed decisions]. Telemedicina.ru [Internet]. 2017 Sep. [cited 2017 Sep 4]. Available from: https://telemedicina.ru/news/equip/ mashinnoe-obuchenie-pomojet-vracham-prinimat-bolee-informi rovannyie-resheniya. Russian.
5. Zharikov OG, Meshcherikov IV, Litvin AA. [Neuronet technologies in medicine]. The issues of organization and Informatization of healthcare. 2007; 4 (53): 59-63. Russian.
6. Golovachev V. Oshibochniy diagnoz. Trud. 2014 Oct 28. Russian.
7. Korotaev IG, Chernukhin GA, the authors; COMTEK Ltd., assignee. Software complex «Healthcare». The certificate of official registration program for computer 2007613347. 2007 Aug 9.
8. Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O et al. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research. 2011; 12: 2825-30.
9. Shalev-Shwartz S, Ben-David S. Understanding Machine Learning: From Theory to Algorithms. New York: Cambridge University Press; 2014. 410 p.
10. Müller AC, Guido S. Introduction to Machine Learning with Python: A Guide for Data Scientists. 1st ed. O'Reilly Media; 2016. 285 p.
11. Luo Y, Szolovits P, Dighe AS, Baron JM. Using Machine Learning
11. Luo Y, Szolovits P, Dighe AS, Baron JM. Using Machine Learning to Predict Laboratory Test Results. Am J Clin Pathol. 2016 Jun; 145 (6): 778-88. DOI: 10.1093/ajcp/aqw064.
12. Хливненко Л. В., Пятакович Ф. А. Вариант построения си^ темы коллективного человеко-машинного интеллекта для обработки больших данных в медицине. Здоровье и образование в XXI веке. 2016; 18 (12): 141-4.
13. Биленко А. А., Рыбкин С. В. Применение алгоритмов машинного обучения для определения высокого риска сахарного диабета 1 типа. Электронный журнал: наука, техника и образование. 2017; 1 (10): 44-9.
14. Tseng CJ, Lu CJ, Chang CC, Chen GD, Cheewakriangkrai C. Integration of data mining classification techniques and ensemble learning to identify risk factors and diagnose ovarian cancer recurrence. Artif Intell Med. 2017; (78): 47-54.
15. Onisko A, Druzdzel MJ. Impact of precision of Bayesian network parameters on accuracy of medical diagnostic systems. Artif Intell Med. 2013 Mar; 57 (3): 197-206. DOI: 10.1016/j. artmed.2013.01.004.
16. Khajehali N, Alizadeh S. Extract critical factors affecting the length of hospital stay of pneumonia patient by data mining (case study: an Iranian hospital). Artif Intell Med. 2017 Nov; 83: 2-13. DOI: 10.1016/j.artmed.2017.06.010.
17. Weiss JC, Natarajan S, Peissig PL, McCarty CA, Page D. Machine Learning for Personalized Medicine: Predicting Primary Myocardial Infarction from Electronic Health Records. AI Magazine. 2012; 33 (4): 33-45.
18. Futoma J, Sendak M, Cameron B, Heller K. Predicting Disease Progression with a Model for Multivariate Longitudinal Clinical Data. In: Proceedings of the 1st Machine Learning for Healthcare Conference; 2016 Aug 19-20; Children's Hospital LA, USA; 2016; (56): 42-54.
to Predict Laboratory Test Results. Am J Clin Pathol. 2016 Jun; 145 (6): 778-88. DOI: 10.1093/ajcp/aqw064.
12. Khlivnenko LV, Piatakovich FA. [The option of constructing the system of collective human-machine intelligence for big data processing in medicine]. Health and Education Millenium. 2016; 18 (12): 141-4. Russian.
13. Bilenko AA, Rybkin SV. [The application of machine learning algorithms to identify high risk diabetes type 1 diabetes]. E-magazine: science, technology and education. 2017; 1 (10): 44-9. Russian.
14. Tseng CJ, Lu CJ, Chang CC, Chen GD, Cheewakriangkrai C. Integration of data mining classification techniques and ensemble learning to identify risk factors and diagnose ovarian cancer recurrence. Artif Intell Med. 2017; (78): 47-54.
15. Onisko A, Druzdzel MJ. Impact of precision of Bayesian network parameters on accuracy of medical diagnostic systems. Artif Intell Med. 2013 Mar; 57 (3): 197-206. DOI: 10.1016/j. artmed.2013.01.004.
16. Khajehali N, Alizadeh S. Extract critical factors affecting the length of hospital stay of pneumonia patient by data mining (case study: an Iranian hospital). Artif Intell Med. 2017 Nov; 83: 2-13. DOI: 10.1016/j.artmed.2017.06.010.
17. Weiss JC, Natarajan S, Peissig PL, McCarty CA, Page D. Machine Learning for Personalized Medicine: Predicting Primary Myocardial Infarction from Electronic Health Records. AI Magazine. 2012; 33 (4): 33-45.
18. Futoma J, Sendak M, Cameron B, Heller K. Predicting Disease Progression with a Model for Multivariate Longitudinal Clinical Data. In: Proceedings of the 1st Machine Learning for Healthcare Conference; 2016 Aug 19-20; Children's Hospital LA, USA; 2016; (56): 42-54.
