CC BY
133
л
К.С. МИЛЬЧАКОВ,
аспирант Высшей школы управления здравоохранением Первого МГМУ им. И.М. Сеченова, г. Москва, Россия, kirill@milchakov.pro М.П. ШЕБАЛКОВ,
аспирант кафедры системного анализа и моделирования экономических процессов ФГОБУ ВПО «Финансовый университет при Правительстве РФ», г. Москва, Россия
СКОРИНГОВЫЕ КАРТЫ В МЕДИЦИНЕ: ОБЗОР И АНАЛИЗ ПУБЛИКАЦИЙ
УДК 002.53
Мильчаков К.С., Шебалков М.П. Скоринговые карты в медицине: обзор и анализ публикаций
(Высшая школа управления здравоохранением Первого МГМУ им И.М. Сеченова, г. Москва, Россия; ФГОБУ ВПО «Финансовым университет при Правительстве РФ», г. Москва, Россия)
Аннотация. Проанализированы математические модели патологических процессов и состояний, а также создаваемые на их базе системы оценки различных показателей — скоринговые карты (СК). Приведены основные методы, используемые при создании скоринговых систем в медицине, как из классической статистики, так и методов Data Mining — совокупность методов для извлечения ранее неизвестных знаний из наборов данных. Проанализированы некоторые организационно-методические проблемы реализации СК в здравоохранении.
Ключевые слова: информатизация здравоохранения, скоринговые картыi в медицине, шкалы в нефрологии. UDC 002.53
Milchakov K.S., Shebalkov M.P. Scorecards in medicine: analytic review (High school of health administration of I.M. Sechenov First Moscow State Medical University, Moscow, Russia; the Department of system analysis and modeling of economic processes of Financial University under the Government of the Russian Federation, Moscow, Russia)
Abstract. The mathematical models of pathological processes and conditions, and systems of assessment various indexes created on their basis — scorecards (SC) are analyzed. The basic methods used to creation of scorecards in medicine for extraction previously unknown knowledge from large data sets — from classical statistics and data mining are resulted. Some organizational — methodological problems of realization SC in healthcare are analyzed. Keywords: scorecards, pathological processes, mathematical models, large data sets.
4,
В современной клинической медицине существует множество задач, для решения которых требуются количественные методы. Ряд проблем не может быть решен, опираясь только на практический опыт врача-клинициста. Поэтому существует необходимость создания математических моделей систем и процессов, на которых могли бы быть изучены свойства реальных систем организма. Количественными методами могут решаться задачи моделирования проведения электрического потенциала в ткани сердца [1], процесса гемодиализа [2], динамики развития ВИЧ после антиретровирусной терапии [3], моделирования хронического гепатита В и С во время противовирусной терапии [4], изменения размера опухоли при лучевой терапии [5], влияния температуры в ЖКТ на его моторику [6], моделирования очагов эктопической активности в предсердиях [7], роста клеток глиом в мозге [8], фибрилляции предсердий [9], моделирова-
>
К.С. Мильчаков, М.П. Шебалков, 2015 г.
и информационные
технологии
ния механизмов развития рака молочной железы [10].
Особую роль в математическом моделировании в медицине играют модели патологических процессов и состояний и создаваемые на их базе системы оценки различных показателей (скоринговые системы) тяжести состояния пациента, степени нарушений функций организма, степени заболеваний, величин конкретных физиологических показателей, удобство которых позволило внедрить их в широкую клиническую практику.
На данный момент большинство проблем, решаемых скоринговыми системами в медицине, сводится к оценке тяжести состояния больного. Она может выражаться в процентах вероятности летального исхода или выздоровления, в степени или стадии заболевания, совокупностью качественных параметров, например, наличием сочетанных травм. Системы оценки тяжести применяются в различных областях знаний, в том числе медицине, примером могут служить различные шкалы в реаниматологии [13, 19, 20], ургентной хирургии [12], терапии [13].
При создании скоринговых систем в медицине обычно используются методы статистики (анализ корреляций, регрессионный анализ, факторный анализ, дискриминантный анализ, анализ выживаемости, анализ временных рядов), а также data mining. Data mining (добыча данных) — это совокупность методов для извлечения ранее неизвестных знаний из наборов данных. Такими методами являются деревья решений, искусственные нейронные сети, нечеткая логика, метод опорных векторов [14,15].
Наиболее часто используемым для создания систем оценки статистическим методом является построение модели на основе логистической (логит) регрессии. Это статистический метод для предсказания вероятности наступления какого-либо события путем подгонки данных к логистической кривой. Различают независимые количественные или ка-
чественные признаки — предикторы, позволяющие предсказать вероятность события, и зависимый бинарный признак — событие, которое предсказывают. Логистический регрессионный анализ сводится к подбору регрессионных коэффициентов уравнения.
В результате решения уравнения получается значение, изменяющееся от 0 до 1, где «0» применительно к системам оценки тяжести может обозначать благоприятный исход, а «1» — летальный исход. На сегодняшний день самые известные системы оценки, основанные на методе логит-регрессии, — это общие (неспециализированные) шкалы оценки тяжести состояния поступивших в ОРИТ пациентов — APACHE [16], SAPS [17], MPM [18], в российской науке системы прогнозирования, реализованные на базе логистической регрессии, также достаточно распространены для прогнозирования ургентных состояний [19, 20], акушерских исходов [21], наркомании [22] и т.д.
Деревья решений — разновидность классификатора, а также способ представления правил в иерархической структуре, где каждому объекту соответствует единственный узел, дающий решение. Деревья решений используются как вид прогностических моделей и систем для поддержки принятия врачебных решений в различных областях медицины, особенно для решения сложно формализуемых задач. Деревья решений быстро обучаются и дают возможность построения интуитивно понятной модели с высокой точностью прогноза по сравнению с другими методами (статистика, нейронные сети) [23].
Существует большое количество алгоритмов генерации деревьев решений, наиболее известные из них — CART, C4.5. CART (Classification And Regression Tree) решает задачи классификации и линейной регрессии и может работать только с номинальными или порядковыми предикторами [24]. C4.5 может решать только задачи классификации, генерирует деревья с неограниченным числом
ветвей у узла и может работать с числовыми данными, при этом каждая запись в наборе данных должна относиться к определенному классу.
Существуют гибридные деревья с логит-ре-грессией на листьях, например, LOTUS. Этот алгоритм может решать задачи классификации, вычисляя в то же время вероятность события, как это делает обычная логит-ре-грессия. Алгоритм применим к выборкам как с количественными, так и с качественными переменными, пригоден для анализа выборок с пропущенными значениями, имеется возможность выбора простой или множественной логит-регрессии на листьях.
Иногда в зависимости от алгоритма может появляться проблема получения после обучения дерева с большим количеством ветвей на узлах. Это может затруднить интерпретацию правил и результатов. Такая проблема решается наличием в некоторых алгоритмах возможности отсечения ветвей (pruning) и тем самым упрощения структуры модели.
Деревья решений используются в системе предсказания риска развития цирроза у больных хроническим вирусным гепатитом [25], в системе диагностики антител-опосредо-ванного микроциркуляторного воспаления в трансплантированных почках [26], при предсказании прогрессирования тяжести острого панкреатита, фармакоэкономических исследованиях [27] и пр.
Искусственная нейронная сеть представляет собой математическую модель, построенную по принципу организации и функционирования сетей нейронов живых организмов [28]. Нейронные сети используются для решения задач классификации, кластеризации, прогнозирования, построения систем принятия решений. Существует множество вариантов структурной организации нейронных сетей (многослойный перцептрон, сеть ради-ально-базисных функций, самоорганизующиеся карты). В общем виде сеть можно предста-
S015, №1
вить как совокупность (слой) входных нейронов, слой выходных нейронов, связанных между собой одним или несколькими промежуточными слоями. Обучение нейронной сети сводится к нахождению коэффициентов связей между нейронами. В процессе обучения сеть может находить сложные зависимости между входными и выходными данными, а при последующем использовании хорошо обобщать данные — давать верный результат на основании новых данных, которые отсутствовали при обучении [28].
Нейросети используются для предсказания отдаленных до 7 лет исходов у пациентов с IgA-нефропатиями [29], прогнозирования течения хронического гломерулонефрита [30], артериальной гипертензии [31], для прогнозирования исходов у пациентов с травмами [32], предсказания летальности пациентов с циррозом печени [34], для постановки диагноза острого аппендицита без оперативных вмешательств [35], для предсказания прогноза у пациентов с ишемическими нарушениями мозгового кровообращения после тромболизиса [36].
Основной проблемой нейронных сетей как математических моделей для создания шкал или систем принятия решений является сложность (а иногда и невозможность) интерпретации человеком связей между нейронами. Можно представить нейронную сеть как «черный ящик»: данные подаются на вход, на выходе выводится результат, при этом достаточно сложно понять, почему система работает именно так, и какие зависимости между показателями дают конкретный результат. В этой связи исследователями регулярно предпринимаются попытки создания алгоритмов извлечения правил из нейронных сетей [38].
Реже используемыми методами для создания скоринговых систем в медицине являются нечеткая логика (fuzzy logic) и метод опорных векторов (SVM — support vector machines).
Метод нечеткой логики работает с лингвистической неопределенностью — моделью,
>
и информационные
технологии
которая использует не математические выражения, а слова, отражающие качество. Людям-экспертам свойственно употреблять расплывчатые выражения, не имеющие точного значения. Например, в отношении количества — «много» или «мало». Таким образом, степень принадлежности объекта некоему классу постоянно изменяется от полной принадлежности до полной непринадлежности. Метод нечеткой логики используется в прогнозировании летальных исходов новорожденных, поступивших в ОРИТ [39], предсказании исхода рака пищевода [40], прогнозировании тяжести бронхиальной астмы [41], в системе принятия решений для подбора трупного донора почки для трансплантации [42].
Суть метода опорных векторов состоит в формировании векторов объектов, переносе их в пространство высокой размерности и поиске оптимальной гиперплоскости, которая разделит объекты на классы, при этом расстояние от гиперплоскости до ближайшей точки какого-либо класса будет максимальным. Метод используется в задачах классификации и регрессии: для предсказания вероятности остановки сердца [43], диагностики рака молочной железы [44], прогнозирования поражения почек [45], диагностики язвенного колита и болезни Крона [46].
Во всех скоринговых системах независимо от метода их создания используются одинаковые решения для упрощения их интерпретации пользователем. Для этого во многих шкалах применяется балльная система оценки показателей. Значения каждого показателя или совокупности показателей ранжируются по интервалам, каждому интервалу присваивается определенный балл, отражающий степень нарушения функции, определяемой показателем (совокупностью показателей). Баллы выставляются от 0 и далее, при этом «0» может означать отсутствие нарушений или минимальные нарушения. В таком случае финальная оценка по шкале определяется суммой баллов всех показателей. Как вари-
ант организации шкал может использоваться ранжирование значений показателей по интервалам без последующего присваивания интервалам баллов. В этом варианте «балльная» оценка присутствует в самом алгоритме и скрыта от глаз пользователей.
Возможна реализация шкал в самом упрощенном варианте на бумажном носителе по аналогии со скоринговыми картами в банковском секторе, такой вариант оформления удобен в повседневной врачебной практике и не зависим от уровня технического оснащения ЛПУ.
Классическим интерфейсным решением на ПК для различных реализаций шкал является система полей или выпадающих списков для ввода данных пользователем. Поля или списки могут быть объединены в группы по системам организма. В поле пользователь может вводить балльные оценки показателей или их абсолютные значения, в последнем случае определение соответствующего интервала значений и выставление балла происходят автоматически. Выпадающие списки включают в себя возможные интервалы показателей и используются в шкалах, оригинальные версии которых создавались без использования баллов. Для оценки бинарных показателей могут использоваться переключатели (radio-buttons), принимающие одно из возможных значений.
Существующие реализации различных шкал представлены в виде веб-версий для использования в браузерах [47], мобильных приложений для смартфонов и планшетов [48], реже — в виде аппаратных реализаций на базе реанимационных мониторов витальных функций.
Тогда как обычно для создания скоринго-вых систем в медицине используются выборки от нескольких сотен до нескольких десятков тысяч наблюдений, последние 5 лет существует возможность использования еще больших объемов данных. Термин «big data» (большие данные) означает огромные объемы данных
различных типов, которые постоянно увеличиваются. Используя такие данные, можно разработать системы оценки, значительно превосходящие существующие по калибровке и разрешающей способности.
Независимо от сложности моделей для оценки их качества используются одни и те же методы. Наиболее часто используемым методом оценки качества полученных моделей является оценка по рабочей характеристической кривой (ROC-curve). ROC-кри-вая показывает зависимость количества верно классифицированных (положительных) примеров от количества неверно классифицированных (отрицательных) примеров. В терминологии ROC-анализа первые называются истинно положительным, вторые — ложно отрицательным множеством. Применительно к системам оценки тяжести положительными примерами могут являться пациенты с летальными исходами, отрицательными — пациенты с благоприятными исходами. При проведении ROC-анализа строится график: по оси Y откладывается чувствительность, по оси X — (100% — специфичность). Чувствительность — это доля истинно положительных случаев, специфичность — доля истинно отрицательных. Таким образом, при оценке тяжести пациентов при различных патологических состояниях показатель с высокой чувствительностью будет чаще давать истинные результаты при наличии летального исхода, а показатель с высокой специфичностью — при наличии благоприятного исхода. Идеальная модель должна обладать стопроцентной чувствительностью и специфичностью, однако одновременно увеличить их нельзя [49].
Площадь под полученной кривой (Area Under Curve — AUC) используется для оценки качества полученной модели: чем больше площадь, тем выше у модели разрешающая способность — способность к распознаванию как положительных, так и отрицательных примеров. Площадь изменяется в пределах от 0 до 1. Считается, что модели с площадью
гая5, N»i
под кривой < 0,7 не обладают достаточной разрешающей способностью и не могут быть использованы в клинической практике. Площадь под кривой также используют для сравнения различных шкал между собой.
Другой важнейшей метрикой оценки качества созданных моделей является их калибровка — степень соответствия между предсказанным и реально наблюдаемым значениями. Калибровка определяется тестом Хосме-ра-Лемешова (Hosmer-Lemeshow test), уровень p для значения теста < 0,05 означает различие в значениях. Системы с хорошей калибровкой должны обладать уровнем p для значения теста Хосмера-Лемешова значительно больше 0,10. Метрика используется как для оценки отдельных систем, так и для сравнения систем между собой. Также несомненным успехом пользуется метод расчета коэфициента Джини (Gini coefficient).
Исследователями во всем мире регулярно предпринимаются попытки выяснить, какой из методов статистики и добычи данных лучше для оценки тяжести состояния пациентов с определенными заболеваниями [53]. Единственным результатом, в котором сходятся почти все исследователи, является тот факт, что скоринговые системы, основанные на базе логит-регрессии, обладают худшими способностями к обобщению и классификации по сравнению с системами на базе методов добычи данных. Так, Celi L.A. и соавт. сравнили разрешающие способности шкалы SAPS на базе логит-регрессии и специально обученной нейронной сети. При оценке тяжести пациентов с острыми повреждениями почек площади под ROC-кривой для шкалы SAPS и нейросети составили 0,64 и 0,87, соответственно [54]. Wang C.H. и соавт. предсказывали исходы лечения комбинацией интерферона и рибавирина пациентов с хроническим вирусным гепатитом С. По результатам исследования прогностическая система на базе нейросети сильно превысила по разрешающей способности систему на базе
>
и информационные
технологии
логит-регрессии (площади под 1ЮС-кривой 0,85 и 0,58, соответственно) [50]. Однако, несмотря на некоторые преимущества нейронных сетей перед логистической регрессией в прикладных областях знаний часто готовы пренебречь разницей эффективностей ради большей стабильности и интерпретируемости.
Стоит отметить, что существует тенденция объединения данных с нескольких шкал (мультишкалы) для более полного информированного принятия клинических решений при объединении данных о генетике, клеточных, тканевых процессов и, наконец, клинических данных [55].
Таким образом, выбор метода построения скоринговой системы зависит от задачи и возможностей/способностей исследователя. Каждый метод имеет свои плюсы и минусы, тем не менее, каждый из них может быть лучшим в определенной ситуации. Например, выбирать показатели-предикторы быстрее и проще с помощью логит-регрессии. Для построения классификатора можно пользоваться как логит-регрессией, так и более продвинутыми методами добычи данных.
Под возможностями подразумевается доступ к базам данных пациентов с определенным количеством наблюдений. Так, для создания скоринговой системы на базе логит-регрессии минимальным количеством наблюдений могут быть несколько сотен. Для создания же хорошей системы на базе одного из методов добычи данных счет количества
наблюдений должен идти на тысячи. Что касается способностей исследователя, относительно простыми методами для понимания и последующей работы являются логит-ре-грессия и в какой-то мере деревья решений. Тогда как понимание структуры организации нейронных сетей или функционирования систем нечеткой логики потребует от исследователя некоторых математических навыков.
Также метод создания системы оценки следует выбирать, исходя из изначальной постановки задачи. Может требоваться создание системы с решением задачи регрессии или создание классификатора с набором интуитивно понятных правил на выходе. В последнем случае идеальными методами будут деревья решений и, возможно, системы нечеткой логики.
Ситуация отчасти облегчается наличием рекомендаций по созданию шкал, которые существуют для большинства областей медицины. К тому же всегда можно пользоваться опытом создателей существующих систем как в плане отбора показателей-предикторов, так и для выбора оптимального математического метода.
Стоит отметить, что имитационное моделирование и построенные на его основе ско-ринговые системы могут стать основой для методических рекомендаций по стандартизации, идентификации, анализу и прогнозированию «медицинских», в том числе клинических рисков.
ЛИТЕРАТУРА
1. Clayton R.H. Computational models of normal and abnormal action potential propagation in cardiac tissue: linking experimental and clinical cardiology//Physiol. Meas. — 2001. — Vol. 22. — P. R15-R34.
2. Evans J.H.C., Smye S.W., Brockiebank J.T. Mathematical modelling of haemodialy-sis in children//Pediatr. Nephrol. — 1992. — Vol. 6. — P. 349-353.
3. Pereison A.S., Neison P.W. Mathematical Analysis of HIV-1 Dynamics in Vivo// SIAM Rev. — 1999. — Vol. 41. — P. 3-44.
4. Takayanagi T Modeling chronic hepatitis B or C virus infection during antiviral therapy using an analogy to enzyme kinetics: long-term viral dynamics without rebound and oscillation//Comput. Biol. Med. - 2013. - Vol. 43 (12). - P. 2021-2027.
5. Wang P., Feng Y. A mathematical model of tumor volume changes during radiothe-rapy//ScientificWorldJournal. - 2013. - Vol. 2013. - P. 181070.
6. Altomare A. et ai. Experimental evidence and mathematical modeling of thermal effects on human colonic smooth muscle contractility//Am. J. Physiol. Gastrointest. Liver Physiol. - 2014. - Vol. 307. - № 1. - P. 77-78.
7. Greisas A, Zafrir Z., Zlochiver S. Detection of Abnormal Cardiac Activity using Principal Component Analysis - a Theoretical Study//IEEE Trans. Biomed. Eng. - 2014.
8. Branco J.R., Ferreira J.A., de Oliveira P. Mathematical modeling of efficient protocols to control glioma growth//Math. Biosci. - 2014. - Vol. 255. - P. 83-90.
9. Trayanova N.A. Mathematical approaches to understanding and imaging atrial fibrillation: significance for mechanisms and management//Circ. Res. - 2014. -Vol. 114. - № 9. - P. 1516-1531.
10. Zhang X. et ai. Mathematical modeling the pathway of human breast cancer// Math. Biosci. - 2014. - Vol. 253. - P. 25-29.
11. Le Gal G. et ai. Prediction of pulmonary embolism in the emergency department: the revised Geneva score//Ann. Intern. Med. - 2006. - Vol. 144. - №3. - P. 165-171.
12. Wu B.U. et a. The early prediction of mortality in acute pancreatitis: a large population-based study//Gut. - 2008. - Vol. 57. - № 12. - P. 1698-1703.
13. Antman EM. et al. The TIMI Risk Score for Unstable Angina/Non-ST Elevation MI// JAMA. American Medical Association. - 2000. - Vol. 284. - № 7. - P. 835.
14. Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques, Second Edition (Morgan Kaufmann Series in Data Management Systems). - Morgan Kaufmann Publishers Inc., 2005.
15. Tan P.-N., Steinbach M., Kumar V. Introduction to Data Mining, (First Edition). -Addison-Wesley Longman Publishing Co., Inc., 2005.
16. Zimmerman J.E. et al. Acute Physiology and Chronic Health Evaluation (APACHE) IV: hospital mortality assessment for today's critically ill patients//Crit. Care Med. - 2006. - Vol. 34. - № 5. - P. 1297-1310.
17. Moreno R.P. et a. SAPS 3-From evaluation of the patient to evaluation of the intensive care unit. Part 2: Development of a prognostic model for hospital mortality at ICU admission//Intensive Care Med. - 2005. - Vol. 31. - № 10. - P. 1345-1355.
18. Higgins T.L. et a. Assessing contemporary intensive care unit outcome: an updated Mortality Probability Admission Model (MPM0-III)//Crit. Care Med. - 2007. -Vol. 35. - № 3. - P. 827-835.
19. Зелтынь-Абрамов E.M. Тромболитическая терапия и разрывы сердца в остром периоде инфаркта миокарда//Автореф. дис. ... канд. мед. наук. - М., 2011. - 51 с.
20. Реброва О.Ю. Математические алгоритмы и экспертные системы в дифференциальной диагностике инсультов//Авторефр. дис. ... док. мед. наук: 14.00.13, 05.13.01. - М., 2003. - 44 с.
21. Амирова А.А. Прогнозирование исходов ЭКО и ЭКО/ИКСИ у бесплодных супружеских пар при некоторых формах бесплодия//Автореф. дис. ... канд. мед. наук. - М., 2011. - 27 с.
>
и информационные
технологии
22. Григорьев С.Г. Многомерное математико-статистическое моделирование сложных медицинских систем//Автореф. дис. ... докт. мед. наук (14.00.33)//Киров, 2003.
— 42 с.
23. Rokach L, Maimon O. Decision Tree//Data Min. Knowl. Discov. Handb. — 2005.
— P. 165-192.
24. Loh W. Classification and regression tree methods//Encycl. Stat. Qual. Reliab. — 2008. — P. 315-323.
25. Cheong J.Y. et ai. A practical scoring system for predicting cirrhosis in patients with chronic viral hepatitis//Hepatogastroenterology. — Vol. 59. — №120. — P. 2592-2597.
26. Sis B. et ai. A new diagnostic algorithm for antibody-mediated microcirculation inflammation in kidney transplants//Am. J. Transplant. — 2012. — Vol. 12. — № 5. — P. 1168-1179.
27. Страчунская Е.Я. Паркинсонизм: оптимизация терапии на основе многокритериального анализа фармако-эпидемиологических и фармакоэкономических пока-зателей//Автореф. дис. ... докт. мед. наук. — Смоленск. 2008. — 46 с.
28. Mao J. Why artificial neural networks?//Communications. — 1996. — Vol. 29. — P. 31-44.
29. Geddes C.C. et ai. An artificial neural network can select patients at high risk of developing progressive IgA nephropathy more accurately than experienced nephrolo-gists//Nephrol. Dial. Transplant. — 1998. — Vol. 13. — № 1. — P. 67-71.
30. Тетюшкина E.B. Клинико-морфологические предикторы прогрессирования хронического гломерулонефрита//Автореф. дис. ... канд. мед. наук 14.00.05. — Самара, 2008. — 22 с.
31. Горшкова E.B. Система прогнозирования поведения артериального давления у пациентов с эссенциальной артериальной гипертензией//Автореф. дис. ... канд. мед. наук 14.00.05. — Нижний Новгород, 2007. — 28 с.
32. DiRusso S.M. et ai. An artificial neural network as a model for prediction of survival in trauma patients: validation for a regional trauma area//J. Trauma. — 2000.
— Vol. 49. — № 2. — P. 212-220; discussion 220-223.
33. Pearl A., Bar-Or R., Bar-Or D. An artificial neural network derived trauma outcome prediction score as an aid to triage for non-clinicians//Stud. Health Technol. Inform. — 2008. — Vol. 136. — P. 253-258.
34. Ghoshai U.C., Das A. Models for prediction of mortality from cirrhosis with special reference to artificial neural network: a critical review//Hepatol. Int. — 2008. — Vol. 2. — № 1. — P. 31-38.
35. Hsieh C.-H. et ai. Novel solutions for an old disease: diagnosis of acute appendicitis with random forest, support vector machines, and artificial neural networks// Surgery. — 2011. — Vol. 149. — № 1. — P. 87-93.
36. Dharmasaroja P., Dharmasaroja P.A. Prediction of intracerebral hemorrhage following thrombolytic therapy for acute ischemic stroke using multiple artificial neural networks//Neurol. Res. — 2012. — Vol. 34. — № 2. — P. 120-128.
37. Cheng C.-A., Lin Y.-C, Chiu H.-W. Prediction of the prognosis of ischemic stroke patients after intravenous thrombolysis using artificial neural networks//Stud. Health Technol. Inform. — 2014. — Vol. 202. — P. 115-118.
38. Chorowski J, Zurada J.M. Extracting rules from neural networks as decision dia-grams//IEEE Trans. Neural Netw. - 2011. - Vol. 22. - № 12. - P. 2435-2446.
39. Chaves L.E., Nascimento L.F.C. Estimating outcomes in newborn infants using fuzzy logic//Rev. Paul. Pediatr. - 2014. - Vol. 32. - № 2. - P. 164-170.
40. Wang C.-Y. et al. Fuzzy logic-based prognostic score for outcome prediction in esophageal cancer//IEEE Trans. Inf. Technol. Biomed. - 2012. - Vol. 16. - № 6. -P. 1224-1230.
41. Zolnoori M. et al. Fuzzy rule-based expert system for assessment severity of asthma//J. Med. Syst. - 2012. - Vol. 36. - № 3. - P. 1707-1717.
42. Gundogar E. et al. Fuzzy organ allocation system for cadaveric kidney transplan-tation//Transplantation. - 2005. - Vol. 80. - № 12. - P. 1648-1653.
43. Liu N. et al. An Intelligent Scoring System and Its Application to Cardiac Arrest Prediction//IEEE Trans. Inf. Technol. Biomed. IEEE. - 2012. - Vol. 16. - № 6. -P. 1324-1331.
44. Chen H.-L. et al. Support vector machine based diagnostic system for breast cancer using swarm intelligence//J. Med. Syst. - 2012. - Vol. 36. - №4. - P. 2505-2519.
45. Moulavi D. et al. Combining gene expression and interaction network data to improve kidney lesion score prediction//Int. J. Bioinform. Res. Appl. - 2012. - Vol. 8.
- № 1-2. - P. 54-66.
46. Crooke P.S. et al. Using gene expression data to identify certain gastro-intestinal diseases//J. Clin. Bioinforma. - 2012. - Vol. 2. - № 1. - P. 20.
47. http://www.mdcalc.com/.
48. https://itunes.apple.com/ru/artist/national-kidney-foundation/id418198855.
49. Park S.H., Goo J.M., Jo C.-H. Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists//Korean J. Radiol. - 2004. - Vol. 5. - P. 11.
50. Wang C.-H. et al. Artificial neural network model is superior to logistic regression model in predicting treatment outcomes of interferon-based combination therapy in patients with chronic hepatitis C//Intervirology. - 2008. - Vol. 51. - № 1. - P. 14-20.
51. Nimgaonkar A. et al. Prediction of mortality in an Indian intensive care unit. Comparison between APACHE II and artificial neural networks//Intensive Care Med. -2004. - Vol. 30. - № 2. - P. 248-253.
52. Westreich D., Lessler J., Funk M.J. Propensity score estimation: neural networks, support vector machines, decision trees (CART), and meta-classifiers as alternatives to logistic regression//J. Clin. Epidemiol. - 2010. - Vol. 63. - № 8. - P. 826-833.
53. Luaces O. et al. Predicting the probability of survival in intensive care unit patients from a small number of variables and training examples//Artif. Intell. Med. - 2009.
- Vol. 45. - № 1. - P. 63-76.
54. Celi L.A. et al. A Database-driven Decision Support System: Customized Mortality Prediction//J. Pers. Med. Molecular Diversity Preservation International. - 2012. -Vol. 2. - № 4. - P. 138-148.
55. Phan J.H. et al. Multiscale integration of -omic, imaging, and clinical data in biomedical informatics//IEEE Rev. Biomed. Eng. - 2012. - Vol. 5. - P. 74-87.
