CC BY
25
бВестник Евразийской науки / The Eurasian Scientific Journal https://esj.todav 2022, №2, Том 14 / 2022, No 2, Vol 14 https://esi.todav/issue-2-2022.html URL статьи: https://esi.todav/PDF/06ECVN222.pdf Ссылка для цитирования этой статьи:
Бочкарев, А. М. Использование машинного обучения для оценки моделей прогнозирования финансовых затрат на госпитализацию / А. М. Бочкарев // Вестник евразийской науки. — 2022. — Т. 14. — № 2. — URL: https ://esi.todav/PDF/06ECVN222.pdf
For citation:
Botchkarev A.M. Machine learning evaluation of the hospital case cost prediction models. The Eurasian Scientific Journal, 14(2): 06ECVN222. Available at: https://esi.todav/PDF/06ECVN222.pdf. (In Russ., abstract in Eng.).
Бочкарев Алексей Михайлович
ФГОБУ ВО «Финансовый университет при Правительстве Российской Федерации», Москва, Россия Директор Международного проектного центра, старший научный сотрудник
Кандидат технических наук E-mail: ambotchkarev@fa.ru ORCID: https://orcid.org/0000-0002-0689-8830 РИНЦ: https://elibrarv.ru/author profile.asp?id= 1064627 Researcher ID: https://www.researcherid.com/rid/G-1173-2011 SCOPUS: https://www.scopus.com/authid/detail.url?authorId=24823757400 Google Академия: http://scholar.google.ca/citations?hl=en&user=2EYv3RUAAAAJ
Использование машинного обучения для оценки моделей прогнозирования финансовых затрат на госпитализацию
Аннотация. Выполнение точного моделирования и прогнозирования стоимости лечения в стационаре (финансовых затрат на госпитализацию каждого пациента) имеет решающее значение для эффективного управления финансами в здравоохранении и бюджетного планирования. Известно, что различные алгоритмы регрессионного машинного обучения могут эффективно применяться для прогнозирования затрат в медицине и здравоохранении. Целью данного исследования было создание экспериментальной модели на онлайн платформе Azure Machine Learning Studio (MLS) и проведение быстрой эмпирической оценки различных типов регрессионных моделей в здравоохранении. Разработанный автором инструмент обеспечивает среду для сравнения 14 типов регрессионных моделей в едином эксперименте: линейная регрессия (linear regression), байесовская линейная регрессия (Bavesian linear regression), регрессия леса принятия решений (decision forest regression), регрессия повышенного дерева принятия решений (boosted decision tree regression), регрессия нейронной сети (neural network regression), регрессия Пуассона (Poisson regression), регрессии гауссовского процесса (Gaussian processes for regression), алгоритм повышения градиента (gradient boosted machine), нелинейная регрессия наименьших квадратов (nonlinear least squares regression), регрессия поиска наилучшей проекции (proiection pursuit regression), регрессия случайного леса (random forest regression), робастная регрессия (robust regression), робастная регрессия с оценками мм-типа (robust regression with mm-tvpe estimators), регрессия опорных векторов (support vector regression). Разработанный автором инструмент демонстрирует результаты сравнения регрессионных моделей с помощью 14 оценок эффективности: CoD, GMRAE, MAE, MAPE, MASE, MdAE, MdAPE, MdRAE, ME, MPE, MRAE, MSE, NRMSE_mm, NRMSE_sd, RAE, RMdSPE, RMSE, RMSPE, RSE, sMAPE, SMdAPE, SSE.
Проведенная автором оценка моделей регрессионного машинного обучения для прогнозирования финансовых затрат на госпитализацию продемонстрировала преимущества
робастной регрессии, регрессии повышенного дерева принятия решений и регрессии леса принятия решений.
Разработанный автором инструмент находится в открытом доступе на платформе Azure MLS и может быть использован для экспериментов и расширений.
Ключевые слова: машинное обучение; регрессия; прогнозирование; оценка; Azure Machine Learning Studio; ошибка; точность; здравоохранение; финансовые затраты на госпитализацию
Информация о стоимости стационарного лечения на уровне пациента жизненно важна для анализа экономической эффективности (например, [1-4]). Возможность точного моделирования и прогнозирования стоимости стационарного лечения важна для эффективного управления финансами в здравоохранении, бюджетного планирования и анализа (например,
Различные типы алгоритмов регрессионного машинного обучения применялись для прогнозирования затрат на медицинские услуги. Например, в исследовании [7], сравнивалась производительность методов машинного обучения для прогнозирования медицинских затрат, связанных со спондилодезом; в исследовании [8], изучались характеристики простой нейронной сети случайного леса (КБ) и обобщенной линейной модели (ОЬМ) для
прогнозирования медицинских затрат на индивидуальном уровне; в докладе конференции [9], исследована множественная линейная регрессия; в статье [10], предложен нейронный подход к прогнозированию использования ресурсов стационара для совместной оценки расходов стационара и продолжительности пребывания на основе электронных медицинских карт.
Показатели эффективности (метрики ошибок) являются жизненно важными компонентами систем оценки. Показатель эффективности может быть определен как логическая и математическая конструкция, предназначенная для измерения того, насколько близки фактические результаты к ожидаемым или предсказанным. В научной литературе, например, [11] описано огромное разнообразие показателей эффективности.
Обычно исследовательские группы исследуют небольшое количество типов регрессии в одном эксперименте, обычно от двух до четырех. Кроме того, специфика реализации алгоритмов, использование различных показателей эффективности и особенности используемых наборов данных затрудняют сравнение, интерпретацию и воспроизведение результатов исследований.
Чтобы преодолеть эту проблему, данные исследования были сосредоточены на разработке веб-инструмента, который охватывал бы несколько типов регрессионных моделей в одном эксперименте, использовал бы различные (но одинаковые для всех алгоритмов) показатели эффективности, позволял бы легко изменять наборы входных данных.
Данная статья основана на исследованиях автора, результаты которых были представлены на английском языке в нескольких рабочих материалах (препринты и веб-инструменты) [12-15], но до настоящего времени не были опубликованы в академических журналах
Введение и обзор литературы
[5; 6]).
1. Методология 1.1 Цель
Цель эксперимента состояла в том, чтобы создать инструмент на платформе Azure MLS и сравнить различные типы регрессионных моделей машинного обучения для прогнозирования стоимости больничных случаев и выбрать модели с более высокой эффективностью для дальнейшего изучения.
1.2 Экспериментальная платформа
Студия машинного обучения Microsoft Azure Machine Learning Studio (https://studio.azureml.net) была выбрана в качестве платформы для создания инструмента и проведения экспериментов. Выбор Azure MLS был обусловлен следующими особенностями, которые непосредственно способствовали достижению целей исследования:
• Облачное машинное обучение как услуга.
• Веб-решение — браузер нужен пользователю только для работы с системой без каких-либо проблем или сложностей с настройкой, установкой и обслуживанием.
• Простой в использовании интерфейс перетаскивания (drag and drop) для интуитивно понятного объединения вычислительных модулей в эксперимент.
• Несколько готовых к использованию встроенных регрессионных модулей.
• Гибкость использования языков R и Python для кодирования экспериментов.
• Возможность интеграции функций из пакетов R.
• Легкий доступ, защищенная паролем интегрированная среда разработки.
• Возможность публикации результатов экспериментов в сети.
• Возможность повторного использования опубликованных экспериментов или их компонентов.
• Низкая плата (оплата по мере использования) или даже бесплатный сервис.
1.3 Регрессионные модели, включенные в эксперимент
Azure предлагает следующие встроенные, готовые к использованию модели: линейная регрессия, байесовская линейная регрессия, регрессия леса принятия решений, регрессия повышенного дерева принятия решений, регрессия нейронной сети и регрессия Пуассона. Все они были включены в эксперимент. Встроенные алгоритмы Azure MLS были дополнены следующими моделями, разработанными с использованием модулей R, Execute R Script и Create R: регрессии гауссовского процесса, алгоритм повышения градиента, нелинейная регрессия наименьших квадратов, регрессия поиска наилучшей проекции, регрессия случайного леса, робастная регрессия, робастная регрессия с оценками мм-типа, регрессия опорных векторов.
1.4 Анализ данных
В эксперименте использовался смоделированный набор данных, предназначенный для имитации информации о пациентах, которая, как правило, формируется в базах данных
госпиталей. Набор данных состоял из следующих столбцов (информационных признаков): медицинское вмешательство (intervention), диагноз, смешанная группа случаев (CMG), пол, возрастная группа (Age Gr), относительный вес интенсивности (RIW), продолжительность пребывания (LOS), стоимость. В таблице 1 приведен фрагмент набора данных. Общее количество строк в наборе данных равно 7000.
Таблица 1
Фрагмент набора экспериментальных данных
Относительный
Операция/ вмешательство Диагноз Диагностическая группа (CMG) Пол Возрастная группа вес интенсивности (RIW), Продолжительность пребывания (LOS) Стоимость, доллар
1GJ50BA C3480 129 Ж 11 1.463 3 1,480
1GJ50BA C781 129 М 11 1.463 3 1,510
1FU89NZ C783 129 Ж 15 1.405 2 1,460
3GY20WC A157 135 Ж 6 1.499 19 3,200
3GY20WA A150 135 М 17 2.135 13 2,230
3AN20WA А152 135 М 9 1.499 4 1,540
Разработан автором
Подробное описание характеристик набора данных приведено в [15], а полный набор данных доступен в Azure MLS [12]. Необходимо отметить, что набор данных был смоделирован и не предоставляется никаких гарантий относительно того, насколько близко он имитирует реальную информацию, хотя были предприняты все усилия для достижения сходства. Построение операционной модели и составление фактических прогнозов стоимости больничного лечения выходило за рамки задачи этой статьи.
1.5 Фазы эксперимента
Фаза 1. Целью эксперимента было исследование прогностической силы признаков (столбцов) набора данных. Модуль выбора объектов на основе фильтра Azure MLS использовался для оценки всех объектов по нескольким критериям и выбора наиболее важных. Этот этап позволил определить, какие столбцы следует использовать в эксперименте, поскольку они вносят наибольший вклад в результаты модели, а какие — не следует использовать.
Фаза 2. Целью эксперимента было сравнение встроенных в Azure MLS типов регрессионных моделей машинного обучения: линейная регрессия, байесовская линейная регрессия, регрессия леса решений, регрессия повышенного дерева принятия решений, регрессия нейронной сети и пуассоновская регрессия.
В фазе все модели использовались с параметрами, принятыми в Azure MLS по умолчанию. Для удобства выходы всех моделей представлены в одной таблице. В модулях, где допускается произвольное начальное число, оно было равно 12345.
На выходе получается единая комбинированная таблица результатов для всех типов регрессионных моделей, используемых в эксперименте, и названий алгоритмов. R-скрипт использовался для построения комбинированной таблицы результатов. Следует заметить, что выходы модулей оценки для разных алгоритмов имеют разный формат. Следовательно, модули Execute R имеют разный скрипт.
Фаза 3. Точная настройка параметров моделей. Цель состояла в том, чтобы настроить параметры регрессионной модели для повышения показателей эффективности. В некоторых источниках этот процесс называется оптимизацией модели. Для оптимизации был использован модуль Azure Tune Model Hyperparameters.
Фаза 4. Оценка толерантности моделей к изменениям. Цель фазы состояла в том, чтобы изучить реакцию моделей на изменения, вносимые в вычислительную среду и наборы данных, например, установку различных исходных чисел в расчетах модели, изменение процента разделения данных между наборами данных, используемыми для тестирования и оценки, изменение (добавление или удаление) особенностей набора данных.
Фаза 5. Целью фазы были эксперименты со всеми 14 типами регрессии. Использовались как встроенные модули Azure, так и разработанные с использованием языка R. Azure MLS предоставляет модуль "Create R Model" для разработки алгоритмов с использованием языка R и использования широкого спектра методов регрессии, реализованных в R Studio. Были реализованы следующие типы регрессии: регрессии гауссовского процесса, алгоритм повышения градиента, нелинейная регрессия наименьших квадратов, регрессия поиска наилучшей проекции, регрессия случайного леса, робастная регрессия, робастная регрессия с оценками мм-типа, регрессия опорных векторов. В таблице 2 приведен список R-пакетов и функций, которые использовались в эксперименте.
Таблица 2
Список пакетов R и функций, используемых в эксперименте
Тип регрессии Пакет R Функция
Регрессии гауссовского процесса Kernlab1 gausspr
Алгоритм повышения градиента Сарет2 train (gbm)
Нелинейная регрессия наименьших квадратов Stats3 nls
Регрессия поиска наилучшей проекции Stats ppr
Регрессия случайного леса randomForest4 randomForest
Робастная регрессия MASS5 rlm
Робастная регрессия с оценками мм-типа Robustbase6 lmrob
Регрессия опорных векторов E10717 svm
Разработан автором
Метрики эффективности. В первых четырех фазах для оценки моделей использовались стандартные показатели эффективности Azure MLS: средняя абсолютная ошибка (MAE — mean absolute error), среднеквадратическая ошибка (RMSE — root mean squared error), относительная абсолютная ошибка (RAE — relative absolute error ), относительная квадратичная
1 kernlab: Kernel-Based Machine Learning Lab. R package. https://cran.r-proiect.org/web/packages/kernlab/index.html..=
2 caret: Classification and Regression Training. R package. https://cran.r-project.org/web/packages/caret/index.html.
3 stats: The R Stats Package. R package. https://stat.ethz.ch/R-manual/R-devel/librarv/stats/html/00Index.html.
4 randomForest: Breiman and Cutler's Random Forests for Classification and Regression. R package. https://cran.r-proiect.org/web/packages/randomForest/index.html.
5 MASS: Support Functions and Datasets for Venables and Ripley's MASS. R package. https://cran.r-proiect.org/web/packages/MASS/index.html.
6 robustbase: Basic Robust Statistics. R package. https://cran.r-proiect.org/web/packages/robustbase/index.html.
7 e1071: Misc Functions of the Department of Statistics, Probability Theory Group (Formerly: E1071). R package. https ://cran. r-proiect. org/web/packages/el 071/index.html.
ошибка (RSE — relative squared error), коэффициент детерминации (CoD — coefficient of determination)B пятой фазе был использован модуль Enhanced Evaluate Model, помощью которого количество показателей эффективности увеличилось до 22 [13; 14]: коэффициент детерминации (CoD — coefficient of determination), средняя геометрическая относительная абсолютная ошибка (GMRAE — geometric mean relative absolute error), средняя абсолютная ошибка (MAE — mean absolute error), средняя абсолютная процентная ошибка (MAPE — mean absolute percentage error), средняя абсолютная масштабированная ошибка (MASE — mean absolute scaled error), медианная абсолютная ошибка (MdAE — median absolute error), медианная абсолютная процентная ошибка (MdAPE — median absolute percentage error), медианная относительная абсолютная ошибка (MdRAE — median relative absolute error), средняя ошибка (ME — mean error), средняя процентная ошибка (MPE — mean percentage error), средняя относительная абсолютная ошибка (MRAE — mean relative absolute error), среднеквадратичная ошибка (MSE — mean squared error), нормализованная среднеквадратичная ошибка, нормализованная к разнице между максимальными и минимальными фактическими данными (NRMSE_mm — normalized root mean squared error normalized to the difference between maximum and minimum actual data), нормализованная среднеквадратичная ошибка, нормализованная к стандартному отклонению фактических данных (NRMSE_sd — normalized root mean squared error normalized to the standard deviation of the actual data), относительная абсолютная ошибка (RAE — relative absolute error), среднеквадратичная медианная процентная ошибка (RMdSPE — root median square percentage error), среднеквадратическая ошибка (RMSE — root mean squared error), среднеквадратическая процентная ошибка (RMSPE — root mean square percentage error), относительная квадратичная ошибка (RSE — relative squared error), симметричная средняя абсолютная процентная ошибка (sMAPE — symmetric mean absolute percentage error), симметричная медианная абсолютная процентная ошибка (SMdAPE — symmetric median absolute percentage error), сумма квадратов ошибок (SSE — sum of squared error).
Терминология. В этой статье термины используются в соответствии с обозначениями, принятыми в Azure MLS, например, более часто используемый квадрат R называется коэффициентом детерминации (CoD).
Результаты исследования. Полностью функционирующий веб-инструмент опубликован в сети [12]. Он может быть использован исследователями и практиками для воспроизведения результатов этого исследования, проведения экспериментов с собственными наборами данных или добавления дополнительных регрессионных моделей.
Подробные количественные результаты всех тестов доступны в [15] или могут быть воспроизведены с помощью веб-инструмента [12].
Фаза 1. Набор данных был протестирован с использованием модуля выбора признаков на основе фильтра Azure MLS со следующими критериями выбора: корреляция Пирсона, взаимная информация, корреляция Кендалла, корреляция Спирмена, хи-квадрат и оценка Фишера.
На основе упражнения по выбору функций набор обучающих данных был преобразован в шесть (6) версий с различным количеством столбцов. Менее важные столбцы последовательно удалялись от версии к версии. Выбор наиболее информативных признаков приводил к интуитивно ожидаемым результатам. По всем критериям, признак RIW (оотносительный вес интенсивности) был идентифицирован как наиболее важный, за которым следовал LOS (продолжительность пребывания в госпитале) (за одним исключением: вторым
Страница 6 из 12
2. Результаты эксперимента и их обсуждение
06ECVN222
важным по хи-квадрату был диагноз). Оценки, полученные по RIW и LOS, были значительно выше, чем у других функций. В то же время вмешательство, диагностика и пол были признаны наименее важными по большинству критериев. CMG и возрастная группа имели смешанное положение в середине шкалы.
Фаза 2. В эксперименте были протестированы следующие типы регрессионных моделей машинного обучения, доступных в Azure MLS в качестве встроенных модулей: линейная регрессия, байесовская линейная регрессия, регрессия леса решений, регрессия повышенного дерева принятия решений, регрессия нейронной сети и пуассоновская регрессия.
Анализ результатов тестирования фазы 2 позволил исключить некоторые модели из дальнейшего рассмотрения, в частности, регрессия нейронной сети и пуассоновская регрессия имеют значительно более низкие значения всех показателей эффективности по сравнению с другими моделями.
Еще четыре (4) типа моделей (т. е. линейная регрессия, байесовская линейная регрессия, регрессия леса решений и регрессия повышенного дерева принятия решений) сравнивались по трем (3) показателям эффективности: средняя абсолютная ошибка (MAE), среднеквадратичная ошибка (RMSE) и коэффициент детерминации (CoD). В целом, показатели эффективности всех моделей демонстрируют сходную связь с количеством информативных признаков тестируемого набора данных. Эффективность повышается (т. е. MAE и RMSE уменьшаются, а CoD — увеличивается) при удалении определенных информативных признаков набора данных (переход от теста 1 к тесту 6). Значительное улучшение наблюдается при переходе от теста 1 к тесту 3 (т. е. столбцы диагноз, медицинское вмешательство (intervention), смешанная группа случаев (CMG) и возрастная группа (Age Gr) удаляются один за другим). Для тестов от 4 до 6 эффективность всех моделей стабилизируется в одних и тех же диапазонах: 400-500 долларов для MAE, 1,990-2,300 долларов для RMSE и 0,65-0,75 для CoD. Единственным исключением является эффективность модели DFR, которая имеет определенное падение результатов в тесте 5. На основе экспериментов фазы 2 дальнейшее тестирование было проведено с тестовыми наборами данных 4, 5 и 6. Сравнение индивидуальных характеристик моделей дает смешанные результаты. Наилучший MAE показывает регрессия леса принятия решений. Наилучший RMSE демонстрируют линейная регрессия (LR) и байесовская линейная регрессия (BLR). Наилучший CoD регистрируется для регрессии леса принятия решений (DFR) и регрессия повышенного дерева принятия решений (BDT). Следует вновь отметить, что различия в показателях эффективности для всех моделей не были значительными, и все они были допущены к эксперименту фазы 3 с наборами данных от теста 4 до теста 6.
Как было отмечено, тесты от четвертого до шестого содержат признаки с наибольшей прогностической силой, выявленные в процессе по выбору признаков. Таким образом, результаты процесса отбора признаков и результаты анализа ошибок в эксперименте подтверждают друг друга и свидетельствуют о том, что использование менее информативных признаков не только приводит к неэффективности, но может и снизить эффективность прогнозирования.
В эксперименте была предпринята попытка объединить менее информативные признаки (медицинское вмешательство (intervention), диагноз, смешанная группа случаев — CMG, пол) в один столбец с помощью модуля Azure Principal Component Analysis (PCA) (расположен в Scale and Reduce, Data Transform). Комбинированный столбец (набор положительных и отрицательных чисел) был добавлен к набору данных в тесте 4. Эксперимент не выявил какого-либо улучшения показателей по какому-либо типу регрессии. Анализ этого комбинированного столбца с использованием модуля выбора признаков на основе фильтра также показывает, что прогностическая сила комбинированного признака была незначительной (но не нулевой).
Фаза 3. На этой фазе эксперимента все модели были обучены с использованием модуля Train Model, специфичного для каждого типа регрессии, с параметрами по умолчанию. Параметры по умолчанию Azure могут, и, скорее всего, не будут лучшими для конкретного набора данных. Настройка параметров модели может улучшить результаты с точки зрения критериев показателей эффективности, что в некоторых источниках называется оптимизацией модели. Для оптимизации был использован модуль Azure Tune Model Hyperparameters.
Эксперименты по настройке параметров показали, что регрессионные модели леса принятия решений и повышенного дерева принятия решений реагируют на подстройку параметров. Оптимизация по минимальной средней ошибке показала улучшение на 5 % для регрессии леса принятия решений и на 16,9 % для регрессии повышенного дерева принятия решений. Все остальные показатели эффективности улучшились и для оптимизированных моделей. Уменьшение среднеквадратичной ошибки (RMSE) свидетельствует о том, что большие ошибки были менее распространенными в настроенных моделях, поскольку большие ошибки вносят наибольший вклад в значение RMSE. Оптимизированные модели леса принятия решений и повышенного дерева принятия решений демонстрируют сходные абсолютные значения показателей эффективности: средняя ошибка 402-403 доллара и коэффициент детерминации 0,75-0,76 %.
Эксперименты по настройке параметров со всеми другими типами регрессии, т. е. линейной регрессией, байесовской линейной регрессией, регрессией нейронных сетей и регрессией Пуассона, либо были невозможны, либо не привели к улучшению показателей эффективности по сравнению с моделями, использующими параметры по умолчанию.
Фаза 4. Были проведены следующие эксперименты: изменение начального значения генератора псевдослучайных чисел (от 12345 до 98642) в моделях, где это возможно; изменение соотношения между набором тестовых данных и набором скоринговых данных от 0,5 (50 % тестирование, 50 % скоринг) до 0,7 (70 % тестирование, 30 % скоринг); изменение количества информативных признаков набора данных. Для каждого варианта были проведены эксперименты со встроенными в Azure регрессионными моделями (5 типов). Эксперимент по изменению начальных значений показал, что алгоритмы регрессии леса решений и регрессии повышенного дерева принятия решений толерантны к этому изменению. Изменение MAE составило менее 1 %. Изменение коэффициента разделения с 0,5 до 0,75, т. е. увеличение набора тестируемых данных, привело к повышению эффективности большинства алгоритмов MAE. Изменение количества признаков набора данных, т.е. удаление столбца возрастной группы, увеличило MAE большинства алгоритмов на 2-8 %, за исключением байесовской линейной регрессии и регрессии леса принятия решений.
Фаза 5. Результаты экспериментов со всеми 14 моделями показывают, что показатели эффективности, особенно MAE, варьируются в широком диапазоне. С точки зрения MAE, минимальная ошибка составляет около $250, а максимальная — около $550. Наилучшую эффективность продемонстрировала робастная регрессия (MAE $255). Этот результат значительно лучше, чем для всех других моделей на базе R. Кроме того, робастная регрессия превосходит все встроенные модели Azure MLS. Чтобы подтвердить этот вывод, робастная регрессия была рассчитана с помощью двух различных алгоритмов: rlm-функции из {MASS} и lmrob-функции из {robustbase}. Оба алгоритма дали практически одинаковые результаты.
Для большинства методов коэффициент детерминации близок к 0,70-0,75.
Комбинированные показатели эффективности для встроенных регрессионных моделей Azure и регрессионных моделей на основе R (с учетом настройки параметров) показывают, что робастная регрессионная модель показала наилучшие результаты (MAE $255), за которой следует регрессия повышенного дерева принятия решений ($402) и регрессия леса решений
($403). Хотя последние два показывают высокую эффективность только при настройке (оптимизации). Эти алгоритмы также демонстрировали хорошую толерантность к изменениям.
Применение созданного инструмента не ограничивается прогнозированием затрат. Этот инструмент также может быть использован для аналогичных типов прогнозов, например, для прогнозирования продолжительности пребывания в больнице, или в отраслях промышленности, отличных от здравоохранения.
Разработанный автором инструмент был построен и протестирован с использованием только числовых данных без п.а. (отсутствующих) элементов. Некоторые регрессионные модели не могут использоваться с категориальными данными, и может потребоваться преобразование в числовой формат.
Набор данных, используемый в эксперименте, был смоделирован, и не предоставляется никаких гарантий относительно того, насколько точно он имитирует реальную информацию.
Заметим, что из-за предыдущего пункта численные результаты эксперимента не могут быть использованы для реальных прогнозов.
Практический вклад этого исследования заключается в создании инструмента Azure Machine Learning Studio для быстрой оценки нескольких типов регрессионных моделей. Операционный инструмент был опубликован в Интернете на платформе Azure MLS [12]. Он может быть использован исследователями и практиками для воспроизведения результатов этого исследования, проведения экспериментов с собственными наборами данных или добавления иных регрессионных моделей.
Инструмент предлагает среду для сравнения 14 типов регрессионных моделей (линейная регрессия (linear regression), байесовская линейная регрессия (Bayesian linear regression), регрессия леса принятия решений (decision forest regression), регрессия повышенного дерева принятия решений (boosted decision tree regression), регрессия нейронной сети (neural network regression), регрессия Пуассона (Poisson regression), регрессии гауссовского процесса (Gaussian processes for regression), алгоритм повышения градиента (gradient boosted machine), нелинейная регрессия наименьших квадратов (nonlinear least squares regression), регрессия поиска наилучшей проекции (projection pursuit regression), регрессия случайного леса (random forest regression), робастная регрессия (robust regression), робастная регрессия с оценками мм-типа (robust regression with mm-type estimators), регрессия опорных векторов (support vector regression) в едином эксперименте и представляет результаты оценки в единой таблице с использованием 22 показателей эффективности: коэффициент детерминации (CoD — coefficient of determination), средняя геометрическая относительная абсолютная ошибка (GMRAE — geometric mean relative absolute error), средняя абсолютная ошибка (MAE — mean absolute error), средняя абсолютная процентная ошибка (MAPE — mean absolute percentage error), средняя абсолютная масштабированная ошибка (MASE — mean absolute scaled error), медианная абсолютная ошибка (MdAE — median absolute error), медианная абсолютная процентная ошибка (MdAPE — median absolute percentage error), медианная относительная абсолютная ошибка (MdRAE — median relative absolute error), средняя ошибка (ME — mean error ), средняя процентная ошибка (MPE — mean percentage error), средняя относительная абсолютная ошибка (MRAE — mean relative absolute error), среднеквадратичная ошибка (MSE — mean squared error), нормализованная среднеквадратичная ошибка нормализованная к
Страница 9 из 12
3. Ограничения
Выводы
06ECVN222
разнице между максимальными и минимальными фактическими данными (NRMSE_mm — normalized root mean squared error normalized to the difference between maximum and minimum actual data), нормализованная среднеквадратичная ошибка нормализованная к стандартному отклонению фактических данных (NRMSE_sd — normalized root mean squared error normalized to the standard deviation of the actual data), относительная абсолютная ошибка (RAE — relative absolute error ), среднеквадратичная медианная процентная ошибка (RMdSPE — root median square percentage error ), среднеквадратическая ошибка (RMSE — root mean squared error), среднеквадратическая процентная ошибка (RMSPE — root mean square percentage error), относительная квадратичная ошибка (RSE — relative squared error), симметричная средняя абсолютная процентная ошибка (sMAPE — symmetric mean absolute percentage error), симметричная медианная абсолютная процентная ошибка (SMdAPE — symmetric median absolute percentage error), сумма квадратов ошибок (SSE — sum of squared error )С помощью разработанного инструмента Azure MLS были оценены различные типы регрессионных моделей машинного обучения для прогнозирования стоимости госпитализации с использованием имитированного набора данных. Более высокая эффективность была продемонстрирована робастной регрессионной моделью и настроенными версиями усиленной регрессии дерева решений и регрессии леса решений.
ЛИТЕРАТУРА
1. Sülz, S., Wagenaar, H., & van de Klundert, J. (2021). Have Dutch Hospitals Saved Lives and Reduced Costs? A longitudinal patient-level analysis over the years 20132017. Health economics, 30(10), 2399-2408. https://doi.org/10.1002/hec.4391.
2. Jacobs, J.C., Barnett, P.G. Emergent Challenges in Determining Costs for Economic Evaluations. PharmacoEconomics 35, 129-139 (2017). https://doi.org/10.1007/s40273-016-0465-1.
3. Spacírová, Z., Epstein, D., García-Mochón, L., Rovira, J., Olry de Labry Lima, A., & Espín, J. (2020). A general framework for classifying costing methods for economic evaluation of health care. The European Journal of Health Economics, 21(4), 529-542. https://doi.org/10.1007/s10198-019-01157-9.
4. Malmmose, M., & Lydersen, J. P. (2021). From centralized DRG costing to decentralized TDABC-assessing the feasibility of hospital cost accounting for decisionmaking in Denmark. BMC health services research, 21(1), 1-15. https://doi.org/10.1186/s12913-021-06807-4.
5. Klumpp, M., Hintze, M., Immonen, M., Ródenas-Rigla, F., Pilati, F., Aparicio-Martínez, F., ... & Delgado-Gonzalo, R. (2021, August). Artificial intelligence for hospital health care: Application cases and answers to challenges in european hospitals. In Healthcare (Vol. 9, No. 8, p. 961). Multidisciplinary Digital Publishing Institute. https://doi .org/10.3390/healthcare9080961.
6. Corral, M., Ferko, N., Hogan, A., Hollmann, S. S., Gangoli, G., Jamous, N., ... & Kocharian, R. (2016). A hospital cost analysis of a fibrin sealant patch in soft tissue and hepatic surgical bleeding. ClinicoEconomics and outcomes research: CEOR, 8, 507. https://dx.doi.org/10.2147%2FCE0R.S112762.
7. Kuo, C.Y., Yu, L.C., Chen, H.C., & Chan, C.L. (2018). Comparison of models for the prediction of medical costs of spinal fusion in Taiwan diagnosis-related groups by machine learning algorithms. Healthcare informatics research, 24(1), 29-37. https://doi.org/10.4258/hir.2018.24.1.29.
8.
9.
10. 11. 12.
13.
14.
15.
Vimont, A., Leleu, H., & Durand-Zaleski, I. (2021). Machine learning versus regression modelling in predicting individual healthcare costs from a representative sample of the nationwide claims database in France. The European Journal of Health Economics, 1-13. https://doi.org/10.1007/s10198-021-01363-4.
Botchkarev, A., & Andru, P. (2008). Using financial modelling for integrated healthcare databases. In Electrical and Computer Engineering, 2008. CCECE 2008. Canadian Conference on (pp. 001973-001976). IEEE. https://doi.org/10.1109/CCECE.2008.4564889.
Yu, K., Yang, Z., Wu, C., Huang, Y., & Xie, X. (2021). In-hospital resource utilization prediction from electronic medical records with deep learning. Knowledge-Based Systems, 223, 107052. https://doi.org/10.1016/j.knosys.2021.107052.
Botchkarev, A. (2019). A new typology design of performance metrics to measure errors in machine learning regression algorithms. Interdisciplinary Journal of Information, Knowledge, and Management, 14, 45-79. https://doi.org/10.28945/4184.
Botchkarev, A. (2018a). Revision 2 Integrated tool for rapid assessment of multi-type regression machine learning models. Experiment in Microsoft Azure Machine Learning Studio. Azure AI Gallery. https://gallery.azure.ai/Experiment/Revision-2-Integrated-tool-for-rapid-assessment-of-multi-type-regression-machine-learning-models.
Botchkarev, A. (2018b). Enhanced model evaluation with multiple performance metrics for regression analysis. Experiment in Microsoft Azure Machine Learning Studio. Azure AI Gallery. https://gallery.azure.ai/Experiment/Enhanced-model-evaluation-with-multiple-performance-metrics-for-regression-analysis.
Botchkarev, A. (2018c). Evaluating Performance of Regression Machine Learning Models Using Multiple Error Metrics in Azure Machine Learning Studio (May 12, 2018). Available at SSRN: http://ssrn.com/abstract=3177507.
Botchkarev, A. (2018d). Evaluating Hospital Case Cost Prediction Models Using Azure Machine Learning Studio. arXiv: 1804.01825 [cs.LG]. https://arxiv.org/abs/1804.01825.
06ECVN222
Botchkarev Alexei Mikhaylovich
Financial University under the Government of the Russian Federation, Moscow, Russia
E-mail: ambotchkarev@fa.ru ORCID: https://orcid.org/0000-0002-0689-8830 RSCI: https://elibrary.ru/author profile.asp?id= 1064627 Researcher ID: https://www.researcherid.com/rid/G-1173-2011 SCOPUS: https://www.scopus.com/authid/detail.url?authorId=24823757400 Google Scholar: http://scholar.google.ca/citations?hl=en&user=2EYv3RUAAAAJ
Machine learning evaluation of the hospital case cost prediction models
Abstract. Ability for accurate hospital case cost modelling and prediction is critical for efficient health care financial management and budgetary planning. A variety of regression machine learning algorithms are known to be effective for health care cost predictions. The purpose of this study was to build an Azure Machine Learning Studio (MLS) tool (experiment) and conduct a rapid empirical assessment of multiple types of regression models in a healthcare environment. The tool offers environment for comparing 14 types of regression models in a unified experiment: linear regression, Bayesian linear regression, decision forest regression, boosted decision tree regression, neural network regression, Poisson regression, Gaussian processes for regression, gradient boosted machine, nonlinear least squares regression, projection pursuit regression, random forest regression, robust regression, robust regression with mm-type estimators, support vector regression. The tool presents assessment results in a single table using 22 performance metrics: CoD, GMRAE, MAE, MAPE, MASE, MdAE, MdAPE, MdRAE, ME, MPE, MRAE, MSE, NRMSE_mm, NRMSE_sd, RAE, RMdSPE, RMSE, RMSPE, RSE, sMAPE, SMdAPE, SSE.
Evaluation of regression machine learning models for performing hospital case cost prediction demonstrated advantage of the robust regression model, boosted decision tree regression and decision forest regression.
The operational tool has been published to the web and openly available at Azure MLS for experiments and extensions.
Keywords: machine learning; regression; prediction; evaluation; Azure Machine Learning Studio; error; accuracy; performance metrics; health care; case cost
