Сравнение возможностей логистической регрессии и искусственных нейронных сетей в прогнозировании результатов исследования на малой выборке Текст научной статьи по специальности «Медицинские технологии»

ЗДОРОВЬЕ

УДК: 311

/ \ Сравнение возможностей логистической

регрессии и искусственных нейронных сетей в прогнозировании результатов исследования на малой выборке

Базылев Владлен Владленович

Федеральный центр сердечно-сосудистой хирургии Министерства здравоохранения России Адрес: 440071, город Пенза, ул. Стасова, дом 6 E-mail: cardio58@yandex.ru

Карнахин Вадим Александрович

Федеральный центр сердечно-сосудистой хирургии Министерства здравоохранения России Адрес: 440071, город Пенза, ул. Стасова, дом 6

E-mail: vkhin@mail.ru

В настоящее время все чаще предпринимаются попытки сравнивать различные количественные модели для решения конкретных задач классификации данных. При этом в литературе отсутствуют данные о сравнении математических моделей в условиях малых выборок и сложных клинических ситуаций. Цель работы. Сравнить производительность моделей искусственных нейронных сетей и логистической регрессии в прогнозировании результатов исследования в условиях малой выборки. Материалы и методы. В симуляцию включена группа больных из 50 человек, которым была выполнена пластическая операция на митральном клапане. Для симуляции выбраны пять независимых переменных: пол, возраст, индекс массы тела, методика аппроксимации папиллярных мышц. Зависимая переменная - регургитация на митральном клапане в отдаленном периоде. Результаты. По данным логистической регрессии возник феномен разделения данных и получена огромная среднеквадратичная ошибка. По результатам анализа ROC-кривой выявлена зависимость между предиктором возраст и регургитацией на митральном клапане, площадь под кривой говорит о среднем уровне взаимосвязи. Результаты анализа предикторов с помощью искусственных нейронных сетей указывают на то, что основной вклад в качестве предиктора отсутствия регургитации оказывает процедура аппроксимации папиллярных мышц. С помощью теста De-Long проведено сравнение ROC-кривых регрессии и нейронных сетей по фактору возраст: z = 10.71, p <0,0001, выявлены статистически значимые различия, что говорит о преимуществе ИСН в выявлении предикторов. Заключение. При малой выборке с небольшим количеством событий искусственные нейронные сети имеют преимущество над другими методиками при определении предикторов влияния на зависимую переменную.

Ключевые слова: искусственные нейронные сети, логистическая регрессия, статистика, выборка, математическая модель, регрессия

Введение

Прогностические модели искусственных нейронных сетей (ИНС) и логистической регрессии используются в различных областях медицины для решения различных задач (Han, 2018; García-Reiriz, 2007; Bhatikar, 2005; Zhang, 1998; Waisman, 2019; Cire^an, 2012; Parisi, 2019). ИНС, создание которых было вдохновлено нейробиологией и архитектурой человеческого мозга являются непараметрическими методами распознавания образов, кото-

рые выявляют скрытые связи между зависимыми и независимыми переменными (Haykin, 1999; Lobo, 2018; Bazrafkan, 2018; Plis, 2018; Soltoggio, 2018; Parisi, 2019; Vellappally, 2019; Hyvarinen, 2000). В последние годы нейронные сети получили широкое распространение во многих дисциплинах науки и медицины. Модели нейронных сетей могут учиться на примерах, включать большое количество переменных и предоставлять адекватный и быстрый ответ на новые входящие данные (Tavanaei, 2019; Kulkarni, 2018; Graves, 2005; Boutin,

Материал опубликован в соответствии с международной лицензией Creative Commons Attribution 4.0.

11

_ Как цитировать _

Базылев, В. В., & Карнахин, В. А. (2019). Сравнение возможностей логистической регрессии и искусственных нейронных сетей в прогнозировании результатов исследования на малой выборке. Health, Food & Biotechnology, 1(3). https://doi. org/10.36107/hfb.2019.i3.s238

2018; Zhang, 2018; Coninck, 2018; Wideman, 2018). В настоящее время все чаще предпринимаются попытки сравнивать различные количественные модели для решения конкретных задач классификации данных (Sargent, 2001; Dreiseitl, 2002; Zurada, 1994). D.J. Sargent (Sargent, 2001) представил ме-таанализ, сравнив ИНС с регрессионными моделями в 28 исследованиях и обнаружил, что в 36% случаев ИНС оказались более эффективны, чем регрессионные модели. Логистическая регрессия обладала преимуществом в 14% работ, в оставшихся 50% исследований производительность моделей была одинаковой. S. Dreiseitl (Dreiseitl, 2002) проанализировал 72 статьи, сравнивая ИНС с логистической регрессией и обнаружил преимущество нейронных сетей в 18% случаев, а логистической регрессии только в 1%, в 42% случаев не было никакой разницы между двумя моделями. При этом в литературе отсутствуют данные о сравнении математических моделей в условиях малых выборок и сложных клинических ситуаций. Для ответа на вопрос о преимуществе в прогнозировании результатов работы при малых выборках выполнено симуляционное исследование.

Цель работы: сравнить производительность моделей ИНС и логистической регрессии в прогнозировании результатов исследования в условиях малой выборки.

Материалы и методы Логистическая регрессия

Логистическая регрессия — это статистическая модель, используемая для предсказания вероятности возникновения некоторого события путём подгонки данных к логистической кривой. Методика используется для определения предсказания вероятности возникновения некоторого события по значениям множества признаков.

Логарифм правдоподобия логистической регрессии имеет вид:

L(fi) = ¿1(3)

¡=1

где , в - вектор параметров

Искусственные нейронные сети. Многослойный перцептрон

Перцептрон представляет собой сеть формальных

нейронов МакКаллока и Питтса, состоящую из нескольких последовательно соединенных слоев (Wang, 2017). Входной слой нейронов состоит из сенсорных элементов, выполняет функцию приема и распространения по сети входной информации. Затем идет один или несколько скрытых слоев. Все нейроны в скрытом слое имеют несколько входов, сообщающихся с выходами нейронов предыдущего слоя и один выход. Задача нейрона состоит в вычислении взвешенной суммы его входов с дальнейшим преобразованием ее в выходной сигнал. Нейроны суммируют поступающие к ним сигналы от нейронов предыдущего уровня иерархии с весами, определяемыми состояниями синапсов, и формирует ответ, если полученная сумма выше порогового значения. Сеть переводит входной образ, определяющий степени возбуждения нейронов самого нижнего уровня иерархии, в выходной образ, определяемый нейронами самого верхнего уровня. Возбуждение нейрона на верхнем уровне говорит о принадлежности входного образа к той или иной категории. Процедура многослойного перцептро-на создает прогностическую модель для одной или нескольких зависимых переменных на основании значений переменных предикторов (Esfandiari, 2017).

Проведено симуляционное исследование для оценки эффективности выявления предикторов с помощью логистической регрессии и ИНС. С целью усложнения работы прогностических моделей взята малая выборка больных. В симуляцию включена группа больных из 50 человек, которым была выполнена пластическая операция на митральном клапане. Для симуляции выбраны пять независимых переменных: пол, возраст, индекс массы тела (ИМТ), методика аппроксимации папиллярных мышц. Две переменных - пол и аппроксимация папиллярных мышц - категориальные, все остальные непрерывные. Зависимая переменная - регур-гитация на митральном клапане в отдаленном периоде. Число событий в зависимой переменной - 4. В симуляции получилась малая выборка с небольшим количеством событий. Все случаи регургита-ции произошли в группе больных, где не была выполнена аппроксимация папиллярных мышц. На лицо феномен сепарации данных, что значительно усложняет работу модели логистической регресии. Все случае рецидива митральной недостаточности произошли у больных старше 60 лет, хотя возраст не является предиктором появления повторной регургитации по литературным данным. Таким образом, выявление предикторов в такой ситуации представляется трудной задачей. Клинико-де-мографические характеристики по изучаемым переменным представлены в таблице 1.

Таблица 1

Клинико-демографические характеристики больных

Фактор

N=50, n; % (M±SD)

Мужчины

Возраст

ИМТ

Аппроксимация

43(86%) 59,8±6,4 29,9±3,4 4(8%)

Таблица 2

Логистическая регрессия

Поиск предикторов выполнен с помощью множественной логистической регрессии и многослойного перцептрона. Алгоритм реализован с помощью SPSS версии 23 (SPSS, Chicago, IL, USA).

Результаты

Согласно результатам, пол, ИМТ - статистически незначимые факторы (р=1,1 и 0,6 соответственно). Возраст, несмотря на то, что только у больных старше 60 лет произошло событие, статистически незначимый фактор (р=0,2). Как и предполагалось, в случае аппроксимации возник феномен разделения данных и получена огромная среднеквадратичная ошибка. Несмотря на то, что фактор, возможно, значимый, невозможно интерпретировать данные логистической регрессии.

ROC-кривая в отношении предиктора возраст представлена на рисунке 1.

Рисунок 1. ROC кривая. Логистическая регрессия. Предиктор возраст

По результатам анализа ROC-кривой выявлена зависимость между предиктором возраст и регурги-тацией на митральном клапане, площадь под кривой говорит о среднем уровне взаимосвязи.

Искусственные нейронные сети. Многослойный перцептрон

Результаты анализа предикторов с помощью ИСН указывают на то, что основной вклад в качестве предиктора отсутствия регургитации оказывает

Предиктор

B

Среднеквадратичная ошибка

Значимость

Exp(B)

Нижняя Верхняя

граница 95% ДИ граница 95% ДИ

Возраст

Пол

ИМТ

Аппроксимация

0,097 0,098 -0,059 -19,140

0,08 1,251 0,127 6086,496

0,226 0,938 0,642 0,000

1,102 1,102 0,943 0,000

0,942 0,095 0,735 0,000

1,290 12,811 1,208

Примечание. Ехр(В) -отношение шансов, ДИ - доверительный интервал.

Таблица 3

Важность независимых переменных

Предиктор

Важность

Нормализованная важность,%

Пол

Возраст ИМТ

Аппроксимация

0,073 0,393 0,109 0,426

17,1% 94,3% 25,6% 100%

процедура аппроксимации папиллярных мышц. ИМТ и пол не оказывают значимого влияния на регургитацию в отдаленном периоде. Фактор возраст находится на втором месте по значимости влияния на зависимую переменную. ROC-кривая чувствительности и специфичности предиктора возраст многослойного перцептрона представлена на рисунке 2.

■О-Р-1-1-1-1-

О 2 .4 6 .8 1.0

Специфичность

Площадь под кривой 0,86.

Рисунок 2. ROC кривая. Нейронные сети. Предиктор возраст

ROC кривая указывает нам на высокую взаимосвязь предиктора возраст и зависимой переменной (площадь под кривой 0,86).

С помощью теста De-Long проведено сравнение ROC-кривых регрессии и нейронных сетей по фактору возраст: z = 10.71, p <0,0001, выявлены статистически значимые различия, что говорит о преимуществе ИНС в выявлении предикторов.

Таким образом, логистическая регрессия не позволила выявить ни одного значимого предиктора митральной регургитации после пластики клапана из-за феномена сепарации данных, а ИНС позволили выделить два предиктора с высоким уровнем взаимосвязи.

Обсуждение

Клиническая статистика имеет ряд особенностей. Появляются все новые и новые методики лечения, которые на первый взгляд очень эффективны, но количество наблюдений невелико. Перед исследо-

вателем возникает проблема, как доказать свою правоту на малой выборке больных (Носовский, 2013).

Вторая проблема, которая стоит перед исследователем - это малое число событий в выборке, и можно ли в этом случае использовать логистическую регрессию. Как правило, редкая частота событий связана именно с малой выборкой. При увеличении количества больных в группе проблема исчезает сама собой. При редкой частоте событий в малой или большой выборке не рекомендовано использовать логистическую регрессию из-за выраженного смещения оценки максимального правдоподобия (King, 2001). Логистическая регрессия может резко недооценивать вероятность редких событий.

Третья проблема -это феномен разделения данных. Впервые о разделении данных сообщил Albert в 1984 году. Феномен представляет собой, когда один или несколько предикторов оказывают сильное влияние на ответ и, следовательно, прекрасно предсказывают ожидаемый результат. Разделение может быть полным или квази-полным (Anderson, 1984). Сепарация чаще всего происходит при наличии сильных предикторов при небольших размерах выборок. Вероятность разделения выше для категориальных предикторов, чем для непрерывных (Heinze, 2002). В таком случае логистический анализ приводит необъективной оценке коэффициента регрессии, который порой приобретает огромные значения (Schaefer, 1983).

Решением для данных проблем может служить использование ИНС. ИНС часто позиционируются как инструмент, который может помочь проанализировать причинно-следственные связи в сложных системах в рамках больших и малых объемов данных (Pasini, 2006; Maddox, 2014; Fan, 2018; Varikuti, 2018).

Таким образом, нами была поставлена задача на примере симуляционной клинической модели определить преимущество использования ИНС над логистической регрессией в сложных условиях для анализа. Модель была сформирована из реальных больных, целенаправленно взят один фактор (аппроксимация папиллярных мышц), который по литературным данным может служить предиктором отсутствия митральной регургитации (Matsui, 2005) Выборка для анализа малая, всего 50 больных, с небольшим количеством событий - 4. Все события произошли в группе больных с аппроксимацией, возник феномен разделения данных. Случайным образом оказалось, что все больные с событием

старше 60 лет. В данном случае получилась чрезвычайно сложная ситуация для исследователя. Логистическая регрессия не справилась с разделением данных, был получен огромный коэффициент регрессии и среднеквадратичная ошибка (-19,140 и 6086,496 соответственно) для основного предиктора. Остальные предикторы статистически не значимы. Нейронная сеть определила, что важным фактором является аппроксимация папиллярных мышц, несмотря на разделение данных, но и указала на значимость возраста больных. Площадь под кривой ROC анализа (0,86) также указала на высокую связь между возрастом и регургитацией на митральном клапане. Для предиктора аппроксимация мы целенаправленно не приводим ROC кривые, так как он представляет собой дихотомическую переменную. Для бинарных данных возможность построения кривых ROC анализа остается дискутабельным вопросом. Многие авторы ставят под сомнение корректность анализа полученных результатов (Anjali, 2014; Bamber, 1975; Carole, 2014; DeLong, 1988; Demler, 2011). Таким образом, в сложной клинической ситуации ИНС позволили преодолеть феномен разделения данных и выявить важность предикторов на малой выборке, при использовании других методик не исключена ошибка. Кроме того, с помощью теста De-Long удалось установить статистически значимые отличия между Roc-кривыми по методике логистической регрессии и ИНС, что говорит о преимуществе нейронных сетей в прогнозировании осложнений клинического исследования. ИНС более высокую специфичность при чувствительности 95%, что является важным фактором, так как клинические наблюдатели предпочитают на более высоких уровнях чувствительности. Полученные результаты коррелируют с исследованиями с небольшими выборками, где для поиска предикторов использовались как ИНС, та и логистическая регрессия (Song, 2004). Преимущество ИНС подтверждают и проведенные метаанализы в различных областях медицины (Hassanipour, 2019, p. 244250; Adavi, 2016, p. 312; Parsaeian, 2012; Lang, 1997; Ottenbacher, 2004; Eftekhar, 2005).

Тем не менее, применение ИНС не часто встречается в клинических работах по медицине, хотя с небольшими выборками приходится сталкиваться большинству практикующих исследователей, изучающих осложнения после операций.

Заключение

При малой выборке с небольшим количеством событий СИН имеют преимущество над другими ме-

тодиками при определении предикторов влияния на зависимую переменную.

ИНС позволяет нивелировать феномен разделения данных.

Необходимо более широко использовать методику в медицинской статистике.

Литература

Носовский, А. М., Пихлак, А. Э., Логачев, В. А., Чур-синова, И. И., & Мутьева Н.А. (2013). Статистика малых выборок в медицинских исследованиях. Российский медицинский журнал, 6. Adavi, M., Salehi, M., & Roudbari, M. (2016). Artificial neural networks versus bivariate logistic regression in prediction diagnosis of patients with hypertension and diabetes. Medical Journal of The Islamic Republic of Iran, 30, 312. Albert, A., & Anderson, J. A. (1984). On the existence of maximum likelihood estimates in logistic regression models. Biometrika, 71(1), 1-10. Anjali, D. N.,& Bossaerts, P. (2014). Risk and Reward Preferences under Time Pressure. Review of Finance, 18, 999-1022.

Bamber, D. (1975). The Area above the Ordinal Dominance Graph and the Area belowthe Receiver Operating Characteristic Graph. Journal of Mathematical Psychology, 12,387-415. Bazrafkan, S., Thavalengal, S., & Corcoran, P. (2018). An end to end Deep Neural Network for iris segmentation in unconstrained scenarios. Neural Networks, 106, 79-95. https://doi.org/10.10Wj. neunet.2018.06.01 Bhatikar, S. R., DeGroff, C., & Mahajan, R. L. (2005). A classifier based on the artificial neural network approach for cardiologic auscultation in pediatrics. Artificial Intelligence in Medicine, 33(3), 251-260. https://doi.org/10.1016/j.artmed.2004.07.008 Boutin, A., Pinsard, B., Bore, A., Carrier, J., Fogel, S. M., & Doyon, J. (2018). Transient synchronization of hippocampo-striato-thalamo-cortical networks during sleep spindle oscillations induces motor memory consolidation. NeuroImage, 169, 419-430. https://doi.org/10.1016/j.neuroimage.2017.12.066 Carole, C-F. and T.J. Putnins. (2014). Stock Price Manipulation: Prevalence and Determinants. Review of Finance, 18, 23-66. Cire^an, D. (2012). Multi-column deep neural network for traffic sign classification. Neural Networks, 32, 333-338. https://doi.org/10.1016/j. neunet.2012.02.023 Coninck, E. De, Bohez, S., Leroux, S., Verbelen, T., Vankeirsbilck, B., Simoens, P., & Dhoedt, B. (2018).

DIANNE: a modular framework for designing, training and deploying deep neural networks on heterogeneous distributed infrastructure. Journal of Systems and Software, 141, 52-65. https://doi. org/10.1016/j.jss.2018.03.032 DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing areas un-der two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics, 44, 837-845 Demler, O. V., Pencina, M. J., & D'Agostino, R. B. Sr. (2011). Equivalance of im-provement in area under ROC curve and linear discriminant analysis coefficient underassumption of normality. Statistics in Medicine, 30, 1410-1418. Dreiseitl, S., & Ohno-Machado, L. (1999). Logistic regression and artificial neural network classification models: a methodology review. Journal of Biomedical Informatics, 35, 352-359; Eftekhar, B., Mohammad, K., Ardebili, H. E., Ghodsi, M., & Ketabchi, E. (2005). Comparison of artificial neural network and logistic regression models for prediction of mortality in head trauma based on initial clinical data. BMC Medical Informatics and Decision Making, 5, 3. Esfandiari, K., Abdollahi, F.,& Talebi, H. A. (2017). Adaptive near-optimal neuro controller for continuous-time nonaffine nonlinear systems with constrained input. Neural Networks, 93,195-204. Fan, Y., Huang, X., Wang, Z., & Li, Y. (2018). Global dissipativity and quasi-synchronization of asynchronous updating fractional-order memristor-based neural networks via interval matrix method. Journal of the Franklin Institute, 355(13), 5998-6025. https://doi.org/10.10Wj. jfranklin.2018.05.058 Garcia-Reiriz, A., Damiani, P. C., & Olivieri, A. C. (2007). Analysis of amoxicillin in human urine by photo-activated generation of fluorescence excitation-emission matrices and artificial neural networks combined with residual bilinearization. Analytica Chimica Acta, 588(2), 192-199. https:// doi.org/10.1016/j.aca.2007.02.020 King, G., & Zeng, L. (2001). Logistic Regression in Rare

Events Data. Political Analysis, 9, 137-163. Graves, A., & Schmidhuber, J. (2005). Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks, 18(5-6), 602-610. https://doi. org/10.1016/j.neunet.2005.06.042 Hassanipour, S., Ghaem, H., Arab-Zozani, M., Seif, M., Fararouei, M., Abdzadeh, E., & Paydar, S. (2019). Comparison of artificial neural network and logistic regression models for prediction of outcomes in trauma patients: A systematic review and meta-analysis. Injury, 50(2), 244-250. http:// doi.org/10.1016/j.injury.2019.01.007

Haykin, S. (1999). Neural networks: a comprehensive

foundation. Upper Saddle Rivera Heinze, G., & Scemper, M. A. (2002). Solution to the problem of separation in logistic regression. Statistics in Medicine, 21(16), 2409-19. https://doi. org/10.1002/sim.1047 Han, C., Niu, Y., Pang, T., & Xia, Z. (2018). Intelligent anti-jamming communication based on the modified O-learning. Procedia Computer Science, 131, 1023-1031. https://doi.org/10.10Wj. procs.2018.04.248 Hyvarinen, A., & Oja, E. (2000). Independent component analysis: algorithms and applications. Neural Networks, 13, 411-430. https://doi. org/10.1016/S0893-6080(00)00026-5 Kulkarni, S. R., & Rajendran, B. (2018). Spiking neural networks for handwritten digit recognition— Supervised learning and network optimization. Neural Networks, 103, 118-127. https://doi. org/10.1016/j.neunet.2018.03.019 Lang, E., Pitts, L., Damron, S., & Rutledge, R. (1997). Outcome after severe head injury: an analysis of prediction based upon comparison of neural network versus logistic regression analysis. List of issues. Neurological Research,19(3), 274-80. Lobo, J. L., Laña, I., Del Ser, J., Bilbao, M. N., & Kasabov, N. (2018). Evolving Spiking Neural Networks for online learning over drifting data streams. Neural Networks, 108, 1-19. https://doi.org/10.10Wj. neunet.2018.07.014 Maddox, S. A., Watts, C. S., & Schafe, G. E. (2014). DNA methyltransferase activity is required for memory-related neural plasticity in the lateral amygdala. Neurobiology of Learning and Memory, 107, 93-100. https://doi.org/10.10Wj.nlm.2013.11.008 Matsui, Y., Suto, Y., Shimura, S., Fukada, Y., Naito, Y., Yasuda, K., & Sasaki, S. (2005). Impact of papillary muscles approximation on the adequacy of mitral coaptation in functional mitral regurgitation due to dilated cardiomyopathy. Annals of Thoracic and Cardiovascular Surgery, 9, 164-171 Ottenbacher, K. J., Linn, R. T., Smith, P. M., Illig, S. B., Mancuso, M., & Granger, C. V. (2004). Comparison of logistic regression and neural network analysis applied to predicting living setting after hip fracture. Annals Epidemiology, 14(8),551-9. Parisi, G. I., Kemker, R., Part, L. J., Kanan, C., &Wermtera, S. (2019). Continual lifelong learning with neural networks: A review. Neural Networks, 113, 54-71. https://doi.org/10.10167j.neunet.2019.01.012 Parsaeian, M., Mohammad, K., Mahmoudi, M, & Zeraati, H. (2012). Comparison of logistic regression and artificial neural network in low back pain prediction: second national health survey. Medical Journal of The Islamic Republic of Iran, 41(6), 86-92 Pasini, A., Lore, M., & Ameli, F. (2005). Neural network

modelling for the analysis of forcings/temperatures relationships at different scales in the climate system. Ecological Modelling, 191,58-67. Plis, S. M., Amin, M. F., Chekroud, A., Hjelm, D., Damaraju, E., Lee, H. J., Bustillo, J. R., Cho, K. H., Pearlson, G. D., & Calhoun, V. D. (2018). Reading the (functional) writing on the (structural) wall: Multimodal fusion of brain structure and function via a deep neural network based translation approach reveals novel impairments in schizophrenia. NeuroImage, 181, 734-747. https:// doi.org/10.1016/j.neuroimage.2018.07.047 Sargent, D.J. (2001). Comparison of artificial neural networks with other statistical approaches: results from medical data sets. Cancer, 91(8), 1636-1642. 13.

Schaefer, R.L. (1983). Bias correction in maximum likelihood logistic regression. Statistics in Medicine, 2(1),71-78. https://doi.org/10.1002/ sim.4780020108 Song, J. H., Venkatesh, S. S., Conant, E. A., Arger, P. H., & Sehgal, C. M. (2005). Comparative analysis of logistic regression and artificial neural network for computer-aided diagnosis of breast masses. Academic Radiology, 12(4), 487-495. http://doi. org/10.1016/j.acra.2004.12.016 Soltoggio, A., Stanley, K. O., & Risi, S. (2018). Born to learn: The inspiration, progress, and future of evolved plastic artificial neural networks. Neural Networks, 108, 48-67. https://doi.org/10.10Wj. neunet.2018.07.013 Tavanaei, A., Ghodrati, M., Kheradpisheh, S. R., Masquelier, T., & Maida, A. (2019). Deep learning in spiking neural networks. In Neural Networks, 111, 47-63. Elsevier Ltd. https://doi.org/10.10Wj. neunet.2018.12.002 Varikuti, D. P., Genon, S., Sotiras, A., Schwender, H., Hoffstaedter, F., Patil, K. R., Jockwitz, C., Caspers, S., Moebus, S., Amunts, K., Davatzikos, C., & Eickhoff, S. B. (2018). Evaluation of nonnegative matrix factorization of grey matter in age

prediction. NeuroImage, 173, 394-410. https://doi. org/10.1016/j.neuroimage.2018.03.007 Vellappally, S., Al Kheraif, A. A., Anil, S., & Wahba, A. A. (2019). IoT medical tooth mounted sensor for monitoring teeth and food level using bacterial optimization along with adaptive deep learning neural network. Measurement: Journal of the International Measurement Confederation, 135, 672-677. https://doi.org/10.10Wj. measurement.2018.11.078 Wang, J., Ling, C., & Gao, J. (2017). CNNdel: Calling Structural Variations on Low Coverage Data Based on Convolutional Neural Networks. Journal of Biomedical Informatics, 6375059. Waisman, A., La Greca, A., Mobbs, A. M., Scarafia, M. A., Santin Velazque, N. L., Neiman, G., Moro, L. N., Luzzani, C., Sevlever, G. E., Guberman, A. S., & Miriuka, S. G. (2019). Deep Learning Neural Networks Highly Predict Very Early Onset of Pluripotent Stem Cell Differentiation. Stem Cell Reports, 12(4), 845-859. https://doi.org/10.10Wj. stemcr.2019.02.004 Wideman, C. E., Jardine, K. H., & Winters, B. D. (2018). Involvement of classical neurotransmitter systems in memory reconsolidation: Focus on destabilization. Neurobiology of Learning and Memory, 156, 68-79. https://doi.org/10.10Wj.nlm.2018.11.001 Zhang, G., Eddy Patuwo, B., Y. Hu, M. (1998). Forecasting with artificial neural networks: The state of the art. International Journal of Forecasting, 14(1), 35-62. https://doi.org/10.1016/S0169-2070(97)00044-7 Zhang, Y., Ye, D., & Liu, Y. (2018). Robust locally linear embedding algorithm for machinery fault diagnosis. Neurocomputing, 273, 323 -332. https:// doi.org/10.1016/j.neucom.2017.07.048 Zurada, J., Malinowski, A., Cloete, A. (1994). Sensitivity analysis for minimization of input dimension for feedforward neural networks. Proceedings of the 2003 IEEE International Symposium on Circuits and Systems, 6, 447-50. https://doi.org/10.1109/ ISCAS.1994.409622

HEALTH

/ ~ \ Comparison of the Possibilities of Logistic Regression

and Artificial Neural Networks in Predicting the Results of Research on f Small Sample

Vladlen V. Bazylev

Federal Center Cardiovascular Surgery 6, Stasova str., Penza, 440071, Russian Federation E-mail: cardio58@yandex.ru

Vadim A. Karnakhin

Federal Center Cardiovascular Surgery 6, Stasova str., Penza, 440071, Russian Federation

E-mail: vkhin@mail.ru

Currently, attempts are increasingly being made to compare various quantitative models to solve specific data classification problems. Moreover, in the literature there is no data on the comparison of mathematical models in small samples and complex clinical situations. Purpose of work. Compare the performance of artificial neural network models and logistic regression in predicting research results in a small sample. Materials and methods. The simulation included a group of patients of 50 people who underwent plastic surgery on the mitral valve. Five independent variables were selected for the simulation: gender, age, body mass index, and papillary muscle approximation technique. The dependent variable is regurgitation on the mitral valve in a distant period. Results. According to the logistic regression, a phenomenon of data separation arose and a huge mean square error was obtained. According to the analysis of the ROC curve, a relationship was revealed between the predictor age and regurgitation on the mitral valve, the area under the curve indicates the average level of relationship. The results of the analysis of predictors using artificial neural networks indicate that the main contribution as a predictor of the absence of regurgitation is made by the approximation of papillary muscles. Using the De-Long test, we compared the ROC regression curves and neural networks by age factor: z = 10.71, p <0.0001, statistically significant differences were revealed, which indicates the advantage of STI in identifying predictors. Conclusion. In a small sample with a small number of events, artificial neural networks have an advantage over other methods in determining predictors of influence on the dependent variable.

Keywords: artificial neural networks, logistic regression, statistics, sampling, mathematical model, regression

References

Nosovskiy, A. M., Pihlak, A. E., Logachev, V. A., Churcinova, I. I., & Muteva, N.A. (2013). Statistics of small samples in medical research. Rossiiskiy medicinskiy gurnal [Russian medical journal], 6.

Adavi, M., Salehi, M., & Roudbari, M. (2016). Artificial neural networks versus bivariate logistic regression in prediction diagnosis of patients with hypertension and diabetes. Medical Journal of The Islamic Republic of Iran, 30, 312.

Albert, A., & Anderson, J. A. (1984). On the existence of maximum likelihood estimates in logistic regression models. Biometrika, 71(1), 1-10.

Anjali, D. N.,& Bossaerts, P. (2014). Risk and Reward Preferences under Time Pressure. Review of Finance, 18, 999-1022.

Bamber, D. (1975). The Area above the Ordinal

Dominance Graph and the Area belowthe Receiver Operating Characteristic Graph. Journal of Mathematical Psychology, 12,387-415. Bazrafkan, S., Thavalengal, S., & Corcoran, P. (2018). An end to end Deep Neural Network for iris segmentation in unconstrained scenarios. Neural Networks, 106, 79-95. https://doi.org/10.1016/j. neunet.2018.06.01 Bhatikar, S. R., DeGroff, C., & Mahajan, R. L. (2005). A classifier based on the artificial neural network approach for cardiologic auscultation in pediatrics. Artificial Intelligence in Medicine, 33(3), 251-260. https://doi.org/10.10167j.artmed.2004.07.008 Boutin, A., Pinsard, B., Bore, A., Carrier, J., Fogel, S. M., & Doyon, J. (2018). Transient synchronization of hippocampo-striato-thalamo-cortical networks during sleep spindle oscillations induces motor memory consolidation. NeuroImage, 169, 419-430.

This article is published under the Creative Commons Attribution 4.0 International License.

18

_ How to Cite _

Bazylev, V. V., & Karnakhin, V. A. (2019). Comparison of the Possibilities of Logistic Regression and Artificial Neural Networks in Predicting the Results of Research on f Small Sample. Health, Food & Biotechnology, 1(3). https://doi.org/10.36107/hfb.2019. i3.s238

https://doi.org/10.1016Zj.neuroimage.2017.12.066 Carole, C-F. and T.J. Putnins. (2014). Stock Price Manipulation: Prevalence and Determinants. Review of Finance, 18, 23-66. Cire^an, D. (2012). Multi-column deep neural network for traffic sign classification. Neural Networks, 32, 333-338. https://doi.org/10.10Wj. neunet.2012.02.023 Coninck, E. De, Bohez, S., Leroux, S., Verbelen, T., Vankeirsbilck, B., Simoens, P., & Dhoedt, B. (2018). DIANNE: a modular framework for designing, training and deploying deep neural networks on heterogeneous distributed infrastructure. Journal of Systems and Software, 141, 52-65. https://doi. org/10.1016/j.jss.2018.03.032 DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing areas un-der two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics, 44, 837-845 Demler, O. V., Pencina, M. J., & D'Agostino, R. B. Sr. (2011). Equivalance of im-provement in area under ROC curve and linear discriminant analysis coefficient underassumption of normality. Statistics in Medicine, 30, 1410-1418. Dreiseitl, S., & Ohno-Machado, L. (1999). Logistic regression and artificial neural network classification models: a methodology review. Journal of Biomedical Informatics, 35, 352-359; Eftekhar, B., Mohammad, K., Ardebili, H. E., Ghodsi, M., & Ketabchi, E. (2005). Comparison of artificial neural network and logistic regression models for prediction of mortality in head trauma based on initial clinical data. BMC Medical Informatics and Decision Making, 5, 3. Esfandiari, K., Abdollahi, F.,& Talebi, H. A. (2017). Adaptive near-optimal neuro controller for continuous-time nonaffine nonlinear systems with constrained input. Neural Networks, 93,195-204. Fan, Y., Huang, X., Wang, Z., & Li, Y. (2018). Global dissipativity and quasi-synchronization of asynchronous updating fractional-order memristor-based neural networks via interval matrix method. Journal of the Franklin Institute, 355(13), 5998-6025. https://doi.org/10.10Wj. jfranklin.2018.05.058 Garcia-Reiriz, A., Damiani, P. C., & Olivieri, A. C. (2007). Analysis of amoxicillin in human urine by photo-activated generation of fluorescence excitation-emission matrices and artificial neural networks combined with residual bilinearization. Analytica Chimica Acta, 588(2), 192-199. https:// doi.org/10.1016/j.aca.2007.02.020 King, G., & Zeng, L. (2001). Logistic Regression in Rare

Events Data. Political Analysis, 9, 137-163. Graves, A., & Schmidhuber, J. (2005). Framewise phoneme classification with bidirectional

LSTM and other neural network architectures. Neural Networks, 18(5-6), 602-610. https://doi. org/10.1016/j.neunet.2005.06.042 Hassanipour, S., Ghaem, H., Arab-Zozani, M., Seif, M., Fararouei, M., Abdzadeh, E., & Paydar, S. (2019). Comparison of artificial neural network and logistic regression models for prediction of outcomes in trauma patients: A systematic review and meta-analysis. Injury, 50(2), 244-250. http:// doi.org/10.10Wj.injury.2019.01.007 Haykin, S. (1999). Neural networks: a comprehensive

foundation. Upper Saddle Rivera Heinze, G., & Scemper, M. A. (2002). Solution to the problem of separation in logistic regression. Statistics in Medicine, 21(16), 2409-19. https://doi. org/10.1002/sim.1047 Han, C., Niu, Y., Pang, T., & Xia, Z. (2018). Intelligent anti-jamming communication based on the modified O-learning. Procedia Computer Science, 131, 1023-1031. https://doi.org/10.10Wj. procs.2018.04.248 Hyvarinen, A., & Oja, E. (2000). Independent component analysis: algorithms and applications. Neural Networks, 13, 411-430. https://doi. org/10.1016/S0893-6080(00)00026-5 Kulkarni, S. R., & Rajendran, B. (2018). Spiking neural networks for handwritten digit recognition— Supervised learning and network optimization. Neural Networks, 103, 118-127. https://doi. org/10.1016/j.neunet.2018.03.019 Lang, E., Pitts, L., Damron, S., & Rutledge, R. (1997). Outcome after severe head injury: an analysis of prediction based upon comparison of neural network versus logistic regression analysis. List of issues. Neurological Research,19(3), 274-80. Lobo, J. L., Laña, I., Del Ser, J., Bilbao, M. N., & Kasabov, N. (2018). Evolving Spiking Neural Networks for online learning over drifting data streams. Neural Networks, 108, 1-19. https://doi.org/10.10Wj. neunet.2018.07.014 Maddox, S. A., Watts, C. S., & Schafe, G. E. (2014). DNA methyltransferase activity is required for memory-related neural plasticity in the lateral amygdala. Neurobiology of Learning and Memory, 107, 93-100. https://doi.org/10.10Wj.nlm.2013.11.008 Matsui, Y., Suto, Y., Shimura, S., Fukada, Y., Naito, Y., Yasuda, K., & Sasaki, S. (2005). Impact of papillary muscles approximation on the adequacy of mitral coaptation in functional mitral regurgitation due to dilated cardiomyopathy. Annals of Thoracic and Cardiovascular Surgery, 9, 164-171 Ottenbacher, K. J., Linn, R. T., Smith, P. M., Illig, S. B., Mancuso, M., & Granger, C. V. (2004). Comparison of logistic regression and neural network analysis applied to predicting living setting after hip fracture. Annals Epidemiology, 14(8),551-9.

Parisi, G. I., Kemker, R., Part, L. J., Kanan, C., &Wermtera, S. (2019). Continual lifelong learning with neural networks: A review. Neural Networks, 113, 54-71. https://doi.org/10.1016/j.neunet.2019.01.012 Parsaeian, M., Mohammad, K., Mahmoudi, M, & Zeraati, H. (2012). Comparison of logistic regression and artificial neural network in low back pain prediction: second national health survey. Medical Journal of The Islamic Republic of Iran, 41(6), 86-92 Pasini, A., Lore, M., & Ameli, F. (2005). Neural network modelling for the analysis of forcings/temperatures relationships at different scales in the climate system. Ecological Modelling, 191,58-67. Plis, S. M., Amin, M. F., Chekroud, A., Hjelm, D., Damaraju, E., Lee, H. J., Bustillo, J. R., Cho, K. H., Pearlson, G. D., & Calhoun, V. D. (2018). Reading the (functional) writing on the (structural) wall: Multimodal fusion of brain structure and function via a deep neural network based translation approach reveals novel impairments in schizophrenia. NeuroImage, 181, 734-747. https:// doi.org/10.1016/j.neuroimage.2018.07.047 Sargent, D.J. (2001). Comparison of artificial neural networks with other statistical approaches: results from medical data sets. Cancer, 91(8), 1636-1642. 13.

Schaefer, R.L. (1983). Bias correction in maximum likelihood logistic regression. Statistics in Medicine, 2(1),71-78. https://doi.org/10.1002/ sim.4780020108 Song, J. H., Venkatesh, S. S., Conant, E. A., Arger, P. H., & Sehgal, C. M. (2005). Comparative analysis of logistic regression and artificial neural network for computer-aided diagnosis of breast masses. Academic Radiology, 12(4), 487-495. http://doi. org/10.1016/j.acra.2004.12.016 Soltoggio, A., Stanley, K. O., & Risi, S. (2018). Born to learn: The inspiration, progress, and future of evolved plastic artificial neural networks. Neural Networks, 108, 48-67. https://doi.org/10.10Wj. neunet.2018.07.013 Tavanaei, A., Ghodrati, M., Kheradpisheh, S. R., Masquelier, T., & Maida, A. (2019). Deep learning in spiking neural networks. In Neural Networks, 111, 47-63. Elsevier Ltd. https://doi.org/10.10Wj. neunet.2018.12.002 Varikuti, D. P., Genon, S., Sotiras, A., Schwender,

H., Hoffstaedter, F., Patil, K. R., Jockwitz, C., Caspers, S., Moebus, S., Amunts, K., Davatzikos, C., & Eickhoff, S. B. (2018). Evaluation of nonnegative matrix factorization of grey matter in age prediction. NeuroImage, 173, 394-410. https://doi. org/10.1016/j.neuroimage.2018.03.007 Vellappally, S., Al Kheraif, A. A., Anil, S., & Wahba, A. A. (2019). IoT medical tooth mounted sensor for monitoring teeth and food level using bacterial optimization along with adaptive deep learning neural network. Measurement: Journal of the International Measurement Confederation, 135, 672-677. https://doi.org/10.10Wj. measurement.2018.11.078 Wang, J., Ling, C., & Gao, J. (2017). CNNdel: Calling Structural Variations on Low Coverage Data Based on Convolutional Neural Networks. Journal of Biomedical Informatics, 6375059. Waisman, A., La Greca, A., Mobbs, A. M., Scarafia, M. A., Santin Velazque, N. L., Neiman, G., Moro, L. N., Luzzani, C., Sevlever, G. E., Guberman, A. S., & Miriuka, S. G. (2019). Deep Learning Neural Networks Highly Predict Very Early Onset of Pluripotent Stem Cell Differentiation. Stem Cell Reports, 12(4), 845-859. https://doi.org/10.10Wj. stemcr.2019.02.004 Wideman, C. E., Jardine, K. H., & Winters, B. D. (2018). Involvement of classical neurotransmitter systems in memory reconsolidation: Focus on destabilization. Neurobiology of Learning and Memory, 156, 68-79. https://doi.org/10.10Wj. nlm.2018.11.001 Zhang, G., Eddy Patuwo, B., Y. Hu, M. (1998). Forecasting with artificial neural networks: The state of the art. International Journal of Forecasting, 14(1), 35-62. https://doi.org/10.1016/S0169-2070(97)00044-7 Zhang, Y., Ye, D., & Liu, Y. (2018). Robust locally linear embedding algorithm for machinery fault diagnosis. Neurocomputing, 273, 323-332. https:// doi.org/10.1016/j.neucom.2017.07.048 Zurada, J., Malinowski, A., Cloete, A. (1994). Sensitivity analysis for minimization of input dimension for feedforward neural networks. Proceedings of the 2003 IEEE International Symposium on Circuits and Systems, 6, 447-50. https://doi.org/10.1109/ ISCAS.1994.409622