CC BY
48
УДК 616.895.8+616-07
ПРИМЕНЕНИЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ В КАЧЕСТВЕ ИНСТРУМЕНТА ОБЪЕКТИВИЗАЦИИ ДИАГНОСТИКИ ШИЗОФРЕНИИ: ПИЛОТНОЕ ИССЛЕДОВАНИЕ
К.Ф. Васильченко, Г.М. Усов
ФГБОУ ВО «Омский государственный медицинский университет»
Минздрава России
Психические расстройства являются одной из основных причин инвалидизации людей во всем мире, начиная с раннего возраста [18]. По некоторым оценкам, примерно у 30% взрослых может быть диагностировано хотя бы одно из известных психических расстройств в течение жизни [31]. Учитывая данную перспективу, актуальной задачей психиатрии является ранняя диагностика психических расстройств, основанная на максимально объективных методах, обеспечивающих высокую точность прогностических оценок.
Несмотря на значительный прогресс в понимании нейробиологических аспектов психических расстройств, до настоящего времени не созданы инструменты объективной и надежной клинико-лабораторной и инструментальной диагностики. В связи с этим на протяжении многих лет диагностический процесс в психиатрии продолжает основываться на интерпретации врачом наблюдаемых феноменов, что может приводить к неточным заключениям.
В эру технологических инноваций в области разработки алгоритмов искусственного интеллекта (ИИ) достаточно перспективным является применение искусственных технологий машинного обучения [2, 3, 5, 16, 17, 32-37]. Хоть алгоритмы ИИ все еще нельзя назвать совершенными, они успели произвести революцию в сфере охраны психического здоровья, оказав глубокое влияние на подходы к диагностике и лечению психических расстройств [4, 7, 9, 12, 14].
Показательным примером успешного применения ИИ в психиатрии является применение латентно-семантического анализа в сочетании с алгоритмами машинного обучения для оценки психического состояния пациентов [20]. Этот же метод был успешно применен для обнаружения тонких различий в особенностях психических процессов между родственниками первой степени родства больных шизофренией и здоровыми людьми при анализе их речи [15]. Кроме этого, алгоритмы ИИ
могут быть эффективно использованы для прогнозирования риска манифестации психотических состояний, протекающих с нарушениями мышления, поведенческой дезорганизацией или кататонией [13, 31].
Особенной популярностью и успехом среди алгоритмов машинного обучения сегодня пользуются искусственные нейронные сети, возможности которых в решении многих задач превосходят человеческие [28]. Поэтому искусственные нейронные сети нашли свое применение в решении широкого спектра промышленных и медицинских задач: распознавание объектов на изображениях, анализ устной или письменной речи, прогнозирование событий на основе входных данных о состоянии объекта и т.д. [27, 38].
Значительный прорыв в области искусственных нейронных сетей был сделан в 1998 году, когда Y.Lecun и соавт. [21] впервые применили принципиально новую (сверточную) нейронную сеть LeNet, безукоризненно справляющуюся с задачей распознавания рукописных цифр. Однако широкое применение данного алгоритма стало возможным лишь с 2012 года, после разработки A.S.I.Krizhevsky и G.Hinton [19] новой архитектуры сверточной нейро-сети, способной распознавать на изображении до тысячи объектов. Сегодня сверточная нейронная сеть считается одним из последних достижений в области анализа визуальных данных [10, 22, 26, 29].
В зависимости от задачи классификации свер-точная нейронная сеть может быть обучена обнаруживать паттерны изображения разного уровня: от низкого (текстура, цвет, край) до характеристик более высокого порядка [25], определяемого числом слоев в архитектуре нейросети. В каждом слое происходит уменьшение размера изображения, или «сворачивание», с последующим обнаружением значимых элементов, определяющих принадлежность объекта к указанному классу. Число слоев, количество нейронов в них и другие параметры нейросети и ее обучения подбираются вручную в ходе серий экспериментов.
Главным преимуществом сверточных нейронных сетей является то, что при обучении на массиве изображений с объектами разных классов нет необходимости в обозначении характеристик распознаваемых объектов. Достаточно лишь указать число классов объектов, представленных в массиве. Нейронная сеть сама выявляет отличительные характеристики указанных объектов. Задача разработчика нейросети заключается лишь в подборе ее архитектуры, которая наилучшим образом позволит решить поставленную исследователем задачу классификации [25].
Учитывая вышесказанное, актуальной представляется задача изучения возможностей применения сверточных нейронных сетей в психиатрической практике при анализе изобразительного творчества пациентов.
Цель исследования - изучить эффективность применения сверточных нейронных сетей в качестве вспомогательного инструмента диагностики шизофрении на основе анализа изобразительного творчества.
Гипотеза исследования состояла в том, что свер-точная нейронная сеть может распознать рисунок, сделанный человеком с установленным диагнозом шизофрении или расстройства шизофренического спектра, и отличить его от рисунка, сделанного человеком без аналогичного диагноза.
Материал и методы
В исследовании приняли участие 375 человек. Выборка была представлена двумя подгруппами. В основную были включены лица (п=185) с установленным диагнозом параноидной шизофрении в соответствии с критериями МКБ-10 (Б20.01). В группу сравнения (п=190) вошли лица, не имеющие установленного диагноза шизофрении или расстройств шизофренического спектра.
В ряде исследований было показано, что пациенты с шизофренией имеют дефицит в распознавании мимических паттернов человека, а также нарушения в воспроизведении отдельных паттернов уже знакомых человеческих лиц [6, 8, 11, 24, 23, 33, 39]. Исходя из этого, нами было разработано творческое задание для всех участников исследования - нарисовать человеческое лицо. С учетом принципов работы нейронных сетей, результат такого творческого задания позволит алгоритмам искусственного интеллекта наилучшим образом определить паттерны, на которые необходимо опираться в поиске решения задачи бинарной классификации.
От каждого участника требовалось выполнить простым карандашом восемь рисунков, изображающих человеческое лицо на стандартном бланке А4, разместив их в рамках стандартного размера (рис. 1). Обработка оцифрованных бланков и формирование базы с раздельными изображениями были осущест-
Рисунок участника исследования без установленного диагноза шизофрении или заболевания шизофренического спектра.
Рисунок участника исследования с установленным диагнозом шизофрении или заболевания шизофренического спектра.
Рис. 1. Пример заполненных участниками исследования стандартных бланков
влены с помощью программного обеспечения (ПО) для ЭВМ «Neurosampler_V 1.0» [1]. Данное ПО разделяет нанесенные на бланк изображения и сохраняет их в отдельные файлы формата PNG. Имя файла включает дату нанесения рисунка, пол участника исследования, его возраст и принадлежность к одной из исследуемых подгрупп (основная или сравнения), а также порядковый номер рисунка на бланке. Архитектура нейронной сети была подобрана и реализована с использованием языка программирования Python 3.0 и библиотеки Keras.
Результаты и обсуждение
Финальный объем базы изображений составил 3 000 рисунков: 1 500 основной группы и 1 500 из группы сравнения. Сформированная база изображений была использована для обучения и тестирования искусственной нейронной сети таким образом, что 70% всех изображений составила подвыборка для обучения нейросети, а оставшиеся 30% были использованы для валидации полученных результатов. Архитектура разрабатываемого алгоритма была представлена нейронной сетью прямого распространения. Слой пакетной нормализации, принимающий на вход изображение размером 100х100 пикселей, представлял первый
слой нейросети. Второй и третий слои представлены двумя идентичными друг другу блоками: сверточный слой на 32 нейрона (Conv2D), ядром свертки 8х8, и с активационной функцией ReLu. За ним следовал слой субдискретизации размером 5х5. Во избежание переобучения нейросети за последним ядром свертки был добавлен слой исключения 30% нейронов (Dropout). Изображение, прошедшее через сверточные блоки, было преобразовано в одномерный массив с помощью слоя Flatten. Полученный на выходе, тензор был подан на полносвязный слой из 86 нейронов с активационной функцией softmax, затем - на полносвязный слой из 16 нейронов с аналогичной функцией активации. Выходным слоем нейросети являлся полносвязный слой из двух нейронов и функцией активации Sigmoid. В качестве функции ошибки была применена функция перекрестной энтропии. В ходе обучения был использован оптимизатор Adam с шагом обучения равным 0,001. Визуализация архитектуры использованной в исследовании нейронной сети представлена на рис. 2.
Нейронная сеть была обучена на 50 эпохах, размер пакета в каждой из них составил 32. Максимальная точность распознавания изображений на обучающей выборке составила 81%, на валидационной - 82%.
Рис. 2. Архитектура искусственной нейронной сети, анализирующей рисунки человеческих лиц
Рис. 3. График обучения нейросети. Точность распознавания образа на тестовой выборке составила 82%
Заключение
Полученная точность распознавания изображений, нарисованных пациентами с установленным диагнозом шизофрении и теми лицами, у которых диагноз шизофрении или расстройств шизофренического спектра не был установлен, свидетельствует о высоком потенциале применяемого алгоритма для скринингового обследования разных групп населения, а также для дифференциальной диагностики. Однако говорить о внедрении в практическую деятельность данного алгоритма на текущем этапе нашей работы преждевременно.
С учетом того, что точность выполнения нейро-сетью поставленной задачи в первую очередь
зависит от качества обучающей выборки, следует также обратить внимание на ограниченный объем базы изображений, использованной в исследовании. Говоря о чистоте выборки, мы не можем исключить вероятность наличия лиц с шизофренией или расстройствами шизофренического спектра в группе сравнения. Последующее увеличение объема выборки, включение дополнительных сведений об особенностях психического статуса участников исследования, а также коррекция архитектуры нейросети и ее гиперпараметров могут способствовать повышению точности распознавания изображений.
ЛИТЕРАТУРА
1. Васильченко К.Ф., Усов Г.М. Neurosampler V. 1.0 // Свидетельство о государственной регистрации программы для ЭВМ № 2021615418, 07.04.2021.
2. Adadi A., Berrada M. Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI) // 6 IEEE ACCESS. 2018. Vol 6. P 52138-52160.
3. Allen S. Artificial Intelligence and the Future of Psychiatry// IEEE pulse. 2020. Vol 11. N 3. P 2-6.
4. Bedi G., Carrillo F., Cecchi G.A., Slezak D.F., Sigman M., Mota N.B. et al. Automated analysis of free speech predicts psychosis onset in high-risk youths // NPJ Schizophr. 2015. N 1. P 15030.
5. Bobrov A.E. The outlook for psychiatry in the age of informatization // Int. J. Culture Mental Health. 2018. Vol 11. N 1. P 17-26.
6. Bortolon C., Capdevielle D., Raffard S. Face recognition in schizophrenia disorder: A comprehensive review of behavioral, neuroimaging and neurophysiological studies // Neurosci. Biobehav. Rev. 2015. N 53. P 79-107.
7. Bzdok D., Meyer-Lindenberg A. Machine learning for precision psychiatry: opportunities and challenges // Biol. Psychiatry Cogn. Neurosci. Neuroimaging. 2018. Vol 3. N 3. P. 223-230.
8. Calkins M.E., Gur R.C., Ragland J.D., Gur R.E. Face recognition memory deficits and visual object memory performance in patients with schizophrenia and their relatives // Am. J. Psychiatry. 2015. Vol 162. N 10. P 1963-1966.
9. Cearns M., Hahn T., Baune B.T. Recommendations and future directions for supervised machine learning in psychiatry // Transl. Psychiatry. 2019. Vol 9. N 1. P 271.
10. Chartrand G., Cheng P.M., Vorontsov E. et al. Deep learning: a primer for radiologists // RadioGraphics. 2017. Vol 37. N 7. P 2113-2131.
11. Chen Y., Norton D., Ongur D., Heckers S. Inefficient face detection in schizophrenia // Schizophr. Bul. 2008. Vol 34. N 2. P 367-374.
12. D'Alfonso S., Santesteban-Echarri O., Rice S., Wadley G., Lederman R., Miles C. et al. Artificial intelligence-assisted online social therapy for youth mental health // Front Psychol. 2017. N 8. P. 796.
13. Du Y., Li B., Hou Y., Calhoun V.D. A deep learning fusion model for brain disorder classification: Application to distinguishing schizophrenia and autism spectrum disorder // ACM-BCB. 2020. P 56.
14. Durstewitz D., Koppe G., Meyer-Lindenberg A. Deep neural networks in psychiatry // Molecular Psychiatry. 2019. Vol 24. N 11. P 1583-1598.
15. Elvevag B., Foltz P.W., Rosenstein M., Lynn E.D. An automated method to analyze language use in patients with schizophrenia and their first-degree relatives // J. Neurolinguistics. 2010. Vol 23. N 3. P. 270-84.
16. Fakhoury M. Artificial Intelligence in Psychiatry // Advances Exp. Med. Biology. 2019. N 1192. P. 119-125.
17. Johnson S.A.I. Machine Learning, and Ethics in Health Care // J. Legal Medicine. 2019. Vol 39. N 4. P 427-441.
18. Kessler R.C., Amminger G.P., Aguilar-Gaxiola S., Alonso J., Lee S., Ustun T.B. Age of onset of mental disorders: a review of recent literature // Curr. Opin Psychiatry. 2007. Vol 20. N 4. P 359-364.
19. Krizhevsky A.S.I., Hinton G. Imagenet classification with deep convolutional neural networks // Proceedings Advances Neural Information Processing Systems. 2012. P. 1097-1105.
20. Landauer T., Dumais S. A solution to Plato's problem: the latent semantic analysis theory of the acquisition, induction, and representation of knowledge // Psychol. Rev. 1997. N 104. P 211-240.
21. Lecun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition // Proc IEEE. 1998. Vol 86. N 11. P. 2278-2324.
22. Litjens G., Kooi T., Bejnordi B.E. et al. A survey on deep learning in medical image analysis // Med. Image Anal. 2017. N 42. P. 60-88.
23. Marosi C., Fodor Z., Csukly G. From basic perception deficits to facial affect recognition impairments in schizophrenia // Scientific Reports. 2019. Vol 9. N 1. P 8958.
24. Megreya A.M. Face perception in schizophrenia: a specific deficit // Cogn. Neuropsychiatry. 2016. Vol 21. N 1. P. 60-72.
25. Mieloszyk R.J., Bhargava P. Convolutional Neural Networks: The Possibilities are Almost Endless // Curr. Probl. Diagn. Radiology. 2018. Vol 47. N 3. P. 129-130.
26. Oh K., Kim W., Shen G., Piao Y., Kang N.I., Oh I.S., Chung Y.C. Classification of schizophrenia and normal controls using 3D convolutional neural network and outcome visualization // Schizophr. Res. 2019. N 212. P 186-195.
27. Schmidhuber J. Deep learning in neural networks: an overview // Neural. Netw. 2015. N 61. P 85-117.
28. Silver D., Schrittwieser J., Simonyan K., Antonoglou I., Huang A., Guez A. et al. Mastering the game of go without human knowledge // Nature. 2017. N 550. P 354.
29. Soffer S., Ben-Cohen A., Shimon O., Amitai M.M., Greenspan H., Klang E. Convolutional Neural Networks for Radiologic Images: A Radiologist's Guide // Radiology. 2019. Vol 290 N 3. P 590-606.
30. Steel Z., Marnane C., Iranpour C., Chey T., Jackson J.W., Patel V. et al. The global prevalence of common mental disorders: a systematic review and meta-analysis 1980-2013. // Int. J. Epidemiol. 2014. Vol 43. N 2. P. 476-93.
31. Stevens J.R., Prince J.B., Prager L.M., Stern T.A. Psychotic disorders in children and adolescents: a primer on contemporary evaluation and management // Prim Care Companion CNS Disord. 2014. Vol 16. N 2. PCC.13f01514.
32. Subramanieapillai M., Cha D.S., Sheko M., Lee Y., Mansur R., McIntyre R.S. Machine learning and big data: Implications for disease modeling and therapeutic discovery in psychiatry // Artificial Intelligence Med. 2019. N 99. P. 101704.
33. Tiberghien G., Martin C., Baudouin J.Y., Franck N., Guillaume F., Huron C. Face recognition in schizophrenia: do individual and average ROCs tell the same story? // Cogn. Neuropsychiatry. 2015. Vol. 20. N 1. P. 14-30.
34. Uusitalo S., Tuominen J., Arstila V. Mapping out the philosophical questions of AI and clinical practice in diagnosing and treating mental disorders // J. Eva. Clin. Practice. 2021. Vol 27. N 3. P. 478-484.
35. Vanian J. Unmasking AI's Bias Problem FORTUNE // https://fortune. com/longform/ai-bias-problem/
36. Wiese W. Von der KI-Ethik zur Bewusstseinsethik: Ethische Aspekte der Computational Psychiatry [From the Ethics of AI to the Ethics of Consciousness: Ethical Aspects of Computational Psychiatry] // Psychiatrische Praxis. 2021. Vol 48. N S 01. P. S21-S25.
37. Winter N.R., Hahn T. Big Data, KI und Maschinenlernen auf dem Weg zur Precision-Psychiatry - wie verändern sie den therapeutischen Alltag? [Big Data, AI and Machine Learning for Precision Psychiatry: How are they changing the clinical practice?] // Fortschritte der Neurologie-Psychiatrie. 2020. Vol. 88. N 12. P. 786-793.
38. Yuh-Shan Ho, Ming-Huang Wang. A bibliometric analysis of artificial intelligence publications from 1991 to 2018, COLLNET J. Scientometrics Information Management. 2020. Vol 14. N 2. P. 369-392.
39. Zhou S., Xu Y., Wang N., Zhang S., Geng H., Jia H. Deficits of subliminal self-face processing in schizophrenia // Consciousness Cognition. 2020. N 79. P 102896.
ПРИМЕНЕНИЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ В КАЧЕСТВЕ ИНСТРУМЕНТА ОБЪЕКТИВИЗАЦИИ ДИАГНОСТИКИ ШИЗОФРЕНИИ: ПИЛОТНОЕ ИССЛЕДОВАНИЕ
К.Ф. Васильченко, Г.М. Усов
Сегодня мы являемся свидетелями значительного прогресса в понимании нейробиологических аспектов психических расстройств, однако инструменты объективной и надежной оценки психического состояния до сих пор не созданы. В эру технологических инноваций в области разработки алгоритмов искусственного интеллекта (ИИ) достаточно многообещающими представляются результаты применения искусственных технологий машинного обучения. Особенной популярностью и успехом среди алгоритмов машинного обучения пользуются искусственные нейронные сети, возможности которых в решении многих задач превосходят человеческие. Гипотеза представленного в статье исследования заключалась в том, что сверточная нейронная сеть может распознать рисунок, сделанный человеком с установленным диагнозом шизофрении или расстройствами шизофренического спектра, и отли-
чить его от рисунка, сделанного человеком без аналогичного диагноза. Для проверки гипотезы нами была собрана база из 3 000 рисунков, выполненных пациентами с расстройствами шизофренического спектра и лицами без установленного диагноза данной рубрики. Нами была разработана архитектура искусственной нейронной сети с двумя ядрами свертки. Максимальная точность распознавания изображений на обучающей выборке составила 81%, на валидационной - 82%. Полученная точность распознавания изображений свидетельствует о высоком потенциале применяемого алгоритма для скринингового обследования разных групп населения, а также в качестве вспомогательного инструмента для дифференциальной диагностики.
Ключевые слова: искусственный интеллект, нейросеть, шизофрения, диагностика, машинное обучение.
APPLICATION OF CONVOLUTIONAL NEURAL NETWORKS AS A TOOL FOR OBJECTIFYING THE DIAGNOSIS OF SCHIZOPHRENIA: A PILOT STUDY
K.F. Vasilchenko, G.M. Usov
Today we are witnessing significant progress in understanding the neurobiological aspects of mental disorders, but tools for an objective and reliable assessment of mental health have not yet been created. In the era of technological innovation in the development of artificial intelligence (AI) algorithms, the results of the use of artificial machine learning technologies seem to be quite promising. Artificial neural networks are especially popular and successful among machine learning algorithms, whose capabilities in solving many problems surpass human ones. The hypothesis of the study presented in the article was that a convolutional neural network can recognize a drawing made by a person with a diagnosis of schizophrenia or schizophrenic spectrum disorders and distinguish it from a drawing made by
a person without a similar diagnosis. To test the hypothesis, we collected a database of 3000 drawings made by patients with schizophrenic spectrum disorders and persons without an established diagnosis of this heading. We have developed the architecture of an artificial neural network with two convolution kernels. The maximum accuracy of image recognition on the training set was 81%, on the validation set - 82%. The obtained image recognition accuracy testifies to the high potential of the applied algorithm for screening examination of different population groups, as well as as an auxiliary tool for differential diagnostics.
Key words: artificial intelligence, neural network, schizophrenia, diagnostics, machine learning.
Васильченко Кирилл Федорович - кандидат медицинских наук, ассистент кафедры психиатрии, медицинской психологии ФГБОУ ВО «Омский государственный медицинский университет» Минздрава России; email: kirill.f.vasilchenko@gmail.com
Усов Григорий Михайлович - доктор медицинских наук, доцент, заведующий кафедрой психиатрии, медицинской психологии ФГБОУ ВО «Омский государственный медицинский университет» Минздрава России; email: usovgm@list.ru
