CC BY
29
УДК УДК 616.895.8(004.41)
РАЗРАБОТКА ОТЕЧЕСТВЕННОЙ ВЕРСИИ СОЦИАЛЬНО-КОГНИТИВНОГО ТРЕНИНГА БОЛЬНЫХ ШИЗОФРЕНИЕЙ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ
Е.С. Неретин1'2, Ф.А. Колокольников12, А.В. Новиков1, Е.М. Лунев1, М.В. Карякина1, А.Б. Шмуклер1
1 Московский научно-исследовательский институт психиатрии -филиал ФГБУ «НМИЦ ПН им. В.П.Сербского» Минздрава России 2Московский авиационный институт
Шизофрения является одним из наиболее инвали-дизирующих заболеваний [4]. При этом нарушения социального функционирования пациентов с шизофренией в значительной степени связаны не столько с позитивной (галлюцинаторно-бредовой) симптоматикой, сколько с негативными расстройствами и еще в большей степени - с когнитивным дефицитом, главным образом, с нарушениями социальной когниции [1]. Для коррекции данных нарушений в настоящее время активно развиваются различные программы психосоциальной реабилитации и когнитивной ремедиации, направленные на социально-личностное восстановление [3]. В большинстве случаев это групповые интерактивные тренинги, однако в последнее время все более активно внедряются их компьютеризированные варианты [2]. В этой связи представляется интересным использование современных технологий, в частности виртуальной реальности.
Технология виртуальной реальности (VR - virtual reality) получила развитие в 50-е годы ХХ века, представляя собой компьютерно-генерируемую симуляцию реальных событий, происходящих в виртуальном пространстве и сопровождающихся соответствующим зрительным и звуковым рядом, воссоздающим заданную ситуацию с возможностью для пользователя участвовать в происходящем и взаимодействовать с другими персонажами [9]. Использование подобного подхода в психиатрии стало возможным относительно недавно. Тем не менее очевидны его преимущества: возможность обеспечивать достаточную интенсивность, повторяемость и целевую направленность отдельных заданий и упражнений, выполняемых в «безопасной» среде виртуального мира. Подобные программы хорошо зарекомендовали себя при пост-травматическом стрессовом расстройстве, расстройствах тревожного спектра и специфических фобиях [5, 9]. Дела-
ются попытки использовать технологию виртуальной реальности для терапии галлюцинаторной симптоматики и негативных расстройств, однако число подобных разработок ограничено [6-8].
Следует отметить, что в Российской Федерации данный подход не получил должного распространения, в связи с чем в Московском НИИ психиатрии -филиале ФГБУ «НМИЦ ПН им. В.П.Сербского» Минздрава России начата разработка специализированного программно-аппаратного комплекса для диагностики и терапии нарушений социально-когнитивного функционирования пациентов с шизофренией и расстройствами шизофренического спектра.
Для достижения поставленной цели поставлены и решены следующие задачи:
- проведено методическое исследование;
- разработана серия программных приложений;
- произведена настройка аппаратного обеспечения комплекса;
- разработан пакет конструкторской и эксплуатационной документации;
- проведены доклинические испытания на базе программно-аппаратного комплекса с использованием технологии виртуальной реальности, подтвердившие его работоспособность.
Разработанный прототип программно-аппаратного комплекса виртуальной реальности и программного приложения идентификации эмоций по видеофрагментам (ПИЭВ) обеспечивает проведение тестирования пациента с использованием технологии виртуальной реальности на корректную идентификацию эмоций по видеофрагментам с последующим документированием результатов в базе данных. ПИЭВ должно стать частью разрабатываемого программно-аппаратного комплекса «Виремед - 001» по проведению тренингов социальных навыков у пациентов с расстройствами психотического спектра.
Разработчиками комплекса определен следующий круг задач, решаемых ПИЭВ:
- обеспечивать обучение пользователя первоначальным навыкам взаимодействия с активными элементами на сцене в виртуальной реальности (реализовано в рамках учебной сцены в ПИЭВ, представлено на прототипе программно-аппаратного комплекса - ПАК);
- обеспечивать демонстрацию видеофрагментов (на плоскости) эмоциональных состояний длительностью около 10 (десяти) секунд в виртуальной реальности;
- обеспечивать возможность пользователю правильно идентифицировать 7 (семь) эмоциональных состояний: счастье, печаль, страх, отвращение, удивление, гнев, отсутствие эмоций (реализовано в рамках рабочей сцены №1 в ПИЭВ, представлено на прототипе ПАК);
- фиксировать и документировать результаты тестирования в базе данных разрабатываемого программно-аппаратного комплекса «Виремед -001» по проведению компьютерного тестирования пациентов, проходящих лечение в «Национальном медицинском исследовательском центре психиатрии и наркологии имени В.П.Сербского».
Аппаратное и программное обеспечение комплекса
Разработанный ПАК виртуальной реальности представляет собой автоматизированное рабочее место (АРМ) для работы с предустановленным приложением ПИЭВ. В состав комплекса входят:
- персональный компьютер (ПК);
- комплект аппаратных средств виртуальной реальности HTC Vive Pro (очки виртуальной реальности, контроллеры, базовые станции, коммутационное оборудование);
- жидкокристаллический монитор HD-разрешения для демонстрации процесса прохождения тренинга наблюдателю;
- комплект сетевого и коммутационного оборудования;
- комплект общего и специального программного обеспечения (ПО);
- комплект эксплуатационной документации стенда.
Общее программное обеспечение (ОПО) является
основой для функционирования аппаратных средств ПАК. ОПО предназначено для установки на АРМ и обеспечивает реализацию следующих режимов:
- разделения файлов;
- доступ к информации и файлам;
- разделения прикладных программ специального программного обеспечения;
- одновременного ввода данных в прикладные программы;
- управления комплектом аппаратных средств виртуальной реальности;
- контроля целостности программного обеспечения.
ОПО работает под управлением операционной системы MS Windows.
Специальное программное обеспечение (СПО) находится в стадии разработки, на данный момент реализован прототип ПИЭВ. Предполагается, что СПО будет состоять из нескольких программных приложений для тренинга и программного модуля, реализующего сбор и обработку статистических данных.
СПО комплекса обеспечивает:
- воспроизведение сцен ПИЭВ с использованием технологии виртуальной реальности, выполненных в соответствии с методическими требованиями;
- отладку ПИЭВ разработчиком (методистом);
- хранение виртуальных сцен и данных мультимедиа контента, используемых в ПИЭВ;
- разграничение доступа (аутентификацию) к ПИЭВ пользователей по уникальному номеру (коду);
- прохождение тренировочного упражнения по взаимодействию с пользовательским интерфейсом;
- воспроизведение мультимедийного контента (видеофрагментов эмоциональных состояний) автоматически в случайном порядке. Каждое видео воспроизводится циклично до тех пор, пока пользователь не выберет вариант ответа. При этом видеофрагменты, предлагаемые пользователю, не иллюстрируют подряд одну и ту же эмоцию человека одного и того же пола. При выборе ответа пользователю выводится подтверждающее текстовое сообщение. После получения десяти ответов от пользователя выдается информационное сообщение о завершении выполнения упражнения. Демонстрация видеофрагментов прекращается;
- хранение и вывод в главном меню статистики выполнения упражнения в том числе: результатов последней попытки пользователя с подсчетом времени выполнения (время выполнения упражнения не лимитируется), перечень демонстрированных видеофрагментов и ответов пользователя в неявном (закодированном) виде.
Разработка мультимедиа контента
В рамках работы по разработке мультимедийного контента отснято и интегрировано в базу данных (БД) ПИЭВ 252 видеофрагмента эмоциональных состояний мужчин и женщин разных возрастных групп. Подбор актеров и процесс видеосъемки проводились с учетом методических требований и рекомендаций (рис. 1).
Рис. 1. Пример видеофрагмента с демонстрацией эмоции
Все эмоции демонстрировались на серо-белом фоне, актерский состав был предупрежден о необходимости использования спокойных цветовых гамм в одежде. Эмоциональные состояния демонстрировались несколькими дублями с усилением (от слабого проявления эмоций к более явному).
На данный момент все видеофрагменты проходят стадию оценки и апробации на случайной выборке тестируемых: испытуемые без психических нарушений проходят тестирование и определяют, какую эмоцию показывает актер. Видеофрагменты, эмоции в которых распознали менее 60% опрошенных, будут удалены. По результатам этого процесса планируется проведение дополнительных съемочных работ с целью создания видеофрагментов эмоциональных состояний в полный рост с жестикуляцией на зеленом фоне для последующей интеграции в трехмерное окружение рабочей сцены №2 виртуальной реальности.
Пользовательский интерфейс
В рамках работы по созданию ПИЭВ была осуществлена проработка прототипа пользовательского интерфейса программного комплекса «Виремед-001» (рис. 2).
Главное окно (основное меню) состоит из следующих элементов:
1 - Заголовок.
2 - Текстовое поле «Код пациента».
3 - Область вывода статистической информации по предыдущей сессии.
4 - Область выбора виртуальной сцены (четыре кнопки в центре окна).
5 - Область описания выбранной виртуальной сцены.
Для взаимодействия с СПО из главного меню пользователю доступно текстовое поле для ввода уникального кода пациента и четыре кнопки для последующего запуска виртуальной сцены.
Взаимодействие пользователя с учебной сценой СПО производится посредством кнопок «цель», которые изменяют цвет при наведении и пропадают со сцены при нажатии (рис. 3).
Взаимодействие пользователя с рабочей сценой №1 СПО производится посредством кнопок с наименованием эмоций (семи эмоциональных состояний), которые изменяют цвет при наведении и нажатии. Нажатие на кнопку засчитывает ответ пользователя (выбор эмоции) и инициирует запуск воспроизведения следующего видеофрагмента (рис. 4).
Статистическая информация по предыдущей сессии выводится в виде таблицы в основном меню при запуске СПО (рис. 5).
Она содержит следующую информацию:
- номер ответа;
- ГО видеофрагмента, продемонстрированный пользователю;
- ответ, выбранный пользователем как правильный.
Результаты
Была осуществлена методическая проработка возможности эффективного прикладного применения технологии виртуальной реальности для проведения тренинга социальных навыков у пациентов с расстройствами шизофренического спектра.
Код пациента:
Виремед - 001
Статистика:
№ ID Название эмоции
РАБОЧАЯ СЦЕНА }
УЧЕБНАЯ СЦЕНА
Рабочая сцена 1 содежит набор видео материалов с демонстрацией эмоций. Перед обучаемым ставится задача правильной
идентификации эмоций, путем нажатия на соответствующую кнопку ответа
РАБОЧАЯ СЦЕНА 2
Рис. 2. Основное меню «Виремед - 001»
Примечания: angry - злость; disgust - отвращение; happy - счастье; horror - страх; normal -нейтрально; sadness - грусть; surprise - удивление.
WffiBfffW Мша« вша^н. 111 т ^ицали Wi'i ¡¡г ДД £335323»$
1 Рис. 4. Пример интерфейса рабочей сцены №1
Рис. 5. Пример вывода статистической информации
Примечания: см. рис. 2.
Статистика:
№ ID Название эмоции
1 116 Happy
2 13 Angry
3 155 Sadness
4 52 Normal
5 132 Horror
6 130 Disqust
7 101 Surprise
8 15 Happy
9 183 Angry
10 34 Angry
Разработан прототип программно-аппаратного комплекса виртуальной реальности и программного приложения идентификации эмоций по видеофрагментам, обеспечивающих возможность распознавания пользователем семи эмоциональных состояний. Разработана учебная сцена, обеспечивающая обучение пользователя первоначальным навыкам взаимодействия с активными элементами на сцене виртуальной реальности. Предложен человеко-машинный интерфейс «Виремед - 001», разработан комплект конструкторской и эксплуатационной документации.
В рамках дальнейших исследований предполагается осуществлять разработку параллельно по нескольким направлениям (в части дальнейшей методической проработки и разработки мультимедиа контента и новых виртуальных сцен) доклинических испытаний ПИЭВ.
Перспективы дальнейшей разработки определены по следующим направлениям:
- продолжение доработки рабочей сцены №1 ПИЭВ в части актуализации набора видеофрагментов эмоциональных состояний по результатам испытаний;
- разработка мультимедиа контента для рабочей сцены №2 ПИЭВ;
- разработка рабочей сцены №2 ПИЭВ, интеграция материалов;
- разработка методического сценария для рабочей сцены №3, иллюстрирующей различные социальные ситуации пользователю в виртуальной реальности;
- определение технологии разработки рабочей сцены №3, разработка прототипа;
- объединение рабочих сцен ПИЭВ и учебной сцены в единый программно-аппаратный комплекс «Виремед - 001»;
- переработка проекта пользовательского интерфейса «Виремед - 001» по результатам испытаний;
- актуализация пакета эксплуатационной документации по результатам разработки;
- проведение испытаний разработанного ПАК виртуальной реальности и СПО;
- документирование результатов второго этапа разработки программно-аппаратного комплекса.
Среди представленных направлений наиболее интересными представляются те, которые связаны с разработкой рабочих сцен. Так, рабочая сцена №2, являясь по сути дальнейшим эволюционным шагом
после рабочей сцены №1, позволит обеспечить большее погружение пользователя в виртуальную реальность и повысить эффективность проведения тренинга социальных навыков у пациентов с расстройствами психотического спектра. Рабочая сцена №3 позволит добиться большей социализации пациентов, имитируя различные бытовые ситуации (посещение поликлиники, покупка продуктов в магазине и пр.).
Заключение
В настоящее время имеется весьма ограниченное количество тренинговых программ с использованием технологии виртуальной реальности для реабилитации пациентов с расстройствами шизофренического спектра [8]. Вместе с тем данный подход является достаточно перспективным, позволяя алгоритмизировать и, в то же время, индивидуализировать реабилитационные подходы в зависимости от выявленных дефицитов социально-когнитивных функций. Разработка первого отечественного программно-аппаратного комплекса для тренинга пациентов шизофренией, обнаруживающими специфические нарушения социального функционирования, может быть широко востребована в клинической практике. В открытых источниках аналоги такого комплекса отсутствуют.
Работа выполнена в рамках
государственного задания № 121041300178-6.
ЛИТЕРАТУРА
1. Гурович И.Я., Папсуев О.О. Дифференциация подходов к изучению нарушений социального функционирования у больных шизофренией и расстройствами шизофренического спектра и инструментарий для его оценки // Социальная и клиническая психиатрия. 2015. Т. 25. № 2. С. 9-18.
2. Мурашко А.А. Возможности применения виртуальной реальности в психиатрии // Социальная и клиническая психиатрия. 2021. Т. 31. № 2. С. 101-105.
3. Психосоциальная и когнитивная терапия и реабилитация психически больных. Практическое руководство: коллективная монография / Под ред. проф. И.Я.Гуровича и проф. А.Б.Шмуклера. М.: «Медпрактика-М», 2015. 420 с.
4. Трущелёв С.А., Кекелидзе З.И., Демчева Н.К. Инвалидность вследствие психических расстройств в российской федерации // Российский психиатрический журнал. 2019. № 3. С. 4-10.
5. Bisso E., Signorelli M.S., Milazzo M., Maglia M., Polosa R., Aguglia E., Caponnetto P. Immersive virtual reality applications in schizophrenia
spectrum therapy: a systematic review // Int. J. Environ. Res. Public Health. 2020. Vol. 17. P. 6111.
6. Han D.H., Sim M.E., Kim J.I., Arenella L.S., Lyoo I.K., Renshaw P.F. The effect of internet video game play on clinical and extrapyramidal symptoms in patients with schizophrenia // Schizophr. Res. 2008. Vol. 103. P. 338-340.
7. Lasaponara S., Marson F., Doricchi F., Cavallo M. A scoping review of cognitive training in neurodegenerative diseases via computerized and virtual reality tools: What we know so far // Brain Sci. 2021. Vol. 11. P. 528.
8. Novo A., Fonseca J., Barroso B., Guimaraes M., Louro A., Fernandes H., Lopes R.P., Leitao P. Virtual reality rehabilitation's impact on negative symptoms and psychosocial rehabilitation in schizophrenia spectrum disorder: a systematic review // Healthcare (Basel). 2021. Vol. 9. N 11. P. 1429.
9. Park M.J., Kim D.J., Lee U., Na E.J., Jeon H.J. A literature overview of virtual reality (vr) in treatment of psychiatric disorders: recent advances and limitations // Front. Psychiatry. 2019. Vol. 10. P. 505.
РАЗРАБОТКА ОТЕЧЕСТВЕННОЙ ВЕРСИИ СОЦИАЛЬНО-КОГНИТИВНОГО ТРЕНИНГА БОЛЬНЫХ ШИЗОФРЕНИЕЙ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ
Е.С. Неретин, Ф.А. Колокольников, А.В. Новиков, Е.М. Лунев, М.В. Карякина, А.Б. Шмуклер
В настоящее время все более активно внедряются компьютеризированные варианты программ психосоциальной реабилитации и когнитивной ремедиации для коррекции когнитивного дефицита и, главным образом, нарушений социальной когниции. Делаются попытки использовать VR-технологию для терапии галлюцинаторной симптоматики и негативных расстройств.
В Московском НИИ психиатрии осуществлена методическая проработка возможности эффективного прикладного применения технологии виртуальной реальности для проведения тренинга социальных навыков у пациентов с расстройствами шизофренического спектра. Разработан
прототип программно-аппаратного комплекса виртуальной реальности и программного приложения идентификации эмоций по видеофрагментам, обеспечивающих возможность распознавания пользователем эмоциональных состояний, что станет частью разрабатываемого программно-аппаратного комплекса «Виремед - 001» по проведению тренингов социальных навыков у пациентов с расстройствами психотического спектра. Данные разработки могут стать широко востребованы в клинической практике.
Ключевые слова: социальные когниции, шизофрения, тренинг социальных навыков, социальная реабилитация, виртуальная реальность.
DEVELOPMENT OF A RUSSIAN VERSION OF SOCIO-COGNITIVE TRAINING FOR SCHIZOPHRENIA
PATIENTS USING VIRTUAL REALITY TECHNOLOGY
E.S. Neretin, Ph.A. Kolokolnikov, A.V. Novikov, E.M. Lunev, M.V. Karyakina, A.B. Shmukler
Currently, computerized programs of psychosocial rehabilitation and cognitive remediation are being introduced to correct cognitive deficits and, mainly, social cognition impairment. Attempts are being made to use VR technology for the treatment of hallucinatory and negative symptoms.
The Moscow Research Institute of Psychiatry has carried out a study of the possibility of effective application of virtual reality technology for social skills training in patients with schizophrenia spectrum disorders. A prototype of a virtual reality software and hardware complex and an
application for identifying emotions from video clips have been developed, providing the user with the ability to recognize emotional states, which will become part of the Viremed - 001 software and hardware complex being developed to conduct social skills training in patients with psychotic spectrum disorders. These applications may become widely in demand in clinical practice.
Key words: social cognition, schizophrenia, social skills training, social rehabilitation, virtual reality, VR.
Неретин Евгений Сергеевич - кандидат технических наук, доцент, старший научный сотрудник отделения расстройств психотического спектра Московского научно-исследовательского института психиатрии - филиала «ФГБУ НМИЦ ПН им. В.П.Сербского» Минздрава России; зав. кафедрой 703 «Системы проектирования авиакомплексов» Московского авиационного института; email: evgeny.neretin@gmail.com
Колокольников Филипп Аркадьевич - кандидат технических наук, старший научный сотрудник отделения расстройств психотического спектра Московского научно-исследовательского института психиатрии - филиала «ФГБУ НМИЦ ПН им. В.П.Сербского» Минздрава России; старший преподаватель кафедры 703 «Системы проектирования авиакомплексов» Московского авиационного института; email: philipp.kolokolnikov@icloud.com
Новиков Александр Вадимович - научный сотрудник отделения информатизации и системного анализа в психиатрии Московского научно-исследовательского института психиатрии - филиала «ФГБУ НМИЦ ПН им. В.П. Сербского» Минздрава России; email: abodeidm@yandex.ru
Лунев Евгений Маркович - кандидат технических наук, научный сотрудник отделения информатизации и системного анализа в психиатрии Московского научно-исследовательского института психиатрии - филиала «ФГБУ НМИЦ ПН им. В.П.Сербского» Минздрава Россиии; email: lunev@gmail.com
Карякина Мария Владимировна - научный сотрудник отделения расстройств психотического спектра Московского научно-исследовательского института психиатрии - филиала «ФГБУ НМИЦ ПН им. В.П.Сербского» Минздрава России; email: karyakina.m@serbsky.ru
Шмуклер Александр Борисович - доктор медицинских наук, профессор, заместитель директора по научной работе Московского научно-исследовательского института психиатрии - филиала «ФГБУ НМИЦ ПН им. В.П.Сербского» Минздрава России; email: shmukler.a@serbsky.ru
