CC BY
93
Сибирский психологический журнал.
2021. № 79. С. 108-129. Б01: 10.17223/17267080/79/7
УДК 159.99
ТЕНДЕНЦИИ И ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ НЕЙРОКОМПЬЮТЕРНЫХ ИНТЕРФЕЙСОВ В ОБРАЗОВАНИИ
Д.С. Гнедыха
а Санкт-Петербургский государственный университет, 199034, Россия, Санкт-Петербург, Университетская наб. 7/9
Выделены сложившиеся на данный момент два основных направления применения нейрокомпьютерных интерфейсов в образовательном процессе: выявление характеристик актуального состояния обучающегося и его своевременная коррекция (или самокоррекция); мониторинг когнитивной активности обучающегося при восприятии учебного материала для определения оптимальных параметров и условий его представления. Перспективными подходами использования нейрокомпьютерных интерфейсов в обучении являются: прогнозирование продуктивности учебной деятельности, обучение самоконтролю, выявление когнитивных и аффективных состояний учащихся при обучении отдельным предметам, оценка влияния электронных средств обучения на процесс усвоение информации, мониторинг динамики интенсивности познавательной деятельности учащихся для оптимизации подачи учебного материала.
Ключевые слова: нейрокомпьютерные интерфейсы; повышение качества образования; электронное обучение; учебная деятельность.
Введение
В современном динамичном мире и в условиях многозадачности возникает необходимость в непрерывной оптимизации использования компьютерных технологий, которые на протяжении уже нескольких десятилетий являются неотъемлемой частью жизни человека. Процесс оптимизации можно проследить от компьютерной клавиатуры и мышки до появления сенсорных экранов и систем голосового управления. Нейрокомпьютерные интерфейсы (НКИ), или интерфейс «мозг-компьютер» (ИМК), являются новой развивающейся технологией, направленной на усовершенствование взаимодействия человека с электронными устройствами. Интерфейс «мозг-компьютер» - это система коммуникации, предоставляющая компьютерным приложениям доступ к информации о когнитивном состоянии пользователя в режиме реального времени на основе измерений активности его головного мозга, направленной на управление электронным устройством [1-3]. Их основное преимущество заключается в том, что они не требуют физического воздействия со стороны пользователя для подачи команды системе [4].
Развитие данной технологии основывается на идее, что процессы, протекающие в головном мозге, содержат намного больше информации, чем
мы непосредственно наблюдаем в реакциях людей. Фиксация и расшифровка данной информации с помощью НКИ, с одной стороны, может обеспечить более глубокое понимание поведения человека, с другой - использоваться для разработки электронных систем, которые изменят характер взаимодействия людей с миром.
НКИ изначально создавались для применения в сфере медицины: для восстановления способности к движению и помощи во взаимодействии с окружающей средой людям с ограниченными физическими возможностями [5-8], реабилитации после инсульта [9-11], общения с пациентами с синдромом изоляции (locked-in syndrome) [12] и т.д. Положительный опыт применения НКИ побудил исследователей к тому, чтобы выйти за рамки решения медико-биологических задач и начать использовать их в других областях: нейроэкономике и нейромаркетинге, индустрии игр и развлечений, образовании, в сфере безопасности и правопорядка, а также для улучшения когнитивных функций (на основе технологии биологической обратной связи) [13, 14].
Наиболее распространенным подходом при реализации систем НКИ является использование электроэнцефалографии (ЭЭГ) [15, 16]. Фиксация нейрофизиологических коррелятов умственного напряжения, концентрации, релаксации, усталости или когнитивной активности в режиме реального времени является перспективным методом для выявления работоспособности и вовлеченности человека в учебную деятельность [17]. Именно данный метод, по мнению T.O. Zander и соавт. [18], имеет преимущество пред айтрекером [19] и методом тактильной обратной связи [20] для получения информации об актуальном состоянии человека. Портативные технологии ЭЭГ (PEEGT) позволяют облегчить использование НКИ во внела-бораторных условиях, в частности в образовательном процессе.
Одним из перспективных направлений развития психологии образования является изучение «нейропсихологических основ обучения, воспитания и развития человека» [21. C. 77]. В связи с этим представляется важным внедрение новых методов, способствующих проведению нейрофизиологических исследований в контексте образования. Актуальность применения НКИ в образовательном процессе обусловлена реализацией концепции непрерывного образования (long-life learning) и потребностью в эффективных и доступных автоматизированных системах обучения [13]. Нейроком-пьютерные интерфейсы также являются перспективной технологией для реализации стратегии индивидуализации обучения: интеллектуальная система сможет подстраиваться под активность определенного пользователя [22], адаптировать подачу учебного материала под его состояние, помочь сосредоточиться или, наоборот, расслабиться, когда это необходимо, что должно привести в итоге к более эффективному усвоению учебного материала. Наконец, отслеживание нейронной активности в режиме реального времени расширяет понимание того, как человеческий мозг адаптируется к различным условиям, что может использоваться при разработке новых подходов к обучению [Там же].
На сегодняшний день нейрокомпьютерные интерфейсы в основном применяются в лабораторных условиях, и только некоторые из перечисленных выше областей начинают проводить их тестирование в естественной среде [23]. Чтобы принимать технологические и этические решения, способствующие развитию НКИ в будущем, необходимо понимание конкретных задач, которые они будут решать в той или иной сфере.
Метод исследования
В статье представлен анализ исследований использования неинвазив-ных НКИ в сфере обучения с целью выявить основные тенденции, сложившиеся к настоящему времени, а также обратить внимание на перспективные направления применения НКИ (при успешном решении всех технических трудностей) для повышения качества образования. Для достижения данной цели был проведен обзор как отечественных, так и зарубежных научных трудов, позволивший охватить различные подходы и взгляды на возможности применения нейроинтерфейсов в образовательном процессе. Анализ исследований проводился по двум критериям. Согласно первому критерию источники анализировались на предмет того, какие именно когнитивные процессы и психические состояния изучаются с помощью НКИ и какое это может иметь значение в будущем для практики образования. Второй критерий - указывают ли авторы на ограничения нейроинтерфей-сов как технологии в целом и отдельно в отношении их использования в естественной образовательной среде. Такой анализ позволил не только выявить современное состояние применения НКИ в обучении, но и сформировать представление о дальнейшем развитии данной технологии в сфере образования.
Результаты исследования и их обсуждение
Опыт применения нейрокомпьютерных интерфейсов в учебном процессе. На применение нейрокомпьютерных интерфейсов в процессе обучения возлагают большие надежды, в частности при отслеживании когнитивной активности обучающихся [24]. Как правило, преподаватель во время занятия самостоятельно провидит оценку их когнитивных состояний, регулируя скорость подачи и содержание учебного материала в соответствии с наблюдаемой активностью учеников. При этом, на основании только лишь своих наблюдений, высока вероятность вынести ошибочное суждение, а если речь идет о большой группе, то и вовсе не заметить снижение уровня внимания у некоторых учащихся. Ориентация же на более объективные данные, полученные от НКИ в режиме реального времени, поможет преподавателю (или системе, если речь идет об электронном обучении) принять обоснованное решение о смене активности или снижении нагрузки, что, в свою очередь, обеспечит адаптивное и персонализированное обучение [25].
Большая часть исследований посвящена роли НКИ в мониторинге внимания и его поддержании. Продуктивность учебной деятельности сильно зависит от степени и длительности концентрации внимания учащегося. По мнению многих преподавателей и исследователей, в целом уровень внимания современных школьников и студентов снижается [26], что требует поиска новых решений для его мобилизации на занятиях [27]. Нейро-компьютерные интерфейсы используются в качестве механизма подачи обратной связи (на основе регистрации активности головного мозга) обучающемуся (чаще всего в виде звукового сигнала), когда в процессе освоения учебного материала концентрация его внимания ослабевает [28, 29]. Используя данную подсказку, с помощью саморегуляции ученик может вовремя изменить способ деятельности (отдохнуть или переключиться на другую активность), что в итоге приведет к более продуктивным результатам в обучении [30]. При этом сигнал о снижении концентрации внимания ученика может подаваться не только ему самому, но и преподавателю для контроля и коррекции учебного процесса с его стороны [31]. Подобного рода обратная связь может основываться не только на отслеживании уровня внимания, но на появлении негативных или позитивных эмоций в процессе обучения [32, 33].
Изучение уровня концентрации и устойчивости внимания с помощью НКИ с целью адаптировать подачу материала под когнитивною активность обучающегося происходит в разном контексте. Прежде всего исследователей интересует динамика уровня внимания в процессе чтения: печатной книжки с картинками [34]; с электронного носителя [28]; чтения в разных условиях [35]; чтения книг, активизирующих разные каналы восприятия -визуальный с помощью обычной книги, визуальный и тактильный при чтении книги с объемными картинками, аудиовизуальный при взаимодействии с фонографической записью книги, мультисенсорное восприятие при изучении электронной книги [36]. Еще одно направление исследований посвящено мониторингу внимания учеников в связи с разным уровнем сложности и стилем изложения учебного материала: при прослушивании коротких по времени (2-3,5 мин), но разных по сложности лекций [37]; при работе за компьютером во время выполнения заданий легкого, среднего и высокого уровней сложности [38]; при изучении видеолекций разного типа [39]; при восприятии статического, динамического и смешанного типов текста [35]; при самостоятельном проведении экспериментов в веб-лаборатории [40]; при использовании разного цветового решения для учебного текста и фона [41]; во время дискуссий и выполнения заданий в условиях ограниченного времени [17].
В основном изучение внимания обучающихся с помощью ИМК охватывает сферу онлайн-обучения, и редко кто обращается к смешанному или традиционному виду обучения. Это может быть связно, с одной стороны, с возможностью более четкого контроля параметров контента в онлайн-обучении (размер, цвет, время подачи учебного материала и т.п.), с которым работает учащийся и реакцию на который фиксирует НКИ. С другой
стороны, развитие электронных технологий в обучении и опора на них в построении образовательного процесса в будущем диктуют проведение подобных исследований именно в контексте передачи учебной информации с помощью ИКТ.
Нейрокомпьютерные интерфейсы позволяют анализировать и уровень вовлеченности обучающихся в изучение материала [42, 43], чтобы при его снижении система или преподаватель вовремя предприняли действия, направленные на возобновление интереса. Портативные технологии ЭЭГ также применяются для мониторинга умственной нагрузки и выявления учебного контента, при изучении которого она была максимальной [44, 45]. В таком случае преподаватель имеет возможность переструктурировать материал, чтобы снизить нагрузку и помочь учащимся лучше и быстрее его усваивать.
Помимо информации о динамике когнитивных процессов в режиме реального времени, НКИ считывают и эмоциональное отношение обучающегося к ситуации или определенному воздействию [46]. Несмотря на сложности, связанные с использованием специальной аппаратуры в естественных условиях, внедрение психофизиологических методов в реальный процесс обучения позволяет наиболее точно определить психическое состояние обучающихся [47]. Например, мониторинг уровня стресса учащихся на занятии с помощью НКИ помогает выявить действия преподавателя, а также некоторые условия обучения (например, ограничения во времени), в которых у детей наблюдается стрессовая реакция [48].
На нейрокомпьютерные интерфейсы также возлагаются надежды в области определения степени понимания изучаемой информации [49], фиксации длительной познавательной активности (например, генерации идей) [50], оценки загрузки рабочей памяти (working memory load) [51], когнитивной загруженности (cognitive workload) [25], принятия решения [52], восприятия пользователем своих ошибок [53].
Отдельное направление составляют исследования, направленные на использование НКИ для улучшения условий обучения учащихся с ограниченными возможностями. Акцент здесь делается на управление системой не компьютерной мышью, а с помощью мозговой активности, что позволяет включиться в процесс обучения детям, имеющим дегенеративные заболевания, двигательные нарушения или коммуникативные затруднения [54]. Интеллектуальные системы распознавания эмоций на основе НКИ применяются при обучении людей с психическими нарушениями или расстройствами настроения [55]. В таком случае информацию об аффективных состояниях, переживаемых во время урока, получает не сам учащийся, а преподаватель. Эти данные позволяют ему ориентироваться в том, что происходит с учеником во время занятия, и корректировать свою реакцию или обратную связь. Более того, сбор и накопление данных о негативных эмоциональных состояниях и изменениях в настроении учащихся в режиме реального времени позволяет специалистам также корректировать в дальнейшем курс терапии и лечения каждого конкретного ученика.
Принимая во внимание активный интерес зарубежных исследователей к внедрению нейрокомпьютерных интерфейсов в образовательный процесс, можно предположить, что данное направление будет оставаться актуальным и перспективным в ближайшие десятилетия. Количество же отечественных исследований применения НКИ в образовании пока еще сравнительно небольшое. Это связано с тем, что уровень развития технологий в России невысок, инфраструктура для формирования соответствующих направлений исследований находится в зачаточном состоянии, а основной фокус все еще смещен в сферу медицины и здравоохранения [56]. Тем не менее ведущие ученые обращают внимание на тот факт, что применение НКИ может принести пользу в различных областях жизнедеятельности человека, при этом важно не только преодолеть экономические трудности, но и систематизировать экспериментально-теоретические основания и практические наработки в области построения интерфейсов «мозг-компьютер» [57].
Проведенный анализ научных источников позволяет сделать вывод о том, что на сегодняшний день сложилось два основных направления использования НКИ в учебном процессе:
1) выявление характеристик актуального состояния обучающегося и организация обратной связи для его своевременной самокоррекции (или коррекции с помощью преподавателя) - психофизиологический аспект;
2) мониторинг когнитивной активности обучающегося при восприятии и усвоении учебного материала в разном контексте с целью определения наиболее оптимальных параметров и условий его представления в соответствии с возможностями каждого конкретного ученика - педагогический аспект.
Таким образом, в первом случае акцент делается на изменение состояния или активности обучающегося, во втором - на коррекцию самого учебного материала и способа его подачи.
Перспективы и трудности использования нейрокомпьютерных интерфейсов в образовании. Основные трудности применения НКИ в образовательном процессе на данный момент касаются технических требований к системе и процессу взаимодействия человека с электронным устройством: оптимального количества и расположения электродов, калибровки, взаимной адаптации пользователь-компьютер, скорости и качества измерения данных, разработки ПО, надежности «контакта» с мозгом и т.д. [13, 15, 18, 58-60]. Также до сих пор нерешенным вопросом является классификация данных, считываемых НКИ, - устранение неопределенностей, связанных с природой нейрофизиологических коррелятов различных психических явлений. Например, сюда относится проблема дифференциации сигналов головного мозга (ГМ), связанных с аффективной реакцией на стимул, и возникающего одновременно с ней слухового или зрительного внимания или других когнитивных процессов [61]. Поэтому требуются наиболее точные методы для классификации психических состояний, эмоций и когнитивной активности на основе ЭЭГ-данных [44, 62] с целью повы-
шения точности интерпретация сигналов ЭЭГ, связанных с характерными параметрами электрической активности мозга. Решение данных проблем требует определенных временных и ресурсных затрат, а также активного сотрудничества специалистов разного профиля.
Помимо вышеперечисленных следует выделить трудности, специфичные для обучения в естественных условиях. Подвижность детей может привести к плохому контакту электродов и, в свою очередь, к ошибкам в измерениях сигналов головного мозга. Кроме того, в естественных условиях на обучающегося действует одновременно множество факторов, что осложняет обработку данных, полученных с помощью НКИ, а также затрудняет возможность сделать выводы, на какое именно воздействие наблюдалась определенная реакция. Например, может возникать дискомфорт от ношения самого девайса, обеспечивающего считывание сигналов ГМ [24], что также является фактором, который не оставит без внимания обучающийся. Следовательно, его важно учитывать в исследованиях, которые основываются на выявлении негативных эмоций с помощью НКИ, так как неприятные проживания могут быть связаны не с учебным контентом, а с ситуацией длительного ношения аппаратуры. Таким образом, необходимо принимать во внимание различные факторы, чтобы сделать правильные выводы о том, что именно повлияло на смену настроения.
Усталость и утомляемость, которые возникают в связи с когнитивной нагрузкой в процессе обучения, снижают внимание учащихся, что оказывает влияние на амплитуду ЭЭГ сигналов [63]. Бороться с этой проблемой рекомендуется путем оптимизации физических свойств стимула [15], в данном случае оптимизации параметров предъявления учебного материала -он должен быть не слишком сложным для восприятия. На наш взгляд, не только учет формы подачи информации будет способствовать снижению уровня утомления. Возможны также контроль сложности материала для учащегося (здесь как никогда актуальна зона ближайшего развития), учет эффекта новизны, а также подбор оптимального времени работы с заданием. То есть для решения этой проблемы в естественных условиях обучения следует учитывать комплекс факторов, способных вызвать умственное утомление. Также на качество ЭЭГ сигналов может повлиять необходимость распределять внимание между командой, которую пользователь мысленно или с помощью движения глаз подает системе, и контролем за тем, правильно ли система ее выполняет [1].
Управление курсором мышки через движения глаз может повысить эффективность взаимодействия человека с компьютером [64, 65] и в некоторых ситуациях сделать его даже быстрее, чем при использовании компьютерной мышки [66]. Для интерфейсов, управляемых взором, выбор объекта на экране определяется временем фиксации взгляда на нем (метод регистрации времени пребывания). Более продолжительная, чем обычно, фиксация взгляда на элементе увеличивает длительность выполнения задания и вызывает дискомфорт у пользователя. Сложность также заключается в том, что при рассматривании стимулов с изобилием деталей необходим
расчет оптимального времени, чтобы человек успел их как следует изучить, а система не посчитала фиксацию взгляда как выбор или намерение (момент принятие решения). Таким образом, при решении сложных учебных задач, если компьютер будет ошибочно активировать какой-либо элемент (основываясь на том, что на нем задержался взгляд, хотя пользователь просто его рассматривает или думает над принятием решения), то это неизбежно повысит уровень стресса у обучающегося и, соответственно, помешает ему сосредоточиться на задании и усвоить материал. Данную проблему пытаются решить с помощью альтернативных способов фиксации зрительных команд на основе выделения фокальных фиксаций [67] или при использовании гибридных инетрфейсов [18, 68]. Другая проблема, которая связана с управлением системой с помощью движения глаз, - поиск оптимального размера стимулов и расстояния между ними [69].
Несмотря на выделенные трудности, НКИ открывают дополнительные возможности в сфере образования. Для слабовидящих и слабослышащих в процессе обучения возможно применение вибротактильных нейроком-пьютерных интерфейсов (touch-based brain computer interfaces) [70, 71] или бесконтактных ультразвуковых тактильных дисплеев (airborne ultrasonic tactile display) [72]. Эффект в последних достигается за счет стимуляции кожных рецепторов с помощью фокусированного ультразвука. Давление излучения создает на поверхности кожи тактильное ощущение, что и является способом взаимодействия человека и компьютера. Перспективными также являются исследования применения НКИ для повышения социальных навыков студентов с расстройствами аутистического спектра [73], развития саморегуляции внимания у учащихся с СДВГ [74, 75], оценки терапии для детей с когнитивными нарушениями [76].
Также одним из направлений применения НКИ в обучении может быть мониторинг осведомленности обучающихся об окружающей обстановке (ситуации), например при выполнении практических заданий (как в реальности, так и в виртуальной среде). Осведомленность - это осознание того, что происходит в данный текущий момент, что из окружающей обстановки имеет отношение к релевантной задаче [77]. Осведомленность состоит из трех уровней: 1 - восприятие элементов или сигналов; 2 - интеграция того, что воспринимается, и понимание, что это означает в конкретном контексте; 3 - понимание / прогнозирование на основе текущих знаний того, что может произойти в будущем [Ibid.]. Нейрокомпьютерные интерфейсы, считывая информацию об осведомленности пользователя о текущей ситуации (уровне внимания, загрузке рабочей памяти), могут обеспечить дополнительный контроль и помочь снизить вероятность ошибки. В настоящий момент исследования, посвященные мониторингу осведомленности с помощью портативного оборудования для записи ЭЭГ-данных, ведутся в основном в области моделирования военных ситуаций или работы авиадиспетчеров [78, 79]. На наш взгляд, возможность отслеживания осведомленности обучающихся об учебной ситуации может также играть немаловажную роль в повышении успешности обучения.
Заключение
Ориентируясь на задачи, стоящие перед современным образованием (индивидуализация обучения, развитие у обучающихся самоорганизации и способности к рефлексии, непрерывное образование и др.), и на основе проделанного анализа научных источников можно выделить следующие перспективные направления применения нейрокомпьютерных интерфейсов в учебном процессе:
- Возможность прогнозировать продуктивность учебной деятельности обучающихся на основе полученных с помощью НКИ данных. Очевидно, что при ухудшении концентрации внимания или переживании учеником негативных эмоций результат обучения становится хуже. Но в данном случае речь идет не только о сиюминутной обратной связи при взаимодействии учащегося с конкретным контентом (снижение внимания ^ подача об этом сигнала ^ приостановка учебной деятельности для восстановления сил после утомления). Накопленные и проанализированные системой данные об активности головного мозга обучающегося в различных учебных ситуациях могут использоваться для выявления нейрофизиологических механизмов, лежащих в основе учебной деятельности, что позволит прогнозировать его академическую успешность в целом [80], а также выявить трудности (например, слабую способность длительно удерживать внимание на объекте) и корректировать методы обучения с учетом индивидуальных особенностей.
- Обучение самоконтролю (сознательному мониторингу собственной деятельности с целью своевременного обнаружения ошибок) с помощью биологической или нейронной обратной связи. Подобного рода занятия способствуют как развитию навыков саморегуляции, так и рефлексии в целом - обучающийся в дальнейшем сможет быть более внимательным к изменениям в своем состоянии и самостоятельно отслеживать их без подсказок системы.
- Выявление особенностей когнитивных и аффективных состояний учащихся в режиме реального времени при обучении отдельным предметам (математике, физике, информатике и др.). Учебная деятельность при освоении различных областей знаний имеет свои особенности. Например, в обработке цифр и слов задействованы разные нейрофизиологические механизмы [81]. Выделяют также и такой феномен, как тревога при изучении математики (math anxiety), которая отрицательно коррелирует с успешностью обучения [82]. Определение специфических эффектов, влияющих на освоение материала для каждого учебного предмета, также позволит усовершенствовать процесс обучения, сделав его не только эффективным, но и психологически комфортным для учащихся.
- Использование НКИ в качестве метода оценки влияния электронных средств обучения на процесс усвоения информации. Данные об эффективности применения ИКТ в обучении достаточно противоречивы. Разнообразие существующих оценочных средств, с одной стороны, дает возмож-
ность для всесторонней оценки [83], а с другой - носит преимущественно субъективный характер (опросы учащихся, результаты наблюдений, экспертная оценка). Фиксирование в режиме реального времени нейрофизиологических реакций обучающегося на учебный контент, предложенный в электронном формате, сможет обеспечить более объективизированные результаты экспертизы.
- Измерение динамики интенсивности познавательной деятельности в условиях различных учебных задач. К таким учебным задачам могут относиться не только чтение текста и просмотр видео, но и иные виды учебной деятельности: творческая или исследовательская активность, выполнение практических заданий и т.д.
- Изучение эффектов когнитивной нагрузки в режиме реального времени на занятиях и выявление на нейрофизиологическом уровне «порога» перегрузки и доступного объема информации для ее успешной обработки с целью оптимизации подачи учебного материала и повышения продуктивности обучения.
Согласно прогнозу развития нейротехнологий в будущем, предложенному C. Cinel и соавт. [23], уже к 2040 г. человек сможет применять в повседневной жизни приложения для мониторинга своего текущего состояния, облегчения контроля над деятельностью, повышения продуктивности в принятии решений и улучшения когнитивных способностей. Все эти возможности также могут быть использованы и при решении учебных задач. И хотя на данный момент требуются дополнительные исследования использования НКИ в различных условиях учебной деятельности, данный обзор позволяет сделать вывод о том, что применение нейрокомпьютерных интерфейсов в образовательном процессе является одним из перспективных направлений повышения эффективности обучения.
Литература
1. Wolpaw J.R., Birbaumer N., Heetderks W.J., McFarland D.J., Peckham P.H., Schalk G.,
Donchin E., Quatrano L.A., Robinson C.J., Vaughan T.M. Brain-Computer Interface Technology: a review of the First International Meeting // IEEE Transactions on rehabilitation engineering. 2000. Vol. 8, № 2. P. 164-173.
2. Kübler A., Müller K.R. An introduction to brain computer interfacing // Toward brain-
computer interfacing / G. Dornhege, J. del R. Millan, T. Hinterberger, D. McFarland, K.R. Müller (eds.). Cambridge, MA : MIT Press, 2007. P. 1-25.
3. Wolpaw J.R., Wolpaw E.V. Brain-computer interfaces: Principles and practice. New York :
Oxford University Press, 2012. 424 p.
4. Zaharija G., Bogunovic P., Mladenovic S. Brain computer interface in enhanced learning
system // Proceedings of 12th International Technology, Education and Development Conference. 2018. P. 198-205.
5. Mak J.N., Wolpaw J.R. Clinical applications of brain-computer interfaces: Current state
and future prospects // IEEE Review of Biomedical Engineering. 2009. Vol. 2. P. 187-199.
6. Zhang J., Jadavji Z., Zewdie E., Kirton A. Evaluating If Children Can Use Simple Brain
Computer Interfaces // Frontiers in Human Neuroscience. 2019. Vol. 13. Article 24. DOI: 10.33 89/fnhum.2019.00024.
7. Перепелкина О.С., Васильев А.Н., Либуркина С.П., Ганин И.П., Каплан А.Я. Изучение
эффективности освоения пациентами с двигательными нарушениями технологии «Интерфейс мозг-компьютер, основанный на представлении движений» (пилотное исследование) // Когнитивная наука в Москве: новые исследования : материалы конф., 16 июня 2015 г. / под ред. Е.В. Печенковой, М.В. Фаликман. М. : Буки Веди, 2015. С. 346-351.
8. Каплан А.Я. Нейрофизиологические основания и практические реализации техноло-
гии мозг-машинных интерфейсов в неврологической реабилитации // Физиология человека. 2016. № 42 (1). C.118-127.
9. Naros G., Gharabaghi A. Reinforcement learning of self-regulated P-oscillations for motor
restoration in chronic stroke // Frontiers in Human Neuroscience. 2015. Vol. 9. Article 391. DOI: 10.3389/fnhum.2015.00391
10. Котов С.В., Турбина Л.Г., Бобров П.Д., Фролов А.А., Павлова О.Г., Курганская М.Е., Бирюкова Е.В. Применение комплекса «интерфейс мозг компьютер и экзоскелет» и техники воображения движения для после инсульта // Альманах клинической медицины. 2015. № 39. C. 15-21.
11. Люкманов Р.Х., Азиатская Г.А., Мокиенко О.А., Варако Н.А., Ковязина М.С., Супо-нева Н.А., Черникова Л.А., Фролов А.А., Пирадов М.А. Интерфейс мозг-компьютер в постинсультной реабилитации: клинико-нейропсихологическое исследование // Журнал неврологии и психиатрии им. С.С. Корсакова. 2018. № 118 (8). C. 43-51.
12. Comaniciu A., Najafizadeh L. Enabling communication for locked-in syndrome patients using deep learning and an emoji-based brain computer interface // IEEE Biomedical Circuits and Systems Conference (BioCAS) - Advanced Systems for Enhancing Human Health, Cleveland, OH, October 17-19, 2018. P. 41-44.
13. Van Erp J., Lotte F., Tangermann M. Brain-Computer Interfaces: Beyond Medical Applications // Computer. 2012. Vol. 45 (4). P. 26-34.
14. Abdulkader S.N., Atia A., Mostafa M.-S.M. Brain computer interfacing: Applications and challenges // Egyptian Informatics Journal. 2015. Vol. 16. P. 213-230.
15. Gao S., Wang Y., Gao X., Hong B. Visual and auditory brain-computer interfaces // IEEE Transactions on Biomedical Engineering. 2014. Vol. 61 (5). P. 1436-1447.
16. Wang Y.T., Wang Y., Jung T.P. A cell-phone-based braine-computer interface for communication in daily life // Journal of Neural Engineering. 2011. Vol. 8 (2). P. 1-5.
17. Ungureanu F., Lupu R.G. The assessment of learning emotional state using EEG headsets // Proceedings of 11th International Scientific Conference on eLearning and Software for Education. 2015. P. 587-593.
18. Zander T.O., Kothe C., Jatzev S., Gaertner М. Enhancing human-computer interaction with input from active and passive brain-computer interfaces // Brain-Computer Interfaces / D. Tan, A. Nijholt (eds.). London : Springer, 2010. P. 181-199. DOI: 10.1007/978-1-84996-272-8_11. (Human-Computer Interaction Series).
19. Asteriadis S., Tzouveli P., Karpouzis K., Kollias S. Estimation of behavioral user state based on eye gaze and head pose-application in an e-learning environment // Multimed Tools Application. 2009. Vol. 41. P. 469-493.
20. Park N., Zhu W., Jung Y., McLaughlin M., Jin S. Utility of haptic data in recognition of user state // Proceedings of HCI International. 2005. Vol. 11. URL: https://pdfs.semanticscholar.org/ e0f0/c5cca081b810b2319811f296a5d811583a97.pdf
21. Бордовская Н.В., Костромина С.Н. Психология образования в современном мире (итоги международной научно-практической конференции «Ананьевские чтения -2012») // Вестник Санкт-Петербургского университета. 2013. № 16 (2). C. 67-78.
22. Lance B.J., Kerick S.E., Ries A.J., Oie K.S., McDowell K. Brain-Computer interface technologies in the coming decades // Proceedings of the IEEE. Special Centennial Issue. 2012. Vol. 100. P. 1585-1599. DOI: 10.1109/JPROC.2012.2184830.
23. Cinel C., Valeriani D., Poli R. Neurotechnologies for human cognitive augmentation: Current state of the art and future prospects // Frontiers in Human Neuroscience. 2019. Vol. 13. Article 13. DOI: 10.3389/fnhum.2019.00013.
24. Xu J., Zhong B. Review on portable EEG technology in educational research // Computers in Human Behavior. 2018. Vol. 81. P. 340-349.
25. Zhou Y., Xu T., Cai Y.P., Wu X.J., Dong B. Monitoring cognitive workload in online videos learning through an EEG-based brain-computer interface // Learning and Collaboration Technologies. Novel Learning Ecosystems : 4th International Conference, LCT 2017 / P. Zaphiris, A. Ioannou (eds.). Springer, Cham, 2017. P. 64-73. (Lecture Notes in Computer Science. Vol. 10295).
26. Serrhini M., Dargham A. Toward incorporating bio-signals in online education case of assessing student attention with BCI // Europe and MENA Cooperation Advances in Information and Communication Technologies / A. Rocha, M. Serrhini, C. Felgueiras (eds.). Springer, Cham, 2017. P. 135-146. DOI: 10.1007/978-3-319-46568-5_14. (Advances in Intelligent Systems and Computing. Vol. 520).
27. Александрова Н.А., Черняева Т.Н. Исследование внимания обучающихся в ситуации информационно-технологического прорыва в образовании // Сибирский педагогический журнал. 2019. № 1. C. 130-138.
28. Lin C.S., Lai Y.C., Lin J.C., Wu P.Y., Chang H.C. A novel method for concentration evaluation of reading behaviors with electrical activity recorded on the scalp // Computer Methods and Programs in Biomedicine. 2014. Vol. 114 (2). P. 164-171.
29. Sun J.C.Y., Yeh K.P.C. The effects of attention monitoring with EEG biofeedback on university students' attention and self-efficacy: the case of antiphishing instructional materials // Computers and Education. 2017. Vol. 106. P. 73-82.
30. Mokhtar R., Sharif N., Zin N.A.M., Ihsan S.N. Assessing attention and meditation levels in learning process using brain computer interface // Proceedings of the International Conference on Computer, Communication, and Control Technology. 2017. Vol. 23 (6). P. 5569-5572.
31. Chen C.M., Wang J.Y. Effects of online synchronous instruction with an attention monitoring and alarm mechanism on sustained attention and learning performance // Interactive Learning Environments. 2017. Vol. 25 (4). P. 427-443. DOI: 10.1080/10494820. 2017.1341938.
32. Lai C.H., Liu M.C., Liu C.J., Huang Y.M. Using positive visual stimuli to lighten the online learning experience through in class questioning // International Review of Research in Open and Distributed Learning. 2016. Vol. 17 (1). P. 23-41.
33. Huang Y.M., Liu M.C., Lai C.H., Liu C.J. Using humorous images to lighten the learning experience through questioning in class // British Journal of Educational Technology. 2017. Vol. 48 (3). P. 878-896.
34. Wei C.C., Ma M.Y. Influences of visual attention and reading time on children and adults // Reading and Writing Quarterly. 2017. Vol. 33 (2). P. 97-108.
35. Chen C.M., Lin Y.J. Effects of different text display types on reading comprehension, sustained attention and cognitive load in mobile reading contexts // Interactive Learning Environments. 2016. Vol. 24 (3). P. 553-571.
36. Ma M.Y., Wei C.C. A comparative study of children's concentration performance on picture books: Age, gender, and media forms // Interactive Learning Environments. 2016. Vol. 24 (8). P. 1922-1937.
37. Shadiev R., Wu T.T., Huang Y.M. Enhancing learning performance, attention, and meditation using a speech-to-text recognition application: Evidence from multiple data sources // Interactive Learning Environments. 2017. Vol. 25 (2). P. 249-261.
38. Wang C.C., Hsu M.C. An exploratory study using inexpensive electroencephalography (EEG) to understand flow experience in computer-based instruction // Information and Management. 2014. Vol. 51 (7). P. 912-923.
39. Chen C.M., Wu C.H. Effects of different video lecture types on sustained attention, emotion, cognitive load, and learning performance // Computers and Education. 2015. Vol. 80. P. 108-121.
40. Serrhini M. BCI sensor as ITS for controlling student attention in online experimentation // Online experimentation: emerging technologies and IOT // M.T. Restivo, A. Cardoso, A.M. Lopes (eds.). Barcelona : International Frequency Sensor Association (IFSA) Publishing, 2015. P. 83-102.
41. Lucchiari C., Folgieri R. The role of text color in learning: a Brain Computer Interface study // International Journal of Psychology. 2016. Vol. 51. P. 195-195.
42. Andujar M., Gilbert J.E. Let's learn!: enhancing user's engagement levels through passive brain-computer interfaces // Proceeding CHI '13 Extended Abstracts on Human Factors in Computing Systems. 2013. P. 703-708.
43. Ghergulescu I., Muntean C.H. ToTCompute: a novel EEG-based TimeOnTask Threshold computation mechanism for engagement modelling and monitoring // International Journal of Artificial Intelligence in Education. 2016. Vol. 26 (3). P. 821-854.
44. Lin F.-R., Kao Ch.-M. Mental effort detection using EEG data in E-learning contexts // Computers and Education. 2018. Vol. 122. P. 63-79.
45. Станкевич Л.А., Аманбаева С.С., Самочадин А.В. Оценка уровня умственной работоспособности учащихся на основе анализа сигналов ЭЭГ // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2018. Т. 11, № 4. С. 151-161. DOI: 10.18721/JCSTCS.11411.
46. Verkijika S.F., De Wet L. Using a brain-computer interface (BCI) in reducing math anxiety: Evidence from South Africa // Computers and Education. 2015. Vol. 81. P. 113-122.
47. Костромина С.Н., Прокофьева В.В., Гнедых Д.С., Королева М.Е. Психофизиологический мониторинг экзаменационного стресса у школьников // Психологические исследования. 2015. Т. 8, № 43. С. 7.
48. Moreno Cueva L.A., Peña Cortés C.A., Maestre Delgado M., Caicedo Villamizar S.G., Pardo García A. Registro de neuroseñales con una interfaz cerebro-computador para estimar el nivel estrés en un estudiante durante una clase // INGE CUC. 2017. Vol. 13, № 2. P. 95-101. DOI: 10.17981/ingecuc.13.2.2017.10.
49. Sorudeykin K.A. An educative brain-computer interface // IEEE East-West Design and Test International Symposium, Moscow, September, 2009. URL: https://arxiv.org/ftp/ arxiv/papers/1003/1003.2660.pdf
50. Tan D., Nijholt A. Brain-Computer Interfaces and Human-Computer Interaction // Brain-Computer Interfaces / D. Tan, A. Nijholt (eds.). London : Springer, 2010. P. 3-18. DOI: 10.1007/978-1-84996-272-8_1. (Human-Computer Interaction Series).
51. Grimes D., Tan D.S., Hudson S.E., Shenoy P., Rao R.P. Feasibility and pragmatics of classifying working memory load with an electroencephalograph // Proceeding of the Twenty-Sixth Annual SIGCHI Conference on Human Factors in Computing Systems (Florence, Italy, 2008). New York : ACM, 2008. P. 835-844.
52. Tzovara A., Murray M.M., Bourdaud N., Chavarriaga R., Millán J.d.R., De Lucia M. The timing of exploratory decision-making revealed by single-trial topographic EEG analyses // Neuroimage. 2012. Vol. 60. P. 1959-1969. DOI: 10.1016/j.neuroimage.2012.01.136.
53. Ferrez P.W., del Millán R. Error-related EEG potentials generated during simulated brain-computer interaction // IEEE Trans Biomed Eng. 2008.Vol. 55 (3). P. 923-929.
54. Heidrich R., Branco M.A., Mossmann J.B., Schuh A., Jensen E. Development of BCI based softwares to assist People with mobility limitations in the school inclusion process // Proceedings of the 17th international ACM SIGACCESS conference on computers & accessibility. New York : ACM, 2015. P. 397-398.
55. Mehmood R.M., Lee H.J. Towards building a computer aided education system for special students using wearable sensor technologies // Sensors. 2017. Vol. 17 (2). P. 317. DOI: 10.3390/s17020317.
56. Нейроинтерфейсы для речевой коммуникации // Глобальные технологические тренды. Трендлеттер // Медицина и здравоохранение. 2016. № 2. URL: https://issek.hse.ru/ trendletter/news/174161494.html
57. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии «Интерфейс мозг-компьютер» // Бюллетень сибирской медицины. 2013. № 12 (2). C. 21-29.
58. Wronkiewicz M., Larson E., Lee A.K.C. Leveraging anatomical information to improve transfer learning in brain-computer interfaces // Journal of neural engineering. 2015. Vol. 12 (4). DOI: 10.1088/1741-2560/12/4/046027. URL: https://www.ncbi.nlm.nih.gov/ pmc/articles/PMC4527978/pdf/nihms710701.pdf
59. Nakanishi M., Wang Y.J., Jung T.P. Session-to-session transfer in detecting steady-state visual evoked potentials with individual training data // Foundations of Augmented Cognition: Neuroergonomics and Operational Neuroscience. AC 2016 / D. Schmorrow, C. Fidopiastis (eds.). Springer, Cham, 2016. DOI: 10.1007/978-3-319-39955-3_24. (Lecture Notes in Computer Science. Vol. 9743).
60. Волкова К.В., Дагаев Н.И., Киселев А.С., Касумов В.Р., Александров М.В., Осад-чий А.Е. Интерфейс «мозг-компьютер»: опыт построения, использования и возможные пути повышения рабочих характеристик // Журнал высшей нервной деятельности им. И.П. Павлова. 2017. Т. 67, № 4. С. 504-520.
61. Mühl C., Allison B., Nijholt A., Chanel G. A survey of affective brain computer interfaces: principles, state-of-the-art, and challenges // Brain-Computer Interfaces. 2014. Vol. 1 (2). P. 66-84.
62. Кирьянов Д.А., Каплан Д.А. Распознавание когнитивных потенциалов на целевые стимулы в интерфейсе «мозг-компьютер» на основе ансамбля классификаторов // Наука и инновации в медицине. 2016. № 3 (3). C. 28-32.
63. Boksem A.S., Meijman T.F., Lorist M.M. Effects of mental fatigue on attention: an ERP study // Cognitive Brain Research. 2005. Vol. 25 (1). P. 107-116.
64. Engell-Nielsen T., Glenstrup A.J., Hansen J.P. Eye gaze interaction: A new media - not just a fast mouse // Handbook of Human Factors / Ergonomics / K. Itoh, A. Komatsubara, S. Kuwano (eds.). Tokyo : AsakuraPublishing, 2003. P. 445-455.
65. Nilsson S., Gustafsson T., Carleberg P. Hands free interaction with virtual information in a real environment // Proceedings of COGAIN 2007, Leicester, UK, 2007. P. 53-57.
66. Sibert L.E., Jacob R.J.K. Evaluation of eye gaze interaction // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York : ACM Press, 2000. P. 281-288.
67. Величковский Б.Б., Румянцев М.А., Морозов М.А. Новый подход к проблеме «Прикосновения Мидаса»: идентификация зрительных команд на основе выделения фокальных фиксаций // Вестник Московского университета. Сер. 14. Психология. 2013. № 3. C. 33-45.
68. Vilimek R., Zander T.O. BC(eye): Combining eye-gaze input with brain-computer interaction // Proceedings of the HCII 2009. Heidelberg : Springer, 2009. P. 593-602.
69. Пронина А.С., Григорян Р.К., Каплан А.Я. Движения глаз человека при наборе текста в интерфейсе мозг-компьютер на основе потенциала П300: эффект размера стимула и расстояния между стимулами // Вестник Московского университета. Сер. 14. Психология. 2018. № 4. C. 120-134.
70. Van Erp J.B.F., Brouwer A.-M. Touch-based Brain Computer Interfaces: State of the art // IEEE Haptics Symposium (HAPTICS), 23-26 Feb. 2014. P. 397-401. DOI: 10.1109/HAPTICS.2014.6775488.
71. Лукоянов М.В., Гордлеева С.Ю., Пимашкин А.С., Григорьев Н.А., Савосенков А.В., Мотайло А., Казанцев В.Б., Каплан А.Я. Эффективность интерфейсов мозг-
компьютер на основе представления движений с тактильной и визуальной обратной связью // Физиология человека. 2018. № 44 (3). C. 53-61.
72. Hamada K., Mori H., Shinoda H., Rutkowski T.M. Airborne ultrasonic tactile display BCI // Brain-Computer Interface Research: a State-of-the-Art, Summary 4 / C. Guger, G. Mueller-Putz, B. Allison (eds.). Springer International Publishing, 2015. P. 57-65. (SpringerBriefs in Electrical and Computer Engineering).
73. White S.W., Richey J.A., Gracanin D., Coffman M., Elias R., LaConte S., Ollendick T.H. Psychosocial and computer-assisted intervention for college students with autism spectrum disorder: preliminary support for feasibility // Education and Training in Autism and Developmental Disabilities. 2016. Vol. 51 (3). P. 307-317.
74. Lim C.G., Lee T.S., Guan C.T., Fung D.S., Zhao Y., Teng S.S.W., Zhang H.K. Krish-nan R.R. A brain-computer interface based attention training program for treating attention deficit hyperactivity disorder // PLoS ONE. 2012. Vol. 7 (10). Article 46692. DOI: 10.1371/journal.pone.0046692.
75. Ali A., Puthusserypady S. A 3D learning playground for potential attention training in ADHD: a Brain Computer Interface approach // 37th annual international conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2015. P. 67-70.
76. Zammouri A., Moussa A.A., Mebrouk Y. Brain-computer interface for workload estimation: Assessment of mental efforts in learning processes // Expert Systems with Applications. 2018. Vol. 112. P. 138-147.
77. Endsley M.R. Toward a theory of situation awareness in dynamic systems // Human Factors. 1995. Vol. 37. P. 32-64. DOI: 10.1518/001872095779049543.
78. Berka C., Levendowski D.J., Davis G., Whitmoyer M., Hale K., Fuchs S. Objective measures of situational awareness using neurophysiology technology // Augmented Cognition: Past, Present and Future. 2006. P. 145-154.
79. Yeo L.G., Sun H., Liu Y., Trapsilawati F., Sourina O., Chen C.-H., Muller-Wittig W., Ang W.T. Mobile EEG-based situation awareness recognition for air traffic controllers // IEEE International Conference on Systems, Man, and Cybernetics (SMC) (Banff, AB). 2017. P. 3030-3035.
80. Kostromina S.N., Mkrtychian N.A., Kurmakaeva D.M., Gnedykh D.S. The interrelationship between cognitive control and academic success of first-year students: an interdisciplinary study // Psychology in Russia: State of the Art. 2017. Vol. 10 (4). P. 60-75.
81. Carreiras M., Monahan P.J., Lizarazu M., Dunabeitia J.A., Molinaro N. Numbers are not like words: Different pathways for literacy and numeracy // NeuroImage. 2015. Vol. 118. P. 79-89.
82. Zakaria E., Zain N.M., Ahmad N.A., Erlina A. Mathematics anxiety and achievement among secondary school students // American Journal of Applied Sciences. 2012. Vol. 9 (11). P. 1828-1832.
83. Kostromina S., Gnedykh D., Molodtsova G.A. Psycho-Pedagogical Model for Evaluating Effectiveness of Students' Learning on the Basis of Electronic Visual Rows // Optimizing Human-Computer Interaction With Emerging Technologies. Hershey, PA: IGI Global, 2017. P. 183-209. DOI: 10.4018/978-1-5225-2616-2.ch007.
Поступила в редакцию 14.09.2019 г.; повторно 27.06.2020 г.;
принята 30.11.2020 г.
Гнедых Дарья Сергеевна - кандидат психологических наук, доцент кафедры психологии образования и педагогики Санкт-Петербургского государственного университета.
E-mail: d.gnedyh@spbu.ru
For citation: Gnedykh, D.S. Trends and Prospects of Using Brain-Computer Interfaces in
Education. Sibirskiy Psikhologicheskiy Zhurnal - Siberian journal of psychology. 2021; 79:
108-129. doi: 10.17223/17267080/79/7. In Russian. English Summary
Trends and Prospects of Using Brain-Computer Interfaces in Education
D.S. Gnedykha
aSaint-Petersburg University, 7-9 Universitetskaya Emb., St Petersburg, 199034, Russian Federation
Abstract
The relevance of the brain-computer interfaces (BCI) implementation in the field of education is conditioned by the realization of long-life and individualized learning concepts, as well as the requirement of effective and affordable automated learning systems. The article presents the analysis of studies on BCI usage in the educational process, in order to systematize the evidence, identify emerging trends and determine the difficulties and prospects of their applications in education.
Nowadays, two main directions of BCI application for the purpose of training quality improvement are revealed. In the first direction, the researchers' attention is focused on psycho-physiology, meaning the identification of student's current state characteristics and its timely correction with the teacher's help (or self-correction). The second one emphasizes the pedagogical aspect of BCI usage, such as monitoring the student's cognitive activity in the process of course content perception to determine the most optimal parameters and conditions of its presentation. In the first case, the change of a student's state or activity is emphasized, in the second one the changes relate to correction of learning content and its delivery.
Among the main difficulties of using BCI in education are the following: problems with the equipment of modern BCI systems, the lack of clear classifications of neurophysiological correlates of various mental phenomena, the difficulty of consideration and differentiation of all the factors affecting a user during his interaction with BCI in natural environment.
The prospects of BCI usage in learning are proposed:
1. Prediction of learning activity productivity;
2. Development of students' self-control in the educational process;
3. Real-time identification of cognitive and affective students' states in learning certain subjects (mathematics, physics, computer science, etc.);
4. Assessment of the impact of electronic learning tools on the process of information acquisition;
5. Monitoring the dynamics of cognitive activity intensity in students while solving different learning tasks;
6. Identification of the available amount of information for its successful processing at the neurophysiological level to optimize the delivery of learning materials.
Keywords: brain-computer interfaces; the education quality improvement; e-learning; learning activity.
References
1. Wolpaw, J.R., Birbaumer, N., Heetderks, W.J., McFarland, D.J., Peckham, P.H., Schalk,
G., Donchin, E., Quatrano, L.A., Robinson, C.J. & Vaughan, T.M. (2000) Brain-
Computer Interface Technology: A review of the First International Meeting. IEEE
Transactions on Rehabilitation Engineering. 8(2). pp.164-173.
2. Kübler, A. & Müller, K.R. (2007) An introduction to brain computer interfacing. In: Dorn-
hege, G., Millan, J. del R., Hinterberger, T., McFarland, D. & Müller, K.R. (eds) Toward
Brain-Computer Interfacing. Cambridge, MA: MIT Press. pp. 1-25.
3. Wolpaw, J.R. & Wolpaw, E.V. (2012) Brain-computer interfaces: Principles and practice.
New York: Oxford University Press.
4. Zaharija, G., Bogunovic, P. & Mladenovic, S. (2018) Brain computer interface in enhanced
learning system. Proceedings of 12th International Technology, Education and Development Conference. pp. 198-205.
5. Mak, J.N. & Wolpaw, J.R. (2009) Clinical applications of brain-computer interfaces:
Current state and future prospects. IEEE Review of Biomedical Engineering. 2. pp. 187-199.
6. Zhang, J., Jadavji, Z., Zewdie, E. & Kirton, A. (2019) Evaluating If Children Can Use
Simple Brain Computer Interfaces. Frontiers in Human Neuroscience. 13(24). DOI: 10.3389/fnhum.2019.00024
7. Perepelkina, O., Vasiliev, A., Liburkina, S., Ganin, I. & Kaplan, A. (2015) [Assessing
Motor Imagery BCI Performance in Patients with Motor Disabilities: A Pilot Study]. In: Pechenkova, E.V. & Falikman, M.V. (eds) Kognitivnaya nauka v Moskve: novye issle-dovaniya [Cognitive Science in Moscow: New Research]. Moscow: Buki Vedi. pp. 346351. (In Russian).
8. Kaplan, A. (2016) Neyrofiziologicheskie osnovaniya i prakticheskie realizatsii tekhnologii
mozg-mashinnykh interfeysov v nevrologicheskoy reabilitatsii [Neurophysiological foundations and practical implementations of brain-machine interface technology in neurological rehabilitation]. Fiziologiya cheloveka - Human Physiology. 42(1). pp. 118-127. DOI: 10.7868/S0131164616010100
9. Naros, G. & Gharabaghi, A. (2015) Reinforcement learning of self-regulated oscillations
for motor restoration in chronic stroke. Frontiers in Human Neuroscience. 9(391). DOI: 10.3389/fnhum.2015.00391
10. Kotov, S.V., Turbina, L.G., Bobrov, R.D., Frolov, A.A., Pavlova, O.G., Kurganskaya, M.E. & Biryukova, E.V. (2015) The use of a complex "brain-computer interface and exo-skeleton" and movement imagination technique for post-stroke rehabilitation. Al'manakh klinicheskoy meditsiny - Almanac of Clinical Medicine. 39. pp. 15-21. (In Russian). DOI: 10.18786/2072-0505-2015-39-15-21
11. Lyukmanov, R.Kh., Aziatskaya, G.A., Mokienko, O.A., Varako, N.A., Kovyazina, M.S., Suponeva, N.A., Chernikova, L.A., Frolov, A.A. & Piradov, M.A. (2018) Post-stroke rehabilitation training with a brain-computer interface: a clinical and neuropsychological study. Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova - S.S. Korsakov Journal of Neurology and Psychiatry. 118(8). pp. 43-51. (In Russian). DOI: 10.17116/ jnevro201811808143
12. Comaniciu, A. & Najafizadeh, L. (2018) Enabling communication for locked-in syndrome patients using deep learning and an emoji-based brain computer interface. IEEE Biomedical Circuits and Systems Conference (BioCAS) - Advanced Systems for Enhancing Human Health. Cleveland, OH, October 17-19, 2018. pp. 41-44.
13. Van Erp, J., Lotte, F. & Tangermann, M. (2012) Brain-Computer Interfaces: Beyond Medical Applications. Computer. 45(4). pp. 26-34. DOI: 10.1109/MC.2012.107
14. Abdulkader, S.N., Atia, A. & Mostafa, M.-S.M. (2015) Brain computer interfacing: Applications and challenges. Egyptian Informatics Journal. 16. pp. 213-230. DOI: 10.1016/j.eij.2015.06.002
15. Gao, S., Wang, Y., Gao, X. & Hong, B. (2014) Visual and auditory brain-computer interfaces. IEEE Transactions on Biomedical Engineering. 61(5). pp. 1436-1447. DOI: 10.1109/TBME.2014.2300164
16. Wang, Y.T., Wang, Y. & Jung, T.P. (2011) A cell-phone-based braine-computer interface for communication in daily life. Journal of Neural Engineering. 8(2). pp. 1-5. DOI: 10.1088/1741-2560/8/2/025018
17. Ungureanu, F. & Lupu, R.G. (2015) The assessment of learning emotional state using EEG headsets. Proceedings of 11th International Scientific Conference on eLearning and Software for Education. pp. 587-593.
18. Zander, T.O., Kothe, C., Jatzev, S. & Gaertner, M. (2010) Enhancing human-computer interaction with input from active and passive brain-computer interfaces In: Tan, D. &
Nijholt, A. (eds) Brain-Computer Interfaces. Human-Computer Interaction Series. London: Springer. pp. 181-199. DOI: 10.1007/978-1-84996-272-8_11
19. Asteriadis, S., Tzouveli, P., Karpouzis, K. & Kollias, S. (2009) Estimation of behavioral user state based on eye gaze and head pose—application in an e-learning environment. Multimed Tools Application. 41. pp. 469-493. DOI: 10.1007/s11042-008-0240-1
20. Park, N., Zhu, W., Jung, Y., McLaughlin, M. & Jin, S. (2005) Utility of haptic data in recognition of user state. Proceedings of HCI International. 11. [Online] Available from: https://pdfs.semanticscholar.org/e0fD/c5cca081b810b2319811f296a5d811583a97.pdf
21. Bordovskaya, N.V. & Kostromina, S.N. (2013) Educational psychology in the modern world. Vestnik Sankt-Peterburgskogo universiteta. Psikhologiya. Pedagogika - Vestnik of Saint Petersburg University. Psychology. 16(2). pp. 67-78. (In Russian).
22. Lance, B.J., Kerick, S.E., Ries, A.J., Oie, K.S. & McDowell, K. (2012) Brain-Computer interface technologies in the coming decades. Proceedings of the IEEE. Special Centennial Issue. 100. pp. 1585-1599. DOI: 10.1109/JPROC.2012.2184830
23. Cinel, C., Valeriani, D. & Poli, R. (2019) Neurotechnologies for human cognitive augmentation: Current state of the art and future prospects. Frontiers in Human Neuroscience. 13(13). DOI: 10.3389/fnhum.2019.00013
24. Xu, J. & Zhong, B. (2018) Review on portable EEG technology in educational research. Computers in Human Behavior. 81. pp. 340-349. DOI: 10.1016/j.chb.2017.12.037
25. Zhou, Y., Xu, T., Cai, Y.P.., Wu, X.J. & Dong, B. (2017) Monitoring cognitive workload in online videos learning through an EEG-based brain-computer interface. In: Zaphiris, P. & Ioannou, A. (eds) Learning and Collaboration Technologies. Novel Learning Ecosystems. LCT 2017. Lecture Notes in Computer Science. V. 10295. Springer, Cham. pp. 64-73.
26. Serrhini, M. & Dargham, A. (2017) Toward incorporating bio-signals in online education case of assessing student attention with BCI. In: Rocha, A., Serrhini, M. & Felgueiras, C. (eds) Europe and MENA Cooperation Advances in Information and Communication Technologies. Advances in Intelligent Systems and Computing. V. 520. Springer, Cham. pp. 135-146. DOI: 10.1007/978-3-319-46568-5_14
27. Aleksandrova, N.A. & Chernyaeva, T.N. (2019) Study attention of students in a situation of information-a technological breakthrough in education. Sibirskiy pedagogicheskiy zhurnal - Siberian Pedagogical Journal. 1. pp. 130-138. (In Russian). DOI: 10.15293/1813-4718.1901.16
28. Lin, C.S., Lai, Y.C., Lin, J.C., Wu, P.Y. & Chang, H.C. (2014) A novel method for concentration evaluation of reading behaviors with electrical activity recorded on the scalp. Computer Methods and Programs in Biomedicine. 114(2). pp. 164-171. DOI: 10.1016/j.cmpb.2014.02.005
29. Sun, J.C.Y. & Yeh, K.P.C. (2017) The effects of attention monitoring with EEG biofeedback on university students' attention and self-efficacy: The case of antiphishing instructional materials. Computers and Education. 106. pp. 73-82. DOI: 10.1016/j.compedu.2016.12.003
30. Mokhtar, R., Sharif, N., Zin, N.A.M. & Ihsan, S.N. (2017) Assessing attention and meditation levels in learning process using brain computer interface. Proceedings of the International Conference on Computer, Communication, and Control Technology. 23(6). pp. 5569-5572. DOI: 10.1166/ASL.2017.7423
31. Chen, C.M. & Wang, J.Y. (2017) Effects of online synchronous instruction with an attention monitoring and alarm mechanism on sustained attention and learning performance. Interactive Learning Environments. 25(7). DOI: 10.1080/10494820.2017.1341938
32. Lai, C.H., Liu, M.C., Liu, C.J. & Huang, Y.M. (2016) Using positive visual stimuli to lighten the online learning experience through in class questioning. International Review of Research in Open and Distributed Learning. 17(1). pp. 23-41.
33. Huang, Y.M., Liu, M.C., Lai, C.H. & Liu, C.J. (2017) Using humorous images to lighten the learning experience through questioning in class. British Journal of Educational Technology. 48(3). pp. 878-896. DOI: 10.1111/bjet.12459
34. Wei, C.C. & Ma, M.Y. (2017) Influences of visual attention and reading time on children and adults. Reading and Writing Quarterly. 33(2). pp. 97-108. DOI: 10.1080/10573569.2015.1092100
35. Chen, C.M. & Lin, Y.J. (2016) Effects of different text display types on reading comprehension, sustained attention and cognitive load in mobile reading contexts. Interactive Learning Environments. 24(3). pp. 553-571.
36. Ma, M.Y. & Wei, C.C. (2016) A comparative study of children's concentration performance on picture books: Age, gender, and media forms. Interactive Learning Environments. 24(8). pp. 1922-1937. DOI: 10.1080/10494820.2015.1060505
37. Shadiev, R., Wu, T.T. & Huang, Y.M. (2017) Enhancing learning performance, attention, and meditation using a speech-to-text recognition application: Evidence from multiple data sources. Interactive Learning Environments. 25(2). pp. 249-261. DOI: 10.1080/10494820.2016.1276079
38. Wang, C.C. & Hsu, M.C. (2014) An exploratory study using inexpensive electroencephalography (EEG) to understand flow experience in computer-based instruction. Information and Management. 51(7). pp. 912-923.
39. Chen, C.M. & Wu, C.H. (2015) Effects of different video lecture types on sustained attention, emotion, cognitive load, and learning performance. Computers and Education. 80. pp. 108-121. DOI: 10.1016/j.compedu.2014.08.015
40. Serrhini, M. (2015) BCI sensor as ITS for controlling student attention in online experimentation. In: Restivo, M.T., Cardoso, A. & Lopes, A.M. (eds) Online experimentation: emerging technologies and IOT. Barcelona (Spain): International Frequency Sensor Association (IFSA) Publishing, S. L. pp. 83-102.
41. Lucchiari, C. & Folgieri, R. (2016) The role of text color in learning: A Brain Computer Interface study. International Journal of Psychology. 51. pp. 195-195. DOI: 10.9734/BJAST/2015/17821
42. Andujar, M. & Gilbert, J.E. (2013) Let's learn!: enhancing user's engagement levels through passive brain-computer interfaces. Proceeding CHI '13 Extended Abstracts on Human Factors in Computing Systems. pp. 703-708.
43. Ghergulescu, I. & Muntean, C.H. (2016) ToTCompute: A novel EEG-based TimeOnTask Threshold computation mechanism for engagement modelling and monitoring. International Journal of Artificial Intelligence in Education. 26(3). pp. 821-854.
44. Lin, F.-R. & Kao, Ch.-M. (2018) Mental effort detection using EEG data in E-learning contexts. Computers and Education. 122. pp. 63-79. DOI: 10.1016/j.compedu.2018.03.020
45. Stankevich, L.A., Amanbaeva, S.S. & Samochadin, A.V. (2018) Otsenka urovnya umstvennoy rabotosposobnosti uchashchikhsya na osnove analiza signalov EEG [Evaluation of students' mental performance level based on eeg signal analysis]. Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie - Computing, Telecommunications and Control. 11(4). pp. 151-161. DOI: 10.18721/JCSTCS.11411.
46. Verkijika, S.F. & De Wet, L. (2015) Using a brain-computer interface (BCI) in reducing math anxiety: Evidence from South Africa. Computers and Education. 81. pp. 113-122. DOI: 10.1016/j.compedu.2014.10.002
47. Kostromina, S.N., Prokofeva, V.V., Gnedykh, D.S. & Koroleva, M.E. (2015) Psikhofizio-logicheskiy monitoring ekzamenatsionnogo stressa u shkol'nikov [Psychophysiological monitoring of evaluation stress in school children]. Psikhologicheskie issledovaniya -Psychological Studies. 8(43). p. 7. [Online] Available from: http://psystudy.ru (In Russian).
48. Moreno Cueva, L.A., Peña Cortés, C.A., Maestre Delgado, M., Caicedo Villamizar, S.G. & Pardo García, A. (2017) Registro de neuroseñales con una interfaz cerebro-computador para estimar el nivel estrés en un estudiante durante una clase. INGE CUC. 13(2). pp. 95101. DOI: 10.17981/ingecuc.13.2.2017.10
49. Sorudeykin, K.A. (2009) An educative brain-computer interface. IEEE East-West Design and Test International Symposium. Moscow, September, 2009. [Online] Available from: https://arxiv.org/ftp/arxiv/papers/1003/1003.2660.pdf
50. Tan, D. & Nijholt, A. (2010) Brain-Computer Interfaces and Human-Computer Interaction. In: Tan, D. & Nijholt, A. (eds) Brain-Computer Interfaces. Human-Computer Interaction Series. London: Springer. pp. 3-18. DOI:https://doi.org/10.1007/978-1-84996-272-8_1
51. Grimes, D., Tan, D.S., Hudson, S.E., Shenoy, P. & Rao, R.P. (2008) Feasibility and pragmatics of classifying working memory load with an electroencephalograph. Proceeding of the Twenty-Sixth Annual SIGCHI Conference on Human Factors in Computing Systems. Florence, Italy, 2008. ACM, New York. pp. 835-844.
52. Tzovara, A., Murray, M.M., Bourdaud, N., Chavarriaga, R., Millan, J.d.R. & De Lucia, M. (2012) The timing of exploratory decision-making revealed by single-trial topographic EEG analyses. Neuroimage. 60. pp. 1959-1969. DOI: 10.1016/j.neuroimage.2012.01.136
53. Ferrez, P.W. & del Millan, R. (2008) Error-related EEG potentials generated during simulated brain-computer interaction. IEEE Trans BiomedEng. 55(3). pp. 923-929.
54. Heidrich, R., Branco, M.A., Mossmann, J.B., Schuh, A. & Jensen, E. (2015) Development of BCI based softwares to assist People with mobility limitations in the school inclusion process. Proceedings of the 17th international ACM SIGACCESS Conference on Computers & Accessibility. pp. 397-398.
55. Mehmood, R.M. & Lee, H.J. (2017) Towards building a computer aided education system for special students using wearable sensor technologies. Sensors. 17(2). pp. 317. DOI: 10.3390/s17020317
56. Anon. (2016) Neyrointerfeysy dlya rechevoy kommunikatsii [The neural interfaces for speech communication]. Globalnye tekhnologicheskie trendy Trendletter Meditsina i zdravookhranenie - Global Technological Trends. Trendsetter. Medicine and Health. 2. [Online] Available from: https://issek.hse.ru/trendletter/news/174161494.html
57. Kaplan, A.Ya., Kochetova, A.G., Shishkin, S.L., Basyul, I.A., Ganin, I.P., Vasilev, A.N. & Liburkina, S.P. (2013) Experimental and theoretical foundations and practical implementation of technology brain-computer interface. Byulleten ' sibirskoy meditsiny - Bulletin of Siberian Medicine. 12(2). pp. 21-29. (In Russian). DOI: 10.20538/1682-0363-20132-21-29
58. Wronkiewicz, M., Larson, E. & Lee, A.K.C. (2015) Leveraging anatomical information to improve transfer learning in brain-computer interfaces. Journal of Neural Engineering. 12(4). DOI: 10.1088/1741-2560/12/4/046027.
59. Nakanishi, M., Wang, Y.J. & Jung, T.P. (2016) Session-to-session transfer in detecting steady-state visual evoked potentials with individual training data. In: Schmorrow, D. & Fidopiastis, C. (eds) Foundations of Augmented Cognition: Neuroergonomics and Operational Neuroscience. AC 2016. Lecture Notes in Computer Science. V. 9743. Springer, Cham. DOI: 10.1007/978-3-319-39955-3_24
60. Volkova, K.V., Dagaev, N.I., Kiselev, A.S., Kasumov, V.R., Aleksandrov, M.V. & Osadchiy, A.E. (2017) The brain-computer interface: the experience of building, using, and possible ways to improve performance. Zhurnal vysshey nervnoy deyatel'nosti im. I.P. Pavlova - I.P. Pavlov Journal ofHigher Nervous Activity. 67(4). pp. 504-520. (In Russian).
61. Mühl, C., Allison, B., Nijholt, A. & Chanel, G. (2014) A survey of affective brain computer interfaces: principles, state-of-the-art, and challenges. Brain-Computer Interfaces. 1(2). pp. 66-84. DOI: 10.1080/2326263X.2014.912881
62. Kiryanov, D.A. & Kaplan, A.Y. (2016) Recognition of cognitive potentials to the target stimuli in the brain-computer interface on the basis of the ensemble of classifiers. Nauka i innovatsii v meditsine - Science & Innovations in Medicine. 3(3). pp. 28-32. (In Russian). DOI: 10.35693/2500-1388-2016-0-3-28-32
63. Boksem, A.S., Meijman, T.F. & Lorist, M.M. (2005) Effects of mental fatigue on attention: An ERP study. Cognitive Brain Research. 25(1). pp. 107-116. DOI: 10.1016/j.cogbrainres.2005.04.011
64. Engell-Nielsen, T., Glenstrup, A.J. & Hansen, J.P. (2003) Eye gaze interaction: A new media—not just a fast mouse. In: Itoh, K., Komatsubara, A. & Kuwano, S. (eds) Handbook of Human Factors/Ergonomics. Tokyo: AsakuraPublishing. pp. 445-455.
65. Nilsson, S., Gustafsson, T. & Carleberg, P. (2007) Hands free interaction with virtual information in a real environment. Proceedings of COGAIN2007. Leicester, UK. pp. 53-57.
66. Sibert, L.E. & Jacob, R.J.K. (2000) Evaluation of eye gaze interaction. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press. pp. 281-288.
67. Velichkovsky, B.B., Rumyantsev, M.A. & Morozov, M.A. (2013) New approach to solution of Midas Touch Problem: Identifi cation of visual commands via extraction of focal fixations. VestnikMoskovskogo universiteta. Ser. 14. Psikhologiya - The Moscow University Herald. Psychology. 3. pp. 33-45. (In Russian).
68. Vilimek, R. & Zander, T.O. (2009) BC(eye): Combining eye-gaze input with brain-computer interaction. Proceedings of the HCII2009. Heidelberg: Springer. pp. 593-602.
69. Pronina, A.S., Grigoryan, R.K. & Kaplan, A.Ya. (2018) Objective eye movements during typing in P300 BCI: the effect of stimuli size and spacing. Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya - The Moscow University Herald. Psychology. 4. pp. 120-134. (In Russian).
70. Van Erp, J.B.F. & Brouwer, A.-M. (2014) Touch-based Brain Computer Interfaces: State of the art. IEEE Haptics Symposium (HAPTICS). February 23-26, 2014. pp. 397-401. DOI: 10.1109/HAPTICS.2014.6775488
71. Lukoyanov, M.V., Gordleeva, S.Y., Pimashkin, A.S., Grigoriev, N.A., Savosenkov, A.V., Motaylo, A., Kazantsev, V.B. & Kaplan, A.Y. (2018) The Efficiency of the Brain-Computer Interfaces Based on Motor Imagery with Tactile and Visual Feedback. Fiziologiya cheloveka - Human Physiology. 44(3). pp. 53-61. (In Russian). DOI: 10.7868/S0131164618030062
72. Hamada, K., Mori, H., Shinoda, H. & Rutkowski, T.M. (2015) Airborne ultrasonic tactile display BCI. In: Guger, C., Mueller-Putz, G. & Allison, B. (eds) Brain-Computer Interface Research - A State-of-the-Art Summary 4. SpringerBriefs in Electrical and Computer Engineering. Springer International Publishing. pp. 57-65.
73. White, S.W., Richey, J.A., Gracanin, D., Coffman, M., Elias, R., LaConte, S. & Ollendick, T.H. (2016) Psychosocial and computer-assisted intervention for college students with autism spectrum disorder: preliminary support for feasibility. Education and Training in Autism and Developmental Disabilities. 51(3). pp. 307-317.
74. Lim, C.G., Lee, T.S., Guan, C.T., Fung, D.S., Zhao, Y., Teng, S.S.W., Zhang, H.K. & Krishnan, R.R. (2012) A brain-computer interface based attention training program for treating attention deficit hyperactivity disorder. PLoS ONE. 7(10). p. 46692. DOI: 10.1371/journal.pone.0046692
75. Ali, A. & Puthusserypady, S. (2015) A 3D learning playground for potential attention training in ADHD: A Brain Computer Interface approach. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). pp. 67-70.
76. Zammouri, A., Moussa, A.A. & Mebrouk, Y. (2018) Brain-computer interface for workload estimation: Assessment of mental efforts in learning processes. Expert Systems With Applications. 112. pp. 138-147. DOI: 10.1016/j.eswa.2018.06.027
77. Endsley, M.R. (1995) Toward a theory of situation awareness in dynamic systems. Human Factors. 37. pp. 32-64. DOI: 10.1518/001872095779049543
78. Berka, C., Levendowski, D.J., Davis, G., Whitmoyer, M., Hale, K. & Fuchs, S. (2006) Objective measures of situational awareness using neurophysiology technology. Augmented Cognition: Past, Present and Future. pp. 145-154.
79. Yeo, L.G., Sun, H., Liu, Y., Trapsilawati, F., Sourina, O., Chen, C.-H., Müller-Wittig, W. & Ang, W.T. (2017) Mobile EEG-based situation awareness recognition for air traffic controllers. IEEE International Conference on Systems, Man, and Cybernetics (SMC) (Banff, AB). pp. 3030-3035.
80. Kostromina, S.N., Mkrtychian, N.A., Kurmakaeva, D.M. & Gnedykh, D.S. (2017) The interrelationship between cognitive control and academic success of first-year students:
An interdisciplinary study. Psychology in Russia: State of the Art. 10(4). pp. 60-75. DOI: 10.11621/pir.2017.0406
81. Carreiras, M., Monahan, P.J., Lizarazu, M., Dunabeitia, J.A. & Molinaro, N. (2015) Numbers are not like words: Different pathways for literacy and numeracy. NeuroImage. 118. pp. 79-89. DOI: 10.1016/j.neuroimage.2015.06.021
82. Zakaria, E., Zain, N.M., Ahmad, N.A. & Erlina, A. (2012) Mathematics anxiety and achievement among secondary school students. American Journal of Applied Sciences. 9(11). pp. 1828-1832.
83. Kostromina, S., Gnedykh, D. & Molodtsova, G.A. (2017) Psycho-Pedagogical Model for Evaluating Effectiveness of Students' Learning on the Basis of Electronic Visual Rows. Chapter in Optimizing Human-Computer Interaction With Emerging Technologies. USA, IGI Global. pp. 183-209. DOI: 10.4018/978-1-5225-2616-2.ch007
Received 14.09.2019; Revised 27.06.2020;
Accepted 30.11.2020
Daria S. Gnedykh - Associate Professor of the Department of Psychology of Education and Pedagogy St. Petersburg State University. Cand. Sc. (Psychol.). E-mail: d.gnedyh@spbu.ru
