CC BY
147
Уберт Алексей Игоревич - Новосибирский государственный технический университет; e-mail: aleksey.ubert@gmail.com; 630092, г. Новосибирск, пр. К. Маркса, 20; тел.: 89139050684;
кафедра автоматики; аспирант.
Sarnadsky Vladimir Nikolaevich - LLC Metos; e-mail: metos.org@gmail.com; 31, Krylova street, Novosibirsk, 630091, Russia; phone: +73833254152; DG; cand. of eng. sc.
Ubert Aleksey Igorevich - Novosibirsk State Technical University; e-mail: aleksey.ubert@gmail.com; 20, K. Marx avenue, Novosibirsk, 630092, Russia; phone: +79139050684; the department of automation; postgraduate student.
УДК 612.822.3+612.825.54
В.Н. Анисимов, Н.С. Ермаченко, А.А. Ермаченко, Л.В. Терещенко,
А.В. Латанов
ЭКСПЕРИМЕНТАЛЬНЫЙ КОМПЛЕКС ДЛЯ ОДНОВРЕМЕННОЙ РЕГИСТРАЦИИ ДВИЖЕНИЙ ГЛАЗ И ЭЛЕКТРОЭНЦЕФАЛОГРАММЫ
Разработан аппаратный комплекс для синхронной регистрации движений глаз и ЭЭГ. Комплекс включает быструю цифровую камеру (250 Гц) и стандартный электроэнцефалограф. Видеозапись движений глаз с высоким временным разрешением позволяет точно определить положение взора в любой момент времени, при этом по амплитудночастотным характеристикам ЭЭГ можно оценить текущее функциональное состояние ЦНС при выполнении какой-либо ментальной деятельности. В экспериментах исследовали параметры движений глаз и динамику амплитуды ЭЭГ в альфа-диапазоне, сопровождающие различную когнитивную деятельность - перцептивную и лингвистическую. Использовали две парадигмы, вовлекающие различные когнитивные процессы - произвольный зрительный поиск и чтение предложений с синтаксической неоднозначностью. При выполнении различной когнитивной деятельности параметры движений глаз и динамика амплитуды ЭЭГ в альфа-диапазоне отражали эффективность решения задач и степень вовлечения различных процессов внимания.
ЭЭГ; движения глаз; видеоокулография; чтение; внимание; зрительный поиск.
V.N. Anisimov, N.S. Ermachenko, A.A. Ermachenko, L.V. Tereschenko,
A.V. Latanov
EXPERIMENTAL SETUP FOR SYNCHRONOUS RECORDING OF EYE MOVEMENTS AND EEG
We designed the experimental setup for synchronous recording of eye movements and EEG. This system consists of (или includes) alt composes with fast digital camera (250 Hz) and a standard EEG-recorder. The high frequency video recording provides the detectionng of gaze direction at the every time moment, while the amplitude and temporal characteristics of EEG reflect functional state of the brain during any mental performance. In experiments we studied eye movement parameters and EEG alpha band amplitude dynamics that accompany different cognitive functioningfunctions (processes или activity?) - perceptual and linguistic. The two paradigms involved the different cognitive processes were conducted - guided visual search and syntactic disambiguation. In different mental executionThe eye movement parameters and EEG alpha band amplitude dynamics were related with task performance efficiency and involvement of different attentional subsystem processes during various mental strains. (или mental processes, mental states, activities) involvement.
EEG; eye movements; eye tracking; reading, attention; visual search.
Аппаратный комплекс разработан для синхронной регистрации движений глаз и ЭЭГ. Комплекс включает быструю цифровую камеру FastVideo 250V, подключенную к высокоскоростному грабберу (НПО «Астек», Россия), и 24-канальный электроэнцефалограф «Мицар-ЭЭГ-202» (ООО «Мицар», Россия), управляемыми специальными компьютерами. Для управления комплексом разработано оригинальное программное обеспечение, которое обеспечивает синхронизацию компонентов системы, запись данных и их анализ. Для синхронизации ЭЭГ и видеозаписи используются синхроимпульсы, генерируемые на аппаратном уровне. Синхроимпульсы отображаются в виде маркеров на одном из каналов энцефалографа и одновременно в виде затемнения всего кадра на видеозаписи (в результате кратковременного выключения инфракрасной подсветки), что впоследствии используется в программе обработки видеозаписи для синхронизации движений глаз и ЭЭГ. Таким образом достигается синхронизация моментов событий на видеозаписи с сопровождающими их биопотенциалами.
Пик чувствительности матрицы лежит в инфракрасном диапазоне, поэтому видеорегистрацию осуществляли в условиях инфракрасной (ИК) подсветки глаза с использованием матрицы из 28 ИК-светодиодов (L-53SF6C, Хпик = 860 нм), расположенных радиально для равномерного освещения. Камеру и ИК-светодиоды располагали сбоку так, что оптическая ось объектива камеры и ось светового потока ИК-светодиодов были перпендикулярны оси взора. Регистрируемое изображение глаза (в ИК-диапазоне) отражалось от «теплового зеркала» (эмиссионного фильтра), расположенного перед испытуемым в плоскости под углом 45 град. к оси взора. Эмиссионный фильтр отражает длинноволновый свет (Х>800 нм) и пропускает свет видимой области спектра. Такое расположение камеры позволяет убрать ее из поля зрения испытуемого и избежать искажений, связанных с угловыми отклонениями от оси взора при вычислении координат центра зрачка [3]. Видеорегистрацию с частотой 250 Гц и размером кадра 320х240 пикселей осуществляли с использованием стандартного программного обеспечения Fastvideo Lab по протоколу Camera Link. В экспериментах голову испытуемых не жестко фиксировали с помощью лобно-подбородной подставки для минимизации лишних движений. При этом изображение глаза полностью попадало на матрицу видеокамеры. Перед экспериментом производили калибровку видеосистемы.
Зрительные стимулы предъявляли на мониторе Samsung SyncMaster 940N, располагаемом в 45 см от глаз испытуемого. Биопотенциалы регистрировали монополярно от 8 электродов (Ag/AgCl), расположенных по системе «10-20 %» (стандартные отведения F3, F4, C3, C4, P3, P4, O1, O2). В качестве референтного использовали объединенный ушной электрод (Ag/AgCl). Фильтрацию биопотенциалов осуществляли в диапазоне 0,5-30 Гц. Для биполярной регистрации ЭОГ использовали два чашечковых электрода (Ag/AgCl), расположенных на внешних орбитах обоих глаз (для регистрации горизонтальной составляющей ЭОГ) и два таких же электрода, расположенных над и под орбитой левого глаза (для регистрации вертикальной составляющей ЭОГ). Полоса пропускания потенциалов ЭОГ составляла 0,16-15 Гц. Частота оцифровки биопотенциалов составляла 500 Гц. Все потоки данных (ЭЭГ, электроокулограмма, видеорегистрация глаза, предъявление изображений) синхронизировали с использованием оригинальных аппаратных средств.
Для выделения зрачка, являющегося самым темным фрагментом изображения, использовали оригинальное программное обеспечение. Алгоритм определения направления взора заключался в вычислении координат центра тяжести выделенного эллипса, соответствующего зрачку. Используя эти координаты, строили траекторию движений глаз при рассматривании испытуемыми предъявляемых изображений. По маркерам синхронизации совмещали во времени траекторию
взора с ЭЭГ, сопоставляя, таким образом, паттерны движений глаз с динамикой биопотенциалов. Движения глаз представляют собой поведенческий компонент зрительно-моторной деятельности, а динамика ЭЭГ отражает функциональное состояние ЦНС, сопровождающее эту деятельность.
В экспериментах испытуемые выполняли две зрительно-моторные задачи -произвольный зрительный поиск и чтение текстов, содержащих синтаксическую неоднозначность.
Произвольный зрительный поиск. Процессы внимания обеспечивают любую произвольную деятельностью человека. Параметры движений глаз отражают динамику изменения фокусов внимания во время рассматривания зрительной сцены [1, 2, 6]. Анализ движенийя глаз во время выполнения глазодвигательных задач также позволяет оценить динамику процесса восприятия информации испытуемым. Общепризнанным средством оценки функционального состояния мозга является динамика амплитуды потенциалов ЭЭГ в альфа-диапазоне. Так, при решении различных когнитивных задач вовлечение внимания сопровождается снижением амплитуды ЭЭГ (десинхронизацией, Д) в указанном диапазоне [1, 4].
В парадигме зрительного поиска (ЗП) испытуемых инструктировали находить один релевантный стимул (РС) среди 45-57 нерелевантных (нРС) (рис. 1). Момент нахождения РС определяли на основании трекинга взора методом видео-окулографии с дополнительной регистрацией электроокулограммы. Относительного этого момента производили усреднение ЭЭГ по алгоритму [4] и анализировали динамику ЭЭГ в частотном диапазоне альфа-ритма. Фиксация взора (в результате поиска) на РС сопровождалась десинхронизацией ЭЭГ в альфа-диапазоне (рис. 2) во всех отведениях, но наибольшей выраженности достигала в лобных и центральных областях. Выполнение поиска (нахождение РС) вызывает значительное изменение функционального состояния человека (в частности, изменение активности произвольного внимания), что отражается наиболее выраженной Д в лобных и центральных отведениях.
•ї<
*
в . *1* # «- * *
** * 0 •* 4 $
я* •• * ■Ъ $ *
* & **> 'V $ *
ч* * * * •а! * л. * ' т
*
Рис. 1. А - стимулы, используемые в экспериментах; слева - РС, справа -нРС. Б - пример тестового изображения с набором стимулов; стрел-кой отмечен РС. Линиями обозначены саккады, а кружками - фиксации взора, регистрируемые при поиске РС
Рис. 2. Фрагмент записи ЭЭГ. Вертикальной линией обозначен момент позиционирования взора на РС, установленный по видеозаписи. Е3, Е4, С3, С4, Р3, Р4, 01, 02 - стандартные отведения ЭЭГ
Чтение текстов. Программно-аппаратный комплекс был использован в исследованиях, связанных с лингвистической деятельностью во время чтения, а именно, с процессом разрешения синтаксической неоднозначности. Параметры движений глаз (длительности фиксаций, амплитуды саккад, количество регрессивных саккад) используют для оценки когнитивных процессов во время чтения [2, 5]. Мы исследовали процесс разрешения синтаксической неоднозначности при чтении предложений, содержащих неоднозначность соответствия придаточного предложения к одному из двух дополнений (например, «Преступник застрелил служанку актрисы, которая стояла на балконе»).
Испытуемые читали 40 тестовых предложений (ТП) с неоднозначностью (рис. 3) и 40 контрольных предложений (КП), не содержащие смысловых противоречий. После прочтения предложения испытуемые отвечали на контрольный вопрос о соответствии придаточного предложения какому-либо из двух дополнениюй.
Увеличение всех исследованных параметров при чтении 2-ой строки тестовых предложений (табл. 1) свидетельствует о затруднениях при интерпретации смысла предложений, то есть параметры движений глаз являются объективными коррелятами процесса разрешения синтаксической неоднозначности. Известны работы, в которых исследованы параметры движений глаз при разрешении синтаксической неоднозначности в различных языках [2, 5]. В настоящей работе мы впервые использовали методику регистрации движений глаз для исследования разрешения синтаксической неоднозначности в русском языке. Анализ психофизиологических параметров, отражающих когнитивный аспект при чтении, представляет интерес для сравнения синтаксических особенностей разных языков.
1-я строка -
2-я строка -
3-я строка
{
Рис. 3. Траектория взора испытуемого при чтении ТП. Точки соответствуют фиксациям. По вертикали - период времени от начала эксперимента (с).
По горизонтали - положение взора в долях от ширины экрана, принятой за «1». Круглые скобки ограничивают треки взора, соответствующие периодам чтения последовательных строк. Стрелкой обозначена регрессивная саккада
Разработанный нами комплекс может использоваться в самых разнообразных областях научной, образовательной, медицинской и производственной практики, а также в сфере информационных технологий.
Таблица 1
Параметры движений глаз при чтении 2-й строки в ТП и КП
Параметр ТП КП р
Время чтения (мс) 1474+28 (720) 1269+21 (720) <0,00001
Число фиксаций 5,27+0,07 (720) 4,68+0,05 (720) <0,00001
Частота регрессивных саккад (на строку) 0,669+0,037 (720) 0,319+0,024 (720) <0,00001
Длительность фиксаций (мс) 222+2 (3775) 209+2 (3362) <0,026
Примечание: параметры представлены средними арифметическими и стандартной ошибкой (в скобках указаны объемы выборок); данные усреднены по всем предъявлениям и по всем испытуемым; влияние фактора «неоднозначность» (с соответствующим уровнем значимости p) для всех параметров оценивали методом дисперсионного факторного анализа.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Cognitive Processes in Eye Guidance / Ed. by G. Underwood. - Oxford University Press, 2005. - 199 p.
2. Eye guidance in reading and scene perception / Ed. by G. Underwood. - Oxford: Elsevier, 1998. - 466 p.
3. Lijima A., Minamitani H., Ishikawa N. Image analysis of quick phase eye movements in nystagmus with high-speed video system // Medical a. Biological Engineering a. Computing. - 2001. - Vol. 39. - P. 2-7.
4. Pfurtscheller G., Klimesch W. Functional topography during a visuoverbal judgement task studied with event related desynchronization mapping // J. Clin. Neurophysiol. - 1992. - Vol. 9. - P. 120-131.
5. Rayner K. Eye movements in reading and information processing: 20 years of research // Psychol. Bull. - 1998. - Vol. 124. - P. 372-422.
6. Vision and attention / Ed. by Jenkin M., Harris L. - New York: Springer-Verlag, 2001. - 316 p.
Статью рекомендовал к опубликованию д.б.н. И.В. Бондарь.
Анисимов Виктор Николаевич - Московский государственный университет им. М.В. Ломоносова; e-mail: victor_anisimov@neurobiology.ru; 119991, Москва, Ленинские горы, 1, стр. 12, ГСП-1; кафедра высшей нервной деятельности; м.н.с.
Ермаченко Наталья Сергеевна - e-mail: natalia.msu@gmail.com; кафедра высшей нервной деятельности; н.с.; к.б.н.
Ермаченко Александр Александрович - e-mail: ataman.msu@gmail.com; кафедра высшей нервной деятельности; инженер-лаборант.
Терещенко Леонид Викторович - e-mail: lter@mail.ru; кафедра высшей нервной деятельности, с.н.с., к.б.н.
Латанов Александр Васильевич - e-mail: latanov@neurobiology.ru; кафедра высшей нервной деятельности; д.б.н.; профессор.
Anisimov Victor Nikolaevich - Lomonosov Moscow State University; e-mail: vic-tor_anisimov@neurobiology.ru; GSP-1, 1-12, Leninskie gory, Moscow, 119991, Russia; the department of higher nervous activity; junior research fellow.
Ermachenko Natalia Sergeevna - e-mail: natalia.msu@gmail.com; the department of higher nervous activity; junior research fellow; cand. of boil. sc.
Ermachenko Alexandr Alexandrovich - e-mail: ataman.msu@gmail.com; the department of higher nervous activity; engineer.
Tereschenko Leonid Victorovich - e-mail: lter@mail.ru; the department of higher nervous activity; senior scientist; cand. of boil. sc.
Latanov Alexandr Vasilievich - e-mail: latanov@neurobiology.ru; the department of higher nervous activity; dr. of boil. sc.; professor.
