CC BY
82
Антропоэкологические исследования
А.Н. Пучкова*' **, О.Н. Ткаченко*, В.Б. Дорохов*
* Институт высшей нервной деятельности и нейрофизиологии РАН, 117485 г. Москва, Российская Федерация ** Государственный институт русского языка им. А.С. Пушкина, 117485 г. Москва, Российская Федерация
Специфика динамики размера зрачка в процессе работы с арифметическими задачами1
Исследования показывают, что зрачок у человека реагирует не только на уровень освещенности, но и на уровень эмоционального возбуждения и умственную нагрузку. В целом на активацию любого типа зрачок реагирует расширением. Однако динамика его реакций на продолжительное воздействие остается менее изученной. В статье рассматриваются результаты экспериментального исследования зрачковых реакций в ходе воздействия продолжительной когнитивной нагрузки. Для регистрации диаметра зрачка использовался метод видеоокулографии (айтрекинга), в качестве когнитивной нагрузки применялось решение арифметических задач в уме с последующим выбором правильного ответа на протяжении 60 или 90 минут. В исследовании участвовало 16 испытуемых 18-28 лет. Показана чувствительность диаметра зрачка к подза-данию: вычислению в уме или выбору варианта ответа. Поиск ответа вызывал общую активацию испытуемого и достоверное расширение зрачка. Выраженность и динамика этих различий были индивидуальны. Не удалось обнаружить корреляции между временем решения задачи и средним диаметром зрачка. Кроме того, у троих испытуемых отмечается феномен гиппуса - медленного колебания диаметра зрачка при постоянном освещении, который может сопровождать умственную работу и утомление. Мы предполагаем, что изменение диаметра зрачка может сигнализировать о резком изменении в активации,
80
1 Работа выполнена при поддержке гранта РГНФ № 15-06-10874.
но не всегда может служить маркером текущей сложности задачи, особенно при выполнении достаточно монотонного задания.
Ключевые слова: видеоокулография, айтрекинг, диаметр зрачка, пупиллогра-фия, арифметические задачи, когнитивная нагрузка, биомаркеры когнитивной нагрузки, гиппус.
A.N. Puchkova* **, O.N. Tkachenko*, V.B. Dorohov*
* Institute of Higher Nervous Activity and Neurophysiology,
Russian Academy of Sciences,
Moscow, 117485, Russian Federation
** Pushkin State Russian Language Institute,
Moscow, 117485, Russian Federation
Specifics of pupil size dynamics in the process of working with arithmetic tasks2
Numerous studies demonstrate that pupil diameter reacts not only to the surrounding luminosity but also to emotional arousal and cognitive workload. Generally, any type of activation leads to pupil dilation. Pupil reactions to the prolonged workload is less well studied. In our study a subject had to solve arithmetic tasks and choose the right answers for 60 or 90 minutes. We were performing pupillometry via eye tracking. 16 subjects (age 18-28) took part in the study. Pupil diameter was a marker of a subtask: mental calculation or selection of a right answer. Searching for an answer caused an overall activation and significant pupil dilation. The scope and dynamic of this reaction have shown individual variability. We have not found ^ any significant correlation between pupil diameter and time spent on each task. | Moreover, in three subjects we have detected a phenomenon of hippus, slow ¥ pupil oscillations in constant light conditions which may accompany mental work o or fatigue. We suppose that pupil diameter can signal a rapid change in arousal ° ^
n m
or activation but is not a reliable marker of a current task difficulty, especially when ¡= ° performing a relatively monotonous task. ^ S
2 This work was supported by a RGNF grant #15-06-10874.
Key words: videooculography, eye tracking, pupil diameter, pupillography, arithmetic tasks, mental workload, cognitive workload markers, hippus.
Проблема высоких умственных нагрузок и необходимости поддержания высокого уровня внимания в ходе работы или обучения с каждым годом становится все более актуальной. В связи с этим активно развивается направление исследований возможных биомаркеров когнитивной нагрузки и основанных на них систем мониторинга. Благодаря развитию систем бесконтактной видеоокулографии (видеорегистрации движений глаз, eye trackers) характеристики глазодвигательной активности оказались одними из кандидатов на роль таких маркеров. Одним из параметров, чувствительных к состоянию оператора, оказался диаметр зрачка.
Главной функцией зрачка является контроль количества света, попадающего на сетчатку глаза. Мышцы зрачка не подвержены сознательному контролю и иннервируются обоими отделами вегетативной нервной системы. Активация симпатического или угнетение парасимпатического отдела приводит к расширению зрачка; активация парасимпатического отдела или угнетение симпатического - к сужению. Таким образом, диаметр зрачка определяется, в том числе, балансом активности вегетативной нервной системы. В силу такого типа регуляции зрачок изменяет диаметр в ответ на многочисленные факторы воздействия, помимо световых, в том числе - психологической природы [Beatty, Lucero-Wagoner, 2000].
Исследования показывают, что в общем случае при увеличении уровня возбуждения зрачок расширяется. Увеличение диаметра зрачка наблюдается при эмоциональных реакциях, росте когнитивной нагрузки, появлении неожиданных или значимых для человека стимулов (Там же). Зрачковые реакции неспецифичны по отношению к источнику возбуждения и представляют большой интерес в когнитивных и психологических исследованиях.
Современные системы бесконтактной видеоокулографии позволяют непрерывно отслеживать диаметр зрачка, не мешая испытуемому | выполнять поставленную перед ним задачу. Пупиллометрия (измерение S диаметра зрачка) эффективно применяется в области исследования кого ш нитивной нагрузки. Она позволяет оценить нагрузку при выполнении
тс < ^
операторской деятельности, решении различных экспериментальных и практических заданий [Beatty, Lucero-Wagoner, 2000; Wang, 2011; Величковский, Морозов, 2013].
Диаметр зрачка считается достаточно надежным индикатором общего возрастания умственной нагрузки, однако не для всех задач известна более подробная временная динамика размера зрачка. Для задач отслеживания состояния систем показано, что на временных интервалах нескольких секунд субъективное увеличение сложности приводит к значимому увеличению диаметра зрачка [Величковский, Морозов, 2013]. В то же время в ситуации свободного отслеживания нескольких целей диаметр зрачка значимо увеличивался только для сложного условия и не различался для простого и среднего по сложности. Кроме того, увеличение диаметра начинается с задержкой около 4 с [Meghanathan et all., 2014].
Вызванные заданием зрачковые реакции (task-evoked pupillary response, TEPR) являются объектом активного исследования в области когнитивной и профессиональной психологии. Если есть возможность привязать реакцию зрачка к какому-то четко определяемому событию, например, появлению задачи, то TEPR оказывается более выраженной для более сложных заданий [Wang, 2011; Iqbal et all., 2004; Marquart, 2015].
Значительно менее исследована динамика зрачковых реакций при работе с математическими выражениями. Увеличение диаметра зрачка с ростом сложности показано для одиночной операции умножения в условиях жесткого контроля времени предъявления элементов выражения и работе в парадигме исследования TERP [Marquart, 2015]. Показана значительно более выраженная реакция зрачка при умножении двух чисел по сравнению со сложением, умножения двузначных чисел по сравнению с однозначными, реакция развивается менее чем за секунду [Jainta, Baccino, 2010]. Однако неизвестны зрачковые реакции для более естественных условий и меньших перепадов сложности, когда испытуемый видит все выражение из нескольких действий и может решать его удобным ему образом. Неясно, будет ли зрачок отражать колебания нагрузки при работе с достаточно длинными выражениями и длительным (5 с и более) временем решения.
Большинство работ, оценивающих динамику зрачковых реакций при работе с арифметическими заданиями, используют задачи с одним арифметическим действием и большие различия в сложности заданий. Их сложность испытуемые легко могут оценить сразу после предъявления. Для данного исследования использовались в целом более сложные о для быстрой оценки задачи с несколькими операциями. Эти достаточ- о ш но длинные выражения требовалось считывать с экрана - испытуемые не могли запомнить все выражение и полностью проводить вычисления «в уме». 83
ê i они
® Eg
тс нс
< s
Цель исследования
Целью данной работы являлось исследование динамики диаметра зрачка в ходе длительного и непрерывного решения арифметических задач из нескольких действий, а также поиск ассоциаций базовых зрачковых реакций со скоростью решения задач.
Материалы и методы исследования
В ходе исследования испытуемые должны были вычислять в уме арифметические задачи, демонстрируемые в центре экрана, и выбирать правильный вариант ответа из двух появляющихся на экране по щелчку курсора мыши на задаче. По правильному ответу следовало щелкнуть курсором мыши, после чего вернуть его в центр экрана.
Задачи состояли из четырех различных двухзначных чисел, двух знаков «+» и одного знака «-» в случайном порядке. Ответы располагались справа и слева от задачи и отличались между собой не более чем на 15.
Перед испытуемыми стояло задание работать как можно быстрее и точнее, сначала вычислять ответ и только после этого щелкать по задаче, а также не угадывать вариант ответа. Перерывы между предъявлениями задач составляли 3 с. Задачи и ответы предъявлялись черным шрифтом в тонкой черной прямоугольной раме на сером фоне [Пучкова и др., 2013].
Было проведено 2 серии экспериментов, имевших общую схему, но отличавшихся нагрузкой. Первая серия: рабочая сессия длилась 60 мин. Вторая серия: рабочая сессия длилась 90 мин, задачи для решения усложнены (задачи, отнимавшие на решение менее 6 с, были убраны). Также во второй серии была введена обратная связь: в перерыве между предъявлениями прямоугольник, в котором находилась задача, был зеленым при правильном решении и красным при неправильном.
Высокая длительность работы позволяла оценить вариабельность скорости и эффективности решения. Каждый испытуемый принимал участие в двух опытах, разделенных недельным интервалом для оценки стабильности индивидуальных характеристик. В каждой серии было 2 набора заданий, которые решали все испытуемые. Порядок решения наборов заданий был рандомизирован по дням участия в эксперименте.
ло
о ооэк
оо
о ^ Опыт начинался в 12:00.
т
н
< ^
Схема эксперимента была одобрена этическим комитетом Института высшей нервной деятельности и нейрофизиологии РАН. Все испытуемые давали информированное согласие на участие в эксперименте.
К эксперименту допускались здоровые испытуемые-правши, с нормальным зрением или скорректированными незначительными нарушениями зрения, не страдающие высокой дневной сонливостью. Были проведены эксперименты на 16 испытуемых в возрасте 18-28 лет (7 женского пола, 9 мужского пола, средний возраст 23,6 ± 3,34 года). 4 испытуемых (2 мужского пола, 2 женского пола) участвовали в первой серии экспериментов, остальные испытуемые - во второй.
Для регистрации движений взора использовалась система видеотре-кинга Eyegaze Analysis System (120 Гц) и программа NYAN 2.0. Эксперименты проводились в изолированной камере с фоновым освещением яркостью 500 люмен. Яркость предъявляемых на мониторе стимулов также была постоянной для предотвращения реакций зрачка на освещение. Анализ данных проводился с использованием скриптов в программном пакете Matlab 7.1. Статистическая обработка результатов проводилась в Statistica 7.0 (StatSoft, США), отличия считали достоверными при p < 0,05.
Результаты и обсуждение
Результаты работы в 3 экспериментальных сессиях были исключены из анализа из-за неправильного выполнения задания или качества записи. В качестве параметра сложности задания было выбрано время решения задачи от ее появления до щелчка по ней.
Анализ скорости работы показал, что даже при непрерывной работе в данной парадигме в течение 90 минут не наблюдается заметного снижения темпа или правильности выполнения задания. Колебания скорости работы скорее отражают меняющееся состояние испытуемого, его мотивацию и затрачиваемые на отдельные задачи усилия [Пучкова и др., 2016].
Для исследуемой выборки была характерна высокая индивидуальная вариабельность скорости и правильности работы и внутрииндивиду-альная стабильность этих параметров при сравнении результатов в разные дни. Среднее время решения задач в группе испытуемых составило от 8,36 ± 0,46 до 31,03 ± 0,48 с. При этом они совершали от 1,90 ± 1,39 до 20,06 ± 3,70 процентов ошибок.
Был проведен корреляционный анализ времени решения задания и среднего диаметра зрачка в ходе решения. Анализ показал нестабильную корреляцию данных параметров: в случае наличия значимой корреляции коэффициент корреляции составлял не более 0,3, а для одного испытуемого был отрицательным. Корреляция в основном
g i они
8s оо
о э
тс нс
< S
обуславливалась взаимоотношением диаметра зрачка и единичных наиболее долго решаемых задач. При исключении этих точек из анализа однозначная и значимая корреляция этих параметров не обнаруживалась. Таким образом, нельзя однозначно соотнести такие интегральные оценки, как средний диаметр зрачка и время решения при работе с арифметическим заданием из нескольких действий.
Также было проведено сравнение среднего диаметра зрачка при выполнении двух четко различимых подзаданий: вычисления ответа и поиска правильного варианта ответа. Для всех записей, кроме одного опыта у одного испытуемого, диаметр зрачка был значимо выше при поиске ответа по сравнению с решением (/-тест, p < 0,001). Такие же результаты были получены и при анализе данных в парадигме, приближенной к TEPR. При сравнении среднего диаметра зрачка в первые 1000 мс решения задачи и поиска ответа (если поиск занимал менее 1 с, данные усреднялись для всего времени поиска) значок имеет значимо больший диаметр во время поиска. Этот результат также был высоко значим (/-тест, p < 0,001) для всех испытуемых, кроме одной записи для одного испытуемого. В связи с этим мы предполагаем, что реакция зрачка здесь отражает не сложность задания, а общую активацию. Выбор правильного ответа испытуемый должен был сделать как можно быстрее, и от него требовалась точная и быстрая моторная реакция - перемещение курсора мыши и нажатие на кнопку. По сравнению со счетом в уме это в большей степени мобилизовало испытуемого и вызывало дополнительное расширение зрачка. Таким образом, диаметр зрачка оказывается маркером текущего подзадания - вычисления или поиска варианта ответа.
При анализе индивидуальных особенностей отмечается разная выраженность этого эффекта: степень расширения зрачка при поиске ответа индивидуальна, воспроизводится в двух экспериментах для каждого испытуемого. Кроме того, при анализе динамики этой реакции в ходе работы были обнаружены индивидуальные особенности. Испытуемых ш можно было условно разделить на две группы. Первая, наиболее пред-еск ставленная, демонстрировала стабильное увеличение диаметра зрачка ичг при поиске ответа на протяжении всей работы. При этом степень расширения зрачка может индивидуально варьировать. Во второй группе эффект становился менее выраженным со временем. Такой паттерн был наиболее выражен у одного испытуемого (рис. 1). При анализе общей
они
оо оЭ
^ 5 динамики изменения диаметра зрачка в ходе всего эксперимента еди-
< 86
ной тенденции не обнаруживалось. В отдельных записях отмечались как тенденции к сужению, так и к расширению зрачка.
Рис. 1. Примеры динамики изменения диаметра зрачка при решении и поиске правильного варианта ответа при усреднении по пятиминутным интервалам:
a - испытуемый с ярко выраженным и стабильным расширением зрачка при поиске ответа; б - испытуемый с угасающей в ходе работы зрачковой реакцией при поиске ответа
Fig. 1. Examples of the changes in pupil diameter during mental calculation and search for an answer (5-min interval averages): a - a sublject with prominent and stable pupil dilation during the search for an answer; б - a subject with a pupil reaction to an answer search that attenuates in the process of work
g i они
8s оо
о э
рл тс нс
< s
При анализе динамики изменения диаметра зрачка у трех испытуемых отмечались периоды ярко выраженного гиппуса - осцилляций диаметра зрачка частоты около 1 Гц при условии постоянной освещенности. В данном исследовании колебания имели частоту около 0,2-0,25 Гц. Данные периоды были разделены более длительными промежутками с типичной картиной зрачковых реакций (рис. 2). Этот феномен редко упоминается в литературе, посвященной пупиллографии, и его причины не до конца известны. Отмечается, что подобные осцилляции могут отражать процессы регуляции автономной нервной системы, а также становиться более выраженными при утомлении и развитии сонливости [Regen et all., 2013; Schumann et all., 2015].
¿3,0
8-2,5
"2,0
V
_L
_L
200 400
_L
_L
_L
_L
_L
_L
_L
600 800 1000 1200 1400 1600 1800 2000
»3,0 л
a
8*2,5 &
2,0
/
Чу
500
1000
1500
2000
2500
Время, такты видеоокулографа б
3000
Рис. 2. Динамика диаметра зрачка в ходе решения задачи (пунктир)
и поиска правильного ответа (сплошная линия). На 1 с времени приходится 120 тактов видеоокулографа:
а - типичная динамика с выраженным расширением зрачка при выборе ответа; б - период работы с выраженными осцилляциями зрачка (гиппусом) с периодом около 4 с
Fig. 2. Pupil diameter dynamics during mental calculation (dotted line)
and search for an answer (solid line). For 1 second there are 120 clock cycles of the videooculograf:
< § a - a typical dynamic with prominent pupil dilation during the search for an answer;
б - a period of work with dominating by pupil oscillations (hippus) with approximately 88 4 second period
g i они
8s оо
о э
В- ^
тс нс
У испытуемых с выраженным гиппусом нельзя было отметить временной динамики периодов осцилляций в ходе работы, они наступали хаотично. Самое раннее время наступления периода - 3 минуты после начала работы, поэтому мы не связываем их с наступлением общего утомления. Возможно, осцилляции частично связаны с периодами меньшей мотивации к работе и снижения фокуса на задании. В силу достаточно высокой амплитуды колебаний диаметра зрачка все остальные зрачковые реакции оказываются замаскированы гиппусом.
Как показывает данная работа, зрачковые реакции в ходе работы с арифметическими выражениями демонстрируют чувствительность к подзаданиям, требующим разной степени активации, а также индивидуальные особенности реагирования. Кроме того, были обнаружены осцилляции зрачка, которые связывают с утомлением, а в данной работе сопровождают интенсивную умственную деятельность с начала работы. Пупиллометрия может дать дополнительную информацию как об общих тенденциях, так и об индивидуальных особенностях реагирования в ходе умственной работы.
Библиографический список / References
1. Величковский Б.Б., Морозов М.А. Динамика размера зрачка как показатель уровня нагрузки на человека-оператора // Человеческий фактор: проблемы психологии и эргономики. 2013. № 4. C. 54-57. [Morozov M.A., Velichkovsky B.B. Pupil size dynamics as indicator of operator's workload. Chelovecheskii faktor: problemypsikhologii i ergonomiki. 2013. № 4. Рр. 54-57.]
2. Пучкова А.Н., Ткаченко О.Н., Дорохов В.Б. Экспериментальная модель для исследования умственного утомления и адаптивной функции дневного сна для восстановления работоспособности // Экспериментальная психология. 2013. № 1 (6). C. 48-60. [Puchkova A.N., Tkachenko O.N., Dorohov V.B. Experimental model aimed to study mental fatigue and adaptive function of a daytime nap for restoration of operational capability. Experimental Psychology (Russia). 2013. № 1 (6). Рр. 48-60.]
3. Пучкова А.Н., Ткаченко О.Н., Дорохов В.Б. Стабилизирующая роль дневного сна при утомлении, вызванном непрерывной умственной работой // g Социально-экологические технологии. 2016. № 1. C. 67-75. [Puchkova A.N., Tkachenko O.N., Dorohov V.B. The stabilizing role of day sleep in cases of being | exhausted by constant mental work. Socialno-ecologicheskie technologii. 2016. № 1. q k Рр. 67-75.] § I
4. Beatty J., Lucero-Wagoner B. The pupillary system. Handbook of psy- m Eg chophysiology. J.T. Cacioppo, L.G. Tassinary, G.G. Berntson (ed.). NY, 2000. g ч Рр. 142-162. ^ §
5. Iqbal S.T., Zheng X.S., Bailey B.P. Task-evoked pupillary response to mental < ^ workload in human-computer interaction. Extended abstracts of the 2004 conference on Human factors and computing systems. NY, 2004. Рр. 1477-1480. 89
6. Jainta S., Baccino T. Analyzing the pupil response due to increased cognitive demand: an independent component analysis study. International journal of psychophysiology. 2010. № 1 (77). Pp. 1-7.
7. Marquart G., Workload Assessment for Mental Arithmetic Tasks using the Task-Evoked Pupillary Response. Peer J Computer. 2015. Science. 1:e16 https://doi. org/10.7717/peerj-cs.16.
8. Meghanathan R.N., Leeuwen C., Nikolaev A.R. Fixation duration surpasses pupil size as a measure of memory load in free viewing. Frontiers in human neuroscience. 2014. № 8. P. 1063.
9. Regen F., Dorn H., Danker-Hopfe H. Association between pupillary unrest index and waking electroencephalogram activity in sleep-deprived healthy adults. Sleep Medicine. 2013. № 9 (14). Pp. 902-912.
10. Schumann A., Kralisch C., Bar K.-J. Spectral decomposition of pupillary unrest using wavelet entropy. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS. 2015. Pp. 6154-6157.
11. Wang J.T. Pupil dilation and eye-tracking. A handbook of process training methods for decision research: A critical review and user's guide. M. Schulte-Meck-lenbeck, A. Kuhberger, R. Ranyard (eds.). Psychology Press, 2011. Pp. 1-33.
Статья поступила в редакцию 29.11.2016. The article was received on 29.11.2016.
ê i они
о т
н
< s
Пучкова Александра Николаевна - кандидат биологических наук; старший научный сотрудник лаборатории нейробиологии сна и бодрствования, Институт высшей нервной деятельности и нейрофизиологии РАН; ведущий научный сотрудник центра нейрокоммуника-тивных исследований, Государственный институт русского языка им. А.С. Пушкина, г. Москва
Puchkova Alexandra N. - PhD in Biology; Senior Research Fellow, Laboratory of Sleep and Wakefulness Neurobiology, Institute of Higher Nervous Activity and Neurophysiology RAS; Senior Research Fellow of Center for Cognition and Communication, Pushkin State Russian Language Institute, Moscow
E-mail: puchkovaan@gmail.com
Ткаченко Ольга Николаевна - кандидат биологических наук; научный сотрудник лаборатории нейробиологии сна и бодрствования, Инсти-го тут высшей нервной деятельности и нейрофизиологии РАН, г. Москва
m
â Tkachenko Olga N. - PhD in Biology; Research Fellow, Laboratory of Sleep and Wakefulness Neurobiology, Institute of Higher Nervous Activity and Neurophysiology RAS E-mail: tkachenkoon@gmail.com
Дорохов Владимир Борисович - доктор биологических наук; заведующий лабораторией нейробиологии сна и бодрствования, Институт высшей нервной деятельности и нейрофизиологии РАН, г. Москва
Dorohov Vladimir B. - Dr. Biol. Hab.; Head of Laboratory of Sleep and Wakefulness Neurobiology, Institute of Higher Nervous Activity and Neurophysiology RAS, Moscow E-mail: vbdorokhov@mail.ru
g i они
8s оо
о э рл тс нс
< s
