CC BY
3ISSN 2782-2001 Системы анализа и обработки данных том 92, № 4, 2023, с. 7-22
http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 92, No. 4, 2023, pp. 7-22
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
INFORMATION
TECHNOLOGIES
AND TELECOMMUNICATIONS
УДК 004.89 Б01: 10.17212/2782-2001-2023-4-7-22
Анализ характеристик движения глаз оператора для определения степени его утомления*
АО. БУЛЫГИН
199178, РФ, г. Санкт-Петербург, 14-я линия В. О., Федеральное государственное бюджетное учреждение науки «Санкт-Петербургский федеральный исследовательский центр Российской академии наук» (СПб ФИЦ РАН)
alexandr_bulygin@mail.ru
В статье представлен метод поиска характеристик глазных движений, коррелирующих с утомлением. Существует множество характеристик глазных движений для определения утомления. Все эти характеристики вычисляются из таких базовых понятий движения взгляда, как фиксация и саккада. Также характеристики можно разделить по типам физических событий, на которых они основаны. Можно выделить такие характеристики, как скоростные, временные, количественные, размерные, процентные, частотные и характеристики отношения. Для поиска корреляций между характеристиками глазных движений и утомлением был проанализирован набор данных глазных движений и результаты опросника VAS-F о степени утомления шестерых человек. Набор данных состоит из таких параметров оператора, как движения глаз, изображение камеры сцены и направление взгляда. Для определения степени утомления участник заполнял опросник VAS-F, который состоит из 18 вопросов о степени утомления или бодрости человека. Каждой записи из набора данных соответствует результат опросника. Были проанализированы 60 характеристик глазных движений и соответствующие им значения теста VAS-F и посчитана корреляция между ними. Затем характеристики глазных движений были отсортированы по убыванию полученных значений корреляции. Для дальнейшего анализа у каждого участника были выбраны первые 20 характеристик с наибольшей корреляцией. После этого был выполнен поиск характеристик, которые встречались у двух третей и более участников среди первых 20 характеристик. В результате были найдены 10 характеристик глазных движений с корреляцией со значениями теста VAS-F для каждого участника.
Ключевые слова: окулограф, глазные движения, характеристики глазных движений, утомление, определение утомления, опросник, VAS-F, корреляция с утомлением
*
Статья получена 13 сентября 2023 г.
ВВЕДЕНИЕ
Утомление - это многогранное явление, связанное с заторможенностью во время продолжительной работы, когда организму требуется отдых для восстановления [1]. Регуляторные процессы в нервной системе могут возникать даже без осознания утомления. Эта бессознательная регуляция может привести к значительному снижению работоспособности во время продолжительной умственной или физической деятельности. Наступление утомления опасно в сферах деятельности, требующих высокой концентрации, например, для операторов атомных станций, водителей автомобилей, машинистов поездов и т. д. Водители, которые непрерывно водят машину более двух часов, скорее всего, будут страдать от утомления за рулем [2]. Их скорость реакции, зрение и бдительность будут сильно снижены. Следовательно, объективная оценка показателя утомления человека является важной и востребованной задачей на сегодняшний день.
Характеристики глазных движений дают возможность оценить когнитивные процессы, например принятие решений, концентрацию внимания. Характеристики глазных движений, такие как саккады, моргания и фиксации, задействуют различные нейронные цепи, связанные с обработкой зрительно-моторной информации. Предполагается, что пиковая скорость и продолжительность саккад, продолжительность фиксации, продолжительность и частота морганий и диапазон расширения зрачка могут быть чувствительными к изменению умственной нагрузки и утомлению [1].
Саккады - это быстрые движения глаз, обычно возникающие при переориентации взгляда на новую цель. Скорость движения глаз часто превышает 500 град/с, средняя продолжительность составляет от 20 до 40 мс [3].
Фиксации соответствуют временным интервалам, когда субъект смотрит на определенную точку, обычно на объект интереса. Их продолжительность обычно составляет от 200 до 500 мс, в среднем около 300 мс [3].
В работе [1] говорится, что пиковая скорость и продолжительность сак-кад, продолжительность фиксации, продолжительность моргания, частота моргания и диаметр зрачка могут отражать изменение степени утомления.
В работе [1] 20 молодых и 18 пожилых участников выполняли задания за компьютером, и при этом записывались их глазные движения. В обеих группах продолжительность морганий выросла со временем выполнения задания. Также с увеличением времени в обеих группах выросла частота морганий. Размер зрачка также растет со временем выполнения задания. Пиковая скорость саккад падает со временем выполнения задания. Изменения длительности фиксаций со временем выполнения теста выявлено не было. Значительных различий в реакции глазных движений во время выполнения задания между группами выявлено не было.
В [4] отмечается, что фиксационные движения глаз (микросаккады и дрейф) и параметры саккад могут достоверно указывать на утомление при длительном зрительном поиске независимо от сложности задачи.
В [5] саккада была отмечена как значимое глазное событие для изучения утомления. При двухчасовом виртуальном моделировании задачи вождения продолжительность и пиковая скорость саккад уменьшались с увеличением времени выполнения задачи. Пиковая скорость саккад уменьшалась с увеличением времени выполнения в компьютерной задаче, включающей сложный
процесс принятия решений [6], а также в задаче управления воздушным движением [4]. В [7] было показано, что моргание является информативным глазным событием, позволяющим определять утомление. Продолжительность и частота морганий были чувствительны к изменению умственной нагрузки и степени утомления [8, 9]. Некоторые исследования [10-14] посвящены связи микросаккад с утомлением. В статье [15] говорится, что пиковая скорость сак-кад снижается по мере увеличения умственной нагрузки, что может быть использовано для определения утомления. В [16] продемонстрировано, что умственная нагрузка и/или утомление влияют на динамику саккад и что пиковая скорость саккад может быть подходящим показателем этой взаимосвязи.
В первом разделе статьи описываются существующие методы определения утомления по глазным движениям из анализа литературы. Во втором разделе описаны выбранные характеристики глазных движений и предложен метод поиска характеристик глазных движений, коррелирующих с утомлением. Был выполнен поиск корреляций, затем характеристики были отсортированы по убыванию значения корреляции и выбраны первые 20 характеристик. Представлены таблицы с характеристиками глазных движений с максимальной корреляцией со значениями теста УЛ8-Б для каждого участника. Был выполнен анализ типов глазных движений, имеющих наибольшую корреляцию для каждого участника. В последнем разделе представлена итоговая таблица полученных характеристик со значениями корреляции для каждого участника, выполнен анализ характеристик, которые имеют наибольшую корреляцию для всех участников.
1. НАБОР ДАННЫХ ГЛАЗНЫХ ДВИЖЕНИЙ
В статье [17] описана экспериментальная установка для записи глазных движений оператора персонального компьютера с помощью окулографа. При этом вычислялись такие параметры оператора, как движения глаз, изображение камеры сцены, направление взгляда. Для определения степени утомления оператор заполнял опросник УЛ8-Б. Данный опросник состоит из 18 пунктов, касающихся субъективного ощущения утомления. По каждому пункту участник отмечает, как он себя чувствует в данный момент, на шкале между двумя крайними значениями (например, от «совсем не устал» до «чрезвычайно устал»).
В каждый момент времени были рассчитаны характеристики глазных движений для определения утомления оператора на основе стратегии глазных движений по координатам взгляда. На основе движения глаз были построены временные ряды, показывающие перемещение глаз по координатам х и у.
2. МЕТОД АНАЛИЗА ХАРАКТЕРИСТИК ДВИЖЕНИЯ ВЗГЛЯДА
Для поиска характеристик глазных движений, коррелирующих с утомлением, был разработан метод, представленный на рисунке. Этот метод состоит из четырех этапов: 1) расчет корреляции между характеристиками глазных движений и результатами теста УЛ8-Б, 2) сортировка характеристик по убыванию процента корреляции, 3) выбор первых 20 характеристик с максимальной корреляцией, 4) выбор характеристик, присутствующих у четверых и более участников.
На рисунке представлен метод поиска характеристик глазных движений, коррелирующих с утомлением.
Характеристики глазных движений (60)
Результаты опросника VAS-F
Выбор 20 характеристик с наибольшей корреляцией
г---------------
Выбор характеристик у четверых и более участников
Метод поиска характеристик глазных движений, коррелирующих с утомлением Method for searching characteristics of gaze movements that correlate with fatigue
Выбранные количественные характеристики описывают различные типы глазных движений. Среди них можно выделить такие характеристики, как скоростные, временные, количественные, размерные, процентные, частотные, характеристики отношения. Самую большую группу составляют скоростные характеристики.
Скоростные характеристики отражают изменение прослеживающих характеристик взгляда, также были рассмотрены такие скоростные характеристики, как средняя, минимальная и максимальная скорость движения взгляда в угловых градусах в секунду; модуль среднего, минимального и максимального ускорения в угловых градусах в секунду в квадрате; средняя, минимальная и максимальная скорость внутри области фиксации в угловых градусах в секунду; средняя, минимальная и максимальная скорость саккады в угловых градусах в секунду; средняя, минимальная и максимальная мгновенная скорость в угловых градусах в секунду. Средняя скорость движения взгляда вычисляется по формуле
í(di /ti)
speed aver = -, (1)
n
где d¡ - расстояние, пройденное взглядом за i-й секундный интервал; tj - время движения взгляда за i-й секундный интервал; n - количество секундных интервалов.
Формула для вычисления минимальной скорости движения взгляда:
speedmin= min(di/ti, d2 /12, d^/1^,..., d¿_i /tj_i, di /ti), (2)
где dj - расстояние, пройденное взглядом за i-й секундный интервал; tj - время движения взгляда за i-й секундный интервал.
Формула для вычисления максимальной скорости движения взгляда:
speed max= max(di/ d^/ t^, d^ / ¿3,..., di_^t ti_i, di / ti), (3)
где d^ - расстояние, которое прошел взгляд за i-й секундный интервал; tj - время движения взгляда за i-й секундный интервал.
Рассмотрены временные характеристики, такие как общая длительность саккад в секундах; средняя, минимальная и максимальная длительность сак-кады в секундах; длительность фиксаций взгляда короче/длиннее 180 мс, длительность фиксаций взгляда короче 150 мс, длительность фиксаций взгляда от 150 до 900 мс, длительность фиксаций взгляда от 900 мс, длительность фиксаций взгляда от 150 до 900 мс [16].
Также были рассмотрены количественные характеристики: число саккад с амплитудой менее/более 6 угловых градусов, число фиксаций взгляда короче/длиннее 180 мс, число фиксаций взгляда короче/длиннее 180 мс за минуту, число фиксаций взгляда короче 150 мс за минуту, число фиксаций взгляда от 150 до 900 мс за минуту, число фиксаций взгляда от 900 мс за минуту.
Размерные характеристики включают в себя такие характеристики, как средняя, минимальная и максимальная длина саккады в угловых градусах.
Рассмотрены такие процентные характеристики, как доля фиксаций взгляда короче/длиннее 180 мс, доля фиксаций взгляда короче 150 мс, доля фиксаций взгляда от 150 до 900 мс, доля фиксаций взгляда дольше 900 мс, доля времени фиксаций короче 150 мс, доля времени фиксаций взгляда от 150 до 900 мс, доля времени фиксаций взгляда от 900 мс.
Длительность фиксаций короче 180 мс вычисляется по следующей формуле:
n
¿less = Z Ati при Ati < 180 мс, (4)
i=1
где Atj - время, в течение которого взгляд находился внутри области фиксации. Длительность фиксаций длиннее 180 мс вычисляется по формуле
n
tmore = X Ati при Ati < 180 мс, (5)
i=1
где Atj - время, в течение которого взгляд находился внутри области фиксации. Доля фиксаций взгляда короче 180 мс вычисляется по формуле
fixless = tless / fixall, (6)
где fixiess - длительность фиксаций короче 180 мс, fixan - длительность всех фиксаций.
Доля фиксаций взгляда длиннее 180 мс вычисляется по формуле
fixmore = tmore / fixall, (7)
где tmore - длительность фиксаций длиннее 180 мс, fixaii - длительность всех фиксаций.
Рассмотрены такие частотные характеристики, как средняя, минимальная и максимальная частота появления новой области фиксации в секунду, частота появления новой области фиксации за всё время. Рассмотрены такие характеристики отношения, как среднее, минимальное и максимальное отношение пути к перемещению взгляда. Среднее отношение пути к перемещению взгляда вычисляется по следующей формуле (8):
п
Е(р, / т)
гаИоау = —-, (8)
п
где р, - путь, пройденный взглядом за 7-й четырехсекундный интервал; т^ - перемещение взгляда за 7-й четырехсекундный интервал; п - количество четырехсекундных интервалов.
Минимальное отношение пути к перемещению взгляда вычисляется по формуле
гаг7отп = ш1И(р! /ть р2 / т^, Рз /тз,..., р{_х /т[Л, р, /т), (9)
где Р7 - путь, пройденный взглядом за 7-й четырехсекундный интервал; т7 - перемещение взгляда за 7-й четырехсекундный интервал.
Максимальное отношение пути к перемещению взгляда вычисляется по формуле
гайоши = шах( р1 / т1, рг/ т^, Рз / тз,., рм / т_1, р{ / ту), (10)
где р{ - путь, пройденный взглядом за 7-й четырехсекундный интервал; т7 - перемещение взгляда за 7-й четырехсекундный интервал.
В табл. 1 представлены первые 20 характеристик глазных движений с наибольшей корреляцией со значениями теста УЛ8-Б для участника 1. Характеристики отсортированы по убыванию значений корреляции.
Таблица 1 ТаЬ1е 1
Корреляция характеристик глазных движений с результатами VAS-F участника 1 Correlation of eye movement characteristics with VAS-F results of participant 1
Название характеристики Значение корреляции, %
1. Максимальная длительность саккады 61
2. Минимальная скорость внутри области фиксации 58
3. Максимальная частота появления новой области фиксации в секундном интервале 58
4. Максимальная длина саккады 55
5. Максимальная скорость внутри области фиксации 50
6. Минимальная скорость движения взгляда в секундном интервале 50
Окончание табл. 1
Епй of Ь Tab. 1
Название характеристики Значение корреляции, %
7. Доля фиксаций длиннее 180 мс 40
8. Доля фиксаций короче 180 мс 40
9. Фиксации дольше 900 мс в минуту 39
10. Минимальная мгновенная скорость движения взгляда 38
11. Доля времени, проведенного в фиксациях длиннее 180 мс 38
12. Доля фиксаций длиннее 150 мс 38
13. Доля фиксаций короче 150 мс 38
14. Доля фиксаций между 150 и 900 мс 38
15. Минимальная длина саккады 37
16. Доля времени, проведенного в фиксациях длиннее 150 мс 37
17. Доля времени, проведенного в фиксациях между 150 и 900 мс 37
18. Максимальная скорость саккады 36
19. Фиксации длиннее 150 мс в минуту 36
20. Фиксации короче 180 мс в минуту 36
Как видно из табл. 1, наибольшую корреляцию имеют такие скоростные характеристики: минимальная (58 %) и максимальная (50 %) скорость внутри области фиксации, минимальная скорость движения взгляда в секундном интервале (50 %), минимальная мгновенная скорость движения взгляда (38 %), максимальная скорость саккады (36 %). Процентные характеристики: доля фиксаций короче (40 %) / длиннее (40 %) 180 мс; доля времени, проведенного в фиксациях длиннее 180 мс (38 %); доля фиксаций короче (38 %) / длиннее (38 %) 150 мс; доля фиксаций между 150 и 900 мс (38 %); доля времени, проведенного в фиксациях длиннее 150 мс (37 %); доля времени, проведенного в фиксациях между 150 и 900 мс (37 %).
Далее были посчитаны корреляции для участника 2. В табл. 2 представлены характеристики глазных движений и значения их корреляции со значениями теста УЛ8-Б.
Как видно из таблицы, наибольшую корреляцию имеют скоростные характеристики: максимальная скорость внутри области фиксации (70 %), средняя скорость саккады (49 %), максимальная скорость саккады (49 %), минимальная скорость саккады (41 %), минимальная скорость внутри области фиксации (40 %). Временные характеристики: максимальная длительность саккады (64 %), минимальная длительность саккады (62 %), средняя длительность саккады (36 %), общая длительность фиксаций дольше 900 мс (31 %). Характеристики отношения: среднее отношение пути к перемещению взгляда (45 %), максимальное отношение пути к перемещению взгляда (36 %), минимальное отношение пути к перемещению взгляда (31 %).
Таблица 2 Table 2
Корреляция характеристик глазных движений с результатами VAS-F участника 2 Correlation of eye movement characteristics with VAS-F results of participant 2
Название характеристики Значение корреляции, %
1. Максимальная скорость внутри области фиксации 70
2. Максимальная длительность саккады 64
3. Минимальная длительность саккады 62
4. Минимальная длина саккады 62
5. Средняя скорость саккады 49
6. Максимальная скорость саккады 49
7. Среднее отношение пути к перемещению взгляда 45
8. Минимальная скорость саккады 41
9. Максимальная длина саккады 40
10. Минимальная скорость внутри области фиксации 40
11. Доля фиксаций короче 150 мс 38
12. Доля фиксаций длиннее 150 мс 38
13. Доля фиксаций длиннее 180 мс 37
14. Доля фиксаций короче 180 мс 37
15. Средняя длительность саккады 36
16. Максимальное отношение пути к перемещению взгляда 36
17. Модуль максимального мгновенного ускорения 36
18. Средняя длина саккады 35
19. Общая длительность фиксаций дольше 900 мс 31
20. Минимальное отношение пути к перемещению взгляда 31
Далее были посчитаны корреляции для участника 3. В табл. 3 представлены характеристики глазных движений и значения их корреляции со значениями теста УЛ8-Б.
Как видно из таблицы, наибольшую корреляцию имеют скоростные характеристики: минимальная скорость внутри области фиксации (61 %), максимальная скорость саккады (57 %), максимальная скорость внутри области фиксации (47 %), минимальная скорость саккады (41 %), минимальная скорость движения взгляда в секундном интервале (32 %), максимальная скорость движения взгляда в секундном интервале (29 %). Характеристики отношения: максимальное отношение пути к перемещению взгляда (69 %), минимальное
отношение пути к перемещению взгляда (41 %). Процентные характеристики: доля времени, проведенного в фиксациях короче 180 мс; доля времени, проведенного в фиксациях короче 150 мс; доля фиксаций короче 180 мс; доля фиксаций длиннее 180 мс.
Таблица 3 Table 3
Корреляция характеристик глазных движений с результатами VAS-F участника 3 Correlation of eye movement characteristics with VAS-F results of participant 3
Название характеристики Значение корреляции, %
1. Максимальное отношение пути к перемещению взгляда 69
2. Минимальная скорость внутри области фиксации 61
3. Максимальная скорость саккады 57
4. Максимальная частота появления новой области фиксации в секундном интервале 54
5. Доля времени, проведенного в фиксациях короче 180 мс 53
6. Максимальная скорость внутри области фиксации 47
7. Минимальная скорость саккады 41
8. Минимальное отношение пути к перемещению взгляда 41
9. Максимальная длительность саккады 39
10. Максимальная длина саккады 36
11. Доля времени, проведенного в фиксациях короче 150 мс 35
12. Ложные саккады в минуту 34
13. Средняя длительность саккады 33
14. Минимальная скорость движения взгляда в секундном интервале 32
15. Минимальная длина саккады 31
16. Модуль максимального ускорения в секундном интервале 31
17. Минимальная длительность саккады 30
18. Максимальная скорость движения взгляда в секундном интервале 29
19. Доля фиксаций короче 180 мс 29
20. Доля фиксаций длиннее 180 мс 29
Далее были посчитаны корреляции для участника 4. В табл. 4 представлены характеристики глазных движений и значения их корреляции со значениями теста УЛ8-Б.
Таблица 4 Table 4
Корреляция характеристик глазных движений с результатами VAS-F участника 4 Correlation of eye movement characteristics with VAS-F results of participant 4
Название характеристики Значение корреляции, %
1. Фиксации дольше 900 мс в минуту 96
2. Фиксации короче 150 мс в минуту 96
3. Число саккад с амплитудой менее 6 угловых градусов в минуту 96
4. Доля времени, проведенного в фиксациях между 150 и 900 мс 95
5. Фиксации между 150 и 900 мс в минуту 95
6. Ложные саккады в минуту 95
7. Частота появления новой области фиксации 95
8. Средняя частота появления новой области фиксации в секундном интервале 95
9. Фиксации длиннее 150 мс в минуту 94
10. Минимальная скорость внутри области фиксации 94
11. Средняя скорость внутри области фиксации 93
12. Ложные фиксации в минуту 93
13. Минимальная скорость движения взгляда в секундном интервале 91
14. Средняя длительность саккады 91
15. Доля времени, проведенного в фиксациях короче 150 мс 91
16. Максимальная длительность саккады 90
17. Доля времени, проведенного в фиксациях длиннее 150 мс 90
18. Доля времени, проведенного в фиксациях короче 180 мс 90
19. Доля фиксаций короче 150 мс 90
20. Доля фиксаций длиннее 150 мс 90
Как видно из табл. 4, наибольшую корреляцию имеют количественные характеристики: фиксации дольше 900 мс в минуту (96 %), фиксации короче 150 мс в минуту (96 %), число саккад с амплитудой менее 6 угловых градусов в минуту (96 %), фиксации между 150 и 900 мс в минуту (95 %), ложные сак-кады в минуту (95 %), фиксации длиннее 150 мс в минуту (94 %), ложные фиксации в минуту (93 %). Процентные характеристики: доля времени, проведенного в фиксациях между 150 и 900 мс (95 %); доля времени, проведенного в фиксациях короче (91 %) / длиннее (90 %) 150 мс; доля времени, проведенного в фиксациях длиннее 150 мс (90 %); доля времени, проведенного в фиксациях короче 180 мс (90 %); доля фиксаций короче 150 мс (90 %).
Далее были посчитаны корреляции для участника 5. В табл. 5 представлены характеристики глазных движений и значения их корреляции со значениями теста УЛ8-Б.
Таблица 5 Table 5
Корреляция характеристик глазных движений с результатами VAS-F участника 5 Correlation of eye movement characteristics with VAS-F results of participant 5
Название характеристики Значение корреляции, %
1. Модуль максимального ускорения в секундном интервале 49
2. Минимальная скорость саккады 45
3. Минимальная длина саккады 44
4. Средняя скорость внутри области фиксации 41
5. Ложные саккады в минуту 36
6. Минимальная скорость внутри области фиксации 36
7. Общая длительность фиксаций дольше 900 мс 36
8. Максимальная мгновенная скорость движения взгляда 34
9. Максимальная скорость саккады 34
10. Максимальная скорость движения взгляда в секундном интервале 33
11. Фиксации короче 150 мс в минуту 33
12. Максимальная длительность саккады 32
13. Доля времени, проведенного в фиксациях короче 150 мс 31
14. Фиксации короче 180 мс в минуту 31
15. Доля времени, проведенного в фиксациях короче 180 мс 30
16. Количество саккады с амплитудой менее 6 угловых градусов в минуту 30
17. Частота появления новой области фиксации 29
18. Фиксации между 150 и 900 мс в минуту 28
19. Минимальная мгновенная скорость движения взгляда 25
20. Максимальная частота появления новой области фиксации в секундном интервале 25
Как видно из табл. 5, наибольшую корреляцию имеют скоростные характеристики: минимальная скорость саккады (45 %), средняя скорость внутри области фиксации (41 %), минимальная скорость внутри области фиксации (36 %), максимальная мгновенная скорость движения взгляда (34 %), максимальная скорость саккады (34 %), максимальная скорость движения взгляда в секундном интервале (33 %), минимальная мгновенная скорость движения взгляда (25 %). Количественные характеристики: ложные саккады в минуту (36 %), фиксации короче 150 мс в минуту (33 %), фиксации короче 180 мс в минуту (31 %), фиксации между 150 и 900 мс в минуту (28 %).
Далее были посчитаны корреляции для участника 6. В табл. 6 представлены характеристики глазных движений и значения их корреляции со значениями теста УЛ8-Б.
Таблица 6 Table 6
Корреляция характеристик глазных движений с результатами VAS-F участника 6 Correlation of eye movement characteristics with VAS-F results of participant 6
Название характеристики Значение корреляции, %
1. Максимальная скорость саккады 60
2. Среднее отношение пути к перемещению взгляда 52
3. Доля фиксаций между 150 и 900 мс 51
4. Максимальная частота появления новой области фиксации в секундном интервале 50
5. Максимальная длительность саккады 48
6. Минимальная скорость саккады 47
7. Общая длительность фиксаций дольше 900 мс 47
8. Максимальное отношение пути к перемещению взгляда 47
9. Максимальная мгновенная скорость движения взгляда 47
10. Доля фиксаций длиннее 150 мс 45
11. Доля фиксаций короче 150 мс 45
12. Максимальная скорость внутри области фиксации 45
13. Минимальная длина саккады 42
14. Минимальная длительность саккады 42
15. Доля фиксаций дольше 900 мс 41
16. Доля времени, проведенного в фиксациях дольше 900 мс 39
17. Модуль среднего ускорения в секундном интервале 39
18. Фиксации длиннее 180 мс в минуту 39
19. Ложные фиксации в минуту 38
20. Максимальная длина саккады 38
Как видно из таблицы, наибольшую корреляцию имеют скоростные характеристики: максимальная скорость саккады (60 %), минимальная скорость сак-кады (47 %), максимальная мгновенная скорость движения взгляда (47 %), максимальная скорость внутри области фиксации (45 %). Характеристики отношения: среднее отношение пути к перемещению взгляда (52 %), максимальное отношение пути к перемещению взгляда (47 %). Временные характеристики: максимальная длительность саккады (48 %), общая длительность фиксаций дольше 900 мс (47 %), минимальная длительность саккады (42 %).
ЗАКЛЮЧЕНИЕ
В результате поиска характеристик с наибольшей корреляцией было найдено 10 характеристик, которые представлены в табл. 7. Эти характеристики встречались у двух третей и более участников из первых 20 характеристик и, следовательно, имеют корреляцию с утомлением.
Таблица 7 Table 7
Найденные характеристики и значения их корреляция с результатами VAS-F для всех участников Revealed characteristics and their correlation values with theVAS-F results for all participants
Название характеристики Значение максимальной корреляции, %
Участник 1 Участник 2 Участник 3 Участник 4 Участник 5 Участник 6
1. Максимальная скорость внутри области фиксации 58 70 61 62 18 38
2. Максимальная длительность саккады 61 64 39 90 32 48
3. Минимальная длина саккады 37 62 31 86 44 42
4. Максимальная скорость саккады 36 49 57 64 34 60
5. Минимальная скорость саккады 32 41 41 67 45 47
6. Максимальная длина саккады 55 40 36 78 21 38
7. Минимальная скорость внутри области фиксации 58 40 61 94 36 38
8. Доля фиксаций короче 150 мс 38 38 28 90 24 45
9. Доля фиксаций длиннее 150 мс 38 38 28 90 24 45
10. Максимальная частота появления новой области фиксации в секундном интервале 58 30 54 76 25 50
Как видно из табл. 7, больше всего было найдено скоростных характеристик (4), а именно минимальная и максимальная скорость внутри области фиксации, минимальная и максимальная скорость саккады. Подтвердились гипотезы [1, 5, 15, 16] о связи c утомлением динамики саккад: продолжительности, скорости, пиковой скорости. Также были найдены две размерные характеристики: минимальная и максимальная длина саккады. Процентные характеристики: доля фиксаций короче / длиннее 150 мс. Найдена одна временная характеристика как максимальная длительность саккады. Наконец, была найдена одна процентная характеристика - максимальная частота появления новой области фиксации в секундном интервале.
В результате анализа оказалось, что наибольшую корреляцию с утомлением имеют скоростные характеристики, связанные с областями фиксации и саккадами. Размерные характеристики также связаны с областями фиксации и саккадами. Доля фиксаций короче/длиннее 150 мс имеет корреляцию с утомлением и соответствует предположению выше [1]. Временная и частотная характеристики тоже связаны с областью фиксации и саккадами.
СПИСОК ЛИТЕРАТУРЫ
1. Eye movement characteristics reflected fatigue development in both young and elderly individuals / R. Zargari Marandi, P. Madeleine, 0. Omland, N. Vuillerme, A. Samani // Scientific Reports. -2018. - Vol. 8. - P. 13148. - DOI: 10.1038/s41598-018-31577-1.
2. Multi-scale spatial-temporal attention graph convolutional networks for driver fatigue detection / S. Fa, X. Yang, S. Han, Z. Feng, Y. Chen // Journal of Visual Communication and Image Representation. - 2023. - Vol. 93. - DOI: 10.1016/j.jvcir.2023.103826.
3. Real-time identification of eye fixations and saccades using radial basis function networks and Markov chains / R. Lobâo-Neto, A. Brilhault, S. Neuenschwander, R. Rios // Pattern Recognition Letters. - 2022. - Vol. 162. - P. 63-70. - DOI: 10.1016/j.patrec.2022.08.013.
4. Microsaccade and drift dynamics reflect mental fatigue / L.L. Di Stasi, M.B. McCamy, A. Catena, S.L. Macknik, J.J. Cañas, S. Martinez-Conde // European Journal of Neuroscience. - 2013. -Vol. 38 (3). - P. 2389-2398. - DOI: 10.1111/ejn.12248.
5. Towards a driver fatigue test based on the saccadic main sequence: A partial validation by subjective report data / L.L. Di Stasi, R. Renner, A. Catena, J.J. Cañas, B.M. Velichkovsky, S. Pannasch // Transportation Research. Part C. Emerging Technologies. - 2012. - Vol. 21 (1). - P. 122-133.
6. Di Stasi L.L., Antolí A., Cañas J.J. Evaluating mental workload while interacting with computer-generated artificial environments // Entertainment Computing. - 2013. - Vol. 4 (1). - P. 63-69. -DOI: 10.1016/j.entcom.2011.03.005.
7. Martins R., Carvalho J. Eye blinking as an indicator of fatigue and mental load - a systematic review // Occupational Safety and Hygiene III. - London: CRC Press, 2015. - P. 231-235. -DOI: 10.1201/b18042-48.
8. Stern J.A., Boyer D., Schroeder D. Blink rate: a possible measure of fatigue // Human Factors. - 1994. - Vol. 36 (2). - P. 285-297. - DOI: 10.1177/001872089403600209.
9. Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness / G. Borghini, L. Astolfi, G. Vecchiato, D. Mattia, F. Ba-biloni // Neuroscience and Biobehavioral Reviews. - 2014. - Vol. 44. - P. 58-75. - DOI: 10.1016/j.neu-biorev.2012.10.003.
10. HafedZ.M., GoffartL., KrauzlisR.J. A neural mechanism for microsaccade generation in the primate superior colliculus // Science. - 2009. - Vol. 323. - P. 940-943.
11. Task difficulty modulates the activity of specific neuronal populations in primary visual cortex / Y. Chen, S. Martinez-Conde, S.L. Macknik, Y. Bereshpolova, H.A. Swadlow, J.-M. Alonso // Nature Neuroscience. - 2008. - Vol. 11 (8). - P. 974-982. - DOI: 10.1038/nn.2147.
12. Saccades and microsaccades during visual fixation, exploration and search: foundations for a common saccadic generator / J. Otero-Millan, X.G. Troncoso, S.L. Macknik, I. Serrano-Pedraza, S. Martinez-Conde // Journal of Vision. - 2008. - Vol. 8 (14). - P. 21. - DOI: 10.1167/8.14.21.
13. Pastukhov A., Braun J. Rare but precious: microsaccades are highly informative about atten-tional allocation // Vision Research. - 2010. - Vol. 50. - P. 1173-1184. -DOI: 10.1016/j.visres.2010.04.007.
14. Benedetto S., Pedrotti M., Bridgeman B. Microsaccades and exploratory saccades in a naturalistic environment // Journal of Eye Movement Research. - 2011. - Vol. 4 (2). - P. 1-10. -DOI: 10.16910/jemr.4.2.2.
15. Saccadic peak velocity sensitivity to variations in mental workload / L.L. Di Stasi, R. Renner, P. Staehr, J.R. Helmert, B.M. Velichkovsky, J.J. Cañas, A. Catena, S. Pannasch // Aviation Space and Environmental Medicine. - 2010. - Vol. 81 (4). - P. 413-417.
16. User experience analysis in industry 4.0-the use of biometric devices in engineering design and manufacturing / Y. Borgianni, E. Rauch, L. Maccioni, B.G. Mark // 2018 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). - IEEE, 2018. - P. 192-196. -DOI: 10.1109/IEEM.2018.8607367.
17. OperatorEYEVP: Operator dataset for fatigue detection based on eye movements, heart rate data, and video information / S. Kovalenko, A. Mamonov, V. Kuznetsov, A. Bulygin, I. Shoshina, I. Brak, A. Kashevnik // Sensors (Basel). - 2023. - Vol. 23 (13). - P. 6197. - DOI: 10.3390/s23136197.
Булыгин Александр Олегович, младший научный сотрудник, аспирант, Федеральное государственное бюджетное учреждение науки «Санкт-Петербургский федеральный исследовательский центр Российской академии наук» (СПб ФИЦ РАН). Основное направление научных исследований: глубокое обучение, компьютерное зрение, распознавание образов. E-mail: alexandr_bulygin@mail.ru
Bulygin Alexandr O., junior researcher, postgraduate student, St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS). His research interests are currently focused on deep learning, computer vision, pattern recognition. E-mail: alexandr_bulygin@mail.ru
DOI: 10.17212/2782-2001-2023-4-7-22
Analysis of operator eye movement characteristics to determine the degree of fatigue*
A. BULYGIN
St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS), 4th lin. V.I., Saint Petersburg, 199178, Russian Federation
alexandr_bulygin@mail.ru Abstract
The article presents a method for searching characteristics of eye movements that correlate with fatigue. There are many characteristics of eye movements to determine fatigue. All these characteristics are calculated from such basic concepts of gaze movement as fixation and saccade. Characteristics can also be divided by the types of physical events on which they are based. It is possible to distinguish such characteristics as speed, time, quantity, size, percentage, frequency and ratio characteristics. To search for correlations between eye movement characteristics and fatigue, a dataset of eye movements and the results of the VAS-F fatigue questionnaire were analyzed in 6 subjects. The data set consists of operator parameters such as eye movements, scene camera image and gaze direction. To determine the level of fatigue, the participant completed the VAS-F questionnaire. This questionnaire consists of 18 questions about the degree of fatigue or enrgetic of a person. Each record from the data set corresponds to a questionnaire result. 60 characteristics of eye movements and the corresponding VAS-F test values were analyzed and the correlation between them was calculated. The characteristics of eye movements were then sorted in descending order of the obtained correlation values. For further analysis, the first 20 characteristics with the highest correlation were selected from each participant. A search was then made for characteristics that were found in two-thirds or more of the participants among the first 20 characteristics. As a result, 10 characteristics of eye movements were found that correlated with VAS-F test scores for each participant.
Keywords: eye tracking, gaze movements, characteristics of gaze movements, fatigue, fatigue detection, questionnaire, VAS-F, correlation with fatigue
*
Received 13 September 2023.
REFERENCES
1. Zargari Marandi R., Madeleine P., Omland 0., Vuillerme N., Samani A. Eye movement characteristics reflected fatigue development in both young and elderly individuals. Scientific Reports, 2018, vol. 8, p. 13148. DOI: 10.1038/s41598-018-31577-1.
2. Fa S., Yang X., Han S., Feng Z., Chen Y. Multi-scale spatial-temporal attention graph convo-lutional networks for driver fatigue detection. Journal of Visual Communication and Image Representation, 2023, vol. 93. DOI: 10.1016/j.jvcir.2023.103826.
3. Lobao-Neto, R., Brilhault, A., Neuenschwander, S., Rios, R. Real-time identification of eye fixations and saccades using radial basis function networks and Markov chains. Pattern Recognition Letters, 2022, vol. 162, pp. 63-70. DOI: 10.1016/j.patrec.2022.08.013.
4. Di Stasi L.L., McCamy M.B., Catena A., Macknik S.L., Cañas J.J., Martinez-Conde S. Microsaccade and drift dynamics reflect mental fatigue. European Journal of Neuroscience, 2013, vol. 38 (3), pp. 2389-2398. DOI: 10.1111/ejn.12248.
5. Di Stasi L.L., Renner R., Catena A., Canas J.J., Velichkovsky B.M., Pannasch S. Towards a driver fatigue test based on the saccadic main sequence: A partial validation by subjective report data. Transportation Research. Part C. Emerging Technologies, 2012, vol. 21 (1), pp. 122-133.
6. Di Stasi L.L., Antolí A., Cañas J.J. Evaluating mental workload while interacting with computer-generated artificial environments. Entertainment Computing, 2013, vol. 4 (1), pp. 63-69. DOI: 10.1016/j.entcom.2011.03.005.
7. Martins R., Carvalho J. Eye blinking as an indicator of fatigue and mental load - a systematic review. Occupational Safety and Hygiene III. London, CRC Press, 2015, pp. 231-235. DOI: 10.1201/b18042-48.
8. Stern J.A., Boyer D., Schroeder D. Blink rate: a possible measure of fatigue. Human Factors, 1994, vol. 36 (2), pp. 285-297. DOI: 10.1177/001872089403600209.
9. Borghini G., Astolfi L., Vecchiato G., Mattia D., Babiloni F. Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness. Neuroscience andBiobehavioralReviews, 2014, vol. 44, pp. 58-75. DOI: 10.1016/j.neubiorev.2012.10.003.
10. Hafed Z.M., Goffart L., Krauzlis R.J. A neural mechanism for microsaccade generation in the primate superior colliculus. Science, 2009, vol. 323, pp. 940-943.
11. Chen Y., Martinez-Conde S., Macknik S.L., Bereshpolova Y., Swadlow H.A., Alonso J.-M. Task difficulty modulates the activity of specific neuronal populations in primary visual cortex. Nature Neuroscience, 2008, vol. 11 (8), pp. 974-982. DOI: 10.1038/nn.2147.
12. Otero-Millan J., Troncoso X.G., Macknik S.L., Serrano-Pedraza I., Martinez-Conde S. Saccades and microsaccades during visual fixation, exploration and search: foundations for a common saccadic generator. Journal of Vision, 2008, vol. 8 (14), p. 21. DOI: 10.1167/8.14.21.
13. Pastukhov A., Braun J. Rare but precious: microsaccades are highly informative about atten-tional allocation. Vision Research, 2010, vol. 50, pp. 1173-1184. DOI: 10.1016/j.visres.2010.04.007.
14. Benedetto S., Pedrotti M., Bridgeman B. Microsaccades and exploratory saccades in a naturalistic environment. Journal of Eye Movement Research, 2011, vol. 4 (2), pp. 1-10. DOI: 10.16910/jemr.4.2.2.
15. Di Stasi L.L., Renner R., Staehr P., Helmert J.R., Velichkovsky B.M., Canas J.J., Catena A., Pannasch S. Saccadic peak velocity sensitivity to variations in mental workload. Aviation Space and Environmental Medicine, 2010, vol. 81 (4), pp. 413-417.
16. Borgianni Y., Rauch E., Maccioni L., Mark B.G. User experience analysis in industry 4.0-the use of biometric devices in engineering design and manufacturing. 2018 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). IEEE, 2018, pp. 192-196. DOI: 10.1109/IEEM.2018.8607367.
17. Kovalenko S., Mamonov A., Kuznetsov V., Bulygin A., Shoshina I., Brak I., Kashevnik A. OperatorEYEVP: Operator dataset for fatigue detection based on eye movements, heart rate data, and video information. Sensors (Basel), 2023, vol. 23 (1), p. 6197. DOI: 10.3390/s23136197.
Для цитирования:
Булыгин А.О. Анализ характеристик движения глаз оператора для определения степени его утомления // Системы анализа и обработки данных. - 2023. - № 4 (92). - С. 7-22. -DOI: 10.17212/2782-2001-2023-4-7-22.
For citation:
Bulygin A.O. Analiz kharakteristik dvizheniya glaz operatora dlya opredeleniya stepeni ego utomleniya [Analysis of operator eye movement characteristics to determine the degree of fatigue]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2023, no. 4 (92), pp. 7-22. DOI: 10.17212/2782-2001-2023-4-7-22.
ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 92, No 4, 2023, pp. 7-22
