CC BY
96
X
О О
О.Н. Ткаченко, В.Б. Дорохов, Д.С. Свешников
Физиологические корреляты дремотного состояния при выполнении монотонной операторской деятельности1
Рассматривается эффективность распознавания сниженного уровня бодрствования при монотонной операторской деятельности по данным электроэнцефалограммы с использованием индивидуально настраиваемых математических классификаторов. Для создания соответствующих экспериментальных условий использовался компьютерный симулятор вождения автомобиля.
Ключевые слова: электроэнцефалограмма, монотония, засыпание, операторская деятельность, распознавание ранних стадий дремотного состояния, распознавание сниженного уровня бодрствования.
В настоящее время операторская деятельность широко востребована в самых различных областях. Уровень развития техники не позволяет полностью автоматизировать большинство сфер жизни, поскольку для адекватного управления ими требуется гибкость и адаптивность. В системе «оператор - техническое устройство» необходимый уровень адаптивности устройства обеспечивает человек. Однако очевидно, что в такой системе человеческий фактор является слабым звеном. В то же время цена ошибки или даже промедления оператора (например, в случае управления транспортным средством) может оказаться очень высокой. В связи с этим оказывается актуальной разработка автоматизированных систем контроля состояния оператора, которые могли бы заблаговременно оповещать о потенциально опасном снижении уровня бодрствования.
1 Работа выполнена при поддержке гранта РГНФ № 12-36-01293.
Согласно недавнему обзору европейских данных об аварийности за к рулем [3], порядка 20-25% всех ДТП происходит по причине снижения | о уровня бодрствования водителя, причем обычно именно эти ДТП приво- | § дят к тяжелым последствиям вплоть до летальных исходов. Даже частич- с ^ ная депривация сна (не более 5 часов за сутки, предшествовавшие эпизоду вождения) увеличивает риск ДТП в 2,7 раз. Кроме того, в упомянутом обзоре подчеркивается, что, несмотря на растущее количество публикаций о исследованиях уровня бодрствования водителя с использованием автомобильного симулятора, зачастую в качестве независимого показателя состояния испытуемого, с которым сравниваются физиологические показатели, используется частота поворотов руля. Однако ее связь с уровнем бодрствования испытуемого неоднозначна.
Во многих публикациях смешиваются понятия монотонии, умственного утомления и даже субъективного ухудшения настроения [6]. Мы полагаем, что их следует четко разделять, поскольку состояние монотонии возникает при недостаточной нагрузке на когнитивную сферу, а умственной усталости - напротив, при избыточной, и эти состояния по-разному реагируют на кратковременный перерыв в деятельности [7].
Одним из перспективных методов контроля состояния оператора является айтрекинг - бесконтактный метод слежения за движениями глаз испытуемого посредством небольших видеокамер. В последние годы на фоне существенного удешевления айтрекеров наблюдаются попытки интегрировать их в конструкцию автомобилей и рабочих мест операторов. Стоит подчеркнуть, что в некоторых исследованиях показано отсутствие корреляции такого очевидного показателя, как открывание и закрывание глаз, с остальными показателями усталости и дремотного состояния. В работе N. Galley, R. Schleicher [10], как и в ряде других, наблюдались эпизоды микросна с открытыми глазами.
Электроэнцефалограмма (ЭЭГ) является одним из наиболее привлекательных физиологических показателей для создания такого рода систем, поскольку, в отличие от других физиологических параметров, таких, как электрокардиограмма (ЭКГ), электромиограмма (ЭМГ), кожно-гальвани-ческая реакция (КГР) и т.д., отражает непосредственно активность мозга в реальном времени с высоким временным разрешением. В то же время регистрация ЭЭГ не требует сложных и дорогостоящих установок. Распространение беспроводных электродов [10] делает ЭЭГ еще более перспективным показателем, поскольку такие электроды не ограничивают оператора в движении.
Недостатком ЭЭГ является ее большая индивидуальная вариабельность, что может быть преодолено только индивидуальной настройкой
классификатора под конкретного оператора. Однако в математической статистике уже давно существуют методы общего характера, позволяющие разделять классы измерений на основе обучающих выборок [8]. Такие классификаторы позволяют автоматически определять, по каким признакам должна производиться классификация, непосредственно из сравниваемых выборок и, таким образом, являются гораздо более гибкими и адаптивными, чем параметрические классификаторы. Широкое распространение все более сложных вычислительных систем позволяет надеяться, что использование таких методов, более сложных, чем обычные пороговые параметрические классификаторы, в обозримом будущем может стать доступным для широкого внедрения.
Цель исследования
Нами проверялась принципиальная возможность и эффективность распознавания ранних стадий дремотного состояния при выполнении монотонной операторской деятельности по физиологическим показателям. Основной упор был сделан на распознавание сниженного уровня бодрствования по ЭЭГ гибкими статистическими методами с учетом индивидуальных особенностей испытуемого.
Материалы и методы исследования
В экспериментах участвовали 10 здоровых добровольцев с нормальным зрением в возрасте от 18 до 35 лет (средний возраст 26 ± 4 года). Каждый испытуемый участвовал в двух экспериментах: контрольном (без депривации сна) и основном (с частичной депривацией сна по предварительной договоренности с экспериментатором). Эксперименты проводились во время дневного пика сонливости (15.00-17.00 ч.). Испытуемые были информированы о процедуре эксперимента и подписывали согласие на участие в нем.
Экспериментальная процедура состояла в том, что испытуемый управлял компьютерным симулятором вождения автомобиля. Он получал инструкцию придерживаться центра дороги, отмеченного пунктирной линией разметки. Через случайные промежутки времени от 1 до 2 мин. на руль подавались случайные возмущения, которые испытуемый должен был корректировать, чтобы продолжать следовать по центральной линии дороги. Если испытуемый засыпал, его будили. Продолжительность эксперимента составляла 1,5 ч.
Регистрировались: ЭЭГ от 19 отведений, ЭОГ от 2 отведений и ЭКГ от 1 отведения с частотой опроса 200 Гц, параметры движений глаз испытуемого посредством бесконтактной системы EyeGaze с частотой опро-
са 120 Гц, видеозапись лица испытуемого и параметры автомобильно- к го симулятора. Референтные электроды были установлены на заушных | о костях. S |
Основным показателем состояния испытуемого служила экспертная с ^ оценка состояния испытуемого по видеозаписи. Видеозапись просматривали три независимых эксперта, которые оценивали состояние испытуемого в баллах: 1 - артефакты записи, 2 - нормальный уровень бодрствования, 3 - умеренно сниженный уровень бодрствования, 4 - сильно сниженный уровень бодрствования, 5 - сон. Участки, получившие баллы 1 и 5, исключались из дальнейшего анализа. Оценки троих экспертов усреднялись для получения финальной экспертной оценки [2].
Данные ЭЭГ очищались от артефактов глазодвигательных движений методом линейной регрессии. Для данных первой серии процедура очистки от глазодвигательных артефактов не производилась. Затем производилась фильтрация данных ЭЭГ в диапазоне 3-40 Гц.
Для классификаторов, требующих обучающей выборки, в качестве обучающих выбирались интервалы, идентифицированные всеми экспертами как состояние с нормальным (2 по пятибалльной шкале) и существенно сниженным (4 по пятибалльной шкале) уровнем бодрствования соответственно. После вычисления всех показателей уровня бодрствования они усреднялись на последовательно следующих друг за другом 15-секундных интервалах и сравнивались с экспертной оценкой, усредненной по тем же интервалам, на всем протяжении опыта.
В качестве универсальных показателей состояния испытуемого использовались: вариабельность RR-интервала, определенная по ЭКГ, и спектральная энтропия Шеннона.
В качестве классификаторов, позволяющих автоматически учесть индивидуальные особенности испытуемого, использовались метод общих пространственных паттернов (Common Spatial Patterns, CSP) и линейный классификатор на основе метода Байеса.
Для оценки качества разделения состояния тем или иным методом использовалась усредненная по всем трем экспертам оценка состояния испытуемого по видеозаписи. Отдельно рассматривались эффективность распознавания (процент верно распознанных интервалов времени) и коэффициент корреляции Пирсона между усредненной экспертной оценкой и классификационной кривой.
Результаты и обсуждение
Производилось сравнение методов CSP, Байеса, спектральной энтропии Шеннона, а также вариабельности сердечного ритма с градуальной экспертной оценкой.
В таблице 1 приведены оценки эффективности классификации различных состояний по сравнению с экспертной оценкой для метода CSP, метода Байеса, спектральной энтропии Шеннона, а также вариабельности сердечного ритма. Для каждого метода приведена его эффективность при оптимальном выборе порога (%), а также коэффициент корреляции этого показателя с экспертной оценкой (С). Звездочкой помечены испытуемые с бедной мимикой и, следовательно, слабо выраженными различиями между состояниями с нормальным и сниженным уровнем бодрствования на видео. Мы полагаем, что для них экспертная оценка могла неадекватно отражать их действительное состояние. Высокий уровень распознавания объясняется тем, что для этих испытуемых количество эпизодов, определенных как существенно сниженный уровень сонливости, было незначительным.
При сравнении с первой серией опытов заметно, что регистрация многоканальной ЭЭГ дает лучшее согласие с экспертной оценкой, чем при отведении от четырех электродов. По нашему мнению, это связано с гибкостью данных методов и их способностью адаптироваться к индивидуальным особенностям разделяемых классов состояний.
Мы полагаем, что по совокупности признаков метод Байеса позволяет достичь наиболее согласующегося с экспертной оценкой по видеозаписи распознавания сниженного уровня бодрствования. Метод CSP показывает близкую к нему эффективность, но меньшую корреляцию с градуальной экспертной оценкой. Спектральная энтропия Шеннона оказалась еще менее эффективным показателем. И, наконец, распознавание по вариабельности сердечного ритма было наименее эффективно, также этот показатель не демонстрировал заметной корреляции с градуальной экспертной оценкой.
Полученные нами экспериментальные данные свидетельствуют, что как сама ЭЭГ, так и ее изменения при снижении уровня бодрствования демонстрируют большую индивидуальную вариабельность, и потому не следует ожидать большой эффективности от «унифицированных» методов анализа с фиксированными параметрами при распознавании уровня бодрствования.
Таблица 1.
Эффективность классификации различными методами для второй | о
серии испытуемых § §
Испытуемый Метод CSP Метод Байеса Спектральная энтропия Шеннона ЭКГ
% С % С % С % С
1 100 - 0,04 85 0,30 80 0,32 68 - 0,3
2* 95 0,05 90 0,05 75 0,27 75 0,07
3 83 0 89 0,45 82 - 0,54 60 0,16
4 96 0,20 97 0,35 87 0,32 82 0,19
5* 100 0,17 80 - 0,06 100 0,17 81 0,06
6* 100 0 75 - 0,30 100 0,27 71 0,35
7 89 0,34 87 0,35 78 - 0,03 60 0,43
8 85 0,21 85 0,59 85 0,28 77 0,47
9 81 0,44 77 0,27 73 0,25 82 - 0,15
10 89 0,52 90 0,45 85 0,16 77 0,04
Среднее 92 ± 7 0,19 ± 0,19 86 ± 7 0,24 ± 27 84 ± 9 0,14 ± 26 73 ± 8 0,13 ± 0,24
Среднее без * 89 ± 7 0,24 ± 0,21 87 ± 6 0,39 ± 0,11 81 ± 5 0,11 ± 0,31 72 ± 10 0,12 ± 0,28
Полученная эффективность распознавания соответствует результатам сходных исследований с распознаванием состояния по ЭЭГ, описанным в литературе [13].
При выборе оптимальной длины минимального участка для анализа наилучшая корреляция с экспертной оценкой достигалась для двухминутного интервала в первой серии экспериментов (четыре электрода) и на 15-секундном интервале для второй серии экспериментов (регистрация ЭЭГ от 19 электродов по системе 10-20). Это может свидетельствовать как о недостаточности четырех электродов для эффективного распознавания уровня бодрствования испытуемого, так и о том, что регистрация от теменных и затылочных электродов не является оптимальной для данной задачи, поскольку наибольшие изменения при снижении уровня внимания происходят во фронтальных областях коры [11].
Интервал, который оказался оптимальным для распознавания уровня о бодрствования по 19 электродам, составляет 15 с. Это находится в соот-| ветствии с данными о 18-секундном периоде колебаний уровня бодрствования [12] и не подтверждает возможности распознавания уровня бодрствования по интервалам порядка нескольких секунд, которая постулируется в ряде работ [5].
Хорошо видно, что определенное по ЭЭГ состояние испытуемого колеблется чаще, чем отклонение автомобиля от центра дороги и состояние испытуемого, определенное посредством экспертной оценки (рис. 1). Этот результат соответствует представлениям о характерных колебаниях состояния испытуемого в условиях длительной монотонной деятельности [1].
Рис. 1. Снизу вверх представлены усредненные для каждого 15-секундного сегмента: экспертная оценка для каждого 15-секундного сегмента, отклонение автомобиля от центра дороги, классификация состояния методом С8Р, классификация состояния методом Байеса, спектральная энтропия Шеннона и вариабельность КЯ-интервала сердечного ритма. Данные получены в эксперименте с участием испытуемого 8.
Метод спектральной энтропии Шеннона по сравнению с методами CSP и Байеса менее адекватно отражает динамику снижения уровня бодрствования испытуемого. Мы полагаем, что это может быть связано с фиксированным, не учитывающим индивидуальных особенностей ЭЭГ испытуемого, разделением спектра ЭЭГ на диапазоны. Тем не менее, спектральная энтропия Шеннона обнаруживает существенную корреляцию с экспертной оценкой и достаточно неплохую вероятность распоз-
навания состояния испытуемого по сравнению с ЭКГ, что соответствует го данным, приведенным в статье К. Пападелиса с соавторами [14]. | о
Возможность распознавания уровня бодрствования испытуемого по а §
и
вариабельности сердечного ритма, описанная в работе М. Атсуо и Х. Ясу- 5= така [4], не подтверждается нашими данными.
Применительно к данной задаче метод Байеса демонстрирует большую согласованность с градуальной экспертной оценкой, чем метод CSP, по критерию корреляции с экспертной оценкой. Также классификатор, полученный методом Байеса, в отличие от метода CSP, имеет фиксированный порог. В силу этого мы полагаем, что данный метод является потенциально более эффективным, чем метод CSP.
Метод CSP позволяет проанализировать вклад различных отведений ЭЭГ в итоговый классификатор. Данные второй серии показывают, что при усреднении по всем испытуемым вклад в распознавание состояния испытуемого отведений от фронтальных областей скальпа оказывается выше, чем вклад остальных областей. Это также согласуется с общепринятыми представлениями [11] о том, что наиболее существенные изменения при снижении уровня сосредоточенности испытуемого на задаче происходят во фронтальных областях коры головного мозга. Также данный факт может иметь практическую ценность при создании устройств, распознающих уровень бодрствования по ЭЭГ, с ограниченным количеством электродов.
Заключение
Нами было показано, что учет индивидуальной специфики испытуемых новыми для данной области методами анализа (Байеса и CSP) позволяет добиться лучшего распознавания сниженного уровня бодрствования, чем метод спектральной энтропии Шеннона. Распознавание состояния испытуемого этими методами происходит правильно в 80-90% случаев, что можно считать очень хорошим результатом, учитывая, что для сравнения использовалась видеозапись лица испытуемого.
Полученные экспериментальные данные свидетельствуют, что метод Байеса обеспечивает лучшее соответствие экспертной оценке состояния испытуемого, чем метод С8Р, хотя по своей природе он является более чувствительным к качеству входных данных.
Библиографический список
1. Пучкова А.Н., Ткаченко О.Н., Дорохов В.Б. Экспериментальная модель для исследования умственного утомления и адаптивной функции дневного сна для
восстановления работоспособности // Экспериментальная психология. 2013. | № 6 (1). С. 48-60.
§ 2. Ткаченко О.Н. Физиологические показатели дремотного состояния при
выполнении монотонной операторской деятельности: Автореф. дис. ... канд. биол. наук. М., 2012.
3. At The Wheel White Paper / Akerstedt T. e.a. URL: http://www.esrs.eu/fileadmin/ user_upload/publications/Livre_blanc_VA_V4.pdf (дата обращения: 12.12.2014).
4. Atsuo M., Yasutaka H. Evaluation of Drowsiness by HRV Measures - Basic Study for Drowsy Driver Detection // Fourth International Workshop on Computational Intelligence & Applications IEEE SMC Hiroshima Chapter, 2008. Hiroshima University, Japan, December 10 & 11. Hiroshima, 2008.
5. Caldwell J. A., Wesensten N.J. Biomonitoring for Physiological and Cognitive Performance during Military Operations // Proceedings of the SPIE Defense and Security Symposium, Biomonitoring for Physiological and Cognitive Performance during Military Operations. 2005. V. 5797. P. 78-89.
6. Chi Z., Hong W., Rongrong F. Automated Detection of Driver Fatigue Based on Entropy and Complexity Measures // Intelligent Transportation Systems, IEEE Transactions on. 2013. Vol. 15. Is. 1. P. 168-177.
7. Desmond P.A., Hancock P.A. Active and passive fatigue states // Stress, Workload and Fatigue / Hancock P.A., Desmond P.A. (eds.). London, 2001. P. 455-465.
8. Detection of lapses in responsiveness from the EEG / Peiris M.T. е.а. // Journal of Neural Engineering. 2011. № 8 (1).
9. Fukunaga K. Introduction to statistical pattern recognition. 2nd ed. Boston, 1990.
10. Galley N., Schleicher R. Subjective and optomotoric indicators of driver drowsiness // Proceeding of the 3rd International Conference on Traffic and Transport Psychology. Nottingham, 2004.
11. Human++: autonomous wireless sensors for body area networks / Gyselinckx B., e.a. // Proceedings of the IEEE. 2005. V. 18-21. P. 13-19.
12. Klimesch W., Sauseng P., Halsmayr S. EEG alpha-oscillations: an inhibition-timing hypothesis (Review) // Brain Research Reviews. 2007. V. 53. P. 63-88.
13. Makeig S. Awareness during Drowsiness: Dynamics and Electrophysiologi-cal Correlates // Canadian Journal of Experimental Psychology. 2000. V. 54 (4). P. 266-273.
14. Monitoring sleepiness with on-board electrophysiological recordings for preventing sleep-deprived traffic accidents / Papadelis C. e.a. // Clinical Neurophysiol-ogy. 2007. V. 118. P. 1906-1922.
