CC BY
148
УДК 681.784.3:004
ОБРАБОТКА ДАННЫХ ОКУЛОГРАФИИ С ПОМОЩЬЮ ARM-МИКРОКОНТРОЛЛЕРА И КОМПЬЮТЕРА
В.В. Игнатовский1,2, Д.А. Пестунов1,3
1 Томский политехнический университет 2ОАО «НПЦ "Полюс"», г. Томск 3Института оптики атмосферы СО РАН, г. Томск E-mail: [email protected], [email protected]
В статье рассматриваются общие вопросы, связанные с особенностями методов регистрации движений глаз с помощью элек-троокулографии. Излагаются основные принципы работы элек-троокулографии, а также приводится схема размещения электродов для снятия биопотенциалов с глаз согласно специфике применения электроокулографического метода. Описано устройство, обеспечивающее подключение всех необходимых электродов, усиление, фильтрацию и оцифровку сигналов, их обработку и передачу на компьютер или центральную систему управления. Приведена структурная схема и основные компоненты элементной базы. Дано описание применяемого метода для фильтрации сигнала и дальнейшей последовательности обработки данных с использованием технологии вейвлет-преобразования и нейронных сетей. Современная элементная база интегральных, прецизионных усилителей биосигналов и многоразрядных микроконтроллеров с низким энергопотреблением позволяют создать портативный окулограф с минимальным числом элементов.
Ключевые слова:
Электроокулография, саккадические движения глаз, фильтрация электроокулограммы, математическая обработка данных.
Среди устройств, используемых для улучшения жизни людей с ограниченными возможностями двигательного аппарата, можно выделить класс систем управления, использующих нейроактивность особых точек организма в качестве первоисточника команд. Описываемое в данной работе устройство построено на основе метода электроокулографии, т. е. оно реагирует на движение глаз и может выполнять следующие функции, а именно:
• управление средствами передвижения (инвалидное кресло, автомобильный адаптер и т. д.), а также бытовыми приборами, освещением;
• управление манипулятором при работе с объектами, когда одних рук недостаточно (например, при проведении хирургических операций можно управлять камерой или освещением);
• использование в качестве устройства ввода информации при работе с ПК как альтернативы указателю «мышь» или клавиатуре;
• многие другие функции простейшего управления.
Современный технический мир полон различных возможностей для коммуникации устройств как между собой, так и с человеком. Наше устройство использует метод электроокуло-графии для снятия биопотенциалов глаз, чтобы в дальнейшем преобразовывать эти сигналы в движения курсора на экране.
Существует два вида окулографии: видеоокулография и электроокулография. Первая использует камеры для фиксирования движений зрачков человека, вторая - электрические сиг-
Игнатовский Виталий Владимирович, магистрант кафедры промышленной и медицинской электроники Института неразрушающего контроля ТПУ, регулировщик радиоэлектронной аппаратуры и приборов ОАО «НПЦ "Полюс"», г. Томск. E-mail: [email protected] Область научных интересов: электронные приборы и аппараты, микроэлектроника, микропроцессорная техника, приборы с биомедицинским назначением, микроконтроллеры и программирование под них. Пестунов Дмитрий Александрович, канд. техн. наук, доцент кафедры промышленной и медицинской электроники Института неразрушаю-щего контроля ТПУ, науч. сотр. Института оптики атмосферы СО РАН, г. Томск. E-mail: [email protected] Область научных интересов: микроконтроллеры и устройства на их основе, экология окружающей среды, изменения климата, процессы газообмена «вода-воздух».
налы, проходящие в области глаз. Достоинством первого метода является отсутствие электродов, однако он неработоспособен при недостатке света. Электроокулографический метод позволяет управлять устройством вне зависимости от освещения и имеет в своем составе электроды, которые обеспечивают электрический контакт с кожей человека. В работе применялись одноразовые электроды для регистрации ЭКГ, однако в дальнейшем целесообразно использовать электроды с твердым гелем для длительного мониторинга с контактом, покрытым Ag/AgCl, что обеспечит легкое и качественное соединение.
На рис. 1, а изображена схема размещения электродов для снятия биопотенциалов глаз. Такое размещение позволяет снимать дифференциальный сигнал по горизонтали (Right, Left) и вертикали (Up, Bottom). Последний пятый электрод (Gnd) используется как опорный. Для удобства использования все электроды можно разместить на оправе очков специальной конструкции, предусматривающей крепление «земляного» электрода.
Рис. 1. Расположение электродов на лице человека (а) и пример электроокулограммы «up-bottom» (б) (синим цветом - оригинальный сигнал, красным - сегменты)
Человеческий глаз имеет несколько видов движений: саккадические движения, тремор, дрейф, вергентные движения [1]. Полезными являются лишь саккады, именно они несут информацию об изменениях положений глаз и взгляда человека. Саккады — быстрые, строго согласованные движения глаз, происходящие одновременно и в одном направлении. На рис. 1 б изображена запись электроокулограммы с саккадическими движениями глаз.
Каждому человеку присущ собственный шаблон следования саккад, который определяется тремя параметрами: интервалом между саккадами, их амплитудой и ориентацией. Наибольшее число саккад следует через 0,2...0,6 секунд, амплитуда саккад изменяется в большом диапазоне от 0,3 до 15°, ориентированы саккады практически во всех направлениях (вправо, влево, вверх, вниз).
Устройство, реализующее сбор значений окулограммы, оцифровку и анализ саккадиче-ских движений, можно представить структурной схемой (рис. 2).
Электроды на теле человека
-
Радиопередатчик ZigBee / USB
Радиоприемник ZigBee, подключенный к PC/ USB
f
Дифференциальный усилитель
-
f
Микроконтроллер
Si
f
Программа обработки данных
L
Управление курсором мыши
Рис. 2. Структурная схема устройства
Дифференциальный сигнал от каждой пары электродов передается по витой паре на вход устройства. Поскольку амплитуда сигнала очень мала и обычно не превышает 3 мВ, необходимо качественное усиление сигналов с исключением постоянной составляющей. Для таких целей используются прецизионные дифференциальные усилители. После усиления сигнал подвергается фильтрации. Полезная часть сигнала лежит в области частот от 0,1 до 30 Гц. Более высокочастотные составляющие сигнала, в которых присутствуют сетевые помехи (50.60 Гц), шумы, возникающие из-за плохого контакта электродов, от сокращения мышц рядом с электродами, а также другие биосигналы необходимо отфильтровать. Затем сигнал поступает на аналого-цифровой преобразователь, и дальнейшая фильтрация и обработка производится уже в цифровом виде. В данном устройстве функции снятия сигнала, его усиления, фильтрации и дискретизации выполняются на специализированной микросхеме ADS1292 (Texas Instruments) [2]. Она управляется непосредственно контроллером, и на него же передает необходимые данные. В данном устройстве используется 32-разрядный микроконтроллер ARM-архитектуры с ядром Cortex-M3 STM32F103 (STMicroelectronics), в котором имеется вся необходимая для работы периферия: модуль SPI и UART для соединения с ADS1292 и радиомодулем ZigBee (для связи с компьютером или исполнительным устройством) соответственно. Также соединение с компьютером возможно через шину USB. При этом устройство определяется как HID-устройство, что позволит использовать его с любым компьютером с операционной системой Windows 98 и выше без установки дополнительных драйверов.
Устройство рассчитано на работу от аккумуляторных батарей, а алгоритм работы обеспечивает экономичный режим работы, что продлевает срок службы источников питания. Питание от батарей распределяется между аналоговой и цифровой частями, чтобы развязать высокочувствительные аналоговые цепи от «цифрового шума».
Микроконтроллер используется только для первичной обработки поступающей информации, заключающейся в сборе информации от АЦП, формировании пакетов для отправки на компьютер и непосредственно отсылки ее по каналам связи на компьютер.
Окончательная обработка данных и формирование управляющих сигналов производится компьютером. В целом обработка данных, поступающих с электродов, происходит по алгоритму, представленному на рис. 3.
Рис. 3. Последовательность обработки данных
Вейвлет-преобразование очень часто используется для фильтрации сигналов, определения их| характеристик, а также классификации [3]. Эффект преобразования похож на дифференцирование сигнала, однако сигнал усиливается, что снижает ошибку при определении сак-кад. В работе используется фильтрация Добеши первого порядка и Хаара первого порядка. Выходные данные вейвлет-преобразования представляют собой отфильтрованный от высоких частот сигнал, а также вспомогательный сигнал, состоящий из импульсов, следующих одновременно с изменениями отфильтрованного сигнала. Этот вспомогательный сигнал (рис. 4) можно использовать для определения саккад, их амплитуды и длительности. Как видно из графика, представленного на рис. 4, вспомогательный сигнал имеет отрицательный знак в зависимости от изменения сигнала и разную амплитуду. Таким образом, отфильтрованный и готовый для анализа сигнал поступает на детектор морганий и в модель саккад.
н 1 1 ■
\ 1 V-1 1 Л г \ г > ! ! \ ■ ■ : ' (\Л ■ ■ 1 1 ■1 I -- ■ * ■ 1 ■ 1 ■ ■ « 1 1 /
о 1 ■ - • ■ ■ 1 '' 1 Ц"| > ■ ■ 1 У 1 1 1 ■ 1 ■ 11 I • о ■ ■ \ ; V . ч II 1 ' • 1 ъ 1 1 ■ ■ 1 1 11 || ||
Рис. 4. Входной сигнал (красный цвет), вспомогательный выходной сигнал (синий)
Моргания имеют очень малую длительность, поэтому их легко отделить от саккад. Модель саккад определяет саккадическое движение глаза при условии преодоления минимального порога сигналом после вейвлет-преобразования в дополнительном сигнале. Соответственно, чем сильнее было отклонение, тем выше будет амплитуда сигнала саккадической модели. Направление движения определяется знаком сигнала.
Как уже упоминалось, саккады имеют свой собственный шаблон следования для каждого человека, поэтому целесообразно использовать нейронную сеть для определения саккадиче-ского движения. Нейронная сеть на входе имеет окно из 50 значений, 25 из которых являются текущими и 25 - предыдущими. Выходной сигнал нейронной сети есть «i » или «0» - то есть ложная саккада или реальная. Однако для правильной работы сети изначально ее надо обучить. Кроме того, это необходимо делать при смене пользователя. Для сетей с одним скрытым слоем существует неитеративный алгоритм обучения ELM (extreme learning machine). Весовые коэффициенты определяются по обучающей выборке путём вычисления псевдообратной матрицы. На основе алгоритма ELM, требующего всю обучающую выборку сразу, разработан метод обучения для случая последовательного поступления обучающих данных [4].
Результат умножения всплесков из модели саккад и определяющих данных из нейронной сети дает нам результирующий сигнал с точным расположением саккад и их амплитуд. Детектор движения глаз выполняет заключительную обработку, измеряя амплитуду саккад, преобразовывая ее значения в градусы отклонения глаз от центра экрана. Таким образом, выходной сигнал детектора после проведения его через алгоритмы калибровки и корректировки может быть переведен в координаты, которые в дальнейшем можно использовать для движений курсора.
На данном этапе работы, который является начальным, из временного хода биопотенциалов определенных точек удалось выделить моменты моргания, направление оптической оси глазного яблока при ее смещении и относительную амплитуду. Однако по имеющимся выходным данным пока невозможно удерживать позицию курсора в фокусе взора, поскольку соответствие получаемой амплитуды смещения по вертикали и горизонтали к реальному движению оси взора неустойчиво. Этот фактор совместно с незначительным шумом приводит к тому, что ошибка достаточно быстро нарастает со временем, и курсор «уплывает». Поэтому в дальнейшем имеет смысл разработать и внедрить в алгоритм процедуры калибровки и коррекции, а при успешной их реализации и оптимизации - рассмотреть вариант полной обработки сигнала на микроконтроллере. Это позволит использовать устройство самостоятельно, например в качестве указателя «мыши». Кроме того, уменьшится объем передаваемых данных, и, соответственно, возможно уменьшение энергопотребления за счет разгрузки RF-модуля.
СПИСОК ЛИТЕРАТУРЫ
1. Joäo Cordovil Bárcia. Human electrooculography interface: Dissertaçâo para obtençâo do grau de Mestre em Engenharia Física Tecnológica. - Lisboa, 20i0. - i35 p.
2. Texas Instruments. Решения для использования в ЭКГ // Texas Instruments. 20i2. - URL: http://www.ti.com/solution/ecg_electrocardiogram (дата обращения: 14.03.2013).
3. Rafael Barea, Luciano Boquete, Jose Manuel Rodriguez-Ascariz, Sergio Ortega and Elena López. Sensory System for Implementing a Human-Computer Interface Based on Electrooculography // Sensors. - 20ii. - V. ii. - Pp. 3i0-328.
4. Liang N.-Y., Huang G.-B., Saratchandran P., Sundararajan N. A Fast and Accurate Online Sequential Learning Algorithm for Feedforward Networks // IEEE Transactions on Neural Networks. - 2006.- V. 17, № 6. - Pp.1411-1423.
Поступила 07.07.2014 г.
