CC BY
51
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
«наука. инновации. технологии», № 3, 2017
удк 004.5+612.06 Туровский Я.А. [Turovsky Ya.A.], Борзунов С.В. [Borzunov S.V.], Алексеев А.В. [Alekseev A.V.], Болдырев С.В. [Boldyrev S.V.]
МОДЕЛИРОВАНИЕ ДОПОЛНИТЕЛьНОГО КАНАЛА ОБРАТНОй СВЯЗИ
В окулографических И НЕйРО-компьютерных интерфейсах
Modeling of the additional channel of feedback in eye-tracking and neuro-computer interfaces
В работе проведен анализ особенностей применения дополнительного канала связи компьютер-человек в рамках нейрокомпьютерного (мозг-компьютер) и окулографического интерфейсов. Разработана математическая модель функционирования данного канала и его влияния на принятие решений пользователем, учитывающая изменение точности определения сгенерированной пользователем команды в зависимости от времени анализа процесса. В основу модели положен подход, согласно которому при получении информации о характере обработки сигналов программно-аппаратной частью интерфейса, пользователем может осуществлять изменение своего состояния, влияющего на дальнейшую обработку результатов. Проведено численное моделирование для нейрокомпьютерных и окулографических интерфейсов, рассчитаны значения диапазонов времени, в течение которых предъявление информации о результатах предварительной классификации команд пользователя может обеспечить улучшение результатов работы. Полученные результаты позволяют оптимизировать использование разработанных технологий дополнительного канала коммуникации человек-компьютер в аспекте увеличения скорости их работы.
The paper analyzes the features of the application of the additional computer-human communication channel within the neurocomputer (brain-computer) and oculografic interfaces. A mathematical model of the functioning of this channel and its influence on the decision making by the user, taking into account the change in the accuracy of the definition of the usergenerated command, depending on the time of the process analysis, is developed. The model is based on the approach according to which when receiving information about the nature of signal processing by the hardware and software part of the interface, the user can change his state, which influences the further processing of the results. Numerical modeling for neurocomputer and oculografic interfaces was carried out, the values of the time ranges during which the presentation of information on the results of the preliminary classification of the user's commands can provide an improvement in the results of work. The obtained results allow to optimize the use of the developed technologies of the additional human-computer communication channel in the aspect of increasing the speed of their work.
Ключевые слова: интерфейсы мозг-компьютер, окулографические интерфейсы.
Key words: brain-computer interfaces, eye-tracking interfaces.
Введение
Развитие информационных технологий(ИТ) в сочетании c достижениями нейронаук привело в последние десятилетия к появлению нового вида интерфейсов человек-компьютер, реализованных на иных при-
нципах управления, чем клавиатура, джойстик, мышь и подобные манипуляторы. К представителям таких интерфейсов можно отнести интерфейсы мозг-компьютер (нейрокомпьютерные интерфейсы - НКИ), где управляющие устройствами сигналы регистрируются непосредственно с мозга в качестве электрической активности, оптических феноменов или МРТ-ответа [1, 2], и окулографические интерфейсы (ОИ), где командами становятся направления взгляда и/или движения зрачка [3, 4]. Учитывая значительный потенциал данных интерфейсов в плане быстроты их реакции в ответ на сгенерированные пользователем команды, интуитивности управления и возможностей восстановления для людей с ограниченными возможностями, над данной тематикой работает большое число научных групп.
Тем не менее, до сих пор скорость работы и окулографических и нейро-компьютерных интерфейсов уступает в скорости, точности и эргономичности уже существующим интерфейсам на основе клавиатуры и мыши. Таким образом, актуальным стал поиск новых подходов для совершенствования окулографических и нейрокомпьютерных интерфейсов и воплощения их теоретических возможностей в практических программно-аппаратных решениях. В настоящее время можно отметить несколько направлений этих работ.
Во-первых, это поиск новых физиологических феноменов в плане выявления сигналов мозга или движения глаз, которые могут быть использованы как команды управления для внешних устройств (компьютеры, самоходные шасси, летательные аппараты и т.д.), сигналы о наличии ошибок в распознании и т.д.
Во-вторых, разработка новых методов обработки данных с мозга, которые позволят из уже существующих данных выделить новую информацию или же новых устойчивых и точных алгоритмов выделения на видеоизображении глаз и зрачка пользователя.
В-третьих, гибридизация интеллекта компьютера и человека с целью обеспечения при недостаточной пропускной способности канала человек-компьютер реакцию последнего, воспроизводящую характерные паттерны поведения пользователя без его непосредственных команд.
Паллиативным методом увеличения скорости работы указанных выше интерфейсов является изменение, например, их графической части обеспечивающей большую, за счёт оптимального расположения визуальных «кнопок», скорость передачи данных. Ещё одним из вариантов яв-
физико-математические науки
Моделирование дополнительного канала обратной связи.
ляется формирование дополнительного канала связи [4] компьютер-человек, по которому пользователю сообщаются данные о характере работы НКИ и ОИ. В частности - результаты текущей обработки команд пользователя. Таким образом, пользователь видит, насколько успешно или неуспешно идёт обработка информации о тех его физиологических состояниях, которые служат командами. Видя это, пользователь получает возможность изменять свои текущие физиологическое состояние в желательную сторону, повышая точность работы интерфейса. Следовательно, актуальным является моделирование работы НКИ и ОИ в условиях наличия дополнительного канал коммуникации компьютер-человек.
Целью исследования является моделирование работы НКИ и ОИ в условиях наличия дополнительного канал коммуникации компьютер-человек с учётом различных параметров точности работы интерфейсов в плане распознания команд пользователя.
Материалы и методы исследования
Рассмотрим модель работы НКИ и ОИ в условиях наличия дополнительного канала связи компьютер-человек. На первом этапе смоделируем ситуацию работы интерфейса человек-компьютер. Одним из параметров этой работы будет являться функция вероятности распознания интерфейсом команд пользователя. Очевидно, что по мере роста времени t, в течение которого происходит оценка анализируемого в качестве команды паттерна (например значений ЭЭГ, или положения зрачка), нарастает точность распознания данной команды. Далее, при продолжении роста времени накопления команды, точность её распознания снижается в силу объективных физиологических причин: утомление и снижение внимания пользователя, необходимость реагировать на новые события и т.д. Однако, поскольку это время достаточно велико, факт снижения точности распознавания можно игнорировать. Итак, предположим, что вероятность правильного распознавания /6аз монотонно изменяется со временем t по закону
/вя('')~ а-РоРРо+е" (1)
где р0 = /6аз(0) — вероятность правильного распознавания в начальный момент времени,
а > 0 - параметр, отвечающий за скорость изменения функции (чем больше а, тем больше скорость роста/6аз(1:) с ростом :).
Под временем мы в дальнейшем будем понимать номер дискретного отсчёта сигнала, зарегистрированного тем или иным прибором. В момент времени :1 (рис. 1), пользователь получает информацию о результате акта распознавания сигнала, после чего пользователь может изменить со-
и ¿2 время
Рис. 1. Траектории вероятностей в условиях дополнительной ин-
формации для пользователя о ходе работы ОИ или НКИ.
стояние или остаться в прежнем (другими словами, в данный момент времени происходит трифуркация возможных состояний пользователя).
Из рис 3. видно, что а - вариант при котором пользователь изменяет своё состояние в момент времени t1 так, что повышает вероятность правильного распознания команд, б - оставляет своё состояние без изменений, в - изменяет своё состояние в момент времени t¡ так, что повышает вероятность правильного распознания команд. Изменение состояния приведёт к тому, что вероятность распознавания может повыситься — она станет определяться функцией(вариант а), или понизиться — произойдёт переход на функцию (вариант в) или остаться без изменений — 16а$) (вариант б). Вероятности перечисленных событий равны р+, р и рд соответственно в случае верного распознавания при t = t¡ ир+,р ир в случае неверного. Отметим, что в период времени t1 интерфейс не принимает окончательного решения относительно выбора команды сгенерированной пользователем. Пользователю только сообщается текущий (промежуточный) результат обработки данных интерфейсом.
Далее в момент времени t = t2 ещё раз происходит выбор. Этот выбор является окончательным - интерфейс принимает решение относительно того, какая именно команда была сгенерирована пользователем и, соответственно, какую надлежит исполнять.
Подмножество пространства событий, приводящих к правильному распознаванию, состоит из 6 точек:
физико-математические науки
Моделирование дополнительного канала обратной связи.
1. •/аА)Р+/+(2 — правильное распознавание в t1 и в t2 после повышения вероятности;
2. fбaS-t)PafбaJyt¡) — правильное распознавание в t1 и в t2 без изменения;
3. Л<и(1р/(^) — правильное распознавание в t¡ и в t2 после уменьшения вероятности;
4. (1 -/баз^1))р+//+(2 — неправильное распознавание в t1 и правильное в t2 после повышения вероятности;
5. (1 - /баз(?))р0 /6Л2) — неправильное распознавание в t1 и правильное в t2 без изменения;
6. (1 - /ба(^1))р-/ — неправильное распознавание в tl и правильное в t2 после уменьшения вероятности.
Получаем, что вероятность распознавания увеличилась по сравнению с базовым случаем в б раз, где
б = иМрМ) + /аа£)рй /а^) + /аа£)рт + (ЧМ^Ш + + (/«)) р//баЮ + (1- р/т\ //а^) (2)
Преобразуем полученное выражение:
б = (Та^КзШР/М) + Рд /ба£) + р/Щ]
+
+ (1-Ш/ич) [(р+</+(2 + р/иц + р/А)] (3)
Для получения удобной аналитической оценки величины б введём предположение: вероятности перехода в точке трифуркации не зависят от результата р+ = р+, р_ = р1 и рд=р'0, тогда получим
2 = Ро + рМ)+РМ) (4)
/баз (¿2 )
Используя условие сохранения полной вероятности р+ + рд + р = 1, приведём б к виду:
д = 1+р М1ЬЫк1+р /-(Ь)-/^) (5)
/баз (¿2 ) /баз(* г)
Отношение вероятностей в новом и базовом случае превышает единицу (т.е. даёт улучшение распознания при выборе команд интерфейсом) если
рШ^-!М)>Р-(ГМ-Ш) (6)
Таким образом, получен достаточный признак для определения применимости метода. Превышение, после трифуркации значений взвешенное на р+ должно быть больше превышения базовой вероятности над f_ взятое с весом р . В этом случае новый метод с большей вероятностью приводит к правильному распознаванию интерфейсом сигнала или паттерна, сгенерированного пользователем.
Из (6) следует, что модель показывает возможности увеличения скорости работы интерфейсов только при условии, что а+>а6аз:6св, где :6аз показывает время измерения вероятностей распознания команд на основе базисной функции Именно в этом случае возможно улучшение вероятности распознания интерфейсом команд пользователя при изменении его состояния в момент времени :1.
Результаты исследования и их обсуждение Численное моделирование работы НКИ в условиях наличия дополнительного канала связи компьютер человек
Рассмотрим ситуации, возникающие при работе НКИ, учитывающие в зависимости от времени ^ необходимость обеспечивать те или иные вероятности перехода от/6аз(:х) кили же кДля приближения к реальным показателям работы интерфейсов примем для НКИ и ОИ дискретное время с шагом в 0,1 сек.
Таким образом, для НКИ, распознающего 6 команд, значения функции согласно (1) будутр0 = 0,167, абз от 0,02 до 0,2 (рис. 2а). Для ОИ, имеющего лучшие параметры скорости работы и распознания команд для 6 команд при-мемр0 = 0,167, ааз от 0,08 до 0,9 (рис. 2б).
Рассмотрим условие а+> применительно к НКИ. Очевидно, что
мы имеем два ограничения по времени. С одной стороны, пользователю требуется некоторое время для того, чтобы осознать передаваемому по каналу компьютер-человек. С другой, если изменение состояния пользователя произойдёт через слишком большое время, то сложится ситуация, при которой функция/+(:), даже имея значительно большую скорость роста, всё равно будет уступать по своим значениям функции^' (:), делая, таким образом, принципиально невозможным улучшить показатели работы НКИ. Рассмотрим
возможные диапазоны применимости параметра а+ при условии изменения параметров абаз и Х1 (рис. 3). Обратим внимание на то, что временной порог осознания стимула находится в районе 100 мс [5]. Очевидно, что если момент времени t1 информация о текущем решении по выбору команд программно аппаратной частью интерфейса будет визуализирована для пользователя, то к данным рисунка 3, необходимо учесть ещё —100 мс на процесс осознания пользователем полученных данных. Добавим дополнительное условие, согласно которому в любой точке от t1 до ^ /баз<
0,1
0 Декретное время (0,1 сек. на деление)
1 11 21 31 41
Рис. 2а. Исследуемый диапазон вероятностей в зависимости от
времени для НКИ.
Рис. 2б.
Исследуемый диапазон вероятностей в зависимости от времени для ОИ.
Итак, из рис. 3 следует, что ниже указанных кривых условие а+>абаз1баз выполняется, а следовательно, например для абаз= 0,02 и а+. = 0,6 пользователь должен изменить своё состояние, зная данные предварительной работы раньше чем через три секунды от начала работы НКИ над обработкой новой команды. Учитывая время осознания стимула ясно, что интерфейс должен по графическому каналу сообщить пользователю информацию о предварительном выборе раньше, чем 2,9 сек. Из рис.3 следует, что начиная с абаз=0.13 функция улучшения распознания сигналов пользователя имеющая а+.=0,4 уже не может быть эффективна ни на каком отрезке времени.
Практическую ценность представляют не столько параметры а сколько значения вероятности точного распознания паттернов мозговой активности пользователя для определения возможных временных диапазонов предъявления предварительных данных работы НКИ. Для этого на рис.3 был введён параметр ^(0,8) как отражающий время в течении которого /баз(0 обеспечивает 80% вероятность распознавания паттерна мозговой активности пользователя при заданном а. Полученные результаты интерпретируются следующим образом. Если эмпирически получено, что, например, через 3 секунды обработки паттернов мозговой активности пользователя имеется 80% точность распознания генерируемых им команд; при том, что на более коротких отрезках времени этот результат будет меньше, а на длинных больше, то в качестве параметра модели можно взять абаз = 0,1.
Очевидно, что если пользователь способен изменить своё «ментальное» состояние таким образом, чтобы повысить вероятность распознавания команд, то информацию о предварительных результатах работы программно
16
14
12
10 8 6
Рис. 3.
♦ Р (0,8)
□ а + = 0,9
ж а + = 0,6
^ а + = 0,4
4 □ ♦
2 ♦ ♦ ♦
0 А □ А & Я Л ж ♦ ж абаз
0,02
0,04
0,06
0,08
0,10
0,12
0,14
0,16
0,18
Зависимость между параметром функции распознания команд НКИ для 6 вариантов абаз и временем принятия предварительного решения интерфейсом, ранее которого необходимо сообщить пользователю о результатах предварительной классификации его состоянии программно-аппаратной частью НКИ.
0
аппаратного комплекса пользователю необходимо сообщить, раньше чем 0,9 секунды от начала обработки паттернов его мозговой активности. Причем 0,9 сек выбрано в том случае, если эмпирически установлено, что в новом «ментальном» состоянии [6], например, при значительной концентрации внимания, имеющиеся программно аппаратные решения обеспечивают 80% точность распознания команд пользователя через 0,4 секунды. Таким образом, полученные данные позволяют, используя эмпирические результаты работы разных типов НКИ, определить потенциальную эффективность дополнительного канала связи компьютер-человек и, следовательно, оценить необходимость и возможность реализации дополнительного канала коммуникации человек-компьютер применительно к задачам НКИ.
Численное моделирование работы ОИ в условиях наличия дополнительного канала связи компьютер-человек
В отличие от НКИ, моделирование ОИ имеет свою специфику, связанную с итерационным процессом управления. Действительно, в случае НКИ информация о предварительной интерпретации тех или иных команд поступает к пользователю однократно. Второй раз результат работы программно-аппаратной части НКИ пользователь видит уже тогда, когда управляемое устройство выполняет ту или иную команду. В случае же ОИ пользователь видит метку-курсор, соответствующую положению его зрачка. Следовательно, изменяя направление взгляда, пользователь видит ответную реакцию ОИ и тем самым может вновь, в рамках очередной итерации, модифицировать своё поведение. При данном подходе для моделирования удобнее использовать концепцию «цепочек команд» [7] вида
£(п + 1) ^ &(п + 2) ^ 4(п + 3) ^ ... ^ &(п + X).
Иными словами, если существует и уже выполнена команда в момент дискретного времени (п + 1), то, следовательно, возможно выполнение команды £2(п + 2) при условии её существования, а при выполнении команды £2(п + 2) возможно выполнение следующей команды £3(п + 3) при условии её существования и т. д. Однако, в отличие от [7] в этом случае под командой подразумевается не завершенный «квант поведения» [8], а интерпретация текущего положения зрачка программно-аппаратной частью ОИ. При этом, если маркер-курсор перемещается в нужную пользователю сторону, то команда воспринимается как успешная, в противном случае как ошибочная. Таким образом, на рис.2б изображена итоговая функция оценки вероятности правильного распознания команд при перемещении зрачка. Учтем, что в видеоокулографических интерфейсах одним из лимитирующих факторов скорости их работы является частота кадров фиксируемых видеокамерой.
Применительно к нашим задачам [3] частота считывания кадров не превышала 20 Гц и, следовательно, ОИ не может изменять положения маркера-курсора с большей частотой. Используя рисунок 3 можно получить те же результаты, что и при управлении посредством НКИ, однако, значительный интерес представляют те диапазоны функций /(?) которые показывают высокую скорость работы окулографического интерфейса, превышающие таковую у НКИ (аваз > 0,2, что даёт 80% точность распознания команд уже через 0,4 с). Результаты моделирования представлены в таблице 1.
Таблица 1. РЕЗУЛЬТАТЫ ОЦЕНКИ ВРЕМЕНИ ПРЕДЪЯВЛЕНИЯ
ПОЛЬЗОВАТЕЛЮ ИНФОРМАЦИИ ПО КАНАЛУ СВЯЗИ КОМПЬЮТЕР-ЧЕЛОВЕК
Обаз Р(0,8) а +
2,5 1,5
0,9 0,4 - -
0,7 0,5 0,1
0,5 0,6 0,2 0,3
0,3 1 0,3 0,25
0,1 3 1 1
Из таблицы 1 видно, что при высокой скорости классификации аваз > 0,7 отсутствуют возможности для использования дополнительного канала компьютер человек, сообщающий пользователю о предварительных данных распознания команд интерфейсом. Высокая скорость распознания команд интерфейсом снимает необходимость в дополнительном канале информации человек-компьютер. В то же время относительно низкие значения а6аз < 0,1 позволяют, в целом, использовать дополнительный канал коммуникации, при этом информация пользователю будет сообщаться в течение времени меньше чем 0,3 сек от начала распознания команды программно-аппаратной частью интерфейсу. Таким образом, применение дополнительного канала для ОИ хотя и носит ограничения в плане времени предъявления стимулов пользователю, тем не менее, может быть использовано и для интерфейсов с большой скоростью работы.
Выводы
В работе проведен анализ особенностей применения дополнительного канала связи компьютер-человек в рамках нейрокомпьютер-ного (мозг-компьютер) и окулографического интерфейсов. Разработана математическая модель функционирования данного канала и его влияния на принятие решений пользователем, учитывающая изменение точности опре-
деления сгенерированной пользователем команды в зависимости от времени анализа процесса. Проведено численное моделирование для нейрокомпью-терных и окулографических интерфейсов, рассчитаны значения диапазонов времени, в течение которых предъявление информации о результатах предварительной классификации команд пользователя может обеспечить улучшение результатов работы. Полученные результаты позволяют оптимизировать использование разработанных технологий дополнительного канала коммуникации человек-компьютер в аспекте увеличения скорости их работы.
Библиографический список
1. Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wol-paw J.R. BCI2000: A general-purpose brain-computer interface (BCI) system // IEEE Transactions On Biomedical Engineering. 2004. vol. 51. Pp. 1034-1043.
2. Nicolas-Alonso L.F., Gomez-Gil J. Brain Computer Interfaces, a Review // Sensors (Basel). 2012. 12(2): 1211-1279.
3. Туровский Я.А., Кургалин С.Д., Алексеев А.В. Анализ движения глаз человека при управлении самоходным шасси с использованием системы видеоокулографического интерфейса // Сенсорные системы. 2017. №1. С. 51-58.
4. Туровский Я.А., Кургалин С.Д., Вахтин А.А., Борзунов С.В., Алексеев А.В. Информационные потоки при формировании дополнительного канала обратной связи для интерфейса мозг-компьютер // Технологии живых систем. 2016. Т. 13. № 7. С. 3440.
5. Костандов Э.А. Психофизиология сознания и бессознательного. СПб.: Питер, 2004.
6. Перекрытие крупномасштабных сетей головного мозга человека, регистрируемых фмрт в состоянии покоя и при выполнении ментальных задач / В.М. Верхлютов, П.А. Соколов, В.Л. Ушаков, Б.М. Величковский. Когнитивная наука в Москве: новые исследования : материалы конференции / под ред. Е.В. Печен-ковой, М.В. Фаликман. 2015. С. 59-61.
7. Оценка скорости работы нейрокомпьютерного интерфейса, реализованного с использованием гибридного интеллекта / Я.А. Туровский, С.Д. Кургалин, С.В. Борзунов // Биомедицинская радиоэлектроника. 2015. № 3. С. 61-70.
8. Системные механизмы поведения / под ред. К.В. Судакова. М: 1990, 240 с.
References
1. Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wol-paw J.R. BCI2000: A general-purpose brain-computer interface (BCI) system // IEEE Transactions On Biomedical Engineering. 2004. vol. 51. Pp. 1034-1043.
В0
2. Nicolas-Alonso L.F., Gomez-Gil J. Brain Computer Interfaces, a Review // Sensors (Basel). 2012. 12 (2): 1211-1279.
3. Turovskij Ja.A., Kurgalin S.D., Alekseev A.V. Analiz dvizhenija glaz cheloveka pri upravlenii samohodnym shassi s ispol'zovaniem sistemy videookulograficheskogo interfejsa (Analysis of the movement of the human eye during the control of the self-propelled chassis using the video-oculographic interface system) // Sensornye sistemy. 2017. No1. S. 51-58.
4. Turovskij Ja.A., Kurgalin S.D., Vahtin A.A., Borzunov S.V., Alekseev A.V. Informacionnye potoki pri formirovanii dopolnitel'nogo kanala obratnoj svjazi dlja interfejsa mozg-komp'juter (Information flows during the formation of an additional feedback channel for the brain-computer interface) // Tehnologii zhivyh sistem. 2016. T. 13. No 7. S. 34-40.
5. Kostandov Je.A. Psihofiziologija soznanija i bessoznatel'nogo (Psy-chophysiology of consciousness and the unconscious). SPb.: Piter, 2004.
6. Perekrytie krupnomasshtabnyh setej golovnogo mozga cheloveka, registriruemyh fmrt v sostojanii pokoja i pri vypolnenii mental'nyh za-dach (Overlapping large-scale networks of the human brain, recorded fmtt at rest and in the performance of mental tasks) / V.M. Verhlju-tov, P.A. Sokolov, V.L. Ushakov, B.M. Velichkovskij. Kognitivnaja nauka v Moskve: novye issledovanija : materialy konferencii/ pod red. E.V. Pechen- kovoj, M.V. Falikman. 2015. S. 59-61.
7. Ocenka skorosti raboty nejrokomp'juternogo interfejsa, realizovan-nogo s ispol'zovaniem gibridnogo intellekta (Estimation of the speed of operation of the neurocomputer interface realized with the use of hybrid intelligence) / Ja.A. Turovskij, S.D. Kurgalin, S.V. Borzunov // Biomedicinskaja radiojelektronika. 2015. No 3. S. 61-70.
8. Sistemnye mehanizmy povedenija (Systemic mechanisms of behavior) / pod red. K.V. Sudakova. M: 1990, 240 s.
