О возможности визуального (с помощью взора) управления Текст научной статьи по специальности «Математика»

Механика

УДК 62-519

О ВОЗМОЖНОСТИ ВИЗУАЛЬНОГО (С ПОМОЩЬЮ ВЗОРА) УПРАВЛЕНИЯ

А. Г. Якушев1

Рассматривается возможность управления человеко-машинными (биомехатронными) системами с помощью взора. Анализируются основные свойства движений глаз, существенные для построения управления. Создана игровая программа для изучения возможностей управления с помощью взора. Показано, что при управлении взором на решение управленческой задачи типа указания точки затрачивается меньше времени и совершается меньше ошибок, чем при управлении с помощью мыши.

Ключевые слова: визуальное управление, электроокулография, точностные движе-

The possibility of control of man-machine (biomechatronical) systems by gaze direction is considered. Basic properties of eye movements, essential for construction of control, are analyzed. To explore the possibilities of control by gaze, a game program is written. It is shown that the control by gaze in comparison with control by mouse requires less time and leads to fewer mistakes on decision of management problems such as specifying a point on a screen.

Key words: visual control, electrooculography, precision movements.

Введение. Во многих технических системах, которые еще не полностью автоматизированы, в контур управления включается человек (или коллектив людей). В технической литературе таких специалистов обобщенно называют операторами. В каждом конкретном случае это может быть диспетчер или менеджер; пилот или космонавт; капитан, штурман или рулевой; водитель, тракторист или машинист и т.д.

Несмотря на огромное разнообразие операторской деятельности, во всех случаях прослеживаются общие черты (рисунок).

Первая функция оператора — восприятие информации об окружающей среде и об управляемом процессе. Необходимо напомнить о хорошо известной оценке: до 90% информации об окружающем мире человек получает с помощью зрения. Это справедливо и по отношению к операторам технических систем. Конечно, при некоторых видах операторской деятельности ведущую роль могут играть слух, обоняние, мышечное чувство, вестибулярные ощущения. Но в подавляющем большин-

Схема взаимодействия оператора с управляемой системой

стве случаев оператор находится в визуальном контакте с окружающей средой, периодически осматривает приборы и индикаторы, читает их показания. Зрение несет большую нагрузку, поэтому движения глаз должны быть свободны, а расположение приборов — удобным для оператора.

Вторая и, вероятно, важнейшая функция оператора — принятие управленческих решений. На основе информации об окружающей среде и управляемом процессе, а также пользуясь нормативными документами и практическим опытом, оператор вырабатывает решения о дальнейшем ходе управляемого процесса и формирует управляющие команды.

Наконец, третья функция — реализация управляющих воздействий: нажатие клавиш, открытие или закрытие кранов, поворот руля или отклонение управляющих поверхностей. Характер воздействий может быть очень разнообразным. Управляющие воздействия обычно носят точностный характер. Этот

1 Якушев Андрей Германович — канд. физ.-мат. наук, доцент, ст. науч. сотр. лаб. математического обеспечения имитационных динамических систем мех.-мат. ф-та МГУ, e-mail: [email protected].

термин используется в научной (прежде всего психологической) литературе [1]. Обычно управление осуществляется с помощью рук или ног. В настоящей работе будет рассмотрена возможность использования движений глаз как управляющего сигнала.

Прогресс в системах управления. Технический прогресс коснулся всех трех аспектов деятельности человека как звена в системе управления. Во многих сферах произошли значительные изменения в информационной обеспеченности оператора: появились цифровые и графические дисплеи, стала доступной интегральная информация о движении, возросли точности приборов и улучшились их эргономические качества. Совершенствуются способы приложения управляющих воздействий. С применением усилителей и сервомеханизмов значительно уменьшились усилия на органах управления. Управление становится все более высокоуровневым, и часто низшие уровни реализуются с помощью следящих или стабилизирующих систем. В ряде случаев изменяется природа управляемого процесса.

Такой прогресс можно проследить на примере развития средств авиационного воздушного боя. Первые попытки уничтожения самолета противника осуществлялись с помощью неспециализированного оружия — сначала револьвера, затем винтовки и общевойскового пулемета. Далее появляются специальные авиационные пулеметы и пушки. Позднее они дополняются неуправляемыми ракетными снарядами. Наведение и прицеливание этого оружия выполняется путем изменения положения и ориентации всего самолета: пилот должен решить задачу управления многотонной машиной так, чтобы обеспечить точную стрельбу и уничтожение противника. Затем эта задача упростилась: пулеметы и легкие пушки стали устанавливать на подвижной турели, и входящий в состав экипажа стрелок осуществлял прицеливание на фоне одновременных маневров самолета в бою.

Стремление избежать необходимости интенсивного маневрирования и наведения всего самолета на цель приводило к созданию подчас экзотических конструкций. Например, существовали управляемые снаряды класса "воздух-воздух", которые пилот наводил по проводам, разматывавшимся одновременно с двух катушек — на снаряде и на самолете [2]. Такая возможность, конечно, выгодно отличала этот снаряд от неуправляемого, хотя его конструкция была очень сложной и ненадежной, но, главное, пилот на время наведения полностью отвлекался от управления самолетом.

Принципиально изменилась ситуация с появлением самонаводящихся снарядов и ракет. Теперь задача пилота упростилась: обеспечить такие ориентацию и положение самолета, чтобы цель находилась в зоне захвата системы самонаведения, указать ей цель и произвести пуск. Затем пилот полностью возвращался к управлению самолетом. В настоящее время [2] начальное указание цели осуществляется путем ручной или полуавтоматической ориентации системы наведения ракеты в нужном направлении или с помощью дополнительного устройства, например лазерного указателя. Чтобы упростить задачу целеуказания, в некоторых системах лазерный указатель устанавливают на защитном шлеме пилота. В бою пилот должен сориентировать голову в нужном направлении и активировать оружие. Решение даже этой задачи в условиях значительных пилотажных перегрузок может быть затруднительным. Поэтому дальнейшее упрощение задачи целеуказания весьма актуально.

Заманчиво использовать для указания цели направление взора пилота. Для создания такого управляющего сигнала нет необходимости изменять траекторию и ориентацию многотонной машины, даже головы и шлема с оборудованием, весящих десятки килограммов, достаточно обеспечить только ориентацию двух глазных яблок, вес которых измеряется граммами.

Примеры использования визуального управления. В настоящее время имеются пока лишь отдельные сообщения об экспериментальных устройствах, использующих направление взора для взаимодействия с компьютерами или компьютеризированными устройствами. В большинстве случаев такие разработки ведутся в интересах инвалидов или больных с поражением верхних конечностей или позвоночника.

Группа американских авторов [3] для людей с нарушениями функции верхних конечностей разработала концепцию и провела тестирование системы, обеспечивающей управление компьютерным курсором без помощи рук. Входами системы являются сигналы электромиограммы лицевых мышц и координаты точки взора, поставляемые системой слежения за взором. Управление компьютером осуществляется посредством графического интерфейса пользователя (GUI). Аналогичная работа, связанная с регистрацией движений глаз, была выполнена в Индии [4], также получены патенты [5, 6].

В Японии [7] для лиц с двигательными параличами и лишенных дара речи был разработан коммуникационный интерфейс, управляемый движениями глаз и произвольными морганиями. Записи вертикальных и горизонтальных движений глаз выполнялись методом электроокулографии с усилителем переменного тока. Движения курсора верх, вниз, вправо и влево кодировались целенаправленными движениями глаз, а операция выбора задавалась с помощью произвольного моргания. Были проведены испытания по вводу символов на виртуальной клавиатуре, изображенной на экране компьютера.

Представляет интерес выполненная в университете Торонто магистерская диссертация [8], в которой оценивается направление взора для автоматизированной помощи в чтении: незнакомые слова озвучиваются в реальном времени. Направление взора, определяемое с помощью видеокамер, проецируется на неподвижный или движущийся текст. Далее определяется длительность интервала времени, в течение которого рассматривается каждое читаемое слово, по этой длительности распознаются незнакомые слова. Для уверенного определения читаемого слова требуется промежуток в 15 мм между словами. Устройство правильно распознает до 89% незнакомых слов и дает ложные срабатывания в 11% случаев.

В Европе для проведения исследований и разработок в области взаимодействия и компьютерного управления с помощью взора в сентябре 2008 г. создана ассоциация COGAIN2 (Communication by Gaze Interaction).

Соподчиненность и сравнение точностных движений руки и глаза. Многие управляющие воздействия осуществляются руками (нажатие кнопок, управление переключателями и т.д.). Отметим, что точностные движения рук часто сопровождаются (точнее, упреждаются) соответствующим движением глаз, которое направляет взор оператора в положение, куда должна прийти рука. Движения "глаз-рука" изучались в [1]. Для случая достаточно удаленной цели, находящейся на расстоянии, существенно превышающем размеры зоны наилучшего видения (фовеа) [9], до движения руки наблюдается опережающий скачок глаз. Он происходит в среднем через 900 мс после появления стимула, направлен всегда на цель и опережает движение руки в среднем на 250 мс. В новом положении глаза остаются до осуществления движения рукой. Такая стратегия движений глаз связывается в [1] с оценкой положения цели в эгоцентрических координатах: информация о положении цели имеет двигательную природу и заключена в эффекторных командах к скачку глаз на цель, поскольку саккады амплитудой более 10° могут программироваться с высокой точностью [10]. Об этом свидетельствует значительное время подготовки саккады: большой объем зрительной работы по оценке положения цели осуществляется до скачка глаз и используется для организации движения руки.

Таким образом, две задачи — глазодвигательная и двигательная ручная — решаются одновременно и успешно только тогда, когда движение руки строится, согласно классификации Н.А. Бернштейна [11], на достаточно низком уровне — ниже уровня С. Если, однако, для движения руки требуется зрительная информация, то на определенный период наступает нарушение глазодвигательной задачи. Это происходит потому, что движения глаз являются по своей природе обслуживающими, и та роль, которая утвердилась за ними в филогенезе, всегда выступает на первый план, даже вопреки сознательной задаче.

Глубокий анализ принципов организации движений глаз проведен в работе [12], в частности сформулирован принцип двойного опосредования: движения глаз возникают в те моменты и в том виде, которые необходимы для обеспечения зрительной афферентации основных действий. Зрительная афферентация в свою очередь является зависимой переменной: сама необходимость в ней, ее конкретный вид или форма определяются характером решаемой в данный момент общей задачи. Таким образом, между движениями глаз и процессами общей деятельности имеет место двухступенчатая зависимость: зависимость работы зрения от хода решения общей задачи и зависимость движений глаз от работы зрения. Это значит, что движения глаз опосредуются дважды.

В [12] указано, что для правильного точностного движения руки мишень должна быть спроецирована на фовеа; показано, что чем дальше на периферию сетчатки проецируется мишень, тем ниже точность быстрого движения руки на нее. Если мишень проецируется на периферию сетчатки, то глаза скачком поворачиваются так, чтобы изображение мишени попало на фовеа, обладающую максимальной разрешающей способностью. Высказана гипотеза о необходимости "центрировать" мишень относительно эгоцентрических координат: "... когда зрительная ось направлена на цель, она вводит в схему тела также и цель. В результате задача попадания рукой в цель сводится к согласованию движений двух рабочих органов: глаз и руки" [12].

В работе [13] изучались согласованные точностные движения глаз и руки — печатание предложений одним пальцем на пишущей машинке. Установлено, что напечатанию каждой буквы предшествует сак-када на эту букву, т.е. действие напечатания буквы состоит из перекрывающихся поведенческих актов — саккадического движения глаз с фиксацией взора на букве, затем быстрого переноса пальца и последующего нажатия на эту букву. После небольшой начальной тренировки оказывалось, что нажатие клавиши происходило в том момент, когда взор уже фактически был переведен на следующую букву, и время между саккадой на букву и нажатием на эту букву составляло около 500 мс.

В заключение отметим, что в [9] экспериментально доказано, что при наблюдении за неподвижным окружением глаза человека либо совершают саккаду (угловые скорости имеют порядок 100°/с), либо находятся в состоянии фиксации (сопровождаемом дрейфом, тремором и микросаккадами). Важно, что

2См.: www.cogain.org.

фиксации ограничены во времени. В работах [9] и [14] установлено, что продолжительность фиксации лежит в диапазоне 0,2-0,8 с, причем наибольшая часть фиксаций имеет длительность 0,3-0,5 с, амплитуда дрейфа обычно не превосходит 2°, а угловая скорость — 4°/с.

Установленная соподчиненность движений руки и глаза ведет к мысли отказаться от управляющих движений руки и ограничиться только движениями глаз, используемыми как управляющие, указательные, воздействия. Также необходимо отметить, что управление технической системой с помощью направления взора открывает дополнительные возможности людям с нарушениями опорно-двигательного аппарата.

Описание программы. Для практического изучения возможностей визуального управления в сравнении с управлением рукой с помощью мыши автором составлена игровая программа, реализующая методику компьютерного тестирования. Программа работает в трех режимах: в автоматическом, когда игра осуществляется компьютером безошибочно со скоростью, примерно соответствующей скорости перемещения руки и принятия решения человеком; в режиме ручного управления, когда игрок реализует управление мышью и нажатием кнопок; и, наконец, в режиме визуального управления, когда объект игры выбирается взором игрока.

Один цикл игры заключается в следующем: сначала на две секунды предъявляется центральный стимул, в центре которого расположена буква русского алфавита. Игрок должен прочитать букву и запомнить ее гласность (т.е. является она гласной или согласной). Затем центральный стимул гаснет и одновременно тоже на две секунды появляются два периферических стимула. Игрок может выбрать любой из них и указать свой выбор либо мышью, либо взором в зависимости от текущего режима. В центре выбранного стимула игрок должен прочитать букву. Буква считается "подходящей", если она совпадает по гласности с той, что была показана на центральном стимуле, и "неподходящей" в противном случае. Свое решение о совпадении гласности игрок выражает нажатием на одну из двух клавиш на клавиатуре или мыши. Результатом одного игрового цикла являются два фиксируемых параметра: время от появления периферических стимулов до ответного нажатия на клавишу "подходит/не подходит", а также заключение: "верно/неверно/не успел". Последнее фиксируется, если к моменту выключения периферического стимула игрок не успел выразить свое решение.

В этом сценарии предусмотрены все три функции, реализуемые в операторской деятельности: оператор точно воспринимает игровую ситуацию, анализирует предъявленные ему объекты, совершая умственное действие и распознавая буквы как "подходящие" и "неподходящие", и выражает свое решение нажатием клавиш. В процессе игры необходима высокая точность движений и глаз: изображение буквы должно проецироваться точно в фовеа, чтобы играющий мог прочесть данную букву, и руки при указании мышью.

Результаты и выводы. В таблице приведены результаты игры для трех испытуемых.

Сравнение результатов испытаний для трех игроков

Режим игры Игрок 1 Игрок 2 Игрок 3

Время игры, с Выигрыш, с Заключение Время игры, с Выигрыш, с Заключение Время игры, с Выигрыш, с Заключение

Рука Взор 16,227 14,163 2,064 13/2/0 14/1/0 16,707 15,141 1,566 12/3/0 13/2/0 21,101 17,473 3,628 14/0/1 15/0/0

Рука Взор 15,244 12,860 2,384 15/0/0 15/0/0 14,433 13,237 1,196 14/1/0 14/1/0 18,768 17,536 1,232 13/2/0 15/0/0

Рука Взор 16,155 12,331 3,824 15/0/0 15/0/0 — — — 19,097 15,558 3,539 15/0/0 15/0/0

Рука Взор 15,253 11,191 4,062 15/0/0 15/0/0 — — — 16,392 13,259 3,133 14/1/0 15/0/0

ИТОГ 62,879 50,545 12,334 58/2/0 59/1/0 31,140 28,378 2,762 26/4/0 27/3/0 75,358 63,826 11,538 56/3/1 60/0/0

Эти данные говорят, что при визуальном управлении затраченное время во всех случаях меньше (от 1,196 до 4,062 с), а количество верных ответов всегда не меньше, чем при игре с помощью мыши, что, вероятно, означает, что игра только глазами, без вовлечения точностных движений рук, более комфортна для испытуемого. Хотя игроки в целом от раза к разу улучшают результаты благодаря тренировке, выигрыш во времени и по количеству ошибок при визуальном управлении сохраняется во всех случаях. Полученные при использовании данной программы результаты красноречиво говорят, что визуальное управление имеет право на существование и, по всей видимости, скоро найдет широкое применение в

управлении различными техническими системами, а также, несомненно, и в бытовых устройствах, начиная от персонального компьютера и заканчивая телевизором и микроволновой печью.

Работа выполнена при поддержке РФФИ (грант № 09-01-00809).

СПИСОК ЛИТЕРАТУРЫ

1. Буякас Т.М. Работа зрительной системы при точностных движениях рук // Моторные компоненты зрения. М.: Наука, 1975. 176-190.

2. Авиационные средства поражения / Под ред. Ф.П. Миропольского. М.: Военное изд-во, 1995.

3. Chin C.A., Barreto A., Cremades J.G., Adjouadi M. Integrated electromyogram and eye-gaze tracking cursor control system for computer users with motor disabilities //J. Rehabilit. Res. and Develop. 2008. 45, N 1. 161-174.

4. Mishra U. Inventions on GUI for еye cursor control systems (September 7, 2007) // Available at SSRN: http://ssrn.com/ abstract=1264687.

5. US Patent 6323884, "Assisting selection of GUI elements", invented by C.L. Bird and S.G. Chapman, assigned to IBM, issued Nov. 27, 2001.

6. US Patent 6351273, "System and methods for controlling automatic scrolling of information on a display or screen", invented by J.H. Lemelson and J.Y. Hiett, issued Feb. 26, 2002.

7. Hori J., Sakano K., Miyakawa M., Saitoh Y. Eye movement communication control system based on EOG and voluntary eye blink // Lect. Notes Comput. Sci. 2006. 4061. 950-953.

8. Kang J.J. Automated reading assistance system using point-of-gaze estimation: Master of applied science thesis. Department of Electrical and Computer Engineering, Institute of Biomaterials and Biomedical Engineering. University of Toronto, 2006.

9. Ярбус А.Л. Роль движений глаз в процессе зрения. М.: Наука, 1965.

10. Гуревич Б.X. Движения глаз как основа пространственного зрения и как модель поведения. Л.: Наука, 1971.

11. Бернштейн Н.А. Биомеханика и физиология движений. Избранные психологические труды / Под ред. В.П. Зин-ченко. М.: Изд-во Моск. психолого-социального ин-та, 2008.

12. Гиппенрейтер Ю.Б. О месте движений глаз в незрительных видах деятельности и их исследовании // Моторные компоненты зрения. М.: Наука, 1975. 213-221.

13. Безденежных Б.Н. Психофизиологические закономерности взаимодействия функциональных систем при реализации деятельности: Докт. дис. М.: Ин-т психологии РАН, 2004.

14. Филин В.А. Автоматия саккад. М.: Изд-во МГУ, 2002.

Поступила в редакцию 10.06.2011

УДК 531.391

ФОРМИРОВАНИЕ ТЕМПЕРАТУРНОГО ПОЛЯ ПЛАНЕТЫ

ЗА СЧЕТ ПРИЛИВОВ

В. Г. Вильке1, А. Н. Данилкин2

Рассмотрена модель планеты, представленной однородным вязкоупругим шаром, в гравитационном поле точечной массы, при взаимном движении которых возникают приливные деформации. Найдены тензор скоростей деформаций и соответствующая ему дис-сипативная функция. Изменение во времени компонент тензора деформаций, сопровождающееся выделением тепла в каждой точке планеты, формирует температурное поле, описываемое неоднородным уравнением теплопроводности. Определено усредненное по углу собственного вращения планеты температурное поле, и приведены его оценки для Луны.

Ключевые слова: приливные деформации, температурное поле планеты.

A model of a planet considered as a homogeneous viscoelastic sphere in the gravitational field of point mass is discussed. Tidal deformations occur in the process of their mutual motion.

1 Вильке Владимир Георгиевич — доктор физ.-мат. наук, проф. каф. теоретической механики и мехатроники мех.-мат. ф-та МГУ, e-mail: [email protected].

2 Данилкин Алексей Николаевич — асп. каф. теоретической механики и мехатроники мех.-мат. ф-та МГУ, e-mail: [email protected].