Научная статья на тему 'Изменение индивидуальной динамики манипуляций устройствами управления курсором под влиянием эмоций страха и радости'

Изменение индивидуальной динамики манипуляций устройствами управления курсором под влиянием эмоций страха и радости Текст научной статьи по специальности «Клиническая медицина»

CC BY
307
65
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КЛАВИАТУРНЫЙ ПОЧЕРК / ДИНАМИКА МАНИПУЛЯЦИЙ МЫШЬЮ / ЭМОЦИИ / MOUSE MOVEMENT BIOMETRICS / KEYSTROKE DYNAMICS / EMOTION / HUMAN-COMPUTER INTERACTION

Аннотация научной статьи по клинической медицине, автор научной работы — Скринникова Анна Владимирована

Эмоции играют важную роль в формировании человеко-машинного взаимодействия. Однако современные человеко-машинные системы не предусматривают оценки и реагирования даже на существенные изменения состояний пользователей. Устройства управления курсором (УУК) типа мышь и клавиатура наиболее экономически выгодны для диагностики эмоций. Проведенное исследование изменения индивидуальной динамики манипуляций УУК под влиянием эмоций страха и радости осуществлялось по специально разработанной методике и показало следующие статистически значимые по сравнению с нейтральным состоянием результаты: уменьшение времени удержания клавиш и пауз между нажатиями, общего времени управления мышью при достижении цели в состоянии радости. Перспективны дальнейшего исследования и применение оценки эмоций в работе представителей профессий человек-оператор для предупреждения различных категорий ошибок.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

CHANGING THE INDIVIDUAL DYNAMICS OF MANIPULATIONS BY POSITIONING DEVICES UNDER INFLUENCING OF FEAR AND JOY EMOTIONS

Emotions play an important role in human interaction with machines. However, as yet machines are not able to measure or interact with these emotions in communication with humans. Standard positioning devices (mouse and keyboard), are noninvasive and economic advantageous, can serve as indicators of emotions. To prove this, a set of software tools for measurement parameters (i=7) from dynamics of manipulations by positioning devices was written and an experiment was planned and executed. The results of this experiment (N=4) showed the changes in the dynamics of manipulations by computer positioning devices: common time of driving by a mouse, duration of key down, duration between key up and next key down values were statistically significantly less for joy in comparison with neutral state. Further researches are perspective. Evaluation of the emotional states on the dynamics of manipulations by positioning devices can use in the human-operator work to warn different mistakes.

Текст научной работы на тему «Изменение индивидуальной динамики манипуляций устройствами управления курсором под влиянием эмоций страха и радости»

Преимущество однофакторных моделей заключается в относительной простоте процедуры прогнозирования, однако они имеют существенный недостаток, который заключаются в непредсказуемости параметров, влияющих на фактические значения. Например, для потребления электроэнергии это могут быть среднемесячная температура, количество потребителей, экономическая среда и т.д. Возникновение любых резких изменений, которых не было в упреждающем интервале, влияющих на модель, приведет к нарушению достоверности прогноза и, как следствие, к снижению эффективности принимаемых тактических и стратегических решений.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Алкацев М.И., Дзгоев А.Э., Бетрозов М.С. Исследование и разработка метода прогнозирования потребления электроэнергии в системе управления электроснабжением региона // Казанский государственный энергетический университет: Известия высших учебных заведений. Проблемы энергетики. Отдельный оттиск 5-6. - 2012. - С. 30-37.

2. БреславЕ. Финансовое прогнозирование // Финансовый директор. - 2005. - № 3

3. Кошечкин С.А. Алгоритм прогнозирования объема продаж в MS Excel // Маркетинг в России и за рубежом. - 2001. - № 5.

4. Методика прогнозирования графиков электропотребления для технологий краткосрочного планирования ОАО «СО-ЦДУ ЕЭС» - 2007.

5. Методы прогнозирования в условиях рынка. НТК. - Ставрополь: СевКав ГТУ. Невин-номысск. - 2006. - 221 с.

Статью рекомендовал к опубликованию д.т.н., профессор В.А. Петраков.

Георгий Сергеевич Лапинский - Северо-Кавказский Горно-Металлургический Институт (Государственный Технологический Университет) г. Владикавказ; e-mail: Stagedim@mail.ru; 362021, РСО-Алания, г. Владикавказ, ул. Николаева, 44; тел.: 89188267509; кафедра информационных систем в экономике; ассистент.

Зураб Русланович Майрансаев - e-mail: Sarmat007@inbox.ru; тел.: 89188210025; кафедра строительного производства; аспирант; ассистент.

Georgy Sergeevich Lapinsky - North Caucasian Institute of Mining and Metallurgy (State Technological University) town Vladicaucas; e-mail: Stagedim@mail.ru; 44, Nikolaeva street, Vladikavkaz, Alaniya, 362021; тел.: +79188267509; the department of communicatory systems in economics; assistant.

Zurab Ruslanovich Mirantsaev - e-mail: Sarmat007@inbox.ru; phone: +79188210025; the department of construction production; postgraduate student; assistant.

УДК 004.353:159.952

А.В. Скринникова

ИЗМЕНЕНИЕ ИНДИВИДУАЛЬНОЙ ДИНАМИКИ МАНИПУЛЯЦИЙ УСТРОЙСТВАМИ УПРАВЛЕНИЯ КУРСОРОМ ПОД ВЛИЯНИЕМ ЭМОЦИЙ СТРАХА И РАДОСТИ

Эмоции играют важную роль в формировании человеко-машинного взаимодействия. Однако современные человеко-машинные системы не предусматривают оценки и реагирования даже на существенные изменения состояний пользователей. Устройства управления курсором (УУК) типа мышь и клавиатура наиболее экономически выгодны для диагностики эмоций. Проведенное исследование изменения индивидуальной динамики манипуляций УУК под влиянием эмоций страха и радости осуществлялось по специально разработанной методике и показало следующие статистически значимые по сравнению с нейтральным

состоянием результаты: уменьшение времени удержания клавиш и пауз между нажатиями, общего времени управления мышью при достижении цели в состоянии радости. Перспективны дальнейшего исследования и применение оценки эмоций в работе представителей профессий человек-оператор для предупреждения различных категорий ошибок.

Клавиатурный почерк; динамика манипуляций мышью; эмоции.

А.У. Skrynnykova

CHANGING THE INDIVIDUAL DYNAMICS OF MANIPULATIONS BY

POSITIONING DEVICES UNDER INFLUENCING OF FEAR AND JOY

EMOTIONS

Emotions play an important role in human interaction with machines. However, as yet machines are not able to measure or interact with these emotions in communication with humans. Standard positioning devices (mouse and keyboard), are noninvasive and economic advantageous, can serve as indicators of emotions. To prove this, a set of software tools for measurement parameters (i=7) from dynamics of manipulations by positioning devices was written and an experiment was planned and executed. The results of this experiment (N=4) showed the changes in the dynamics of manipulations by computer positioning devices: common time of driving by a mouse, duration of key down, duration between key up and next key down values were statistically significantly less for joy in comparison with neutral state. Further researches are perspective. Evaluation of the emotional states on the dynamics of manipulations by positioning devices can use in the human-operator work to warn different mistakes.

Mouse movement biometrics; keystroke dynamics; emotion, human-computer interaction.

Постановка проблемы. Исследования в психологии, нейрофизиологии эмоций и эмоциональных вычислениях выявили важную роль переживания эмоций и их выражения в формировании человеко-машинного взаимодействия. Современные же человеко-машинные системы обязательно дружественные, но не способны учитывать темперамент, тип нервной системы, доминирующий канал восприятия информации и т.п. и не предусматривают реагирования даже на существенные изменения состояний пользователей или операторов. УУК наиболее экономически выгодны для диагностики эмоциональных состояний. Однако информация о том, могут ли они быть достоверными индикаторами, противоречива.

Анализ научных исследований и публикаций. Динамику манипуляций УУК исследуют ученые СНГ: Ю.А. Брюхомицкий, М.Н. Казарин, Р.Р. Шарипов,

В.Н. Рифа; но в большей мере зарубежные: А. Ахмед, Ф. Зиммерман, З. Йоргенсен, Ф. Лем, В. Майер, К. Эпп и др. По результатам своих работ они находят уникальными биометрические образцы отдельного пользователя подобными манипуляторами. Однако данные об оценивании эмоций по клавиатурному почерку [1] и манипуляциям мышью [2] скудны и неоднозначны, поскольку существуют индивидуальные факторы (уровень навыков, психофизиологическое состояние, профессиональная направленность, тип нервной системы), спорные моменты при фиксации и измерении временных интервалов событий УУК, влияние технических характеристик манипуляторов, методик и др. факторов [3, 4].

В одних работах непрерывно фиксируются положения и события мыши, например, каждые 20 мс [2]. В других - регистрируются исключительно изменения событий мыши и не учитываются паузы в работе. Оптимальная продолжительность сбора данных для идентификации пользователей по динамике управления мышью не найдена и в разных работах колеблется от полсекунды до получаса.

Методика К. Эппа [1] оценки эмоций пользователей основана на самоотчете и не предусматривает специальных приемов индукции эмоций. Однако самоотчет не является объективным. Ф. Зиммерман использует видеосюжеты для индукции настроений, а сбор данных осуществляет при совершении покупок в Интернет-магазине. Однако этот автор не находит подтверждения корреляции между на-

строениями и признаками управления мышью. Тем не менее психологами доказана идеаторность эмоций и то, что музыкальные, художественные произведения, фильмы способны ввести человека в соответствующее эмоциональное состояние. Звуки и виды природы, наблюдение за играющими животными или детьми приводят в равновесие, расслабляют и вызывают позитивные эмоции. Сцены жестокого обращения с животными вызывают агрессию и т.п. Исследования посредством оценки деятельности испытуемых и имитация игровых ситуаций показали видимое отличие паттернов динамики мощности ЭЭГ при методах внешней индукции от паттернов при внутренней индукции эмоций [5].

Цель работы - исследовать изменения в динамике манипуляций УУК под воздействием эмоций радости и страха по сравнению с динамикой в нейтральном состоянии. Для достижения поставленной цели необходимо решить такие задачи: 1) разработать алгоритмы и программное обеспечение для сбора данных и вычисления информативных признаков динамики манипуляций УУК, 2) обеспечить одинаковые для всех испытуемых лабораторные условия проведения эксперимента, 3) провести эксперимент, 4) сравнить признаки динамики манипуляций УУК в состоянии страха и радости с признаками в нейтральном состоянии.

Основные материалы исследования

Программное обеспечение. Предварительные результаты обработки динамики управления мышью показали, что перед нажатием на кнопку иногда происходит прицеливание. Вследствие этого снижается скорость до полной остановки указателя мыши. После отжатия кнопки задержка перед движением составляет 15-310 мс, чаще 46-47 мс. Поэтому для фиксации событий мыши используем комбинированный подход: фиксируем события мыши, если они происходят, и положения мыши каждые 46-47 мс, если событий нет.

Алгоритмы вычисления информативных признаков и их статистических характеристик реализованы на C++ с учетом возможных межклавишных перекрытий. Для доступа к УУК взят изначальный у ОС Windows программный интерфейс Windows Messaging. Разработанное программное обеспечение получает независимую от устройства ввода информацию посредством WM_MOUSEMOVE, WM_CHAR. Форма сбора данных - специально разработанный простой интерфейс - минимизирует потерю фокуса внимания и требует до 3-х минут тестирования.

В качестве информативных признаков печатания на клавиатуре взяты время удержания клавиш Т1 и время пауз между нажатиями клавиш Т2 по фиксированной фразе из 21 символа; признаков динамики управления мышкой - поправка на расстояние при достижении указателем мыши цели r, кривизна кривой (по модулю), которую описывает указатель при перемещении мыши k, скорость движения v, ускорение указателя мыши а, общее время управления мышью t.

Х = (хТ1, xT2, xr, xv, xa, xk, xt) - совокупность значений признаков. В [4] даны выражения для их вычисления. Статистические характеристики: математические ожидания Мх, дисперсии Dxh максимальные значения Мах, /={1,2, ...7}.

Лабораторные условия проведения эксперимента

Техническое обеспечение. Во избежание лишних погрешностей исследование проводим за одним и тем же ПК: процессор AMDAthlon™ 64X2 Dual Core Processor 4200+, ОЗП 1Гб, видеокарта NVIDIA GeForce 9500 GT, ОС Windows XP SP3, монитор LG Flatron L1717S. Мышь - 4-кнопочная проводная оптическая, весом 100 г, с сенсорным разрешением 1000 dpi, USB интерфейсом - Canyon CNR-MSL4. Клавиатура стандартная Sven KB-2225 с PS/2 интерфейсом.

Условия лаборатории: помещение в спокойных тонах без отвлекающих факторов, температура комнатная, освещение верхнее (5 лампочек по 100 W на расстоянии 2 м от рабочей поверхности). Время проведения эксперимента с 15 до 17.00, пока «гомон бодрости» кортизол не начал снижаться у людей разных биологических ритмов. Каждый испытуемый проходит тестирование отдельно от других.

Участники эксперимента, в количестве N=4, поставлены в известность о цели его проведения. Все имеют стаж регулярного пользования ПК более 8 лет.

Эксперимент. Эксперимент проводим в три этапа: в нейтральном состоянии, в состоянии радости и страха. Под нейтральным состоянием в психологии понимают отсутствие явно выраженных эмоций (безразличие, беззаботность и т.п.). Отдельное внимание уделим внешней индукции эмоций, поскольку способ внутренней индукции, самоотчет менее эффективны.

Вначале каждый испытуемый был введен в нейтральное состояние. Для этого проводилась позитивная дружеская беседа. Затем был предложен просмотр спокойного видеосюжета на 10 мин с видами природы, звуками волн, дождя, пения птиц. После этого испытуемый удобно располагался за ПК. Тестирование проводилось путем последовательного набора предложенной фразы и ответа на простые вопросы нажатием мышью предусмотренных для этого кнопок в форме сбора данных. Такую процедуру испытуемый проходил шесть раз. Фиксированные фразы трижды менялись, как и вопросы. Во время тестирования отсутствовали внешние отвлекающие факторы, звуки природы продолжали звучать вдвое тише.

Количество испытаний в каждом состоянии ограничено шестью, ввиду возможной кратковременности эмоций, усталости испытуемого, но достаточно для применения методов непараметрической статистики к обработке данных.

На втором этапе эксперимента каждый испытуемый был введен в состояние радости путем просмотра 10-15 мин видеосюжета об удачных трюках сноуборди-стов, которые снимались камерами GoPro на фоне гор с соответствующим музыкальным сопровождением. Трюки включали фристайл и прыжки с вертолета и вызывали не только радость, но и восторг (самоотчет). После просмотра фильма испытуемый делал те же действия, что и на первом этапе. Тихо звучала музыка сюжета, а испытуемый по просьбе автора улыбался.

На третьем этапе эксперимента каждый испытуемый был введен в состояние страха. Испытуемому задавался вопрос «чего ты боялся в детстве» и обсуждался некоторое время. Затем предлагался просмотр видеосюжета на 10 мин о том, как необъяснимая сила пугает в большом доме, во дворе маленькую девочку (выключает свет, закрывает/открывает окна/двери, убивает птицу и т.д.). После просмотра фильма испытуемый делал те же действия, что и на первом этапе, под тихую музыку сюжета.

Фразы на каждом этапе подобраны под соответствующую эмоцию, например: «чувствую себя хорошо», «я прыгаю от восторга», «в сердце застыл ужас». Собранные данные после каждого набора фразы и манипуляций мышью при ответах на вопросы формы сохранены в отдельном файле.

Методы обработки. Статистические методы выявления резко выделяющихся наблюдений не применялись, поскольку информация о качестве измерений пространственно-временных координат курсора полна и надежна, а все факторы влияния на динамику манипуляций УУК, кроме индивидуального, одинаковы для всех испытуемых.

Для доказательства достоверности различий между выборочной совокупностью признаков в разных эмоциональных состояниях использовались методы непараметрической статистики, поскольку данные не распределены по нормальному закону [4]. Достоверности гипотезы о равенстве дисперсий проверены критерием Муда (п=6, т=6). Для сравнения средних значений информативных признаков динамики пользователей УУК применен ранговый Т-критерий Вилкоксона, поскольку выборки образуют связные пары событий. Контрольной является выборка признаков динамики испытуемых в нейтральном состоянии.

Результаты исследования представлены в табл. 1 и 2.

Таблица 1

Достоверности гипотезы о существенности различий средних

Испы- туемый Эмоция радости

Mxti MaxTl _MXt2 MaxT2 Mxr Maxr Mxv Maxv MXa Maxa Mxk Maxk Xt

1 0,9 0,9 0,9 0,9 0,9 0,9 0,9 0,9 - 0,9 0,9 0,9 0,95

2 0,95 - 0,95 0,95 - - - - 0,95 0,95 - - 0,9

3 0,95 0,9 0,95 - - 0,95 - - - - - 0,9 0,95

4 0,9 - 0,9 - 0,9 - - - - - 0,9 - 0,9

Эмоция страха

1 0,95 - 0,95 0,9 0,95

2 0,9 - 0,95 - - - 0,95 0,9 - - 0,95 0,95 0,95

3 0,95 - - 0,95 - - - - - - - 0,95 -

4 - - 0,9 - 0,9 - - - - - 0,9 0,9 0,9

В состоянии радости клавиатурный почерк показал, что статистически значимо уменьшились в сравнении с нейтральным состоянием у всех испытуемых Мхт2 на 6-23 % и МхТ1 на 1,2-12,3 %; гипотезы о равенстве дисперсий DхТ\ отвергнуты у испытуемых 1, 2 и DхТ2 - у 1, 4. В состоянии страха статистически значимо уменьшились в сравнении с нейтральным состоянием Мхт2 у испытуемых 1, 2, 4 на 13-20 %, Мхп у испытуемых 1, 2, 3 на 11,2-13,6 %, а у 4-го Мхп не дало статистически достоверных изменений.

Динамика манипуляций мышью в состоянии радости показала, что Мхг и Мхк статистически значимо уменьшились у испытуемых 1 (на 100 и 325 %) и 4 (на 30 и 107 %), а у 2 и 3 - не дали статистически достоверных различий в сравнении с нейтральным состоянием. Причем у испытуемого 4 Мху и Мха остались почти неизменны, а гипотезы об однородности дисперсий Бхг, Dхk и Бха отвергнуты. Общее время управления мышью при достижении цели в состоянии радости на 1,3-25 % статистически значимо уменьшилось у всех испытуемых от нейтрального состояния. В состоянии страха этот признак статистически значимо уменьшился у двоих испытуемых, у одного увеличился.

Таблица 2

Достоверности гипотезы о равенстве дисперсий

Испы- туемый Эмоция радости Эмоция страха

Dxti DXt2 Dxr Dxv DXa Dxk Dxti DXt2 Dxr Dxv DXa Dxk

1 - - 0,9 - - 0,9 0,9 - 0,9 0,9 0,9 0,9

2 - 0,95 - 0,95 - 0,9 - - - 0,9 0,95 -

3 0,95 0,95 - 0,9 - - 0,9 0,9 0,9 0,9 0,9 0,9

4 0,9 - - 0,9 - - - - 0,9 0,9 0,9 -

В проведенном эксперименте (табл. 1, 2) статистически значимые различия индивидуальной динамики манипуляций УУК всех испытуемых показали значения признаков МхТ1, МхТ2, х{ и Бха в состоянии радости по сравнению с нейтральным. Динамика испытуемого 1 по сравнению с остальными оказалась более подверженной влиянию эмоции радости. В состоянии страха ни по одному из признаков динамика манипуляций УУК всех испытуемых не показала статистически значимых различий в сравнении с нейтральным состоянием.

Обсуждение. Поставленные задачи исследования выполнены, цель достигнута. Однако недоступность доказательно точных средств оценки эмоций, например нейрофизиологических, и отсутствие четких критериев эмоциональных состояний в психологии (отличие/схожесть от психических, нервных, функциональ-

ных состояний) могло исказить полученные результаты. Влияние индивидуального фактора может быть велико и у каждого пользователя - свой набор информативных признаков. Необходимы дальнейшие исследования с применением дополнительных средств оценки эмоций. Целесообразно применение оценки эмоций по динамике манипуляций УУК в работе представителей профессий человек-оператор для предупреждения различных категорий ошибок.

Выводы. В работе исследованы изменения динамики манипуляций УУК под воздействием эмоций радости и страха. Получены общие статистически значимые изменения динамики манипуляций УУК от воздействия эмоции радости по сравнению с нейтральным состоянием: уменьшились время удержания клавиш на 6-23 %, паузы между нажатиями клавиш на 1,2-12,3%, общее время управления мышью на 1,3-25 %. Результаты не показали статистически достоверных изменений всех рассмотренных признаков динамики при влиянии эмоций радости и страха. Причина тому - индивидуальные факторы (остальные факторы были идентичны для всех испытуемых). Перспективным является выявление у каждого пользователя своего набора более информативных признаков.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Epp C., Lippold M., Mandryk R.L. Identifying emotional states using key-stroke dynamics // CHI 2011, Vancouver, BC, Canada, May 7-12, 2011. - P. 715-724.

2. Zimmermann P.G. Beyond Usability - Measuring Aspects of User Experience: dis. dr. Sciences. - Swiss federal institute of technology, Zurich, 2008. - 112 p.

3. Скринникова Г.В. Дослідження впливу технічних характеристик зовнішніх пристроїв персональних комп’ютерів на індивідуальну динаміку маніпуляцій мишею // Інформаційна безпека. - 2012. - № 2 (8) - C. 144-150.

4. Скринникова Г.В. Дослідження впливу станів зниженої реакції та уваги на динаміку маніпуляцій пристроями управління курсором // Cybaggr’2012: Материалы Всеукр. НПК, 12-14 ноября Луганск, 2012 г. - C. 46-54.

5. Данько С.Г., Бехтерева Н.П., Шемякина Н.В., Антонова Л.В. Электроэнцефалографиче-ские корреляты мысленного переживания эмоциональных личных и сценических ситуаций. Сообщение II. Характеристики пространственной синхронизации // Физиология человека. - 2003. - T. 29, № 6. - C. 5-15.

Статью рекомендовал к опубликованию д.т.н., профессор Е.А. Башков.

Скринникова Анна Владимирована - Луганский национальный университет им. Тараса Шевченко; e-mail: Ann3005@rambler.ru; 91015, Украина, г. Луганск, кв. Мирный, 7, кв. 72; тел.: +380508642951; аспирантка.

Skrynnykova Anna Vladimirovna - Luhansk Taras Shevchenko National University; e-mail: Ann3005@rambler.ru; 7, kv. Mirny’j, app.72, Luhansk, 91015, Ukraine; phone: +380508642951; postgraduate student.

УДК 004.93

Т.С. Лугуев

МЕТОДЫ КОМПЬЮТЕРНОГО АНАЛИЗА ВЫРАЖЕНИЯ ЧЕЛОВЕЧЕСКОГО ЛИЦА*

В настоящей работе рассматриваются проблемы разработки методов и интеллектуальных систем компьютерного анализа выражения человеческого лица. Актуальность данной темы обуславливается необходимостью создания систем, автоматически распо-

* Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (гранты №12-07-31084_мол_а и №12-07-96500-р_юг_а).

i Надоели баннеры? Вы всегда можете отключить рекламу.