Научная статья на тему 'ФОРМАЛИЗАЦИЯ НАБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ ДИНАМИКИ МАНИПУЛЯЦИЙ УСТРОЙСТВАМИ УПРАВЛЕНИЯ КУРСОРОМ ПРИ РЕШЕНИИ ЗАДАЧИ ДИАГНОСТИКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ОПЕРАТОРОВ БТС'

ФОРМАЛИЗАЦИЯ НАБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ ДИНАМИКИ МАНИПУЛЯЦИЙ УСТРОЙСТВАМИ УПРАВЛЕНИЯ КУРСОРОМ ПРИ РЕШЕНИИ ЗАДАЧИ ДИАГНОСТИКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ОПЕРАТОРОВ БТС Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
47
12
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
УСТРОЙСТВА УПРАВЛЕНИЯ / ЗАДАЧА РАСПОЗНАВАНИЯ / ИНДИВИДУАЛЬНАЯ ДИНАМИКА / CONTROL DEVICES / RECOGNITION TASK / INDIVIDUAL DYNAMICS

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Сергеев Николай Евгеньевич, Скринникова Анна Владимировна

Информативные признаки динамики манипуляций устройствами управления типа стилус, палец, специальная ручка, мышь, трекбол, трекпоинт, сенсорная панель, ручка управления типа джойстик, игровой пульт, клавиатура, систем типа Microsoft Kinect, Leap Motion и т.п. играют важную роль при разработке программных комплексов идентификации операторов биотехнических систем по их индивидуальной динамике, при решении задач диагностики различных психоэмоциональных состояний и эффективности деятельности операторов в сферах технической и правоохранительной безопасности, медицинской и энергетической сферах, образовании и др. Система таких признаков однозначно не определена специалистами, поэтому решение этой задачи является актуальным. Цель работы - формализовать набор информативных признаков динамики манипуляции устройствами управления курсором при решении задачи диагностики эффективности деятельности операторов биотехнических систем. Поскольку вся сложность управления подобными устройствами переместилась с исполнительной части двигательных актов на центральные механизмы их регуляции в качестве конкретного примера, не нарушая общности, рассматриваются данные, полученные при манипуляциях с клавиатурой и мышью. Для достижения поставленной цели разработана схема взаимодействия оператора (биологического звена) с техническим звеном биотехнических систем, представлен краткий обзор наиболее часто используемых признаков динамики манипуляций устройствами управления, рассмотрен байесовский подход при статистической постановке задачи распознавания, на основе анализа ряда работ и собственных исследований произведена формализация набора информативных признаков динамики клавиатурного почерка и динамики манипуляций мышью, Также для диагностики эффективности деятельности операторов построены нечеткие правила на основе этого набора информативных признаков. Прогноз эффективности деятельности операторов, построенный на нечетких правилах по отобранным признакам, дал точность более 90 %. Для получения таких результатов был разработан программный комплекс. Преимуществом использования динамики манипуляций устройствами управления курсором операторов биотехнических систем при решении задачи диагностики эффективности деятельности операторов является отсутствие специального оборудования, требующего дополнительных затрат.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Сергеев Николай Евгеньевич, Скринникова Анна Владимировна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

FORMALIZATION OF A SET OF INFORMATIVE SIGNS THE DYNAMICS OF MANIPULATION BY CONTROL DEVICES TO SOLVING THE PROBLEM OF DIAGNOSING THE PRODUCTIVITY OF BTS OPERATORS

Informative signs of the dynamics of manipulation by control devices such as a mouse and keyboard play an important role in the development of software complexes for the identification of biotechnical systems (BTS) operators by their individual dynamics, in solving problems of diagnostics of various psycho emotional states and operator productivity. It finds application in the spheres of technical and law enforcement security, medical and energy spheres, etc. The purpose of this work is to formalize a set of informative signs of the dynamics of manipulation by control devices to solving the problem of diagnosing the productivity of BTS operators. To achieve this goal, an overview of the most frequently used features is presented, the Bayesian approach is considered in the statistical formulation of the recognition problem, a set of informative sings of the dynamics of keyboard handwriting and the dynamics of mouse manipulations is formalized based on the results of a number of works. Operator productivity forecast based on fuzzy rules based on selected criteria gave an accuracy of more than 90%. The advantage of using the dynamics of manipulation of the control devices of the BTS operators is the absence of special equipment that requires additional costs.

Текст научной работы на тему «ФОРМАЛИЗАЦИЯ НАБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ ДИНАМИКИ МАНИПУЛЯЦИЙ УСТРОЙСТВАМИ УПРАВЛЕНИЯ КУРСОРОМ ПРИ РЕШЕНИИ ЗАДАЧИ ДИАГНОСТИКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ОПЕРАТОРОВ БТС»

УДК 004 DOI 10.18522/2311-3103-2020-5-185-193

Н.Е. Сергеев, А.В. Скринникова

ФОРМАЛИЗАЦИЯ НАБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ ДИНАМИКИ МАНИПУЛЯЦИЙ УСТРОЙСТВАМИ УПРАВЛЕНИЯ КУРСОРОМ ПРИ РЕШЕНИИ ЗАДАЧИ ДИАГНОСТИКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ОПЕРАТОРОВ БТС

Информативные признаки динамики манипуляций устройствами управления типа стилус, палец, специальная ручка, мышь, трекбол, трекпоинт, сенсорная панель, ручка управления типа джойстик, игровой пульт, клавиатура, систем типа Microsoft Kinect, Leap Motion и т.п. играют важную роль при разработке программных комплексов идентификации операторов биотехнических систем по их индивидуальной динамике, при решении задач диагностики различных психоэмоциональных состояний и эффективности деятельности операторов в сферах технической и правоохранительной безопасности, медицинской и энергетической сферах, образовании и др. Система таких признаков однозначно не определена специалистами, поэтому решение этой задачи является актуальным. Цель работы - формализовать набор информативных признаков динамики манипуляции устройствами управления курсором при решении задачи диагностики эффективности деятельности операторов биотехнических систем. Поскольку вся сложность управления подобными устройствами переместилась с исполнительной части двигательных актов на центральные механизмы их регуляции в качестве конкретного примера, не нарушая общности, рассматриваются данные, полученные при манипуляциях с клавиатурой и мышью. Для достижения поставленной цели разработана схема взаимодействия оператора (биологического звена) с техническим звеном биотехнических систем, представлен краткий обзор наиболее часто используемых признаков динамики манипуляций устройствами управления, рассмотрен байесовский подход при статистической постановке задачи распознавания, на основе анализа ряда работ и собственных исследований произведена формализация набора информативных признаков динамики клавиатурного почерка и динамики манипуляций мышью, Также для диагностики эффективности деятельности операторов построены нечеткие правила на основе этого набора информативных признаков. Прогноз эффективности деятельности операторов, построенный на нечетких правилах по отобранным признакам, дал точность более 90 %. Для получения таких результатов был разработан программный комплекс. Преимуществом использования динамики манипуляций устройствами управления курсором операторов биотехнических систем при решении задачи диагностики эффективности деятельности операторов является отсутствие специального оборудования, требующего дополнительных затрат.

Устройства управления; задача распознавания; индивидуальная динамика.

N.E. Sergeev, A.V. Skrinnikova

FORMALIZATION OF A SET OF INFORMATIVE SIGNS THE DYNAMICS OF MANIPULATION BY CONTROL DEVICES TO SOLVING THE PROBLEM OF DIAGNOSING THE PRODUCTIVITY OF BTS OPERATORS

Informative signs of the dynamics of manipulation by control devices such as a mouse and keyboard play an important role in the development of software complexes for the identification of biotechnical systems (BTS) operators by their individual dynamics, in solving problems of diagnostics of various psycho emotional states and operator productivity. It finds application in the spheres of technical and law enforcement security, medical and energy spheres, etc. The purpose of this work is to formalize a set of informative signs of the dynamics of manipulation by control devices to solving the problem of diagnosing the productivity of BTS operators. To achieve this goal, an overview of the most frequently used features is presented, the Bayesian approach is considered in the statistical formulation of the recognition problem, a set of informative sings of the dynamics of keyboard handwriting and the dynamics of mouse manipulations is formalized based

on the results of a number of works. Operator productivity forecast based on fuzzy rules based on selected criteria gave an accuracy of more than 90%. The advantage of using the dynamics of manipulation of the control devices of the BTS operators is the absence of special equipment that requires additional costs.

Control devices; recognition task; individual dynamics.

Введение. Управление сложными техническими системами: энергоблоками, бортовыми системами корабля, беспилотными летающими аппаратами, рентгенографическими аппаратами и др. либо их разработка осуществляется человеком при помощи различных устройств управления: мышь, стилус, палец, специальная ручка, ручка управления типа джойстик, клавиатура, системы типа Microsoft Kinect, Leap 3D, ZeroN [1-4] и т.п. Современные БТС создают дружественными к человеку, однако, в них либо не предусматривается реагирование на существенные изменения состояний операторов и на их индивидуальные особенности либо реализации подобных решений дорого стоят. Существуют исследования [3, 5, 6], указывающие на то, что при помощи различных управляющих устройств, можно отследить, в частности, психоэмоциональные состояния (ПЭС), производительность оператора. Корректируя, в случае необходимости, например, состояния сниженного внимания, можно добиться повышения эффективности деятельности операторов БТС и, как следствие, повышения эффективности функционирования всей БТС.

На рис. 1 представлена схема взаимодействия оператора с техническим звеном БТС. Оператор в большинстве случаев работает либо с устройством типа мышь (выбирает указателем мыши цели) либо с устройством типа клавиатура (работа с текстом). Каждое устройство дает определенный набор информативных признаков динамики при манипуляции ним. Например, признаками клавиатурного почерка [3, 5, 11, 19, 20] служат длительность между удержанием соседних клавиш x0, длительность удержания клавиши хь длительность между отжатием одной и нажатием следующей клавиши x2 и т.п. Признаков динамики управления мышью гораздо больше (67 признаков обнаружено в работе [5]), например: x3 - поправка на расстояние при достижении указателем мыши цели, x4 - скорость движения, x5 - ускорение указателя мыши, x6 - кривизна кривой, которую описывает указатель при перемещении мыши, х7 - общее время манипуляций мышью, х8 - угловая скорость мыши, х9 - длина кривой, которую описывает указатель при перемещении мыши [12-16]. Выбор информативных признаков является важнейшим этапом построения решающего правила, по которому будет надежно отличима, например, низкая эффективность деятельности оператора от высокой. Система таких признаков однозначно не определена специалистами, поэтому решение этой задачи является актуальным.

Рис. 1. Схема БТС«оператор-техническая система»

Изложение основного материала. Известно, что эффективность деятельности оператора зависит от его ПЭС и психомоторики [17, 18]. Разработаны методы и системы диагностики различных состояний операторов, использующие специальное оборудование. Например, изобретение [7] описывает систему контроля эмоционального состояния пользователя в процессе потребления мультимедийного содержания, в которой физиологические реакции: сердцебиение, давление, температуру, экспрессию лица, голос, жесты, - измеряют биосенсорами, инфракрасными камерами, микрофонами. Карточки учета рабочего времени, динамические и статические методы биометрии контролируют опоздания, нецелевое время, но не анализируют эффективность деятельности операторов. Применяют также и методы, не требующие дополнительных затрат: диагностика эффективности деятельности оператора на основе динамики манипуляций устройствами управления (ДМУУК). В работе [4] подобный метод отличается наименьшей средней квадратичной ошибкой по точности диагностики эффективности деятельности оператора среди аналогов [6, 8], фиксацией событий управляющих устройств и учетом пауз при манипуляциях ними, расчетом по фиксированным событиям признаков ДМУУК их числовых характеристик для дальнейшей диагностики путем сравнения текущей динамики с полученным заранее в нейтральном состоянии «эталонным» образцом динамики.

Произведем отбор информативных признаков ДМУУК при решении задачи диагностики эффективности деятельности операторов БТС.

Пусть эффективности деятельности оператора принадлежит одному из М возможных классов Е1,...,ЕМ множества Е = {Е1,.,ЕМ }. Есть совокупность признаков ДМУУК - (х1, . ,хдг), которые могут быть использованы как признаки для диагностики одной из множества эмоций пользователя. Необходимо построить решающее правило —> М, которое отобразит множество Х<Ы) - {Х^}

возможных значений признаков хь...хлтна множество М - {1,...,М} номеров состояний Е1,.,ЕМ, т.е., построить алгоритм определения значений индикаторной переменной 5 - Б (Х^) в виде

1, если X(**) е О1 5 = < ...

М, если X(Я} е Ом где От, т - 1,...М- непересекающиеся области пространства

в которых

принимаются решения в пользу класса Ет.

Здесь возникает статистическая постановка задачи распознавания [9], поскольку при различных уровнях эффективности деятельности Ег Ф Е,- могут совпадать значения каждого из имеющихся признаковХп (1 <п<Ы). То есть допускается, что множества значений каждого признака, соответствующие различным классам, пересекаются.

При статистической постановке задачи распознавания часто используют байесовский подход, согласно которому классы эффективности деятельности Еь..., ЕМ рассматриваются как случайные события с априорными вероятностями Р(Ет),

= 1, признаки - как случайные величины, для которых объективно существуют условные распределения р{ (ХЫ) | Ет), а множества Х^ = {Х(Л,):р(х(Л,) |Ет) Ф 0}, Х^ и...иХ^") = Хт - собственные области классов в пространстве признаков.

Байесовский метод построения решающего правила 5 - D(Х(N')) состоит в следующем. Пусть известны априорная вероятность Р(Ет) и условные распределения

р(Х^)\Ет), определены значения признаков X^ = X, ••, XN = Хдт. Необходимо

определить текущее состояние объекта Ет е Е. По формуле Байеса находим апостериорные вероятности:

хЦр = {X (х м I Ет) * о }, х™ и ... и X™ = X

Соответствующее правило максимума апостериорной вероятности трех информативных признаков эквивалентно правилу вида

1, если > Л-012, Л13 > ^013 5 = <! 2, если Ли < Л012 , Л23 > Л023 3 если Л13 < Л013 , Л23 < Л023 '

где

hi -

Л)13 -

P( X(N) | P( X(N )|£2)i

P(Ei)

h13 -

P(X(N) | E1)

Л)23 -

P( X

P(Ei)

(N )

E3)

h23 -

P(XX(N )|Ei)

P(X(N) | E3)

4)12 -

P(Ei) P(Ei)

P(E3), )23 P(E3) .

Для оценки эффективности признаков при статистической постановке задачи распознавания используют информационный подход, согласно которому полезность признака связывают с уменьшением неопределенности (шенноновской энтропии) [10]. При этом следует различать информативность отдельного признака и информативность признака в совокупности с другими.

С точки зрения достоверности результатов диагностики эффективности деятельности более удачной оценкой полезности признака могут служить не изменение средней условной энтропии Н(Е | Х(N>), а изменение средней вероятности ошибки Р(е) или, в общем случае, среднего риска.

Очевидно, при числе классов М для любого фиксированного ХМ= X 'М> условная вероятность ошибочных решений Р (е I X (N) ) = 1 — max{P (E1 | X (N) ) , Р (Е2 | X (N) ) } однозначно определяет и частную условную энтропию

H(E | X(N)) - -P(e | X(N)) log 2 P(e | X(N)) - [1 - P(e | X(N))] log 2 [1 - P(e | X(N))]

Однако признаков ДМУУК достаточно много и трудоемко рассчитать энтропии для всех возможных их сочетаний. Поэтому поступим иначе.

Отбор информативных признаков динамики манипуляций устройствами управления. Рассмотрим ДМУУК клавиатурного почерка по фиксированной фразе с учетом возможных перекрытий между клавишами. Составим массив межклавишных взаимодействий T из событий нажатия и отжатия и времени нажа-тия/отжатия клавиш. Пример данных представлен в табл. 1. Напротив каждой из набранных букв фразы «My dog is very big.» указан элемент массива

Т T12

Т -

Т л

... T1n

T T ... T

V 21 22 ••' 2n J

где п - количество нажатий клавиш при наборе фиксированной фразы, Т// - признак удержания/отжатия i-й клавиши (/=1 - клавиша нажата, /=2 - клавиша отжата), Т1/ - длительность удержания (Т2/ - отжатия) /-й клавиши, /'=1,2,...,п. Знаками Т и условно обозначены отжатия и нажатия клавиш соответственно. Фраза набрана без ошибок с одним двойным перекрытием между буквами «е» и «г».

Таблица 1

Пример данных, извлеченных из клавиатурного почерка

Клавиша Время в мс, прошедшее с момента запуска Windows Xj x0 X2

m ¿10322218 t10322312 94 125 31

y ¿10322343 Î10322437 94 157 63

v e^10325609 ^10325734 156 110 -46

e et10326390 rt10326500 125 234 109

r ¿10326734 Î10326812 78 312 234

y ¿10327046 Î10327109 63 1047 984

- ¿10328093 Î10328156 63 328 265

Анализ наиболее часто используемых признаков х0, х1 и х2 показал, что х0[/] = х1[/] + х2[/]. То есть, если у оператора под влиянием каких-то факторов увеличатся х1 и уменьшатся х2 или наоборот, то вероятность ошибочных решений будет выше при учете трех признаков х0, х1, х2, чем при учете только х1 и х2. Поэтому целесообразно использовать только х1 и х2 без х0. Хотя в процессе исследований по идентификации пользователей по клавиатурному почерку иногда используют триграммы и даже слова [11].

Данные динамики манипуляций мышью получают путем сбора событий мыши (будь то перемещение, перетаскивание или нажатия кнопки) и длительности этих событий / в миллисекундах, XX и УУ координат курсора на экране монитора.

В табл. 2 дан анализ некоторых работ по точности диагностики эмоций при использовании различных признаков ДМУУК. Как видно признак х7 дает хорошие результаты при распознавании. В работе [3] высокие результаты дал признак х6. Поэтому имеем X = (х1, х2 , х6, х7) - совокупность информативных признаков ДМУУК.

Таблица 2

Сравнительный анализ зависимости между точностью диагностики эмоций и использованными признаками ДМУУК [11 - 14, 1]

Признак Исследователи Точность

^ х8 S. Singh, Dr. K.V. Arya Ошибки I, II рода до 6%

Х4Х5Х7, дрожание руки Kaklauskas A., Zavadskas E.K., Seniut M.[at al] Не указано

Х3Х4, Х5 Maehr W. Достоверности гипотез об однородности дисперсий до 45%, 100%

Х7, Х9 Weiss A.,Ramapanicker A., Shah P. [at al] Точность распознавания до 80-92%

Х3, Х4, Х5,Хб, Х7 Скринникова А.В. Точность распознавания до 90/90/90/95/99%

Построение нечетких правил на основе набора информативных признаков для диагностики эффективности деятельности операторов. Поскольку, сильное возбуждение: аффект, психоз и т.п. - вносят существенный разлад в деятельность человека; возбуждение: кураж, интенсивные эмоции - восторг, гнев,

ужас и т.д. - могут принести пользу в деятельности; депрессивное состояние может повлечь состояния сильно сниженной реакции («сон»), сниженной реакции, активности сознания, внимания («транс»), то поставим описанные ПЭС в соответствие одному из пяти классов производительности операторов Р [в долях ед.]: р5 - производительность в норме; р4 - кураж, р3 - транс, р2 - аффект, р1 - сон.

В случае диагностики эффективности деятельности по динамике манипуляций мышкой входные параметры Х (х6, х7). Входные лингвистические переменные х6 и х7 описываются терм-множествами х61 - «минимальная кривизна кривой, которую описывает указатель при перемещении мыши», х62 - «средняя кривизна кривой», х63 - «максимальная кривизна кривой» и х71 - «минимальное время манипуляций мышью», х72 - «среднее время», х73 - «максимальное время» соответственно:

Х7 = К( Х71V Х71 +М х72 V Х72 + К( х73 V х73

и

Х6 = К(Х61VХ61 + К(х62)/ х62 +М(Х63 Vх63 •

Функции принадлежности получены при экспериментальном исследовании [4] в виде треугольных функций.

Выходная лингвистическая переменная Р («эффективность деятельности оператора БТС») задана на терм-множествах р5 - «эффективность деятельности в норме»; р4 - «кураж», р3 - «транс (снижена)»; р2 - «аффект», р1 - «сон (эффективность деятельности крайне низкая)»:

Р = К(РО/ Р1 + К(Р2)1 Р2 + К(Ръ)1 Р3 + К(Р4VР4 +М(Р5)1 Р5 •

Представим базу нечетких правил вида «Если ... То»:

ЕСЛИ К(.Х61)1х61 И К(Х71УХ71 , ТО ^1(Р5)/Р5 ,

ЕСЛИ ^(х61)/х61 И ц(Х72 VХ72 ИЛИ ЕСЛИ КХ62 VХ62 И К*71)/ Х71 , ТО К(Р4)Р4 ,

ЕСЛИ К(Х61VХ61 И К(Х73 VХ73 ИЛИ ЕСЛИ К(Х62 VХ62 И К(Х72 VХ72 ИЛИ ЕСЛИ К(Х63 VХ63 И К(Х71VХ71 ' ТО К(Р3 VР3 ,

ЕСЛИ К(Х63 VХ63 И К(Х72 VХ72 ИЛИ ЕСЛИ К(Х62)/Х62 И К(Х73 VХ73 , ТО КСЫ/Р2 ,

ЕСЛИ К(Х63 VХ63 И К(Х73 VХ73 > ТО К(л)/Р1 •

В результате применения информативных признаков х^ и ху и указанных нечетких правил при мониторинге ДМУУК в работе [4] получена точность прогноза эффективности деятельности операторов методом, основанным на нечеткой логике и мягких арифметических операциях, 90,14 %. Прогнозные значения сравнивались с данными, полученными из протоколов работы операторов по итогам отправки электронных писем участникам конференции результатов рецензирования присланных статей.

Заключение. В работе представлена формализация набора информативных признаков динамики манипуляций устройствами управления курсором. Разработанный программный комплекс, учитывающий описанный набор информативных признаков динамики манипуляций устройствами управления курсором, дал точность прогноза эффективности деятельности операторов более 90 %. Преимуществом предложенного комплекса является отсутствие специального оборудования, требующего дополнительных затрат.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Lee J., Post R., Ishii H. ZeroN: Mid-Air Tangible Interaction Enabled by Computer Controlled Magnetic Levitation // UIST'11, Santa Barbara, CA, USA, October 16-19, 2011. - P. 10.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2. Сатыбалдина Д.Ж., Калымова К.А. Разработка приложения, управляемого жестами, с использованием Microsoft Kinect Sensor // Сб .тр. 21-й междунар. конф. «Цифровая обработка сигналов и её применение» - DSPA-2019, Москва, 27-29 марта 2019 г. - С. 525-529.

3. Скринникова А.В. Изменение индивидуальной динамики манипуляций устройствами управления курсором под влиянием эмоций страха и радости // Известия ЮФУ. Технические науки. - 2013. - № 5 (142). - С. 246-251.

4. Бобырь М.В., Скринникова А.В., Милостная Н.А., Серегин С.П. Нечеткая биотехническая система управления производительностью человека-оператора // Медицинская техника. - 2017. - № 4 (304). - C. 46-50.

5. Zimmermann P.G. Beyond Usability - Measuring Aspects of User Experience: dis. dr. sciences. Swiss federal institute of technology. - Zurich, 2008. - 112 p.

6. Сержантова М.В., Ушаков А.В. Конечные цепи Маркова в модельном представлении деятельности человека-оператора в квазистатической функциональной среде // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - Т. 16, № 3. - С. 524-532.

7. Пат. 7698238 US, МПК G06F 17/00. Emotional controlled system for processing multimedia data / A. Barletta(DE), B. Moser(DE), M. Mayer(DE); assignee Sony Duetschland GmbH, Cologne (DE) - 13.04.2010. - 10 p.

8. Евдокименков В.Н., Ким Р.В., Красильщиков М.Н., Себряков Г.Г. Системы управления движущимися объектами // Известия РАН. Теория и системы управления. - 2015. - № 4.

- С. 111-123.

9. Шлезингер М.И., Главач В. Десять лекций по статистическому и структурному распознаванию. - К : Наукова Думка, 2004. - 546 с.

10. Файнзильберг Л.С. Математические методы оценки полезности диагностических признаков: монография. - К.: Освита Украины, 2010. - 152 с.

11. Dowland P., Furnell S. A long-term trial of keystroke profiling using digraph, trigraph, and keyword latencies // Proc. of IFIP/SEC - 19th International Conf. on Information Security, Toulouse, France, 2004. - P. 275-289.

12. Weiss A., Ramapanicker A., Shah P. [at al]. Mouse Movements Biometric Identification: A Feasibility Study // Proc. of CSIS, Pace Univ., May 2007. - P. 21-28.

13. Singh S., Dr. K. V. Arya. Mouse interaction based authentication system by classifying the distance travelled by the mouse // International Journal of Computer Applications. Vol. 17, No. 1, March 2011. - URL: http://www.ijcaon-line.org/volume17/number1/pxc3872752.pdf (дата обращения: 29.11.2011).

14. Kaklauskas A., Zavadskas E.K., Seniut M.[at al]. Web-based biometric mouse decision support system for user's emotional and labour productivity analysis // The 25th Int. Symp. Automation and Robotics in Construction, 2008. - P. 69-75.

15. Maehr W. Estimation of the user's emotional state by mouse motions: diploma thesis for Fachhochschule Vorarlberg ; iTec - Information and Communication Engineering. - Dornbirn, Austria, August 2005. - P. 145.

16. Nazar A., Traore I., Ahmed A.A.E. Inverse biometrics for mouse dynamics // Int. Journ. of Pattern Recognition and Artificial Intelligence. - 2008. - Vol. 22, No. 3. - P. 461-495.

17. Ахремчик О.Л., Базулев И.И. Программный комплекс для измерения времени аудио-моторных реакций операторов систем управления химико-технологическими процессами // Программные продукты и системы. - 2017. - No. 2 (30). - С. 328-332.

18. Цагарелли Ю.А. Труды Е.П. Ильина как энциклопедия современной психологии // Психология человека в образовании. - 2019. - Т. 1, № 4. - С. 330-340. - DOI: 10.33910/26869527-2019-1-4-330-340.

19. Hughes M., Aulck L., Johnson P.W. Are there differences in typing performance and typing forces between short and long travel keyboards // Reviews of Human Factors and Ergonomics.

- Sep. 2011. - Vol. 55. - P. 954-957.

20. Giot R., El-Abed M., Rosenberger Ch. Keystroke dynamics authentication // Biometrics. Pub: InTech, 2011. - Р. 157-182.

REFERENCES

1. Lee J., Post R., Ishii H. ZeroN: Mid-Air Tangible Interaction Enabled by Computer Controlled Magnetic Levitation, UIST'11, Santa Barbara, CA, USA, October 16-19, 2011, pp. 10.

2. Satybaldina D.Zh., Kalymova K.A. Razrabotka prilozheniya, upravlyaemogo zhestami, s icpol'zovaniem Microsoft Kinect Sensor [The development of an application controlled by gestures using a Microsoft Kinect Sensor], Sb .tr. 21-y mezhdunar. konf. «TSifrovaya obrabotka signalov i ee primenenie» - DSPA-2019, Moskva, 27-29 marta 2019 g. [Collection of truls of the 21st International Conference "Digital signal processing and its application" -DSPA-2019, Moscow, March 27-29, 2019], pp. 525-529.

3. Skrinnikova A.V. Izmenenie individual'noy dinamiki manipulyatsiy ustroystvami upravleniya kursorom pod vliyaniem emotsiy strakha i radosti [Changing the individual dynamics of manipulations of cursor control devices under the influence of emotions of fear and joy], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2013, No. 5 (142), pp. 246-251.

4. Bobyr'M.V., Skrinnikova A.V., Milostnaya N.A., Seregin S.P. Nechetkaya biotekhnicheskaya sistema upravleniya proizvoditel'nost'yu cheloveka-operatora [Bioengineering fuzzy control system performance of the human operator], Meditsinskaya tekhnika [Medical equipment], 2017, No. 4 (304), pp. 46-50.

5. Zimmermann P.G. Beyond Usability - Measuring Aspects of User Experience: dis. dr. sciences. Swiss federal institute of technology. Zurich, 2008, 112 p.

6. Serzhantova M.V., Ushakov A.V. Konechnye tsepi Markova v model'nom predstavlenii deyatel'nosti cheloveka-operatora v kvazistaticheskoy funktsional'noy srede [Finite Markov chains in the model representation of human operator activity in a quasi-static functional environment], Nauchno-tekhnicheskiy vestnik informatsionnykh tekhnologiy, mekhaniki i optiki [Scientific and Technical Bulletin of Information Technologies, Mechanics and Optics], 2016, Vol. 16, No. 3, pp. 524-532.

7. Partent 7698238 US, MnK G06F 17/00. Emotional controlled system for processing multimedia data, A. Barletta(DE), B. Moser(DE), M. Mayer(DE); assignee Sony Duetschland GmbH, Cologne (DE), 13.04.2010, 10 p.

8. Evdokimenkov V.N., Kim R.V., Krasil'shchikov M.N., Sebryakov G.G. Sistemy upravleniya dvizhushchimisya ob"ektami [Control systems for moving objects], Izvestiya RAN. Teoriya i sistemy upravleniya [Izvestiya RAS. Theory and control systems], 2015, No. 4, pp. 111-123.

9. Shlezinger M.I., Glavach V. Desyat' lektsiy po statisticheskomu i strukturnomu raspoznavaniyu [Ten lectures on statistical and structural recognition]. Kiev: Naukova Dumka, 2004, 546 p.

10. Faynzil'berg L.S. Matematicheskie metody otsenki poleznosti diagnosticheskikh priznakov: monografiya [Mathematical methods for evaluating the usefulness of diagnostic signs: monograph]. Kiev: Osvita Ukrainy, 2010, 152 p.

11. Dowland P., Furnell S. A long-term trial of keystroke profiling using digraph, trigraph, and keyword latencies, Proc. of IFIP/SEC - 19th International Conf. on Information Security, Toulouse, France, 2004, pp. 275-289.

12. Weiss A., Ramapanicker A., Shah P. [at al]. Mouse Movements Biometric Identification: A Feasibility Study, Proc. of CSIS, Pace Univ., May 2007, pp. 21-28.

13. Singh S., Dr. K. V. Arya. Mouse interaction based authentication system by classifying the distance travelled by the mouse, International Journal of Computer Applications, March 2011, Vol. 17, No. 1. Available at: http://www.ijcaon-line.org/volume17/number1/pxc3872752.pdf (accessed 29 November 2011).

14. Kaklauskas A., Zavadskas E.K., Seniut M.[at al]. Web-based biometric mouse decision support system for user's emotional and labour productivity analysis, The 25th Int. Symp. Automation and Robotics in Construction, 2008, pp. 69-75.

15. Maehr W. Estimation of the user's emotional state by mouse motions: diploma thesis for Fachhochschule Vorarlberg ; iTec - Information and Communication Engineering. Dornbirn, Austria, August 2005, pp. 145.

16. Nazar A., Traore I., Ahmed A.A.E. Inverse biometrics for mouse dynamics, Int. Journ. of Pattern Recognition and Artificial Intelligence, 2008, Vol. 22, No. 3, pp. 461-495.

17. Akhremchik O.L., Bazulev I.I. Programmnyy kompleks dlya izmereniya vremeni audio-motornykh reaktsiy operatorov sistem upravleniya khimiko-tekhnologicheskimi protsessami [Software package for measuring the time of audio-motor reactions of operators of control systems for chemical and technological processes], Programmnye produkty i sistemy [Software products and systems], 2017, No. 2 (30), pp. 328-332.

18. Tsagarelli Yu.A. Trudy E.P. Il'ina kak entsiklopediya sovremennoy psikhologii [Ilyin is like an encyclopedia of modern psychology], Psikhologiya cheloveka v obrazovanii [Human psychology in education], 2019, Vol. 1, No. 4, pp. 330-340. DOI: 10.33910/2686-9527-2019-1-4-330-340.

19. Hughes M., Aulck L., Johnson P.W. Are there differences in typing performance and typing forces between short and long travel keyboards, Reviews of Human Factors and Ergonomics, Sep. 2011, Vol. 55, pp. 954-957.

20. Giot R., El-Abed M., Rosenberger Ch. Keystroke dynamics authentication, Biometrics. Pub: InTech, 2011, pp. 157-182.

Статью рекомендовала к опубликованию к.т.н. С.В. Темникова.

Скринникова Анна Владимировна - Южный федеральный университет; e-mail: ann3005@rambler.ru; 347922, г. Таганрог, ул. Чехова, 2; тел.: 89185321859; специалист по учебно-методической работе Института компьютерных технологий и информационной безопасности.

Сергеев Николай Евгеньевич - e-mail: nesergeev@sfedu.ru; тел.: 89001278025; кафедра вычислительной техники; д.т.н.; профессор.

Skrinnikova Anna Vladimirovna - Southern Federal University; e-mail: ann3005@rambler.ru; 2, Chekhov street, Taganrog, 347922, Russia; phone: +79001278025; specialist in educational and methodological work of the Institute of Computer Technologies and Information Security

Sergeev Nikolay Evgenyevich - e-mail: nesergeev@sfedu.ru; phone: +79001278025; the department of computer science; dr. of eng. sc.; professor.

i Надоели баннеры? Вы всегда можете отключить рекламу.