CC BY
148
ных состояний) могло исказить полученные результаты. Влияние индивидуального фактора может быть велико и у каждого пользователя - свой набор информативных признаков. Необходимы дальнейшие исследования с применением дополнительных средств оценки эмоций. Целесообразно применение оценки эмоций по динамике манипуляций УУК в работе представителей профессий человек-оператор для предупреждения различных категорий ошибок.
Выводы. В работе исследованы изменения динамики манипуляций УУК под воздействием эмоций радости и страха. Получены общие статистически значимые изменения динамики манипуляций УУК от воздействия эмоции радости по сравнению с нейтральным состоянием: уменьшились время удержания клавиш на 6-23 %, паузы между нажатиями клавиш на 1,2-12,3%, общее время управления мышью на 1,3-25 %. Результаты не показали статистически достоверных изменений всех рассмотренных признаков динамики при влиянии эмоций радости и страха. Причина тому - индивидуальные факторы (остальные факторы были идентичны для всех испытуемых). Перспективным является выявление у каждого пользователя своего набора более информативных признаков.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Epp C., Lippold M., Mandryk R.L. Identifying emotional states using key-stroke dynamics // CHI 2011, Vancouver, BC, Canada, May 7-12, 2011. - P. 715-724.
2. Zimmermann P.G. Beyond Usability - Measuring Aspects of User Experience: dis. dr. Sciences. - Swiss federal institute of technology, Zurich, 2008. - 112 p.
3. Скринникова Г.В. Дослідження впливу технічних характеристик зовнішніх пристроїв персональних комп’ютерів на індивідуальну динаміку маніпуляцій мишею // Інформаційна безпека. - 2012. - № 2 (8) - C. 144-150.
4. Скринникова Г.В. Дослідження впливу станів зниженої реакції та уваги на динаміку маніпуляцій пристроями управління курсором // Cybaggr’2012: Материалы Всеукр. НПК, 12-14 ноября Луганск, 2012 г. - C. 46-54.
5. Данько С.Г., Бехтерева Н.П., Шемякина Н.В., Антонова Л.В. Электроэнцефалографиче-ские корреляты мысленного переживания эмоциональных личных и сценических ситуаций. Сообщение II. Характеристики пространственной синхронизации // Физиология человека. - 2003. - T. 29, № 6. - C. 5-15.
Статью рекомендовал к опубликованию д.т.н., профессор Е.А. Башков.
Скринникова Анна Владимирована - Луганский национальный университет им. Тараса Шевченко; e-mail: Ann3005@rambler.ru; 91015, Украина, г. Луганск, кв. Мирный, 7, кв. 72; тел.: +380508642951; аспирантка.
Skrynnykova Anna Vladimirovna - Luhansk Taras Shevchenko National University; e-mail: Ann3005@rambler.ru; 7, kv. Mirny’j, app.72, Luhansk, 91015, Ukraine; phone: +380508642951; postgraduate student.
УДК 004.93
Т.С. Лугуев
МЕТОДЫ КОМПЬЮТЕРНОГО АНАЛИЗА ВЫРАЖЕНИЯ ЧЕЛОВЕЧЕСКОГО ЛИЦА*
В настоящей работе рассматриваются проблемы разработки методов и интеллектуальных систем компьютерного анализа выражения человеческого лица. Актуальность данной темы обуславливается необходимостью создания систем, автоматически распо-
* Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (гранты №12-07-31084_мол_а и №12-07-96500-р_юг_а).
знающих изменение положения различных частей человеческого тела, в частности, анализирующих мимику лица. Автоматический анализ выражения лица является интересной и сложной задачей, которая возникает в ряде областей приложений: человеко-машинное взаимодействие, анимация лица, определение эмоционального состояния и др.
Научная новизна работы заключается в новом подходе к анализу выражения лица. Важной особенностью данного подхода является его направленность на использование временной информации в видеопоследовательностях для улучшения распознавания. Предлагаемый подход объединяет преимущества, как геометрических методов моделирования лица, так и методов моделирования основанных на облике.
Распознавание жестов; анализ видео; компьютерное зрение; человеко-машинное взаимодействие.
T.S. Luguev
COMPUTER METHODS OF FACIAL EXPRESSION ANALYSIS
Problems of development of methods and intellectual systems for facial expression analysis are considered. Necessity in systems for automatic recognition of position changes of different part of human body demonstrates the relevance of this work. Automatic face expression analysis is interesting and complex problem. It appears in various applications like human-computer interaction, face animation, emotion recognition etc. Scientific novelty of the work is a new approach for facial expression analysis. Main feature of this approach is a use of temporal information in video for improvement of recognition. Proposed approach combines advantages of geometric and appearance methods of face modeling.
Gesture recognition; video analysis; computer vision; human-computer interaction.
Введение. Изменение выражения лица - одно из наиболее важных и естественных средств общения, передачи эмоций и намерений для человека. Автоматический анализ выражения лица является интересной и сложной задачей, которая возникает в ряде областей приложений: человеко-машинное взаимодействие, анимация лица, определение эмоционального состояния.
Благодаря широкому кругу приложений, автоматический анализ выражения лица привлек большое внимание исследователей в последние годы.
В частности, в докторской диссертации Дементиенко В.В. была представлена система автоматического предсказания засыпания водителя по его морганиям и движению глаз [1].
Вопросы определения эмоциональных реакций человека по мимике, движениям, голосу рассматриваются в работах Волгоградских исследователей под руководством А.В. Заболеевой-Зотовой [2].
Развитие современных систем человеко-машинного взаимодействия требует разработки новых интерфейсов, использующих методы распознавания динамических жестов человека. Подобные задачи решались в работах Девяткова В.В. и Ал-фимцева А.Н. [3].
В своей кандидатской диссертации Вежневец В.П. разработал алгоритм управления курсором «мыши» с помощью движения головы и мимики пользователя [4].
Вопросы геометрического моделирования динамики движения лица рассматривались в работах Дышкант Н. Ф. и Местецкого Л. М. [5].
Несмотря на значительный прогресс в исследованиях, распознавание эмоций с высокой точностью остается сложной задачей.
Большинство систем автоматического распознавания выражения лица, найденных в литературе, осуществляют классификации напрямую по основным эмоциям. Вероятно, наиболее важной работой в этой области является работа Экмана и Фризена [6], которые создали наиболее широко используемую систему для классификации выражений лица человека. Система кодирования лицевых движений
(Facial Action Coding System (FACS)) является распространённым стандартом систематической классификации физического выражения эмоций, и она доказала свою полезность для психологов и аниматоров.
Тем не менее, хорошо известным ограничением системы FACS является отсутствие учета временной и детальной пространственной информации.
В то время как «преувеличенные» выражения лица могут быть легко распознаны по одному взгляду на лицо, способность определять более скрытые выражения обычно требует сравнения во времени изменения формы и внешнего вида лица. Даже для «преувеличенных» выражений лица использование динамических моделей может существенно улучшить эффективность распознавания.
В связи с этим в настоящей работе нами предлагаются методы, использующие временную информацию в видеопоследовательностях для улучшения распознавания выражения лица.
Анализ проблемы. Задача распознавания выражения лица включает в себя следующие основные подзадачи: поиск и отслеживание лиц; выбор и представление лицевых характеристик; видеосегментация; разработка алгоритмов классификации для распознавания выражений лица.
В частности, законченная система распознавания выражения лиц в видеопотоке может содержать, по крайней мере, следующие основные компоненты:
1. Модуль устойчивого поиска и отслеживание лица при различных условиях является первичным и наиболее важным модулем системы. Если удается получить точную трехмерную модель изменения выражения лица, разработка остальных частей системы распознавания не вызывает сложностей.
2. Выбор и представление лицевых характеристик. Поскольку модуль автоматического отслеживания лица не всегда дает идеальные результаты, важным является использование характеристик, которые устойчивы к ошибкам в определении лица. Как и во всех задачах распознавания образов, выбор эффективных характеристик, используемых классификатором, является важным для повышения общего качества распознавания. Лишние характеристики могут существенно ухудшить качество классификации, поэтому получение эффективного представления лица по исходной видеопоследовательности является ключевым шагом к успешному созданию системы распознавания выражений лица.
3. Видеосегментация. В настоящей работе под видеосегментацией понимается не пространственная сегментация каждого видеокадра, а временная сегментация. Конечно, видеосегментация может выполняться напрямую через классификацию, тем не менее такой подход не всегда дает хорошие результаты. Методы видеосегментации позволяют повысить эффективность распознавания выражения лиц.
4. Алгоритм классификации, который способен моделировать временные изменения выражения лица. Дан набор последовательностей выражений лица (обычно различной длины) и набор категорий. Наша цель найти функцию, которая соотносит каждую последовательность к одной из категорий.
В настоящей работы основное внимание уделяется третьему этапу. Далее описывается подход автоматического помечивания лицевых экспрессий в видеопоследовательностях.
Методы и подходы. Предлагаемый метод видеосегментации представляет собой временную сегментацию всей видеопоследовательности на сегменты, которые содержат кадры одной лицевой экспрессии (эластичные деформации кожного покрова лица).
Метод основывается на увеличении и уменьшении магнитуды оптического напряжения, вычисляемого по изображению поверхности лица в процессе изменения на нем лицевых экспрессий.
Предложенный метод видеосегментации состоит из следующих шагов:
1. Положение лица и глаз определяется во всех кадрах видеопоследовательности. Эти координаты затем используются для сегментации лица на несколько областей.
2. Эластичное движение поверхности лица определяется с использованием метода основанного на оптическом потоке по нескольким кадрам для каждой области.
3. Из рассмотрения убираются области лица около глаз и рта для исключения влияния моргания и открывания/закрывания рта.
4. Вычисляются карты оптического напряжения для каждой пары кадров. Значения всех пикселей на этих картах затем суммируются для получения суммарных магнитуд напряжения для лица.
5. Применяется алгоритм нахождения пиков для оценки интервалов, которые соответствуют лицевым экспрессиям.
В качестве алгоритма обнаружения и отслеживания лица использован алгоритм Виолы и Джонса, который был расширен Линхартом и Майдтом [7].
Для оценки лицевых движений в предлагаемом подходе используется оптический поток. Оптический поток основан на двух важных допущениях: постоянства яркости изображения и пространственной гладкости. В рамках данной работы для вычисления оптического потока использован подход Блэка и Анандана [8], который позволяет осуществлять устойчивую оценку оптического потока даже в случае нарушения отмеченных допущений.
Оптический поток определяется следующим уравнением:
VIT-V = - It,
где I(x, y, t) представляет собой функцию яркости пикселей от координат x и у, а также времени t. V/определяет пространственный и временной градиент. Горизонтальный и вертикальный векторы движения представлены через
V = [dx/dt, dy/dt].
Для каждой пары кадров видеопоследовательности вычисляются карты оптического напряжения. Суммируя значения всех пикселей на этих картах, получаем временной ряд суммарных магнитуд напряжения для лица. Полученный временной ряд анализируется на наличие пиков.
Для выявления пиков вычисляются все экстремумы, из которых затем происходит выбор. Для выбора из всех экстремумов задаются пороговые значения, накладываемые на расстояние между соседними пиками и высоту потенциального пика.
Выявленные пики соответствуют моментам проявления лицевых экспрессий в видеопоследовательности.
Новизна предлагаемого метода видеосегментации заключается в том, что он основан на эластичном движении частей лица, а не на предопределенных моделях лицевых экспрессий. За счет этого удается охватить большее разнообразие лицевых движений. Другими словами, несмотря на то, что некоторые традиционные методы позволяют распознавать предопределенные лицевые экспрессии (такие как распознавание моментов, когда человек улыбается или демонстрирует удивление в видеопоследовательностях), они не способны распознавать выражения лица, для которых алгоритм не был предварительно обучен.
Сопоставление полученных результатов с мировым уровнем. Существуют два основных подхода, решающие проблему автоматического распознавания изменения выражения лица: подход, основанный на геометрических характеристиках, и подход, основанный на облике.
Первый подход использует выборочную точечную модель представления лица и выполняет распознавание на основе изменения взаимного расположения точек лица.
Второй подход использует методы, которые применяются ко всему лицу целиком, для извлечения изменения облика лица (например, фильтры Габора).
Вальстар и др. [9] показали, что геометрические методы представления характеристик показывают схожую или даже лучшую эффективность, чем методы, основанные на облике. Тем не менее геометрические методы обычно требуют аккуратного и надежного извлечения и отслеживания лицевых характеристик, что не всегда оказывается возможным. Слабое освещение и другие неблагополучные условия часто приводят к проблемам в работе алгоритмов, основанных на геометрических характеристиках лица.
Оба указанных подхода имеют свои преимущества и недостатки, и мы предполагаем, что подход, объединяющий оба подхода, покажет лучшую эффективность распознавания.
Принципиальная новизна предлагаемого подхода состоит в том, что он объединяет подход, основанный на геометрических характеристиках, и подход, основанный на облике. Мы получаем модель с помощью оптического потока, работающего на области всего лица, но только после предварительного определения его положения и извлечения координат глаз.
Заключение. Представленный в работе подход не использует предварительно обученные модели для определенных выражений лица, а используют динамику, присущую всем лицевым экспрессиям. Таким образом, предлагаемый метод естественным образом подходит для всех лицевых экспрессий, которые приводят к деформации кожного покрова лица.
Важной особенностью предложенного подхода к анализу выражения лица является его направленность на использование временной информации в видеопоследовательностях для улучшения распознавания. Использование предлагаемого подхода позволяет объединить преимущества как геометрических методов моделирования лица, так и методов моделирования, основанных на облике. В дальнейшем предполагается осуществить исследование эффективности предложенных методов на длительных наборах видеозаписей.
Предложенный в работе метод может использоваться при создании систем человеко-машинного взаимодействия, определения эмоционального состояния человека и других прикладных задачах.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Дементиенко В.В. Физические принципы построения систем безопасного мониторинга состояния человека-оператора: Автореф. дис. ... д-ра техн. наук. 01.04.01; Институт радиотехники и электроники РАН. - М., 2010. - 38 с.
2. Заболеева-Зотова А.В., Орлова Ю.А., Розалиев В.Л., Бобков А.С. Задача создания системы автоматизированного распознавания эмоций // Материалы Международной научно-технической конференции OSTIS-2012. - 2012. - С. 347-350.
3. Девятков В.В., Алфимцев А.Н. Распознавание манипулятивных жестов // Вестник МГТУ им. Н.Э.Баумана. Сер. Приборостроение. - 2007. - Т. 68, № 3. - С. 56-75.
4. Вежневец В.П. Алгоритмы анализа изображения лица человека для построения интерфейса человек-компьютер: Автореф. дис. ... канд. физ.-мат. наук. - М., 2004.
5. Дышкант Н.Ф. Эффективные алгоритмы сравнения поверхностей, заданных облаками точек: Дис. ... канд. физ.-мат. наук. - М.: МГУ, 2011. - 139 с.
6. Ekman P. and Friesen. W. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.
7. Lienhart R., Maydt J. An Extended Set of Haar-like Features for Rapid Object Detection // IEEE ICIP. - 2002. - Vol. 1. - P. 900-903.
8. BlackM.J. and Anandan P. The robust estimation of multiple motions: Parametric and piece-wise-smooth flow fields, Computer Vision and Image Understanding, CVIU, 63(1). - Jan. 1996. - P. 75-104.
9. Valstar M., Patras I., Pantic M. Facial action unit detection using probabilistic actively learned support vector machines on tracked facial point data, in: IEEE Conference on Computer Vision and Pattern Recognition Workshop. - 2005. - Vol. 3. - P. 76-84.
Статью рекомендовал к опубликованию д.т.н., профессор Е.А. Башков.
Тимур Садыкович Лугуев - Дагестанский государственный университет; e-mail: timurls@mail.ru; 367025, г. Махачкала, ул. Дзержинского, 12; кафедра дискретной математики и информатики; к.ф.-м.н.; старший преподаватель.
Timur Sadykovich Luguev - Dagestan State University; e-mail: timurls@mail.ru; 12, Dzerzhinskogo, Makhachkala, Russia, 367025; the department of discrete mathematics and informatics; cand. of phis.-math. sc.; associate professor.
УДК 159.95
И.В. Лысак, Д.П. Белов
ВЛИЯНИЕ ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫХ ТЕХНОЛОГИЙ НА ОСОБЕННОСТИ КОГНИТИВНЫХ ПРОЦЕССОВ
Рассматривается актуальная и малоизученная проблема влияния информационных технологий на специфику когнитивных процессов у людей. Авторы обобщают и теоретически осмысливают результаты прикладных исследований в области когнитивной лингвистики, психологии, неврологии и выявляют дальнейшие перспективы исследования. В качестве основных факторов, влияющих на когнитивные процессы, выделяются гипертекстуальность, увеличение количества информации, распространение электронной коммуникации и связанные с ней языковые трансформации. Анализируется явление многозадачности и его последствия для мышления. Показано, что дефокусированное внимание и подвижность мышления, порождаемые работой в компьютерных сетях, могут стать импульсом для развития творческих способностей.
Когнитивные процессы, информационно-коммуникационные технологии; Интернет; интернет-коммуникация; гипертекст; компьютерный язык; мышление; внимание; память; многозадачность.
I.V. Lysak, D.P. Belov
THE INFLUENCE OF INFORMATION AND COMMUNICATION TECHNOLOGIES ON PECULIARITIES OF COGNITIVE PROCESSES
This article presents the topical and poor-studied issue of the influence of information technologies on the specific features of cognitive processes ofpeople. The authors generalize and theoretically comprehend the results of applied researches in area of cognitive linguistics, psychology, neurology and determine the further prospects of research. As the main factors which have an effect on cognitive processes hypertextuality, information gain, spread of electronic communication and linguistic transformations connected with it are distinguished. The phenomenon of multitasking and its consequences for thinking is analyzed. It is shown that the defocused attention and the mobility of thinking which are caused by work in computer networks can become the impulse for creativity development.
Cognitive processes; information and communication technologies; Internet; Internet communication; hypertext; e-language; thinking, attention; memory; multitasking.
