CC BY
14УДК 004.855.5; 004.932.72
Yuriy T. Kaganov, Alexander M. Mokrov, Nataliya V. Mokrova
ARTIFICIAL INTELLIGENCE METHODS ADAPTATION FOR DEFINITION OF A PERSON'S EMOTIONAL STATE
Bauman Moscow state technical university ul. Baumanskaya 2-ya, 5, Moscow, 105005, Russia e-mail: amokrov@zoho.com
The article is devoted to analysis of methods and approaches for designing the person's face recognition software. The interaction algorithms of recognition based on Kohonen maps were investigated and the merits and demerits were detected. The effectiveness of these algorithms were estimated in comparison was traditional neural nets.
Keywords: artificial neural networks, active appearance models, Kohonen maps.
DOI 10.15217/issn1998984-9.2016.33.101
Введение
Системы распознавания лиц и мимики широко используется в различных сферах деятельности человека, например, в криминалистике, психологии, нейрофизиологии и др. Основным критерием эффективности методов распознавания является оптимальность с точки зрения соотношения скорости и эффективности работы программного обеспечения при анализе изображения и последующей обработки данных. Методы и алгоритмы на основе нейронных сетей помогают решать проблему скорости обработки и категоризации данных в связи с достаточно широкими возможностями самообучения, адаптации и последующего корректирования выходных данных [1, 2].
Подобные системы широко разрабатываются за рубежом, информация об исследованиях, реализациях и продуктах многих компаний представлены на их сайтах. Так, например, компания Noldus Information Technology предлагает простейшую систему для распознавания мимики лица под названием FaceReader. Эта система, основанная на нейронных сетях, не требует настройки и позволяет определить по предоставленной фотографии или видео эмоции, а также возраст, пол и расовую принадлежность объекта анализа [3]. Компания Cognitec предлагает продукт под названием FaceSecurity, направленный на выполнение задач биометрической идентификации на основе имеющейся базы данных методом активных моделей внешнего вида. Этот продукт предназначен для использования в системах видеонаблюдения и проведения оперативно-розыскных мероприятий [4]. Следует отметить, что продукт eMotion Software от компании Visual Recognition
Ю.Т. Каганов1, А.М. Мокров2, Н.В. Мокрова3
АДАПТАЦИЯ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ ОЦЕНКИ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА
Московский государственный технический университет им. Н.Э. Баумана, 2-я Бауманская ул., 5, Москва, 105005, Россия
e-mail: amokrov@zoho.com
Выполнен анализ работы алгоритмов искусственных нейронных сетей на основе карты Кохонена для осуществления видеоконтроля и распознавания лица человека. Создан алгоритм на основе адаптации методов искусственного интеллекта для решения задачи распознавания лиц, позволяющий повысить эффективность работы системы по сравнению с традиционными нейронными сетями.
Ключевые слова: искусственные нейронные сети, активная модель внешнего вида, карта Кохонена
отличается низкими аппаратными требованиями, а детали реализации не разглашаются [5].
Системы распознавания эмоционального состояния находят применение во многих сферах жизни, так приложение Auto Smiley для персонального компьютера автоматически генерирует соответствующие текущей эмоции «смайлики» при наборе текста в окне Ин-тернет-мессенджера [6], а компания Unilever создала на базе системы eMotion Software автомат Unilever Share Happy, который раздаёт бесплатное мороженное, если человек улыбнулся. Созданная компанией TruMedia система видеонаблюдения используется для оценки реакции человека на просматриваемую уличную рекламу, а также собирает статистику об определённом системой поле и возрасте объекта исследования [7].
В результате настоящих исследований нами разработан алгоритм и реализовано программное обеспечение на основе методов искусственного интеллекта для распознавания лица человека и выявления особенностей эмоционального состояния, соответствующего мимическому образу человека. В качестве алгоритма для обнаружения лиц использован алгоритм Виолы-Джонса (Viola-Jones) [8]. В основе алгоритма - принцип сканирующего окна, согласно которому на вход поступает представление изображения в виде двумерной матрицы, каждый её элемент хранит информацию о соответствующей единице изображения. Окно сканирования применяется ко всем участкам и к разным масштабам анализируемого изображения с последующим использованием функции Хаара и классификатора на каждой итерации. После адаптации соответствующих функций и создания новых примитивов Хаара предложенный алгоритм может быть использован для обнаружения любых других объектов.
1 Каганов Юрий Тихонович, канд. техн. наук, доцент, каф. теоретической информатики, МГТУ им. Н.Э. Баумана, e-mail: yurijkaganov@gmail.com Yuriy T. Kaganov, PhD (Eng.), Associate Professor, Theoretical Computer Department, Bauman Moscow State Technical University
2 Мокров Александр Михайлович студент, каф. теоретической информатики, МГТУ им. Н.Э. Баумана. e-mail: amokrov@zoho.com Alexander M. Mokrov student, Theoretical Computer Department, Bauman Moscow State Technical University
3 Мокрова Наталия Владиславовна д-р техн. наук, доцент, каф. информационных компьютерных технологий, РХТУ им. Д.И. Менделеева, Миуская пл., 9, Москва, 125047, e-mail: natali_vm@mail.ru
Nataliya V. Mokrova, Dr Sci. (Eng.), Associate Professor, Informational Computer Technology Department, D. Mendeleev University of Chemical Technology of Russia, 9 Miusskaya pl. Moscow 125047 Russia
Дата поступления - 25 января 2016 года
Алгоритм Виолы-Джонса реализован на основе библиотеки ОрепСМ Для выбора требуемых функций Хаара и установления пороговых значений перепада по яркости использован метод машинного обучения AdaBoost [9, 10], представляющий процедуру усиления «слабых» моделей классификации на основе их композиции и объединения в более сильные классы.
Активная модель внешнего вида
В активных моделях внешнего вида формируются параметры формы и внешнего вида. Для характеристики формы модель обучается набором изображений с размеченными реперными точками. Предлагается использовать 68 меток, которые в совокупности характеризуют основные параметры лица, а также позволяют выполнить другие задачи распознавания образов, например, идентификацию личности [11]. Обучение моделей внешнего вида начинается с нормализации всех форм с использованием «прокрустова» анализа.
В активных моделях внешнего вида с нежёсткой деформацией используются не только аффинные преобразования. Применение двух типов деформации одновременно обеспечивает возможность учитывать смещение, масштаб, угол поворота и другие параметры изображения. После получение матрицы главных векторов и базовой формы начинается обучение компонентов внешнего вида. При этом выполняется извлечение текстур из обучающей выборки, которые лучшим образом соответствуют базовой форме, на базе триангуляции меток базовой формы и меток обучающего набора изображений. Затем кусочной интерполяцией выполняется отображение триангулированных участков обучающего изображения в соответствующие участки текстуры. Для компенсации различных внешних факторов выполняется фототермическая нормализация с использованием алгоритма вычитания среднего значения и нормализации дисперсии яркости пикселей. На последнем шаге из совокупности полученных текстур формируется матрица, каждый столбец которой содержит значения пикселей соответствующей текстуры. Допускается рассмотрение как одноканальных структур, содержащих только оттенки серого, так и многоканальных, что подразумевает конкатенацию сформированных по отдельности каналов каждого вектора пикселов. После поиска главных компонент матрицы текстур получается выражение, однозначно определяющее конкретную структуру:
t = Ьо + ФЬ (1)
где Ь0 - базовая текстура, полученная усреднением по всем текстурам обучающей выборки, Ф( - матрица текстур, Ь - вектор параметров активного внешнего вида.
В классической активной модели внешнего вида для процесса адаптации алгоритма к процессу распознавания используется вектор комбинированных параметров как функция матрицы текстур и диагональной матрицы весовых значений, которая уравновешивает расстояния между интенсивностью пикселов и, собственно, пикселами [12]. Для каждой пары текстура-форма задается матрица главных компонент объединённых параметров. После удаления шумовых элементов для предотвращения возможности переобучения и уменьшения количества выполняемых операций определяется матрица предсказания R, удовлетворяющая в смысле минимума квадратичной ошибки зависимости:
5p=R5t (2)
где Ьтаде - Ьтоае1 - вектор ошибки как отклонение от модельного значения, 5р - возмущение вектора положения и комбинированных параметров внешнего вида.
Алгоритм процесса адаптации активной модели внешнего вида к анализируемому изображению состоит из следующих этапов:
1) вычисление значений всех параметров модели;
2) преобразование формы на основе начального приближения;
3) вычисление вектора ошибки 5£
4) построение текстуры на основе кусочных деформаций изображения;
5) вычисление вектора возмущений 5р;
6) модификация вектора комбинированных параметров и преобразований (суммирование с вектором возмущений);
7) обновление значений параметров формы и текстуры;
8) переход к пункту 3 до достижения сходимости.
Предложенный алгоритм довольно точно определяет точки активной модели внешнего вида, однако, как показывают практические расчёты, процесс долго сходится и требует большого количества итеративных вычислений.
В работе предложен алгоритм с использованием обратной композиции. Активная модель внешнего вида обратной композиции предложена Мэтьюсом и Бейкером. Этот алгоритм адаптации зависит только от параметров формы, что позволяет существенно повысить скорость работы по анализу изображений. Процесс основан на алгоритме Лукаса-Канаде [13], а также использует метод Ньютона для поиска минимума функции ошибки. Алгоритм Лукаса-Канаде выполняет задачу поиска локального минимума с использованием аффинной деформации шаблона, задаваемой вектором параметров р. Предполагается, что начальное значение деформации р известно, а затем итерационно выполняется вычисление приращения параметров 5р.
Процесс обновления параметров активной модели внешнего вида обратной композиции во время адаптации отличается от классической интерпретации тем, что деформации подвергается не базовая текстура, а изображение. Во время обучения активной модели внешнего вида обратной композиции вычисляются изображения наискорейшего спуска и их гессиан, что значительно увеличивает эффективность обучения. В процессе корректировки модели происходит обновление только значений параметров формы.
Алгоритм адаптации имитационном модели
Рассмотрим адаптацию разработанного алгоритма к одной из интересных задач - анализу эмоциональных состояний человека. Субъективность этой задачи обусловлена огромным количеством как эмоциональных состояний, так и субъектов, выражающих эти состояния. Поэтому для анализа эмоциональных состояний обосновано использование методов искусственного интеллекта. Для анализа практики использования алгоритмов адаптации методов искусственного интеллекта при исследовании эмоционального состояния человека рассмотрено четыре условных состояния: нормальное состояние, радость, злость, страх [14]. Следует отметить, что фактически отсутствует общепринятая классификация эмоций, однако существует множество работ, которые классифицируют мимические жесты и описывают работу мышц и их состояние для каждой группы классификации. За базовое принято нормальное состояние, на основе которого можно описать мимическое состояние лица для каждого рассматриваемого эмоционального состояния. Будем считать, что радость характеризуется вытянутыми в сторону губами и поднятыми кверху уголками рта; страх - поднятыми бровями; злость - сильно сжатыми губами и сдвинутыми бровями.
Для этой задачи проанализированы точки, которые задают координаты лица, выбраны три точки на каждую бровь (две по краям и одна посередине) и четыре точки, вокруг рта (две по краям и по одной посередине на нижнюю и верхнюю губы), в результирующий набор до-
бавлены две точки, определяющие положение внешних уголков глаз. Предложенная методика анализа позволила определить точное положение в пространстве выбранных точек, а также деформацию изображения. Следует отметить, что этап выбора реперных точек может быть детализирован достаточно глубоко, при этом невозможно утверждать, что выбраны правильные реперные точки. Выбор точек может быть оправдан при корректной реализации процесса обучения на достаточной выборке исходных последовательностей.
Для создания внутреннего представления точек и последующей отправки их в нейронную сеть необходимо повернуть лицо, для этого проанализировано положение внешних уголков глаз. Относительно положения правого глаза поворот всех точек результирующего набора осуществлён тригонометрическим преобразованием таким образом, что точка, характеризующая положение второго глаза, оказалась на одной горизонтальной линии с неподвижной точкой. При этом полученные координаты зависят от эмоционального состояния, а также от положения лица на изображении и его масштаба, чтобы устранить влияние зависимости, применён метод прокрустова анализа.
Процесс адаптации предложенных алгоритмов основан на применении ряда последовательных операций, заключающихся в устранении компонентов сдвига, равномерного масштабирования и поворота.
Компоненты сдвига координат могут быть удалены перемещением объекта таким образом, что среднее значение всех точек объекта будет находится в начале координат. Имеется набор точек вида ((хьу0,(х2,у2) ... (Хк,Ук)), средним значением является точка (хо,уо). Применяя сдвиг к исходным точкам, получим набор точек вида ((х1- хо, У1- Уо),(х2- хо, У2- Уо ), ... , (хк- хо, Ук- Уо)).
Делением координат каждой точки на среднее квадратичное из входного набора точек произведена нормализация, что обеспечило равенство единице расстояния от начала координат до полученных точек. Среднее квадратичное отклонение анализируемых точек
5 = 701 - Х0у + (У1 - Уо)2 +... +(** - Х0У + (Хк - хху. Результирующий набор точек получен в виде:
(((х1- хо)/Б,( У1- Уо)/Б), ((х2- хо)/Б,( У2- Уо )/Б), ...
... ((хк- хО/Б, (Ук- Уо)/Б)). (3)
Выравнивание изображения по уровню глаз устранило необходимость выполнения операции поворота. Дальнейший процесс алгоритма на основе прокрустова анализа включает последующее сравнение формы объектов с использованием нейронной сети.
Обоснование использования карт Кохонена
Нейронная сеть построена на нейронах, состоящих, в свою очередь, из синапсов. Каждый однонаправленный синапс нейрона имеет собственный весовой коэффициент, что характеризует его проводимость. Процесс вычисления значения на одном нейроне заключается в получении на синапсы входных параметров нейрона и определении взвешенной суммы входов
(4)
где Xi - сигнал на синапсе, - вес синапса, п - количество синапсов нейрона, а также в последующей передаче полученных данных на аксон, где к ним может быть применена активационная функция, определяемая типом сети. Обобщение расчёта выходного значения одного нейрона до расчёта выходного значения всей сети заключается в последовательной передаче получаемых на аксоне значений следующему нейрону в качестве входного значения до достижения выхода слоя сети. Следует заметить, что в большинстве случаев сети представлены в виде слоёв, где каждый выход нейрона текущего слоя соеди-
нён с входом каждого нейрона следующего слоя, за исключением выходного слоя.
Наиболее широко используемыми сетями для задач классификации и аппроксимации являются сети, построенные на основе персептронов, которые содержат хотя бы один скрытый слой. Сети на основе персептронов имеют передаточную (активационную) функцию, а также построены на прямом распространении сигнала, при этом все связи направлены строго от входных нейронов к выходным [15]. Для корректной работы требуется обучение с учителем, что подразумевает наличие больших объёмов эталонных данных. Следует отметить, что классические сети, основанные на персептронах, обладают недостаточно быстрой сходимостью, и при этом могут быть переучены. При переобучении из-за неправильно сформированного обучающего набора сеть может перестать выдавать верный результат [16].
В настоящей работе для строгой категоризации данных при разработке алгоритма определения выражения лица использована сеть Кохонена-Гросберга, представляющая комбинацию алгоритмов самоорганизующейся карты Кохонена и звезды Гроссберга. В основе создания подобных сетей и результатов их анализа заложено предположение о строении человеческого мозга на каскадных связях разных сетей из-за получения более существенных результатов при их использовании по сравнению с сетями, основанными на классической структуре.
Сеть, разработанная Тойво Кохоненом, принципиально отличается от классических сетей отсутствием эталонных значений, что подразумевает самообучение [17]. Фактически сеть распознает наиболее близкий кластер данных и в процессе обучения корректирует весовые коэффициенты таким образом, чтобы класс обобщился и на данные, подобные текущему входному значению. Следует отметить, что сеть работает по принципу «победитель забирает всё», т.е. на выходе наибольшему значению присваивается значение 1, остальным - ноль. Сеть Кохонена, как правило, представляется в виде однослойной решётки (рисунок) с расположенными в ней элементами (нейронами). Процесс самообучения сети начинается с инициализации весовых векторов случайными значениями. Нейронная сеть Гроссберга также является обучаемой, однако выполняет лишь одну функцию: выводит вектор, составленный из значений весовых коэффициентов, соответствующих победителю в карте Кохонена, т.к. остальные входные компоненты равны нулю.
Для определения эмоционального состояния человека отсутствует необходимость получать значения весовых коэффициентов, т.к. каждое состояние характеризуется только победой определённого класса (соответствующего ему узла), как следствие, можно выполнить модификацию процесса обучения карты Кохонена, т.е. сеть Гроссберга тождественна. Предложенная модификация представляет начальную категоризацию данных, т.е. перед началом обучения карты Кохонена выставляются соответствующие категории изображения весовые коэффициенты, затем выполняется предложенный процесс обучения.
Заключение
В работе проанализированы основные этапы процесса идентификации образов, предложен алгоритм адаптации и обучения искусственных нейронных сетей для анализа эмоционального состояния человека. В результате анализа получен вывод о возможности обеспечения безотказной работы системы распознавания образов при использовании самообучающихся нейронных сетей. Построенная нейронная сеть, в отличие от описанных стандартных методов, решает задачу выбора аспектов поведения системы распознавания при возникновении незапрограммированных ситуаций. По сравнению с классической нейронной сетью, основанной на перцептроне, сеть Кохонена работает значительно эффективнее, однако замечено, что в некоторых случаях скорость обучения заметно уступает скорости обучения обычной сети, особенно при схожести входных значений эталонных наборов. При применении предложенных алгоритмов в системах видеоконтроля, можно гораздо эффективнее выявлять чрезвычайные ситуации, анализ и распознавание которых невозможно при использовании статических систем. Нейронные сети позволяют развивать и модифицировать систему распознавания образов благодаря возможности комбинации и взаимосвязи различных сетей.
Литература
1. Haykin S. Neural Networks and Learning Machines // Pearson Education Ltd, 2009. 938 p.
2. Харазов В.Г. Интеллектуальные приборы и системы управления. // Известия СПбГТИ (ТУ). 2014. №26(52). С. 92-94.
3. Facial expression recognition software: FaceReader Режим доступа: http://www.noldus.com/human-behavior-research/products/facereader, (дата обращения: 14.01.2016).
4. Products - Cognitec Режим доступа: http://www. cognitec.com/products.html, (дата обращения: 14.01.2016).
5. Visual Recognition Режим доступа: http://
www.visual-recognition.nl/eMotion.html, (дата обращения: 14.01.2016).
6. Auto Smiley - Computer vision smile generator | F.A.T. Режим доступа: http://fffff.at/auto-smiley/, (дата обращения: 15.09.2016).
7. Face to Face. Режим доступа: http://www. businessobserverfl.com/print/Face-to-Face/ (дата обращения: 19.01.2016).
8. Viola P. and Jones M.J. Rapid Object Detection using a Boosted Cascade of Simple Features // Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 8-14 Dec. 2001.
9. Baker S., Gross R., and Matthews I.. Lucas-Kanade, 20 years on: A unifying framework: Part 3. Technical Report // CMU-RI-TR-03-35, Carnegie Mellon University Robotics Institute, 2003.
10. Freund Yoav, Schapire Robert E. A Short Introduction to Boosting. Shannon Laboratory. USA, 1999. P. 771-780.
11. Cootes T., Edwards G., and Taylor C. Active appearance models // Proceedings of the European Conference on Computer Vision. Vol. 2. 1998. P. 484-498.
12. Cootes T.F., Edwards G.J., and Taylor C.J. Active appearance models // IEEE Trans. on Pattern Recognition and Machine Intelligence. 2001. Vol. 23(6). P. 681-685.
13. Lucas B.D. and Kanade T. An iterative image registration technique with an application to stereo vision. // 7th International Joint Conference on Artificial Intelligence, San Francisco, CA, USA. 1981. P. 674-679.
14. Андреева Г.М. Социальная психология: уч. пос. для вузов 3-е изд. М.: Наука, 1994. 324 с.
15. РусиновЛ.А., Рудакова И.В., Куркина В.В. Мониторинг и диагностика состояния технологических процессов // Известия СПбГТИ (ТУ). 2010. №7(33). С. 80-88.
16 .Интеллектуальные системы управления организационно-техническими процессами / под ред. профессора А.А. Большакова. М.: Горячая линия-Телеком, 2016. 160 с.
17. Kohonen T. Self-Organizing Maps (Third Extended Edition). New York, 2001. 501 p.
