CC BY
8ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
УПРАВЛЕНИЕ МИМИЧЕСКИМ АППАРАТОМ СЕРВИСНЫХ РОБОТОВ ПРИ СИНТЕЗЕ ЭМОЦИЙ
Статья поступила в редакцию 13.08.2014, в окончательном варианте 08.09.2014.
Конышев Дмитрий Владимирович, аспирант, Московский государственный технический университет им. Н.Э. Баумана, 105007, Российская Федерация, г. Москва, ул. 2-я Бауманская, 5, e-mail: [email protected]:[email protected]
Воротников Сергей Анатольевич, кандидат технических наук, Московский государственный технический университет им. Н.Э. Баумана, 105007, Российская Федерация, г. Москва, ул. 2-я Бауманская, 5, e-mail: [email protected]
Выборное Николай Анатольевич, кандидат физико-математических наук, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20 a, e-mail: [email protected]
В статье рассматриваются принципы и направления развития в области построения мимических аппаратов сервисных роботов, выполнено сравнение существующих методов управления этими аппаратами. Синтезирован новый метод управления мимическим аппаратом для роботов с антропоморфным силиконовым лицом. Предлагаемый метод предназначен, прежде всего, для обеспечения наибольшей наглядности и удобства управления роботом со стороны человека-оператора. В основе метода лежит пропорциональная интерполяция управляющих сигналов для мимических приводов мимического аппарата относительно опорных базовых эмоциональных состояний человеческого лица по П. Экману. Предложенный авторами метод был реализован в программном обеспечении системы управления существующим роботом и протестирован в реальных условиях. Был разработан макет антропоморфного сервисного робота с мимическим аппаратом и проведено его экспериментальное исследование, а также представление на выставке «Международный Бал Роботов» в г. Москве.
Ключевые слова: сервисный робот, антропоморфное лицо робота, мимический аппарат, эмоциональное состояние, мимика, управление
CONTROL OF MIMIC APPARATUS OF SERVICE ROBOTS FOR EMOTION SYNTHESIS
Konyshev Dmitry K, postgraduate student, Bauman Moscow State Technical University, 5 2nd Baumanskaya St., Moscow, 105007, Russian Federation, e-mail: [email protected]
Vorotnikov Sergey A., Ph.D. (Engineering), Bauman Moscow State Technical University, 5 2nd Baumanskaya St., Moscow, 105007, Russian Federation, e-mail: [email protected]
Vybornov Nikolai A., Ph.D. (Physics and Mathematics), Astrakhan State University, 20 a Tatishchev St., Astrakhan, 414056, Russian Federation, e-mail: [email protected].
This paper shows principles and trends in development of humanoid service robots, conducts comparison of their mimic control systems. A new synthesized control method for anthropomorphic service robots with silicon skin is proposed. This method is obtained to be more demonstrative and naturally comfortable for a human-operator. The main principle is proportional interpolation of control signals of mimic muscles relative to reference basic emotional states by P. Ekman. Proposed method was implemented into control system software of existing service robot and tested in real-life conditions. The layout of anthropomorphic
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
service robot mimic machine was designed and held its experimental research, as well as the presentation at the exhibition "International Robot Ball" in Moscow.
Keywords: service robot, human-like robotics face, mimic apparatus, emotional State, mimic, con-trol system
Введение. В настоящее время постоянно увеличивается использование сервисных роботов (СР) в различных областях человеческой деятельности. Среди наиболее распространенных областей их применения отметим:
• высокотехнологичные сферы производства и офисы;
• домашнее хозяйство (локальная помощь и в качестве элементов «умного» дома);
• сфера социальной педагогики (для поддержки учебного процесса в вузах, школах и дошкольных учреждениях, в том числе для решения задач социальной адаптации учеников);
• сфера обслуживания (в организациях культурного досуга, на предприятиях общественного питания и др.);
• при реализации задач видеонаблюдения и телеприсутствия.
Среди СР, ориентированных на интерактивное общение с человеком, все чаще встречаются антропоморфные конструкции. У них, как правило, необходим естественный интерфейс управления и взаимодействия с человеком. Он реализуется, в том числе, путем использования т.н. мимического аппарата робота, представляющего собой комплекс про-граммно-аппаратных средств, поддерживающих речевой диалог и имитирующих эмоциональное состояние человеческого лица.
Различают следующие способы построения мимического аппарата СР.
1. Компьютерный (лицо рисуется на экране дисплея, примеры на рис. 1а, б) [17].
2. Оптический (некоторые элементы лица или глаза подсвечиваются, примеры на рис. 1 в, е, ж).
3. Механический (в виде антропоморфной головы с управляемыми подвижными элементами), в том числе:
• твердотельный (элементы конструкции не меняют своего относительного положения, рис. 1 в, г, ()):
• деформируемый (элементы конструкции меняют свое относительное положение, в том числе, благодаря использованию «искусственной кожи», рис. 1 з, и).
Разнообразие существующих подходов, имеющих различные функциональные возможности, степень реалистичности, стоимость и т.д. требует адекватной информационной поддержки при выборе конкретных решений для различных классов задач. Кроме того, недостатки существующих методов и потребности практики требуют разработки новых, более удобных и совершенных алгоритмов управления мимикой СР. Поэтому целями настоящей статьи были: комплексный обзор существующих методов, их достоинств и недостатков, особенностей применяемых технологий; обоснование целесообразности нового подхода к управлению MC, обладающего лучшей интуитивностью восприятия и «разрешающей способностью».
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 3 (27) PROBLEMS OF ROBOTICS, INSTRUMENTATION, CREATION AND USE OF NEW MATERIALS
Ж 3 и
Рис. 1. Роботы с мимическим аппаратом: а - GRACE [19]; б - Fnro-S [11]; в - ICub [5]; г - KiBo[14], д - Riba 2[20]; е - Nao[6]; ж - Thespian [10]; з - Алиса [3]; и - Geminoid-F [12]
Особенности реализации мимического аппарата СР. Мимика человека задается суперпозицией более чем 40 лицевых мышц. Психологические исследования, проведенные П. Экманом 18, 9], показали, что. помимо нейтрального состояния лица, можно выделить 6 базовых эмоциональных состояния (БЭС), а именно:
• радость;
• грусть;
• гнев (злость);
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
• удивление;
• отвращение;
• страх.
Им же был разработан аппарат описания мимического состояния (МС) лица человека, состоящий из массива «показателей движения» (AU-action unit). Каждый AU описывает одно движение, которое, как правило, требует напряжения одной мышцы лица. Ограничением этого аппарата является бинарное значение для каждого AU (например, «поднята левая бровь» или «не поднята»), т.е. нет возможностей описания промежуточных значений.
Мимический аппарат CP можно представить в виде набора приводов - актуаторов, имеющих несколько устойчивых положений. Явно можно выделить минимальное, максимальное и нейтральное положения актуатора, но в общем случае, этих положений может быть больше. Положения некоторых актуаторов зависят от положений других. Так, например, радость не может быть имитирована CP одновременно с грустью, и, следовательно, один актуатор должен иметь приоритет перед другим.
Отметим также, что на сегодняшний день существуют принципиальные сложности в реализации человеческой мимики с помощью мимического аппарата CP [7, 13, 15]. Это связано, в частности, с невозможностью реконструкции (воспроизведения) работы некоторых мышц человеческого лица (например, круглой мышцы рта orbicularis oris), даже для CP с «искусственной кожей». В лице CP ее, обычно, заменяет несколько отдельных актуаторов, растягивающих область рта в разных направлениях для получения реалистического результата. Существуют и другие трудности практического характера.
Анализ методов управления мимическим аппаратом СР. Проведя анализ различных источников по теме моделирования эмоций [7, 8, 9, 17, 19], авторы выделили три основных подхода к кодированию эмоционального состояния и управлению соответствующими актуаторами.
1. Независимый (бинарный или непрерывный). В этом случае для создания МС необходимо эмпирически задать положение всех актуаторов лица. Метод аналогичен заданию массива «показателей движения» AU. Он является наиболее распространенным, но и наиболее трудоёмким, так как предполагает программирование управления движением каждого актуатора. Подчеркнем, что в рамках данного подхода имитация МС соответствует определенному моменту времени, т.е. носит статичный характер.
2. Метод готовых состояний является развитием предыдущего. Он позволяет выбрать те состояния, которые уже были заданы ранее с помощью независимого метода - это существенно упрощает алгоритм управления актуаторами. Однако этот метод использует нерасширяемую базу данных состояний, что не позволяет формировать новые, промежуточные состояния.
3. Использование декартового пространства эмоций. Метод, получивший название ECS (Emotional Cartesian Space - декартово пространство эмоций, ДПЭ) [7, 16] основан на применении двумерной системы координат ху (рис. 2). По оси х, называемой «валентность», в положительном направлении откладывается уровень «удовольствия», а в отрицательном - «неудовольствия». Вдоль оси у, называемой «возбуждение», в положительном направлении откладывается уровень «возбужденности», а в отрицательном - «невозбужденности» или «расслабленности». Такое представление эмоционального состояния позволяет использовать значения всего двух параметров для представления соответствующего эмоционального состояния.
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 3 (27) PROBLEMS OF ROBOTICS, INSTRUMENTATION, CREATION AND USE OF NEW MATERIALS
«НЕВОЗБУЖДЕННОСТЬ»
«ВОЗБУЖДЕННОСТЬ»
НАПРЯЖЕНИЕ
НАСТОРОЖЕННОСТЬ
ВЗВОЛНОВАННОСТЬ
СТРЕСС
ЛИКОВАНИЕ
НЕДОВОЛЬСТВО «НЕУДОВОЛЬСТВИЕ»
ГРУСТЬ
РАДОСТЬ
X «УДОВОЛЬСТВИЕ»
ДОВОЛЬНОСТЬ
БЕЗМЯТЕЖНОСТЬ
СКУКА
СПОКОЙСТВИЕ
Рис. 2. Декартово пространство эмоций.
На границе круга серыми кружками указаны БЭС по П. Экману
Для моделирования промежуточных эмоций авторы ДПЭ предлагают использовать интерполяцию от заданных вручную 6-ти базовых эмоций. При этом человек-оператор задает положение всех актуаторов для шести базовых эмоций и нейтрального состояния лица, а для моделирования промежуточных эмоций в ДПЭ используются интерполированные значение.
Заметим, однако, что и этот метод, при всех своих достоинствах, недостаточно эффективен для реализации системы управления мимическим аппаратом СР, особенно при синтезе эмоционального состояния. Это связано с тем, что он также требует экспертного участия в кодировании соответствующего состояния мимического аппарата. Кроме того, как показали проведенные авторами исследования (рис. 4), распределение БЭС по этому пространству неравномерно. Так, например, в первом и втором квадранте кодируется 5 базовых эмоций («радость», «удивление», «страх», «гнев» и «грусть»), в третьем квадранте - 2 («грусть» и «отвращение»), а в четвертом - только одна («радость»). Эта неравномерность усложняет восприятие человеком-оператором СР выбранной эмоции и требует дополнительной точности отображения.
Метод синтеза мимического состояния. Большинство разрабатываемых СР предназначено для интерактивного общения с человеком посредством аудиовизуального интерфейса [13, 18]. Это предполагает наличие гибкой среды управления и задания интерактивных сценариев. Обычно, в качестве аудио-интерфейса используется голосовой ответ. Так как количество интерактивных сценариев изменяется, то имеет смысл предположить, что речь робота должна строиться «на лету», с помощью генератора речи. Большинство генераторов
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
речи реализует т.н. «ТсхМо-ЯрсссЬ» интерфейс («Из-текста-в-речь»), т.е. реплика робота задается в виде текста. Заодно с произносимой частью в реплике могут присутствовать МС или их последовательность. Исходя из этого, сформируем следующие требования к методу синтеза мимического состояния.
1. Для задания МС необходимо использовать минимальное количество управляющих воздействий со стороны человека-оператора.
2. Метод должен обеспечивать возможность текстовой записи состояний и содержать простой интуитивно-понятный интерфейс.
Предлагаемый авторами метод является развитием метода ДПЭ, а его визуальная интерпретация представляет собой декартово пространство базовых эмоциональных состоя-
Рассмотрим основные особенности метода ДПБЭС.
1. Положение точки (эмоции) задается углом поворота (0-3 60-) и длиной (0-1) ра-диуса-вектора, исходящего из центра круга.
2. Все базовые эмоции распределены равномерно по окружности, т.е. со смещением друг по отношению к другу равным 360°/6= 60°. Эмоция «радость» соответствует 0° на графике ДПБЭС. Далее против часовой стрелки идут «удивление», «страх», «гнев», «отвращение», «грусть».
3. Радиус-вектор определяет «силу» эмоции, т.е. процент напряжения мышц по сравнению с нейтральным положением, в котором все мышцы расслаблены;
4. Расстояния от точки до линий базовых эмоций, окружающих эту точку, определяют процентное соотношение влияния базовых эмоций на результирующую.
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 3 (27) PROBLEMS OF ROBOTICS, INSTRUMENTATION, CREATION AND USE OF NEW MATERIALS
Для получения промежуточных эмоций необходимо выполнить интерполяцию для заданных базовых эмоций. При этом оператор указывает положение всех доступных мимических актуаторов для 6-ти базовых эмоций плюс одна нейтральная, а для моделирования промежуточной эмоции в ДПБЭС используются интерполированные значения:
£ = {^}{м}, (1)
где Е - эмоциональное состояние, {К} - вектор коэффициентов управления к\_п= 0... 1; {М} -вектор из «п» единичных мимических актуаторов, где «и» - полное количество актуаторов.
Е, = к„ В, + к„ Вп
(2)
= /(^Д + )
кв2 = /(^д + ^в2)
Здесь В - заданное ЭС, В\ и В2- БЭС, лежащие, соответственно, ниже и выше заданного.
Ьв = г зт(а -осв), Ьв = г зт(ав -ос), причем ав = ав +60°
(3)
кВ1 = $т(а - аВ1 )1($т(а - а^ ) + $т(а - а,-., + 60°)), кв^= 1 - к^
Такое описание позволяет представить МС СР положением одной точки в двумерной системе координат. Управляющее воздействие на актуаторы удобно задавать координатами точки (эмоции) (положения курсора) на экране или с помощью физического джойстика, повторяющего движение этой точки. Текстовая запись МС для определенного момента времени в общем случае будет состоять из двух компонент, например, «а, = 212; г = 0.37» или «ос = 25» для максимальной «силы» мимического состояния с г = 1.
Метод синтеза эмоций ДПБЭС имеет ряд преимуществ по сравнению с ДПЭ. Во-первых, здесь БЭС распределены равномерно через 60° и образуют шесть областей, причем эмоция «грусть» расположена после эмоции «отвращение» - это удобно для группирования схожих управляющих воздействий на такие актуаторы как брови и нижние уголки губ. Во-вторых, площадь покрытия ДПБЭС превышает площадь покрытия ДПЭ более чем на 35 % (рис. 4), что позволяет синтезировать МС более точно.
Совокупность «мимических состояний», описанную в виде пар значений (длины ра-диус-векторов и их направления) можно использовать также для задания сценариев изменения мимики - например, для построения театрализованных сценариев, мультипликационных роликов и других целей. При этом «опорные» пары значений «длин векторов» и «углов» могут быть заданы и на неравномерной сетке точек, причем с достаточно большими промежутками по времени.
Для перехода к равномерной сетке значений для пар «длина радиус-вектора - его направление» с высокой частотой дискретизации по времени (соответствующей частоте кадров видеоролика) могут быть применены раздельные кубические сплайн-интерполяции по опорным точкам для «длин векторов» и «углов». Альтернативой может быть «бикубическая» сплайн-интерполяция по наборам этих пар значений.
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
Рис. 4. Различия зон покрытия пространств ДПБЭС и ДПЭ для различных актуаторов (а-о) и общие зоны покрытия (е). Красным цветом показана зона покрытия ДПБЭС, синим - ДПЭ
На рис. 4 символом «А» обозначена площадь соответствующей зоны покрытия для актуатора. Внешняя окружность обозначает границу максимального напряжения актуатора, центр - точка минимального напряжения, средняя окружность - напряжение актуатора в нейтральном положении (соответствует нейтральному характеру БЭС).
Мимическое состояние можно кодировать с помощью соответствующего текстового описания (табл. 1).
Таблица 1
Текстовое кодирование мимического состояния_
Метод/ Состояние «Радость» «Легкая радость» «Гнев»
Независимый а [«лев. улыбка»] = 100% а [«пр. улыбка»] = 100% а [«лев. улыбка»] =50% а [«пр. улыбка»] =50% а [«сведение бровей»] = 100% а [«скепсис»] = 70% а [«лев. улыбка»] = 20% а [«пр. улыбка»] = 20%
Готовые состояния «радость» - -
ДПЭ «валентность» = 100% «возбужденность» = 0% или х = 1. у = 0 «валентность» = 50% «возбужденность» = 0% или х = 0.5, V = 0 «валентность» = -40% «возбужденность» = 70% или х = -0.4, v = 0.7
ДПБЭС а = 0°, г = 1 а = 0°, г = 0.5 а = 180°, г = 1
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 3 (27) PROBLEMS OF ROBOTICS, INSTRUMENTATION, CREATION AND USE OF NEW MATERIALS
Обозначено: «а [...]» - соответствующий актуатор из множества актуаторов лица робота, х и у - «валентность» и «возбужденность» в ДПЭ соответственно (см. рис. 2).
Как видно из табл. 1, самую компактную запись позволяют сделать методы ДПЭ и ДПБЭС. Однако для ДПЭ, с точки зрения оператора, трудно сразу оценить, например, что значит -40 % «валентности» при «возбужденности» 70 %, в то время как для ДПБЭС необходимо лишь знать углы шести БЭС (0°, 60°, 120° ... 300°). Также в ДПЭ для задания «силы эмоции» требуется соблюдать координаты в пределах окружности, а ДПБЭС использует полярные координаты, и «сила» задаётся процентами. Длина текстовой записи в ДПЭ и ДПБЭС сопоставима по размеру, однако ДПБЭС воспринимается легче.
Синтез сложных эмоций (например, «гневное ликование» или «удивление с отвращением») осуществим всеми методами, кроме метода готовых состояний. Так, для независимого метода такое состояние кодируется с помощью массива значений по каждому актуа-тору. А для ДПЭ и ДПБЭС используется массив координат точек в соответствующих декартовых пространствах, и результирующая эмоция получается как суперпозиция состояний актуаторов во всех точках этого массива.
Синтез эмоции на «лице» СР в соответствии с методом множества мимических состояний включает в себя 6 БЭС по П. Экману и некоторое множество промежуточных. Отметим при этом, что в соответствии с результатами психофизиологических исследований, 85 % людей способны распознать не более 23 МС [7]. Использование пространства ДПБЭС позволяет эффективно закодировать все эти состояния.
Верификация метода. Для проверки предложенного метода синтеза МС были проведены испытания трех СР с силиконовой имитацией лица, выполненной из «искусственной кожи» на выставке «Международный Бал Роботов» в мае - июле 2014 г. в г. Москве. Синтез и запоминание эмоций выполнялись с помощью интерфейса программы управления мимическим аппаратом СР «Алиса», «Алекс» и «Пушкин». В ручном режиме управление актуа-торами осуществлялось соответствующими движками (рис. 5). Этот же интерфейс использовался и для обучения СР базовым состояниям.
При испытаниях заранее неподготовленным операторам было предложено выполнить несколько стандартных задач управления мимическим аппаратом СР «Алекс» (рис. 6), «Алиса» (рис. 7 г) и «Пушкин» (рис. 7 д) с помощью представленных выше методов управления. Испытания заключались в отработке типичных задач управления с помощью операторов-волонтеров, отвечающих за работу стенда на выставке «Международный Бал Роботов». Среди типичных задач были такие.
1. Задание МС «лица» робота в реальном времени для создания иллюзии общения робота и человека (посетители выставки подходили к роботу и начинали с ним разговаривать) с помощью джойстика.
2. Составление комбинаций из МС и текста, произносимого роботом для автономной работы в режиме распознавания речи.
Сначала операторам-волонтерам предлагалось использовать метод независимого управления актуаторами, затем ДПЭ и ДПБЭС. Согласно отзывам операторов, синтез МС по методу ДПБЭС оказался наиболее удобен и эффективен с точки зрения плавности и легкости управления. Так, задание МС с помощью отдельных движков затруднительно при требовании быстрой смены МС (в реальном времени). Методы на основе ДПЭ и ДПБЭС позволяли управлять «лицом» робота путем изменения положения аналоговой рукоятки джойстика. В отличие от ДПБЭС, в случае с ДПЭ «поймать» требуемое состояние сложнее, т.е. требуется большая точность управления со стороны человека-оператора. Также при прохождении цикла вращения рукоятки при использовании метода на основе ДПЭ наблюдается несколько максимумов «напряжения» (в частности, «брови» и «скепсис»). А при использовании метода на основе ДПБЭС «напряжение» мышц равномерно достигает одного максимума за цикл.
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
Улыбка-П Smile-R
Улыбка-Л Smile-L
Грусть-П Sad-R
Грусть-Л Sad-L
Удивление-П Surprise-R
Удивление-Л Surprise-L
Челюсть Jaw
Скепсис Scepsis
Злость Evil
Щенячьи гл. Puppy eyes
Наклон Pitch
Поворот Roll
Разворот Yaw
Гл.поворот Eye-turn
Гл.наклон Eye-pitch
Гл.сведение Eye-conv
Веко-П Eyelid-R
Веко-Л Eyelid-L
У J
I sr
У
г L ir
Па Г ¡1
n II J
и
n У
u
r 1
li !1
У и
таг
У п
у
У _1 ¡1
137
103
197
160
97
15S
57
217
24
6в
64
40
86
-49
35
44
6fl
Рис. 5. Интерфейс, использованный для управления актуаторами мимического аппарата СР
feiROW
Нейтральное положение
«Радость»
«Удивление»
«Радостное удивление»
Рис. 6. Синтез мимических состояний для СР «Алекс». Параметры под каждым состоянием соответствуют значениям компонентов предлагаемой модели ДПБЭС
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 3 (27) PROBLEMS OF ROBOTICS, INSTRUMENTATION, CREATION AND USE OF NEW MATERIALS
Пример реализации метода. Данный метод синтеза МС был использован при построении алгоритма и интерфейса управления CP «Алиса Зеленоградова» (рис. 7 г), созданной фирмой Нейроботикс, Россия (http://neurobotics.ru). Этот робот содержит 19 актуаторов-сервоприводов для управления мимическим аппаратом лица и синтеза эмоций (рис. 5). Похожие разработки CP, созданные в фирмах Hiroshi Ishiguro Laboratories, Япония (рис.7 а) и Hanson Robotics, США (рис. 7 б, в) используют по 16 и 21 актуатору соответственно.
а б в г д
Рис. 7. CP с антропоморфным силиконовым «лицом»: а - производства Hiroshi Ishiguro Laboratories; б - «Филипп Дик»; в - «Альберт Эйнштейн», (оба производства Hanson Robotics); г «Алиса Зеленоградова»; д— «Пушкин» (оба производства Нейроботикс, Россия)
Приведем примеры функций, которые реализуют сервоприводы СР «Алиса Зеленоградова»:
• три сервопривода, объединённых по схеме «платформы Стюарта», управляют шеей;
• один сервопривод используется для открывания челюсти;
• три глазных сервопривода осуществляют независимое перемещение телекамер;
• группа мимических сервоприводов деформируют силиконовую кожу головы и участвуют в синтезе следующих эмоций:
о два непарных сервопривода - «хмурость», «жалость», путем сведения или подъема точек лица между бровями;
о десять парных сервоприводов - ротовые («радость», «грусть», «скепсис»), поднимание век и бровей.
Так, для воспроизведения МС «страх» задействуются такие действия актуаторов как открывание рта, поднятие левой и правой брови, «жалость» и скепсис.
Оценка соответствия выполняемого роботом МС производилась так:
• алгоритмически, с помощью программ EnloDetect (Нейроботикс) и РассЯсас1сг (№>1с1ш). В основе обеих программ - оценка положений характеристических точек лица на двумерном изображении с камеры для определения принадлежности МС к одной из базовых эмоций по П.Экману. Так, моделируемое МС распознавалось верно в EmoDetect в 90 % случаях и в БасеКеас1ег в 77 % (спорным моментом стали «внешне похожие» эмоции «страх» и «удивление»);
• эмпирически, с помощью посетителей выставки «Международный Бал Роботов», где людей просили опознать выполняемое роботом МС. Процент правильно определенных состояний, в среднем, превысил 60 %.
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
Выводы.
1. Существующие методы управления мимическим аппаратом CP сложны для понимания оператором, не интуитивны и имеют большое количество величин, необходимых для задания мимического состояния.
2. Предложенный метод управления на основе ДПБЭС позволяет оператору формировать состояние МА, задавая координаты одной точки на плоскости на экране или с помощью рукоятки джойстика.
3. Этот метод нагляден и имеет на 35 % большую зону покрытия, чем существующий метод на основе ДПЭ. Как следствие его можно считать имеющим лучшую «разрешающую способность» в отношении задания БСЭ.
4. Предлагаемый метод испытан на антропоморфном роботе «Алиса Зеленоградова» (в комплексном программном обеспечении Robo Studio фирмы Нейроботикс) и получил больше положительных отзывов от операторов, чем существовавшие методы управления.
5. Описываемый метод также алгоритмически совместим с рядом алгоритмов распознавания эмоционального состояния человека (EmoDetect, FaceReader), используемых для обеспечения телеметрической трансляции эмоции между оператором и роботом. Эти алгоритмы используют в основе кодирования результата вероятности определения по БЭС и в системе ДПБЭС кодируются как множество точек в этом пространстве, где радиус-вектор соответствует значению вероятности.
Список литературы
1. Воротников С. А. Аудиовизуальная система очувствления роботов / С. А. Воротников, А. В. Горин, Д. В. Конышев // Экстремальная робототехника: тр. междунар. конф. с элементами научной школы для молодежи. - Санкт-Петербург. 2010. - С. 246-252.
2. Заболеева-Зотова А. В. Развитие системы автоматизированного определения эмоций и возможные сферы применения / А. В. Заболеева-Зотова, Ю. А. Орлова, В. JT. Розалиев, А. С. Бобков // Открытое образование. - 2011. - № 2. - С. 59-62.
3. Нейроботикс - Алиса Зеленоградова. - Режим доступа: http://neurobotics.ru/robotics /antropomorphic-robots/alice (дата обращения 01.08.2014), свободный. - Заглавие с экрана. - Яз. рус.
4. Розалиев В. JT. Моделирование эмоционального состояния человека на основе гибридных методов / В. JI Розалиев // Программные продукты и системы. - 2010. - № 2. - С. 141-146.
5. An open source cognitive humanoid robotic platform. - Available at: http://www.icub.org/ (accessed 01.08.2014).
6. Aldebaran Robotics | Nao. - Available at: http://www.aldebaran.com/en (accessed 01.08.2014).
7. Breazeal P. Robot Emotion: A functional perspective / P. Breazeal, R. Brooks // Who Needs Emotions: The Brain Meets the Robot. - MIT Press, 2004. - P. 137-168.
8. Ekman P. Facial expression and emotion / P. Ekman // Handbook of emotions. - New York : Guilford Publications, Inc, 2000. - P. 236-249.
9. Ekman P. Facial Action Coding System (FACS) / P. Ekman, W. Friesen, J. Hager. - Available at: http://www.paulekman.com/facs/, 2002 (accessed 01.08.2014).
10. Engineered Arts Ltd - Robot Thespian. - Available at: https://www.engineeredarts.co.uk/ (accessed 01.08.2014).
11. FURO-S: Smart service robot. - Available at: http://www.futurerobot.co.kr /en/page/product01.php (accessed 01.08.2014).
12. Hiroshi Ishiguro Laboratories - Robots. - Available at: http://www.geminoid.jp/en/robots.html (accessed 01.08.2014).
13. Ishiguro H. Design of Humanlikeness in HRI: from uncanny valley to minimal design / H. Ishiguro, R. Sorbello et al. // Proceedings of 8th ACM/IEEE International Conference on Human-Robot Interaction (HRI 2013). - 2013. - P. 26.
14. KIBO robot project. - Available at: http://kibo-robo.jp/en/ (accessed 01.08.2014).
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tekhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 3 (27) PROBLEMS OF ROBOTICS, INSTRUMENTATION, CREATION AND USE OF NEW MATERIALS
15. MacDorman K. F. The uncanny advantage of using androids in cognitive and social science research / K. F. MacDorman, H. Ishiguro. - Available at: http://macdorman.com/kfm/writings /pubs/MacDorman2006AndroidScience.pdf (accessed 01.08.2014).
16. Mazzei D. HEFES: an Hybrid Engine for Facial Expressions Synthesis to control human-like androids and avatars / D. Mazzei, N. Lazzeri, D. Hanson, D. De Rossi // Proceedings of the BIOROB2012 Annual International Conference. - Centro Piaggio, 2012. - P. 195-200.
17. Parke F. I. Computer generated animation of faces / F. I. Parke // ACM '72 : Proceedings of the ACM Annual Conference. - New York, 1972. - P. 451-457.
18. Scholtz J. Theory and evaluation of human robot interactions / J. Scholtz // Proceedings of the 36th Hawaii International Conference on System Sciences. - 2003. - P. 145-155.
19. Simmons R., Goldberg D. and others, GRACE: An Autonomous Robot for the AAAI Robot Challenge / R. Simmons, D. Goldberg et al. - Available at: http:// cs.cmu.edu/~reids/papers/grace.pdf (accessed 01.08.2014).
20. RIBA - World's first robot that can lift up a human in its arms. - Available at: http://rtc.nagoya.riken.jp/RIBA/index-e.html (accessed 01.08.2014).
References
1. Vorotnikov S. A., Gorin A. V., Konyshev D. V. Audiovizualnaya sistema ochuvstvleniya robotov [Audio-visual sensor system for service robots]. Ekstremalnaya robototekhnika: trudy mezhdunarodnoy kon-ferentsii s elementami nauchnoy shkoly dlya molodezhi [Extreme robotics: Proceedings of the International Conference with Elements of Scientific School for Youths]. Saint-Petersbourg, 2010, p. 246-252.
2. Zaboleeva-Zotova A. V., Orlova Yu. A., Rozaliev V. L., Bobkov A. S. Razvitie sistemy avtoma-tizirovannogo opredeleniya emotsiy i vozmozhnye sfery primeneniya [Development of computer-aided determination of emotions and possible future applications]. Otkrytoe obrazovanie [Open education], 2011, no. 2, p. 59-62.
3. Neurobotics - Alisa Zelenogradova. Available at: http://neurobotics.ru/robotics/antropomorphic-robots/alice (accessed 01.08.2014).
4. Rozaliev V. L. Modelirovanie emotsionalnogo sostoyaniya cheloveka na osnove gibridnykh me-todov [Modelling human emotional states with hybrid methods]. Programmnye produkty i sistemy [Programme Products and Systems], 2010, no. 2, p. 141-146.
5. An open source cognitive humanoid robotic platform. Available at: http://www.icub.org/ (accessed 01.08.2014).
6. Aldebaran Robotics | Nao. Available at: http://www.aldebaran.com/en (accessed 1 August 2014).
7. Breazeal P., Brooks R. Robot Emotion: A functional perspective. Who Needs Emotions: The Brain Meets the Robot. MIT Press, 2004, p. 137-168.
8. Ekman P. Facial expression and emotion. Handbook of emotions. New York, Guilford Publications, Inc, 2000, p. 236-249.
9. Ekman P., Friesen W., Hager J. Facial Action Coding System (FACS). Available at: http://www.paulekman.com/facs/, 2002 (accessed 1 August 2014).
10. Engineered Arts Ltd - Robot Thespian. Available at: http://www.engineeredarts.co.uk/ (accessed 1 August 2014).
11. FURO-S: Smart service robot. Available at: http://www.futurerobot.co.kr/en /page/productOl.php (accessed 01.08.2014).
12. Hiroshi Ishiguro Laboratories - Robots. Available at: http://www.geminoid.jp/en/robots.html (accessed 01.08.2014).
13. Ishiguro H., Sorbello R. et al. Design of Humanlikeness in HRI: from uncanny valley to minimal design. Proceedings of 8th ACM/IEEE International Conference on Human-Robot Interaction (HRI 2013), 2013, p. 26.
14. KIBO robot project. Available at: http://kibo-robo.jp/en/ (accessed 01.08.2014).
15. MacDorman K. F., Ishiguro H. The uncanny advantage of using androids in cognitive and social science research. Available at: http://macdomian.com/kfin/writings/pubs/MacDorman2006AndroidScience.pdf (accessed 1 August 2014).
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 3 (27) 2014 ВОПРОСЫ РОБОТОТЕХНИКИ, ПРИБОРОСТРОЕНИЯ, СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ НОВЫХ МАТЕРИАЛОВ
16. Mazzei D., Lazzeri N., Hanson D., De Rossi D. HEFES: an Hybrid Engine for Facial Expressions Synthesis to control human-like androids and avatars. Proceedings of the BIOROB2012 Annual International Conference. Centro Piaggio, 2012, p. 195-200.
17. Parke F. I. Computer generated animation of faces. ACM '72: Proceedings of the ACM Annual Conference. New York, 1972, p. 451-457.
18. Scholtz J. Theory and evaluation of human robot interactions. Proceedings of the 36th Hawaii International Conference on System Sciences, 2003, p. 145-155.
19. Simmons R., Goldberg D. et al. GRACE: An Autonomous Robot for the AAAI Robot Challenge. Available at: http:// cs.cmu.edu/~reids/papers/grace.pdf (accessed 1 August 2014).
20. RIBA - World's first robot that can lift up a human in its arms. Available at: http://rtp.nagoya.riken.jp/RIBA/index-e.html (accessed 1 August 2014).
