CC BY
52
Крыловецкий Александр Абрамович-- Воронежский государственный университет; e-mail: [email protected]; 394006, г. Воронеж, Университетская площадь, 1; тел.:
+74732304639; кафедра цифровых технологий; зам. декана факультета компьютерных наук;
. .- . .; .
Черников Игорь Сергеевич - e-mail: [email protected]; тел.: +79081446258; кафедра цифровых технологий; аспирант.
Krylovetsky Alexander Abramovich - Voronezh State University; e-mail: [email protected];
1, Universitetskaya ploshad, Voronezh, 394006, Russia; phone: +74732304639; the department of digital technologies; vice dean of computer science faculty; cand. of phis.-math. sc.; associate professor.
Chernikov Igor Sergeevich - e-mail: [email protected]; phone: +79081446258; the department of digital technologies; postgraduate student.
УДК 004.93
A.H. Гнеушев ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЛИЦА ПУТЕМ ОПТИМИЗАЦИИ МОДЕЛИ ИЗОБРАЖЕНИЯ В ПРОСТРАНСТВЕ БАЗИСНЫХ ФУНКЦИЙ
Рассматривается задача автоматической локализации характерных точек лица на изображении. На основе исследований [1-4] развивается подход построения текстурной модели объекта путем аппроксимации обучающего множества изображений с помощью оптимизации системы базисных функций. Каждое изображение элемента лица из обучающей выборки описывается весовым вектором в полученном базисе и координатами . -щью минимизации невязки весовых векторов модели и проекции изображения в базисном пространстве по параметрам преобразования модельной системы координат.
Текстурная модель; оптимизация базиса; оценка положения лица; слежение; выделение характерных точек лица; Gabor Wavelet Network.
A.N. Gneushev FACIAL FEATURES ESTIMATION BY IMAGE MODEL OPTIMIZATION IN SPACE OF THE BASIC FUNCTIONS
Consideration was given to a problem of the facial features localization in an image. Under investigation [1—4] the approach of the textural model construction by the learning image set approximation by optimization of the basic function system has been improved. Each facial feature's texture of the learning set is described by weight vector in the obtained basis and the set of the characteristic point coordinates. The parameters of the object image under consideration are estimated by minimizing the residual of the model weight vectors and projection of the image in the basic space for parameters of the model coordinate system transformation.
Textural pattern, decomposition optimization; Gabor basic functions; face localization; face tracking; face features extraction; Gabor Wavelet Network.
. -
тематического анализа видеоизображений объектов со сложной структурой, таких как лицо человека, большое значение имеют задачи обнаружения объекта, отдельных его элементов (глаза, нос, губы), определения их границ. Для решения этих задач необходимо построить текстурную модель изображений целевых объектов, с помощью которой можно локализовать соответствующую область. Текстурную модель изображений с неоднородной структурой целесообразно строить на основе аппроксимации целых областей некоторым семейством базисных функций, выбранных таким образом, чтобы наиболее эффективно представлять текстуру целе-
вых объектов. Так как изображения объекта зависят от его масштаба, ракурса и условий освещения сцены, текстурная модель должна описывать некоторый класс изображений инвариантно к этим факторам. Будем допускать, что изменение масштаба, положения и ракурса объекта можно моделировать с помощью преобразования системы координат изображения.
2. Оптимизация текстурной модели. Пусть / (х) - функция изображения,
где x = (х, у )Т- координаты точки. Будем ее рассматривать как функцию из пространства 2) и искать ее среднеквадратичное представление в виде конечного ряда, в векторной форме:
/ (х) = ¥^, (1)
(\ Т Т
/и -/и,, ) , w =( м^,...,wN) , у/и (х) - базисные функции в про-
1 N7 1
странстве I2 (^2 ) с вектором параметров и; е Ои, - множество допустимых
векторов и, Ц - веса разложения по базисным функциям, N - число базисных
функций, / - представление изображения / (х). При заданном векторе -
тор весов W находится путем проецирования изображения на систему базисных :
w = С*1 (Т, / ), (2)
где Су =|</и ,/и >|-матрица Грама, < .,. > - операция скалярного произведения относительно X , (,/) = (</ ,/ >,..,</и ,/ >) .
и 1 -
квадратичного отклонения обучающей выборки изображений целевого объекта и (1):
є2 = 111І11
П к -Ч т»‘||
к =1 2
(3)
где - изображение с номером к из обучающе го множества, К - общее количество изображений во множестве, wк = (к,..., ) - вектор весов разложения
изображения /к по базису, £ - среднеквадратичная ошибка.
(1) .
, (2) ( )
исходных изображений, близких по норме в 12(Ж2), и, следовательно, ряд (1) будет представлять некоторый класс изображений.
Определение 1. Классом изображений С£ относительно нормы в 12(^2)
определим такое множество изображений {/к} VI, ] З£:
/1 ^
Определение 2. Пусть на множестве рассматриваемых изображений определены система координат мсг и ее непрерывное взаимнооднозначное преобразование Та (х): ^2 ^^2 с вектором параметров а. Классом изображений С£,Т с преобразованием Та относительно нормы в 12(Ж2) определим такое множество изображений { /к } VІ, ] За ( ] ), £: \/ (х)- / (Та (х )))<£.
Из определения 2 следует, что Vfk е С£,Т За (к): {/к (а (х)) с С£ .
Изображения класса С£Т являются эквивалентными относительно преобразова-
Та , , ,
одним множеством точек в некоторой выделенной системе координат. Введем модельную систему координат Мс!!, в которой определим множеством характерных точек РМ = {хи} . Текстурно-геометрическую модель для изображений некоторого объекта из класса С£ Т представим множеством м0 = {*Р wк РМ т} .
0 I ’ ’ J к=0,..,К
Модель М0 строится с помощью обучающей процедуры, в которой для каждого исходного изображения е С£ Т эксперт задает множество характерных точек
Р0 ={х^} . Далее формируется обучающая выборка {/к }к =1 К С С£ путем преобразования: { (х)}^{/ (Та(к)(х))}, где Та(к): Рк0 ^ Рм . Обучение модели
состоит в итеративном решении задачи (3) методом доверительных областей [3, 5]. Пусть имеется обученная модель и изображение / (х), содержащее целевой .
множества характерных точек Р0 ={хо} в системе координат / (х). Для этого находятся такие параметры преобразования Та : РМ ^ Р0, при которых минимизируется невязка проекции изображения / (а (х)) на систему базисных функций и модельных образов wк:
плп р - С-1 ((х H, / (Т. (х)))) <4>
к =1..ка’
где Па - множество допустимых векторов а , задающее ограничения на преобразование; wк - весовой вектор образа к в модели; норма определена как
И - НК/Нч- - у/1М1т II2, 1М1* ф 0, 1М1,. ф 0, где
2 = (- V)Т С¥ (w- V), w и V - векторы в базисном пространстве [1]. Для инициализации процесса оптимизации (4) задается начальный вектор а
Р0 -
. [5] -
нии следующей квадратичной подзадачи на каждой итерации 1: тт8Т +1/2 аТ АД., ЦПУ 2 ,
ё,еП 2
где ё. =-21 т(а;)О¥ (( - V (а.)) - градиент функции невязки для (4);
- нормированный весовой вектор, V(а.) = О,,1 ((х),(( (х)) -
образ изображения в базисе; А. = 21Т(а. )^1(а.) - симметричная матрица, аппроксимирующая матрицу Гессе; J(а) = ЭV (а)/Эа - матрица Якоби; - реше-
ние подзадачи, приращение к текущему вектору параметров, а1+1 = а. + d1.; Э -диагональная матрица, задающая эллипсоидную область; А. - размер доверитель, -димости. Элементы матрицы Якоби для нормированной проекции V находятся из
:
где
Эу (я)/Эя = | (ут^у)) ^ уТо
Эа
Эу (а )/Эа = О ^
Эу Эя
ЭТ(х
(уТс,,у)3,
Э Та‘ (Та (х))
Эа
Эх
Эа
I (Т.(х))
і (Та" )(х)
- модуль якобиана преобразования.
, (4) -
та на исходном изображении, на нее влияет только точность начального приближения вектора а .
3. Результаты. Для построения текстурных моделей лица в качестве базисных функций используется семейство нечетных функций Габора, удовлетворяющих условию “допустимости вейвлетов” [1]. Проекция (2) изображения в таком базисе устойчива к неравномерной освещенности сцены, вследствие того, что базисные функции локальны и имеют нулевое среднее. Класс С£,Т изображений областей лица определим относительно аффинного преобразования
т.( х ) =
ху
0 р
х
008 ф - 81П р 8ІП р 008 р
X -
С
у
8Х > °, г> 0,
с вектором па-
раметров а = ( сх, су, sx ,у, sxy ,ф) .Для каждого элемента (левого глаза, правого
глаза и рта) и всего лица в целом строится своя текстурная модель по обучающей выборке из 100 изображений. Для модели лица площадью 48x50 точек используется 70 базисных функций, для моделей элементов площадью 48x30 точек - по 52 функции. Модели элементов иерархически связаны с моделью всего лица.
(4) -
ответствие образов модели всего лица изображению, и находятся параметры аффинного преобразования айсе . На втором этапе производится поиск каждого элемента лица путем оптимизации (4) соответствующей модели по параметрам ае1. Для первоначальной оценки ае1 используется вектор Ре1 = Та( РМ, а&се), полученный на первом этапе. Итоговый вектор характерных точек элемента находится из выражения Ре1 = Та ( РМ, ае1).
Реализованные алгоритмы тестировались на размеченной базе изображений 1000 лиц с разрешением от 180*180 до 1200*1600 точек, снятых в различных условиях освещения и разными камерами. Для начального положения лица, найденного с точностью 15 % от расстояния между глазами, получены следующие средние ошибки локализации точек в процентах от расстояния между зрачками: центры зрачков - 3,13 %, внешние уголки глаз - 4,13 %, внутренние уголки глаз - 3,63 %, центр верхней и нижней губы - 4,83 %, уголки губ - 6,36 %. Для сравнения, в работе
[2] для двух баз изображений лиц с разрешениями 320*243 и 256*384, с расстоянием около 55 точек между глазами при сравнимом времени оценивания получена суммарная средняя ошибка, равная 10 точкам (18 % от расстояния между глазами).
Заключение. Описанные методы развивают и обобщают работы [1-3]: обобщен подход для моделирования более широкого класса изображений лиц [4]; текстурная модель строится на множестве изображений объекта, а не на одном выбранном; модели элементов описывают области, а не окрестности точек лица; оптимиза-(4) , ; -
пользуется устойчивый метод доверительных областей и оптимизация по нормиро-. , -татком метода является риск нахождения неверного локального минимума (4). Частично проблема решается путем уменьшения количества базисных функций в моде, .
использовать нелинейное преобразование Ta. С помощью предложенного подхода
можно оценивать также качественные характеристики, такие как раса и пол, так как (4) , -
чения можно связать соответствующие характеристики.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Feris R., Krueger V., Cesar Jr.R. Efficient real-time face tracking in wavelet subspace // Proc. IEEE ICCV Workshop on Recog., Anal. and Tracking of Faces and Gestures in Real-time Systems. Vancouver, 2001.
2. Feris R., Gemmell J., Toyama K. et al. Hierarchical wavelet networks for facial feature localization // Proc. IEEE ICCV Workshop on Recog., Anal. and Tracking of Faces and Gestures in Real-time Systems. Vancouver, 2001.
3. . . - -
// . . -
ления. - 2007. - № 3. - С. 85-96.
4. . . - -
// . - 2012. - 1. - . 159-168.
5. Byrd R., Schnabel R.B., Shultz G.A. A trust region algorithm for nonlinearly constrained optimization // SIAM J. Numer. Anal. - 1987. - № 24. - P. 1152-1170.
Статью рекомендовал к опубликованию д.ф.-м.н. В.И. Цурков.
Г неушев Александр Николаевич - Федеральное государственное бюджетное учреждение науки Вычислительный центр им. А.А. Дородницына Российской академии наук; e-mail: [email protected]; 119333, г. Москва, ул. Вавилова, 40; тел.: 84959307558; отдел сложных ; ; . .- . .
Gneushev Alexander Nikolayevich - Institution of Russian Academy of Sciences Dorodnicyn Computing Centre of RAS; e-mail: [email protected]; 40, Vavilov street, Moscow, 119333, Russia; phone: +74959307558; department of complex systems; leading researcher; cand. of phis.-math. sc.
