CC BY
33
Организационная психология. 2023. Т. 13. № 2. С. 121-138. БО!: 10.17323/2312-5942-2023-13-2-121-138
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ
www.orgpsyjournal.hse.ru
О возможности автоматизированной оценки видеоинтервью по лицевым экспрессиям
ГУСЕВ Алексей Николаевич
ОКСГО: 0000-0002-9299-7092
Московский государственный университет им. М. В. Ломоносова, Москва, Россия
БАЕВ Михаил Степанович
ОКСГО: 0000-0002-1842-2012 Санкт-Петербург, Россия
МАЧУЖАК Анастасия Владимировна
ОКСГО: 0000-0003-1658-3426
ПОДРЕЗОВА Александра Владимировна
ОКСГО: 0000-0002-9283-1172 Группа НЛМК, Москва, Россия
Аннотация. Цель исследования — обосновать возможность использования лицевых экспрессий для автоматизированного и дистанционного анализа видеоинтервью для оценки персонала. Дизайн исследования предполагает сопоставление разработанных авторами показателей мимической активности для оценки кадрового видеоинтервью с соответствующими оценками специалистов по управлению персоналом. Общая методология исследования основана на возможности перехода от измерения мимической активности к анализу эмоционального поведения человека и далее — от анализа эмоций к пониманию смыслов, от понимания смыслов к оценке личности сотрудника, отвечающего на вопросы интервью. Частная методология основана на разработанном М. С. Баевым и А. Н. Гусевым прямом подходе к анализу двигательных единиц системы кодирования лицевых движений по видеозаписи и использовании их для оценки эмоционального состояния человека. Сотрудники крупных российских компаний (413 мужчин и 242 женщины, средний возраст = 42,6 года) дистанционно проходили стандартизированное видеоинтервью, включавшее от шести до 16 вопросов. Результаты. Для анализа было отобрано 4038 видеозаписей. Анализ мимической активности выполнялся с помощью ПО ЭмоРадар WR 5.0 путем выделения отдельных двигательных единиц, базовых эмоций и паттернов мимической активности. На основании критериев, предложенных специалистами по управлению персоналом, были разработаны шесть правил автоматического анализа мимической активности респондентов на основании появления на видеозаписи паттернов двигательных единиц, характеризующих поведение респондента при ответе на вопрос интервью как соответствующее/несоответствующее ожиданию эксперта. Для сравнительного анализа отобрано 60 видеозаписей, которые были оценены шестью экспертами по шкалам: включённость, стресс, уверенность, лёгкость, активность, сила. Полученные результаты свидетельствуют о хорошем соответствии итогов автоматизированной классификации видеозаписей на основе анализа мимической активности респондентов и оценок экспертов по шкалам. Значение для практики. Таким образом, подтверждена возможность практического использования разработанной нами оригинальной техноло-
Адрес: 125009, Москва, ул. Моховая, д. 11, стр. 9.
E-mail: [email protected]
гии автоматического анализа мимической активности и построенного на её основе алгоритма оценивания дистанционно записанных ответов респондентов на вопросы кадрового видеоинтервью, что расширяет методические возможностей специалистов по управлению персоналом при работе с большими объёмами видеоинтервью.
Ключевые слова: оценка персонала; видеоинтервью; лицевые экспрессии; эмоции; системы кодирования лицевых движений.
Введение
В крупных компаниях оценка персонала является важной частью профессиональной деятельности специалистов по управлению персоналом. Особенную актуальность она приобретает в том случае, если предприятия компании расположены вдали от главного офиса. Очевидно, что в таком случае целесообразно использовать технологии дистанционного оценивания персонала, например, по результатам их ответов на вопросы видеоинтервью (Денисов, Кардаш, 2019; Balcerak, Wozniak, 2021; Blacksmith et al., 2016). Квалифицированная оценка видеоинтервью требует не только значительных временных затрат со стороны специалиста, но и его высокой квалификации. Очевидно, что в такого рода работе велика доля субъективизма и вклада самых разных ситуационных факторов.
В последние годы в разных компаниях были сделаны попытки использования компьютерных методов оценки видеоинтервью, например, с помощью нейросетевых технологий. Один из авторов данной публикации лично беседовал с разработчиками такого сервиса для крупнейшей металлургической компании России и был удивлен, насколько наивны и мало убедительны были идеи разработчиков, которые де-факто пытались отобрать будущих сотрудников по схожести их внешнего вида с уже работающими сотрудниками этой компании.
Нам очевидно, что использование современных компьютерных технологий для дистанционной и автоматизированной оценки персонала — не панацея для решения всех проблем, но, скорее — полезный дополнительный инструмент в арсенале специалистов по управлению персоналом. В пользу подтверждения нашего тезиса свидетельствует обозначение в литературе по оценке персонала нового тренда — автоматический анализ дистанционных кадровых видеоинтервью (automatic analysis of asynchronous job interview) (Köchling et al., 2022; Nithya et al., 2022; Hemamou et al., 2019; Nguyen, 2015).
Одним из подходов к оценке видеоинтервью является анализ лицевых экспрессий респондента. С помощью нейросетевых технологий пытаются оценивать широкий спектр аффективных состояний (McDuff, 2016; Den Uyl, Van Kuilenburg, 2005). Как мы уже отмечали (Гусев и др., 2021; Gusev et al., 2021), такой подход не столько решает задачу автоматической оценки эмоционального состояния респондента, сколько создаёт проблемы, связанные с неверной, искаженной интерпретацией нейросетью выражений лица как определенных эмоциональных реакций. Ряд авторов, работающих в области аффективных вычислений (affective computing) полагают, что средства автоматического распознавания выражения лица должны скорее оценивать особенности морфологии лица, проявляющиеся в мимической активности (МА) как двигательные единицы (action unit, AU) системы кодирования лицевых движений (facial action coding system, FACS), а не выявлять эмоциональные или аффективные состояния человека (Tcherkassof, Dupre, 2020). Мы разделяем эту точку зрения, поскольку наши исследования показали, что оценка аффективного поведения человека по его МА должна быть основана на выделении двигательных единиц (ДЕ) в качестве основной
единицы анализа МА и ограниченности использования для этого технологий нейросетевой классификации (Гусев и др., 2021; Baev, Gusev, Kremlev, 2021; 2023; Baev, Gusev, 2023).
Наша методологическая позиция заключается в возможности использовать научные разработки в области оценивания поведения человека по его мимике как один из инструментов анализа кадровых видеоинтервью при оценке персонала. Она основана на следующей логике, обоснованной в общей психологии и психологии личности: от измерения МА к анализу эмоционального поведения человека (Rosenberg, Ekman, 2020), от анализа эмоций к пониманию смыслов, от понимания смыслов к оценке личности сотрудника, отвечающего на вопросы интервью (А. Н. Леонтьев, 1976; Д. А. Леонтьев, 1999; Асмолов, 2007).
Опыт общения с коллегами, работающими в службах развития персонала крупных российских и зарубежных компаний, показал, что бизнес заинтересован в новых информационных технологиях оценки персонала. Более того, мы полагаем, что такая заинтересованность — это современный тренд в развитии методического инструментария специалистов по управлению персоналом (Денисов, Кардаш, 2019; Chen et al., 2014; Lovcheva et al., 2019). Нам представляется, что современным компаниям будет полезно использовать автоматизированную оценку видеоинтервью при решении задач оценки соискателей, плановой оценки персонала при аттестации, в ходе реорганизации предприятия, при принятии управленческих решений.
Замысел исследования предполагал: 1) сопоставление разработанных нами показателей МА для оценки видеоинтервью с соответствующими оценками специалистов по управлению персоналом; 2) обоснование возможности использования показателей МА для автоматизированного и дистанционного анализа видеоинтервью в качестве объективных и надёжных критериев при разработке современных цифровых технологий оценки персонала.
Методика
Участники исследования
Участниками исследования были 655 сотрудников трёх российских промышленных компаний. Все респонденты были отнесены к руководителям четырёх уровней: 1) руководители высшего звена; 2) руководители среднего звена; 3) эксперты; 4) специалисты. Средний возраст — 42,57 года (а = 7,98), 413 мужчин, 242 женщины, 81% с высшим образованием, 19% с незаконченным высшим и средним профессиональным образованием.
Процедура
Участникам исследования было предложено дистанционно ответить на ряд вопросов стандартизированого видеоинтервью. Исследование проводилось как на компьютерной платформе автоматизации рекрутмента VCV (vcv.ru), так и с использованием специального сервиса, входящего в ПО ЭмоРадар WR 5.0 (emoradar.ru). Респондентам сообщалось, что целью видеоинтервью была оценка их компетенций при принятии решения о карьерных перемещениях и планирования профессионального развития.
В зависимости от своей должности респондентам предлагалось ответить от 6 до 16 вопросов. Например: «Опишите Ваши функции, что входит в Ваши профессиональные обязанности?», «Какие Ваши дальнейшие планы в карьере (профессии)?», «Приведите пример, когда Вам необходимо принять решение. Как выглядит последовательность действий? Что является самым важным в принятии решений? Каковы могут быть последствия неверного решения?».
Вопросы предъявлялись последовательно, каждый ответ предлагалось дать в течение одной-пяти минут в зависимости от сложности вопроса. Перед началом интервью участникам исследования предлагалось удобно расположиться перед веб-камерой компьютера так, чтобы их лицо занимало по возможности не менее половины высоты экрана. Каждый следующий вопрос интервью предъявлялся автоматически после предыдущего с указанием времени ответа на вопрос. Начало регистрации ответа инициировали сами респонденты. Средняя длительность видеоинтервью составляла 15,6 минут. Средняя длительность ответа на вопрос была 78,11 с (о = 53,34 с).
Сбор и анализ данных
«Сырыми» данными по окончанию видеоинтервью были файлы видеозаписей в формате *.тр4 разрешением 480x360 рх, которые сохранялись на сервере вендора после ответа на каждый вопрос. В период 2019-2022 гг. было собрано 17177 видеозаписей, из них для анализа МА респондентов были отобраны те, которые соответствовали критериям автоматической обработки (Ваеу et а1., 2021). Чтобы отобранные видеозаписи соответствовали критериям их автоматической обработки: 1) длительности видеозаписи — не менее 30 с; 2) частота кадров — не менее 20 fps; 3) средняя высота лица по кадрам видеозаписи — не мнее 200 рх; 4) средний показатель резкости лица в кадре — не менее трёх усл. ед. Индекс резкости изображения лица измерялся специальным алгоритмом, оценивающим среднюю размытость отдельных точек на поверхности лица по отдельным кадрам.
Для анализа было отобрано 427 записей ответов на вопросы руководителями первого уровня, 764 — второго уровня, 556 — третьего уровня и 2291 — четвёртого уровня. Каждая видеозапись представляла собой ответ на один вопрос интервью.
Показатели мимической активности
В ходе автоматического анализа каждой видеозаписи выделялись 22 базовых двигательных единицы на левой и правой половинах лица (см. табл. 1) согласно международной Системе кодирования лицевых движений (FACS) (Ектап et а1., 2002). В соответствии с принципами, описанными в (Ектап et а1., 2002) выделялись семь базовых эмоций: радость, печаль, страх, злость, презрение, удивление и отвращение. Подчеркнём, что алгоритмы выделения ДЕ с помощью ПО ЭмоРадар ШЯ 5.0 основаны на прямой оценке движений лицевой поверхности, а не на использовании нейросетевой классификации, что, по нашему мнению, неадекватно для измерения МА (Гусев и др., 2021).
Таблица 1. Двигательные единицы Системы кодирования лицевых движений, выделенные ПО ЭмоРадар при анализе мимической активности
Двигательная единица Движение поверхности лица Двигательная единица Движение поверхности лица
Аи 1 Поднятие внутренней части брови Аи 12 Поднятие угла губы
Аи 2 Поднятие внешней части брови Аи 14 Втягивание угла рта
Аи 41 Опускание надпереносья Аи 15 Опускание угла губы
Аи 44 Сведение бровей Аи 17 Подъём подбородка
Аи 5 Поднятие верхнего века Аи 20 Растяжение губ
Аи 7 Сокращение длины век Аи 24 Сжатие губ
Аи 43 Закрытие глаз Аи 26/27 Челюсть опускается / Рот открывается
Аи 45 Моргание Аи 70 Брови не видны
Аи 6 Поднятие щеки Аи 71/72 Глаза не видны / Нижняя часть лица не видна
Аи 9 Сморщивание носа Аи 73 Все лицо не видно
Аи 10 Поднятие верхней губы Аи 74 Оценка мимики невозможна
Для количественной оценки МА мы использовали: число, общую длительность ДЕ и базовых эмоций, а также плотность ДЕ и базовых эмоций, оцениваемую как соотношение их длительностей к общей длительности видеозаписи. Обработка данных выполнялась в статистической системе IBM SPSS Statistics 25.
Результаты
Операционализация критериев оценки видеоинтервью
В соответствии с опытом работы специалистов по управлению персоналом по оцениванию кадровых видеоинтервью (см., например: Nguyen, Gatica-Prez, 2015) мы сформулировали следующие критерии для автоматизированной оценки МА по полученным видеозаписям. Указанные ниже критерии были согласованы со специалистами по управлению персоналом, в обязанности которых входила оценка видеоинтервью. Между авторами и специалистами по управлению персоналом был достигнут консенсус по поводу максимально возможного сходства предложенных нами критериев оценки МА и используемых ими показателей.
1. Проявления признаков совладания со стрессом.
2. Активное внимание, включённость, интерес.
3. Спокойствие.
4. Негативная установка в общении.
5. Переживание опасности, тревожность.
6. Неудовольствие, фрустрированность.
Были проанализированы 4038 видеозаписей, выделены ДЕ и базовые эмоции как первичные показатели МА. Проведён статистический анализ распределения количественных характеристик этих показателей. В качестве важных метрик мы использовали количество, длительность и плотность каждого показателя МА. Далее все видеозаписи были классифицированы в соответствии с величиной плотности показателя по квартилям эмпирических распределений для того, чтобы выделить контрастные группы видеозаписей, например: входящие или не входящие в третий и четвёртый квартили.
Подчеркнём, что таким образом, мы провели операционализацию указанных выше критериев оценки видеозаписей с использованием тех показателей МА, которые отражают на лице эмоциональные экспресии. Результаты представлены ниже в виде разработанных правил отбора видеозаписей в три группы, соответствующие трём категориям типичных оценок специалистов по управлению персоналом, характеризующих ответ респондента: «Соответствует ожиданиям», «Соответствует частично», «Не соответствует».
Правило 1. Квалификация видеоинтервью по уровню совладания респондентов со
стрессом
В соответствии с известными подходами к анализу МА (Cohn, 2019; 2022; Scherer et al., 2021; 2019; Barrett et al., 2019; Ellgring, 2008; Ekman et al., 2002; Сухаребский, 1966) мы оценивали проявления совладания со стрессом по следующим критериям:
• количественная выраженность AU 20, AU 14 и AU 24 как тех двигательных единиц, которые входят в оценку базовой эмоции страха (AU 20), так и являются внешними проявлением стресса (AU 14, AU 24);
• к «Экстремальному» проявления стресса в МА были отнесены видеозаписи, в которых были обнаружены AU L20, AU R20, AU L14, AU R14 и AU 24 с величиной их плотности в третьем или четвёртом квартилях;
• к «Высокому» уровню стресса были отнесены видеозаписи: которых были обнаружены AU L20, AU R20, AU L14, AU R14 с величиной их плотности в третьем или четвёртом квартилях.
Результаты статистической обработки данных показали, что 0,57% проанализированных видеоинтервью относятся к «экстремальному» уровню проявления стресса, а 5,3% — к «высокому».
Правило 2. Активное внимание, включённость, интерес (далее — «включённость»).
В соответствии с литературными данными (Barrett et al., 2019; Hemamou et al.; 2019; Ekman et al., 2002) мы оценивали проявление включённости по следующим критериям:
• количественная выраженность AU 1 и AU 5 тех двигательных единиц, которые входят в оценку базовой эмоции удивления, являются внешними проявлением эмоционального возбуждения;
• к проявлению «Высокого» уровня включённости были отнесены видеозаписи, в которых были обнаружены AU L1, AU R1, AU L5, AU R5 с величиной их плотности в третьем или четвёртом квартилях. В итоге 5% интервью были отнесены в «высокому» уровню включённости;
• к проявлениям отсутствия включенности отнесены видеозаписи, в которых были обнаружены AU 1 и AU 5 с величиной их плотности в первом квартиле. 6,7% видеозаписей были отнесены к этому уровню включённости.
Правило 3. Спокойствие
В соответствии с литературными данными (Barrett et al., 2019; Ekman et al., 2002), мы оценивали проявление спокойствия на основании отсутствия внешних проявлений высокого эмоционального возбуждения, по следующим критериям:
• количественная выраженность двигательных единиц, которые входят в оценку базовых эмоций страха (AU 20, AU 5), злости (AU 24, AU 5), а также являются внешними проявлением стресса (AU 14, AU 24);
• к проявлению «Высокого» уровня спокойствия были отнесены видеозаписи, в которых были обнаружены AU L20, AU R20, AU L14, AU R14, AU L24, AU R24, AU L5 и AU R5 с величиной их плотности в первом квартиле. 0,79% интервью были отнесены в «высокому» уровню спокойствия.
Правило 4. Негативная установка в общении
В соответствии с литературными данными (Ekman et al., 2002), мы оценивали это эмоциональное состояние как проявление негативных эмоций презрение и (или) отвращение, и (или) печали, и (или) страха. Критерии отбора:
• количественная выраженность указанных выше эмоций;
• к проявлениям негативной установки в общении были отнесены видеозаписи, в которых были обнаружены эмоции презрения и (или) отвращения с величиной их плотности в четвертом квартиле, и (или) страха в третьем-четвёртом квартилях. В 48,4% интервью были обнаружены внешние признаки негативной установки в общении.
Правило 5. Переживание опасности
В соответствии с литературными данными (Ekman et al., 2002), мы оценивали это эмоциональное состояние как проявление переживания страха. Критерии отбора:
• наличие AU 20 или AU 14 и обнаружение на лице базовой эмоции страха;
• к проявлениям высокой степени переживаний страха были отнесены видеозаписи, в которых были обнаружены Аи L20, Аи R20 с плотностью во втором-третьем квартилях, Аи L14, Аи R14 — во втором-третьем квартилях и страха в третьем квартиле. В 2,3% видеозаписях были обнаружены внешние признаки переживания опасности.
Правило 6. Фрустрированность, неудовольствие (далее — «неудовольствие»)
Мы характеризуем это эмоциональное состояние как определённое проявление злости. Критерий отбора — появление базовой эмоции злость с плотностью в третьем-четвёртом квартилях. Внешние признаки переживания неудовольствия обнаружены в 4,3% видеозаписей.
Группировка по категориям
В соответствии с указанными выше правилами все видеозаписи были оценены как соответствующие трём указанным выше категориям: «Соответствует ожиданиям», «Соответствует частично», «Не соответствует».
1. В группу «соответствующие» вошли видеозаписи, в которых были зафиксированы минимальные уровни совладания со стрессом, отсутствие негативной установки в общении, минимальные уровни переживания опасности и недовольства, а также максимальные уровни активного внимания и спокойствия. То есть при выделении этой группы применялись правила 1, 4, 5, 6, 2 и 3. В этой группе оказалось 1843 видеозаписей или 45,6%.
2. В группу «соответствует частично» вошли видеозаписи со средним или низким уровнями совладания со стрессом, наличием негативной установки в общении, переживания опасности и недовольства. То есть при выделении этой группы применялись правила 1, 4, 5 и 6. В данной группе оказалось 1956 видеозаписей или 48,4%.
3. В группу «не соответствующие» вошли видеозаписи, где были зафиксированы экстремальные или высокие уровни проявления стресса, а также одновременно были обнаружены признаки негативной установки в общении, неудовольствия. То есть при выделении этой группы применялись правила 1, 4, и 6. В данной группе оказалось 239 видеозаписей или 6%.
Для верификации эффективности использованных нами алгоритмов автоматизированной оценки видеоинтервью с помощью ПО ЭмоРадар 5.0 мы сопоставили наши данные с оценками опытных специалистов по управлению персоналом одной из компаний. Для экспертизы из каждой группы были случайным образом выбраны по 20 видеозаписей, соответствующих разным респондентам — всего 60 видеозаписей.
Экспертные оценки видеозаписей, соответствующих трём выделенным группам
респондентов
Для проведения экспертизы к исследованию были привлечены шесть экспертов (пять женщин и один мужчина, имеющие опыт работы в компании не менее трёх лет), в работу которых входит оценка дистанционных видеоинтервью. Были использованы семь показателей в виде биполярных графических шкал. В ходе совместного обсуждения процедуры проведения экспертизы видеозаписей мы убедились, что эти показатели были включены в имеющиеся у них методические рекомендации и реально применялись в их практической работе при удалённой оценке персонала.
1. Включённость («Невключённый — Включённый»). В инструкции указывалось, что это измерение характеризует респондента как заинтересованного, включённого в контекст обсуждаемой проблемы, небезразличного к ней.
2. Стресс («Напряжённый — Спокойный»). При оценках респондентов по шкале Стресс подчеркивалось, что эксперту необходимо обратить внимание на проявления признаков совладания со стрессом, эмоциональной напряжённости, беспокойства — того, что не соответствует определению поведения как спокойного.
3. Уверенность («Неуверенный — Уверенный»). Делая оценки по этой шкале, эксперту предлагалось обратить внимание на то, насколько уверенно выглядит респондент.
4. Лёгкость («Скованный — Свободный»). Для оценки по этой шкале, эксперту предлагалось обратить внимание, насколько легко, непринужденно, свободно респондент отвечает на вопрос.
5. Активность («Пассивный — Активный»). Для оценки по этой шкале, эксперту предлагалось оценить степень активности респондента как проявление интенсивности реагирования на предложенный вопрос в двигательной, интеллектуальной или эмоциональной сферах.
6. Сила («Слабый — Сильный»). По шкале «Сила» эксперту предлагалось оценивать респондента как энергичного человека, в поведении которого отсутствуют внешние проявления слабости, усталости, и, наоборот, присутствуют признаки волевого поведения, самообладания, готовности действовать.
Просмотрев видеозапись, эксперт должен был сделать отметку на шкале щелчком мыши. Полученные оценки автоматически переводились в числовые значения от 0 до 100. Кроме того, экспертам предлагалось сделать общее заключение о респонденте при ответе на заданный вопрос видеоинтервью по трёхбалльной шкале: (1) не соответствует ожиданиям; (2) соответствует частично; (3) соответствует ожиданиям. По техническим причинам Эксперт 4 свои заключения дать не смог.
Экспертиза случайным образом выбранных 60 видеозаписей проводилась индивидуально каждым экспертом в течение одной рабочей недели на его рабочем месте в свободном темпе и в свободном порядке. Все видеозаписи располагались на экране монитора в случайном порядке, а эксперты не знали о том, что видеозаписи были предварительно разделены на указанные выше три группы на основании результатов автоматического анализа МА. Ни эксперты, ни авторы не имели сведений о должности респондентов, поскольку полученные нами данные были получены в обезличенном виде.
Для сбора ответов при проведении экспертизы использовалось ПО Практика МГУ (авторы А. Е. Кремлёв и А. Н. Гусев), которое устанавливалось на компьютер эксперта. После окончания обработки данных с экспертами проводился семинар, на котором обсуждались полученные результаты.
Согласованность оценок экспертов
Для решения задачи сравнения показателей МА с оценками экспертов проанализируем данные, полученные от группы экспертов, на предмет их согласованности. В таблице 2 представлены результаты корреляционного анализа экспертных оценок в виде усреднённых коэффициентов корреляции каждого из шести экспертов с пятью его коллегами. Это сделано для того, чтобы количественно показать уровень сходства (различия) между экспертами и, возможно, исключить из дальнейшего анализа шкальные значения тех экспертов, которые плохо согласованы с данными других экспертов. Для каждой из шести указанных выше шкал были рассчитаны матрицы коэффициентов корреляции оценок шести экспертов, и по каждой матрице рассчитаны средние значения коэффициентов корреляции.
Анализ таблицы 2 показывает, что самые низкие значения согласованности оценок наблюдаются у Эксперта 6: по шкалам Стресс и Лёгкость коэффициенты корреляции его оценок (выделены курсивом) не достигают уровня 0,3. На этом основании его оценки были исключены из дальнейшего анализа. Анализ средних значений по срокам таблицы показывает, что именно по этим двум шкалам — Стресс и Лёгкость — наблюдалась наименьшая согласованность оценок всех экспертов.
Таблица 2. Усреднённые коэффициенты корреляции оценок каждого эксперта с оценками других экспертов по разным шкалам
Эксперты Среднее
Эксперт 1 Эксперт 2 Эксперт 3 Эксперт 4 Эксперт 5 Эксперт 6 по шкалам
Включённость .49 .50 .54 .49 .42 .39 .47
Стресс .32 .44 .41 .34 .35 .28 .36
Уверенность .50 .53 .51 .45 .36 .37 .45
Лёгкость .35 .36 .41 .32 .39 .15 .33
Активность .55 .51 .52 .47 .50 .36 .49
Сила .45 .48 .36 .42 .29 .36 .39
Среднее по экспертам .44 .47 .46 .42 .39 .32
Анализ распределения итоговых оценок экспертами 60 видеозаписей на предмет соответствия (несоответствия) их впечатлений от ответа респондента их ожиданиям (Табл. 3) выявил определённые различия. Доля оценок типа «Соответствует ожиданиям» у всех экспертов была приблизительно одинаковой и не превышала 33,3%. Основное различие между экспертами касалось категорий «Не соответствует ожиданиям» и «Соответствует частично». Очевидно, что заключения экспертов 1 и 5 отличаются от соответствующих оценок экспертов 2 и 3. Первые использовали более «жёсткий» критерий соответствия, вторые — более «либеральный».
Очевидно, что индивидуальные различия между экспертами в основном касаются использования ими промежуточной категории «Соответствует частично», имеющей определённую негативную валентность. Поэтому нам представляется целесообразным объединить её с категорией «Не соответствует ожиданиям», что позволяет нивелировать указанный выше субъективизм в оценках экспертов и сделать их итоговое заключение более единообразным (см. последнюю строку в таблице 3 — «Не соответствует»).
Таблица 3. Распределение заключений экспертов о степени соответствия их впечатлений о респондентах их ожиданиям, в %
Заключения Эксперты
Эксп. 1 Эксп. 2 Эксп. 3 Эксп. 4 Эксп. 5
Не соответствует ожиданиям 55 16.7 20 - 45
Соответствует частично 25 53.3 46.7 - 21.7
Соответствует ожиданиям 20 30 33.3 - 33.3
«Не соответствует» 80 70 66.7 - 66.7
В таблице 4. представлены результаты регрессионного анализа (процедура «Логистическая регрессия»), которые позволяют оценить «хорошесть» прогнозирования итоговых оценок четырёх экспертов (биномиальная зависимая переменная) по шести шкальным значениям (предикторы, см. Табл. 2). Таким образом, мы показываем, что итоговые оценки экспертами видеозаписей респондентов как соответствующих или несоответствующих их ожиданиям хорошо соотносятся с их оценками по шкалам.
Таблицы 4. Результаты регрессионного анализа оценок экспертов
Я2 Нэйджелкерка Общий процент правильных предсказаний
Эксп. 1 Эксп. 2 Эксп. 3 Эксп. 5 1.00 0.85 0.904 0.588 Эксп. 1 Эксп. 2 Эксп. 3 Эксп. 5 100 91.7 66.7 93.3
Полученные результаты статистического анализа показывают достаточно высокий уровень предсказания в рамках логистической модели. В свою очередь, это свидетельствует, что наши эксперты выносили свои итоговые оценки, основываясь на своих впечат-
лениях о респондентах по предложенным им критериям (шкалам) оценки видеозаписей. Отметим также, что проведенный анализ таблиц классификаций показал, у всех экспертов процент правильных предсказаний был выше для группы видеозаписей, «Не соответствует» ожиданиям по сравнению с группой «Соответствует». По нашему мнению, это означает, что эксперты лучше выделяют респондентов, относящихся к группе не соответствующих их ожиданиям, то есть тех, которых они оценили как более напряженных и менее включенных, активных, сильных.
Соотношение показателей мимической активности и экспертных оценок
Далее рассмотрим, насколько хорошо соответствуют разработанные нами метрики МА оценкам экспертов. Мы предполагали, что результаты классификации видеозаписей по описанным выше характеристикам МА будут соответствовать шкальным оценкам экспертов. Другими словами, мы ожидали наличие достоверных различий между средними величинами по каждой шкале для двух контрастных групп видеозаписей. Для этого, аналогично бинарным итоговым оценкам экспертов, мы объединили две выделенных выше группы видеозаписей («Соответствует частично», «Не соответствует») в одну группу — «Не соответствуют». В таблице 5 представлены результаты регрессионного анализа (процедура «Логистическая регрессия»), которые позволяют оценить «хорошесть» прогнозирования результатов классификации видеозаписей на основе анализа МА (биномиальная зависимая переменная) по шести шкальным значениям оценок четырёх экспертов (предикторы). В целом мы видим достаточно высокие значения коэффициента множественной регрессии Я2, а также высокий процент правильных предсказаний.
Таблицы 5. Результаты регрессионного анализа оценок экспертов
Шкалы Я2 Нэйджелкерка Общий процент правильных предсказаний
Включённость .526 80
Стресс .428 78.3
Уверенность .420 76.7
Лёгкость .321 78.3
Активность .322 79.0
Сила .514 83.3
Следует отметить, что анализ таблиц классификаций показал, что также был получен более высокий процент предсказаний видеозаписей из группы «Не соответствующих ожиданиям». Таким образом, мы показали, что результаты использования нами автоматического алгоритма оценки видеозаписей хорошо соотносятся с оценками специалистов по управлению персоналом.
В табл. 6 представлены средние значения шкальных оценок пяти экспертов для двух контрастных групп видеозаписей, выделенных с помощью алгоритма автоматической оценки МА.
Таблица 6. Усреднённые по экспертам шкальные значения для двух групп видеозаписей
Шкала Оценка видеозаписи (среднее значение) «Не соответствует» «Соответствует»
Включённость (невключённый — включённый) 56.726 70.000
Стресс (напряжённый — спокойный) 41.942 59.830
Уверенность (неуверенный — уверенный) 46.628 66.100
Лёгкость (скованный — свободный) 40.138 53.360
Активность (пассивный — активный) 47.802 60.840
Сила (слабый — сильный) 44.406 56.930
Сравнение групповых средних значений по всем шести шкалам показывает, что величины экспертных оценок видеозаписей из группы «Соответствует» выше, чем из группы «Не соответствует». Это означает, что две группы видеозаписей, автоматически оцененные по указанным выше характеристикам МА, получили ожидаемые нами оценки экспертов. Те респонденты, которые не соответствовали ожиданиям экспертов, оказались менее включёнными, менее спокойными, уверенными, более скованными, пассивными и слабыми по сравнению с теми, кто попал в группу соответствующих их ожиданиям.
Статистическое сравнение шкальных значений (t-критерий для независимых выборок) по каждому эксперту в отдельности обнаружило высоко значимые различия для 27 сравниваемых средних из 30 (пять экспертов х шесть шкал), а именно: -2,217 < t < -5,18; 0,001 < p < 0,034. Лишь для трёх вариантов (эксперт 5, шкалы 5 и 6; эксперт 6, шкала 6) не было обнаружено статистически значимых различий (p = 0,34; 0,08; 0,43, соответственно).
Таким образом, полученные нами эмпирические данные позволяют сделать заключение, что разработанные нами критерии оценки МА респондентов, отвечавших на вопросы видеоинтервью, хорошо соответствуют оценкам опытных специалистов по управлению персоналом.
Обсуждение
В исследовании были оценены видеозаписи ответов на вопросы сотрудников крупных российских компаний. Получены два ряда данных: 1) результаты автоматического анализа лицевых экспрессий в соответствии с разработанными нами правилами и 2) оценки специалистов по управлению персоналом по критериям соответствия (несоответствия) респондентов их ожиданиям. Согласованность оценок экспертов в целом была не очень высокой, поскольку показатели сходства их оценок различалась по шести шкалам (Табл. 2). Мы также выявили определённый разброс в итоговых оценках трёх групп видеозаписей («Соответствует ожиданиям», «Соответствует частично», «Не соответствует»). На наш взгляд этот результат ожидаем в силу априорного различия используемых экспертами качественных критериев оценки «хорошести» респондента, отвечающего на вопрос видеоинтервью (см., например: Neuendorf, 2009). Поэтому мы характеризуем результаты их работы как недостаточно согласованные.
Тем не менее, разделение видеозаписей на два класса — «Соответствует ожиданиям» и «Не соответствует ожиданиям» — за счёт объединения категорий «Соответствует частично» и «Не соответствует» привело к повышению сходства итоговых оценок экспертов. Таким образом, можно предположить, что, вынося суждение «Соответствует частично», эксперт фактически замечал отдельные признаки несоответствия респондента используемым им критериям, но в силу определённых сомнений такое несоответствие не достигало «порога» принятия уверенного решения. Проводя параллели с классической психофизикой, мы полагаем, что ответы «Соответствует частично» находились в так называемой зоне сомнительных суждений и, объединяя две категории в одну, мы фактически сделали критерий принятия решения более строгим для всех экспертов.
Разработанные нами правила автоматизированной оценки видеозаписей по характеристикам МА респондентов были основаны на возможности формально оценивать изменение эмоционального состояния респондента по их мимике и соответствовали аналогичным критериям, используемым в работе специалистов по управлению персоналом.
Полученные результаты свидетельствуют о хорошем соответствии итогов автоматизированной классификации видеозаписей на основе анализа МА респондентов и оценок
экспертов по шкалам. Фактически было показано, что средние значения по всем шкалам с высокой достоверностью отличаются при сравнении двух групп видеозаписей, оценённых как «соответствующие» или «не соответствующие» ожиданиям экспертов. Это означает, что эмпирически подтверждена возможность использования разработанной нами технологии автоматического анализа МА и построенного на её основе алгоритма оценивания дистанционно записанных ответов респондентов на вопросы кадрового видеоинтервью.
Наши критерии оценки эмоционального состояния человека по изменению его МА соответствуют используемым в современной литературе принципам анализа лицевых экспрессий на основе выделения отдельных ДЕ как единиц анализа мимики и поиска их сочетаний во времени и пространстве поверхности лица как характерных паттернов МА, отражающих различные эмоциональные состояния (Tchercassof, Dupre, 2020; Barrett et al., 2019,). Подчеркнём, что среди известных авторов в области аффективных вычислений (affective computing) нет полного согласия в том, есть ли однозначное соответствие паттернов ДЕ и базовых эмоций, но, тем не менее можно констатировать, что сходство их результатов намного больше, чем различия (см, например, табл. 1 в Barrett et al., 2019). Мы полагаем, что на основе имеющихся в литературе данных у нас, как и других исследователей, имеется возможность анализировать видеозаписи и оценивать видеоинтервью по относительно небольшому набору критериев, основанных на изменении МА (Cohn, 2022; Scherer et al., 2021, 2019; Barrett et al., 2019). Такой методический подход представляется нам перспективным, поскольку построенная на его основе технология оценки персонала может работать с людьми разного возраста любой этнической и гендерной принадлежностью (Гусев и др., 2021).
Особо отметим отличия нашего подхода к анализу и оценке МА от пока ещё современной традиции применения нейросетвых алгоритмов к оценке эмоций. По нашему мнению, мы реализовали метод прямой оценки МА с помощью выделения ДЕ Системы кодировки лицевых движений (FACS) и принципиально не использовали какой-либо нейросетевой классификатор. Это позволило нам реализовать так называемый комплексный подход к анализу МА в отличии от селективного подхода (Гусев и др., 2021; Rosenberg, Ekman, 2020) и быть свободными от принципиальных недостатков нейросетевого подхода к анализу МА, связанных с ограниченностью обучающей выборки видеозаписей.
Мы полагаем, что реализованный нами метод оценки эмоционального состояния человека по видеозаписи имеет важное преимущество перед другими аналогичными методам, поскольку мы имеем возможность из отдельных ДЕ создавать сложные паттерны МА, отражающие специфические эмоциональные состояния человека в соответствии с критериями специалистов по управлению персоналом, используемые ими при оценке персонала по видеоинтервью. Сравним, например, нашу технологию с инструментарием французских коллег (Hemamou et al., 2019). В своей работе с помощью нейросети HireNet и ПО OpenFace они оценивали кадровые видеоинтервью по выраженности на видеозаписях степени внимания респондента. Мы сконструировали аналогичный паттерн МА на основе ДЕ 1 и ДЕ 5 как индикаторов эмоции удивления и высокого уровня эмоционального возбуждения. Цитируемые авторы апостериорно обнаружили, что полученные ими оценки МА также были связаны с рядом ДЕ. Ограниченность их подхода прежде всего связана с тем, что использованное ПО OpenFace не позволяет надёжно обнаруживать на видеозаписи необходимое число базовых ДЕ, более того, оно делает это с ошибками, неверно выделяя одни ДЕ и пропуская другие. Разработанная нами технология позволяет с высокой точностью и надёжностью автоматически обнаруживать 22 базовых ДЕ и на их основе конструировать широкий спектр паттернов МА, соотносимых с различными эмоциональными состояниями. Таким образом, полученные
нами результаты позволяют по предложенным критериям оценивать широкий спектр видеоинтервью, а также конструировать другие критерии «хорошести» респондента, отвечающего на вопросы интервью.
Мы также отдаём себе отчёт в ограниченности нашего подхода к оценке персонала по видеоинтервью. Прежде всего мы ограничены недостатком результатов эмпирических исследований, в которых установлены дифференцированные взаимосвязи лицевых экспрессий и эмоциональных состояний, что позволяет надёжно оценивать эмоциональные переживания по паттернам МА. Тем не менее, укажем, что ряд научных групп давно и продуктивно работают в этой области (Scherer, 2021; Barrett et al., 2019; Cordaro et al., 2018; Valstar et al., 2017).
Заключение
Мы полагаем, что следует продолжить исследования для более убедительного обоснования нашего подхода, предполагающего возможность оценивать эмоциональные экспрессии как надёжные показатели, отражающие смысловое отношение человека к его профессиональной деятельности как субъекта труда. Но мы уверены, что заявленная нами общая логика теоретически достаточно обоснована и современна, поскольку эмоции являются отражением смыслов, а система смыслов есть ядро личности. Подчеркнём, что наш подход к оценке эмоциональных экспрессий, выходящий за пределы дискретных теорий эмоций, позволит нам создать специфические паттерны лицевых экспрессий для дифференцированной оценки эмоциональных проявлений в мимике. Безусловно, соотнесение эмоций и смыслов невозможно без получения дополнительных сведений о разных аспектах смыслового отношения работника к его работе, коллегам, планирования карьеры и так далее. Мы уже начали проведение такого комплексного исследования в одной из крупнейших российских компаний.
Практическое значение результатов нашего исследования мы видим в расширении методических возможностей специалистов по управлению персоналом за счёт автоматизации анализа больших объемов видеоинтервью и возможности интеграции разработанной технологии в корпоративные ИТ-системы оценки и развития персонала.
Литература
Асмолов, А. Г. (2007). Психология личности: культурно-историческое понимание развития
человека. М.: Смысл: Академия. Гусев, А. Н., Баев, М. С., Кремлев, А. Е. (2021). Метод прямой оценки лицевых экспрессий на видеозаписи: от восприятия эксперта к компьютерному зрению. В сб.: Т. А. Желагина и др. (ред.). Социально-психологические проблемы цифровизации современного общества: личность, организация,управление (268-278). Тверь: ТГУ. Денисов, А. Ф., Кардаш, Д. С. (2019). Применение цифровых технологий в процедурах отбора
персонала. Экономика и управление, 4(162), 59-69. Леонтьев, А. Н. (1983). Деятельность. Сознание. Личность. В кн.: Леонтьев А. Н. Избр. психол.
произведения: В 2 т. Т. 2. М.: Педагогика. Леонтьев, Д. А. (1999). Психология смысла. М.: Смысл.
Сухаребский, Л. М. (1966). Клиника мимических расстройств: Избр. картины в клинике психич.
заболеваний. М.: Медицина. Baev, M. GusevA., KremlevA. (2021). Unbiased mimic activity evaluation: F2F emotion studio software. In: IEEE, 2021 9th International Conference on Affective Computing and Intelligent Interaction (ACII).
Baev, M., Gusev, A., Kremlev, A. (2023). Non-biased cFACS measurement tool: From idea to software application. In: C. Pracana, M. Wang (Eds.). Psychological Applications and Trends, 2023 (666670). Lisboa, Portugal.
Baev, M., Gusev, A. (2023). Automatic facial expressions analysis during speech communication. In K. Jones (ed.). International Conference on intelligent systems and new applications. 1st International Conference, ICISNA'23 Liverpool, United Kingdom, April 28-30, 2023. Proceedings Book (5-8). Plusbase Akademi Publishing Liverpool, United Kingdom.
Balcerak, A., Wozniak, J. (2018). The synchronous video interviews in personnel selection processes. European Research Studies Journal, XXIV(2), 3-13.
Blacksmith, N., Willford, J. C., Behrend, T. S. (2016). Technology in the employment interview: A metaanalysis and future research agenda. Personnel Assessment and Decisions, 2(1), 12-20.
Chen, L., Yoon, S.-Y., Leong, C. W., Martin-Raugh, M. P. (2014). An initial analysis of structured video interviews by using multimodal emotion detection. Proceedings of the 2014 Workshop on Emotion Representation and Modelling in Human-Computer-Interaction-Systems.
Cohn, J. F., Cummins, N., Epps, J., Goecke, R., Joshi, J., Scherer, S. (2019). Multimodal Assessment of Depression from Behavioral Signals. The Handbook of Multimodal-Multisensor Interfaces, Association for Computing Machinery. Volume 2 (375-417). New York.
Cohn, J. (2022). Multimodal measurement of internalizing disorders in clinical and family contexts. IEEE, 2022 1 0th International Conference on Affective Computing and Intelligent Interaction (ACII).
Cordaro, D. T., Sun, R., Keltner, D., Kamble, S., Huddar, N., McNeil, G. (2018). Universals and cultural variations in 22 emotional expressions across five cultures. Emotion, 18, 75-93.
Den Uyl, M., Van Kuilenburg, H. (2005). The Facereader: Online facial expression recognition. Proceedings of Measuring Behavior, 30, 589-590.
Ekman, P., Friesen, W. V., Hager, J. C. (2002). Facial Action Coding System (FACS): the Manual & the Investigator's Guide. Research Nexus, 2002.
Ellgring, H. (2008). Nonverbal Communication in Depression. Cambridge University Press.
Gusev, A., Baev, M., Kremlev, A. (2021). The advantage of the methodology for direct evaluation of facial expressions. International Journal of Psychophysiology, 168(Supplement), 151-151.
Hemamou, L., Felhi, G., Martin, J.-C., Clavel, C. (2019). Slices of Attention in Asynchronous Video Job Interviews. In: 2019 8th International Conference on Affective Computing and Intelligent Interaction (ACII).
Kochling, A., Wehner, M. C., Warkocz, J. (2022). Can I Show My Skills? Affective Responses to Artificial Intelligence in the Recruitment Process. Review of Managerial Science, 17, 2109-2138.
Lovcheva, M., Gurova, E., Laas, N., Romanova, I. (2019). Recruiting IT-specialists: Modern digital resources for selection and mechanisms of professional competences assessment. In: CSIT Conference 2019, Yerevan, Armenia, September 23-27.
McDuff, D. (2016). Discovering facial expressions for states of amused, persuaded, informed, sentimental and inspired. In: Proceedings of the International Conference on Multimodal Interaction.
Neuendorf, K. A. (2010). Eliability for content analysis. In: A. Jordan et al. (Eds.), Media Messages and Public Health a Decisions Approach to Content Analysis (67-87). Taylor and Francis, Florence.
Nguyen, L. S., Gatica-Perez, D. (2015). Computational Analysis of behavior in employment interviews and video resumes. Thèse École polytechnique fédérale de Lausanne EPFL, 6567, EPFL.
Nithya, D. M., Rakshith, N. J., Rohan, K. U. [...] Vimala, D. R. (2022). Automatic personality recognition used in asynchronous video interviews. International Journal of Advanced Research in Science, Communication and Technology, 586-592.
Rosenberg, E. L., Ekman, P. (2020). What the Face Reveals Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS). Oxford University Press.
Scherer, K. R., Ellgring, H., Dieckmann, A., Unfried, M., Mortillaro, M. (2019). Dynamic facial expression of emotion and observer inference. Frontiers in Psychology, 10, 508.
Scherer, K. R., Dieckmann, A., Unfried, M., Ellgring, H., Mortillaro, M. (2021). Investigating appraisal-driven facial expression and inference in emotion communication. Emotion, 21(1), 73-95.
Tcherkassof, A., Dupré, D. (2020). The emotion-facial expression link: evidence from human and automatic expression recognition. Psychological Research, 85(8), 2954-2969.
Valstar, M., Zafeiriou, S., Pantic, M. (2017). Facial actions as social signals. In Burgoon, J. K., Magnenat-Thalmann, N., Pantic, M., Vinciarelli, A. (Eds.), Social signal processing (123-154). Cambridge, England: Cambridge University Press.
Поступила 20.01.2023
ORGANIZATIONAL PSYCHOLOGY
On automatic job interview assessement possibilities using facial expressions analysis
Alexey GUSEV
ORCID: 0000-0002-9299-7092
Moscow State University M. V. Lomonosov, Moscow, Russia
Mikhail BAEV
ORCID: 0000-0002-1842-2012
Saint-Petersburg, Russia
Anastasia MACHUZHAK
ORCID: 0000-0003-1658-3426
Alexandra PODREZOVA
ORCID: 0000-0002-9283-1172
NLMK Group, Moscow, Russia
Abstract. The purpose of this study is to show the possibility of using facial expression analysis for remote job interviews automated assessment. The design of the study involves comparing the job interviews automatic evaluation results with the corresponding estimates of HR specialists. Automatic job interviews evaluation was based on mimic activity (MA) indicators developed by the authors. The general methodology of the study is based on the links between emotions and facial expressions (Rosenberg, Ekman, 2020) and further transition from the analysis of emotions to the understanding of personal meanings, from the understanding of personal meanings to the assessment of a person answering interview questions (A. N. Leontiev, 1976, D. A. Leontiev, 1999, Asmolov, 2007). The special methodology is based on the approach developed by M.S. Baev and A.N. Gusev for the FACS AUs analysis in video recordings for emotional states evaluation. Employees of large Russian companies (413 men and 242 women, average age — 42.6 years) remotely underwent a structured 6-16 questions video interview. Results. 4038 videos were selected for the analysis. MA analysis was performed using the EmoRadar WR 5.0 software. Individual AUs, basic emotions and MA patterns had been detected. Based on the criteria proposed by HR specialists, six rules for MA automatic analysis of were developed. These rules were based on the combinations of different AUs patterns and characterized the respondent behavior while answering an interview question as corresponding (inconsistent) with the expert's expectation. 60 videos were selected for comparative analysis. These videos were evaluated by six experts on the following scales: engagement, stress, confidence, lightness, activity, strength. The results obtained indicate a good agreement between the results of the video recordings automated MA based classification and expert assessments. Implications for practice. Thus, the possibility of practical use of the original technology of automatic MA analysis for evaluating of a job video interview has been confirmed. Our findings expand the instrumental capabilities of HR specialists when working with a large amounts of video interviews.
Keywords: personnel assessment, job video interview, facial expressions, emotions, FACS.
Address: 11/9 Mokhovaya Str., Moscow 125009, Russian Federation. E-mail: [email protected]
References
Asmolov, A. G. (2007). Psikhologiya lichnosti: kul'turno-istoricheskoye ponimaniye razvitiya cheloveka [Psychology of personality: Cultural and historical understanding of human development]. M.: Smysl: Akademiya. (in Russian)
Baev, M. Gusev A., Kremlev A. (2021). Unbiased Mimic Activity Evaluation: F2F Emotion Studio Software. In: IEEE, 2021 9th International Conference on Affective Computing and Intelligent Interaction (ACII).
Baev, M., Gusev, A. (2023). Automatic facial expressions analysis during speech communication. In K. Jones (ed.). International Conference on Intelligent Systems and New Applications. 1st International Conference, ICISNA'23 Liverpool, United Kingdom, April 28-30, 2023. Proceedings Book (5-8). Plusbase Akademi Publishing Liverpool, United Kingdom.
Baev, M., Gusev, A., Kremlev, A. (2023). Non-biased cFACS measurement tool: From idea to software application. In: C. Pracana, M. Wang (Eds.). Psychological Applications and Trends, 2023 (666670). Lisboa, Portugal.
Balcerak, A., Wozniak, J. (2018). The synchronous video interviews in personnel selection processes. European Research Studies Journal, XXIV(2), 3-13.
Blacksmith, N., Willford, J. C., Behrend, T. S. (2016). Technology in the employment interview: A metaanalysis and future research agenda. Personnel Assessment and Decisions, 2(1), 12-20.
Chen, L., Yoon, S.-Y., Leong, C. W., Martin-Raugh, M. P. (2014). An initial analysis of structured video interviews by using multimodal emotion detection. In Proceedings of the 2014 Workshop on Emotion Representation and Modelling in Human-Computer-Interaction-Systems.
Cohn, J. (2022). Multimodal Measurement of internalizing disorders in clinical and family contexts. In IEEE, 2022 1 0th International Conference on Affective Computing and Intelligent Interaction (ACII).
Cohn, J. F., Cummins, N., Epps, J., Goecke, R., Joshi, J., Scherer, S. (2019). Multimodal Assessment of Depression from Behavioral Signals. The Handbook of Multimodal-Multisensor Interfaces, Association for Computing Machinery. Volume 2 (375-417). New York.
Cordaro, D. T., Sun, R., Keltner, D., Kamble, S., Huddar, N., McNeil, G. (2018). Universals and cultural variations in 22 emotional expressions across five cultures. Emotion, 18, 75-93.
Den Uyl, M., Van Kuilenburg, H. (2005). The Facereader: Online facial expression recognition. Proceedings of Measuring Behavior, 30, 589-590.
Denisov, A. F., Kardash, D. S. (2019). Primeneniye tsifrovykh tekhnologiy v protsedurakh otbora personala [Application of digital technologies in personnel selection procedures]. Ekonomika i upravleniye, 4(162), 59-69. (in Russian)
Ekman, P., Friesen, W. V., Hager, J. C. (2002). Facial Action Coding System (FACS): the Manual & the Investigator's Guide. Research Nexus, 2002.
Ellgring, H. (2008). Nonverbal Communication in Depression. Cambridge University Press.
Gusev, A. N., Bayev, M. S., Kremlev, A. Ye. (2021). Metod pryamoy otsenki litsevykh ekspressiy na vi-deozapisi: ot vospriyatiya eksperta k komp'yuternomu zreniyu [A method for direct assessment of facial expressions on video recordings: from expert perception to computer vision]. In: T. A. Zhelagina et al. (Eds.). Sotsial'no-psikhologicheskiye problemy tsifrovizatsii sovremennogo obshchestva: lichnost, organizatsiya, upravleniye (268-278). Tver': TGU. (in Russian)
Gusev, A., Baev, M., Kremlev, A. (2021). The advantage of the methodology for direct evaluation of facial expressions. International Journal of Psychophysiology, 168(Supplement), 151-151.
Hemamou, L., Felhi, G., Martin, J.-C., Clavel, C. (2019). Slices of Attention in Asynchronous Video Job Interviews. In: 2019 8th International Conference on Affective Computing and Intelligent Interaction (ACII).
Kochling, A., Wehner, M. C., Warkocz, J. (2022). Can I show my skills? Affective responses to artificial intelligence in the recruitment process. Review of Managerial Science, 17, 2109-2138.
Leont'yev, A. N. (1983). Deyatel'nost'. Soznaniye. Lichnost' [Activity. Consciousness. Personality]. In: Leont'yevA. N. Izbr. psikhol. proizvedeniya: V2 t. T. 2. M.: Pedagogika. (in Russian)
Leont'yev, D. A. (1999). Psikhologiya smysla [The psychology of meaning]. M.: Smysl. (in Russian)
Lovcheva, M., Gurova, E., Laas, N., Romanova, I. (2019). Recruiting IT-specialists: Modern Digital Resources for Selection and Mechanisms of Professional Competences Assessment. In: CSIT Conference 2019, Yerevan, Armenia, September 23-27.
McDuff, D. (2016). Discovering facial expressions for states of amused, persuaded, informed, sentimental and inspired. In: Proceedings of the International Conference on Multimodal Interaction.
Neuendorf, K. A. (2010). Eliability for content analysis. In: A. Jordan et al. (Eds.), Media Messages and Public Health a Decisions Approach to Content Analysis (67-87). Taylor and Francis, Florence.
Nguyen, L. S., Gatica-Perez, D. (2015). Computational analysis of behavior in employment interviews and video resumes. Thèse École polytechnique fédérale de Lausanne EPFL, 6567, EPFL.
Nithya, D. M., Rakshith, N. J., Rohan, K. U. [...] Vimala, D. R. (2022). Automatic personality recognition used in asynchronous video interviews. International Journal of Advanced Research in Science, Communication and Technology, 586-592.
Rosenberg, E. L., Ekman, P. (2020). What the Face Reveals Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS). Oxford University Press.
Scherer, K. R., Dieckmann, A., Unfried, M., Ellgring, H., Mortillaro, M. (2021). Investigating appraisal-driven facial expression and inference in emotion communication. Emotion, 21(1), 73-95.
Scherer, K. R., Ellgring, H., Dieckmann, A., Unfried, M., Mortillaro, M. (2019). Dynamic facial expression of emotion and observer inference. Frontiers in Psychology, 10, 508.
Sukharebskiy, L. M. (1966). Klinika mimicheskikh rasstroystv: Izbr. kartiny v klinike psikhich. zabolevaniy [Clinic of mimic disorders: Fav. pictures in the mental clinic. diseases] M.: Meditsina. (in Russian)
Tcherkassof, A., Dupré, D. (2020). The emotion — facial expression link: Evidence from human and automatic expression recognition. Psychological Research, 85(8), 2954-2969.
Valstar, M., Zafeiriou, S., Pantic, M. (2017). Facial actions as social signals. In Burgoon, J. K., Magnenat-Thalmann, N., Pantic, M., Vinciarelli, A. (Eds.), Social signal processing (123-154). Cambridge, England: Cambridge University Press.
Received 20.01.2023
