CC BY
20увеличение конверсии пользовательского интерфейса путём объективного юзабилити-тестирования на основе анализа электроэнцефалограммы пользователя
АЛФИМЦЕВ Александр Николаевич — доцент кафедры ИУ-3 Московского государственного технического университета им. Н.Э. Баумана, кандидат технических наук
ДЕВЯТКОВ Владимир Валентинович — профессор, заведующий кафедрой ИУ-3 Московского государственного технического университета им. Н.Э. Баумана, доктор технических наук
ЛЕВАНОВ Алексей Александрович — программист компании «Сбертех»
В статье рассмотрена методика юзабилити-тестирования с использованием анализа электроэнцефалограммы (ЭЭГ) пользователя в реальном времени. В результате экспериментального исследования контрольных групп пользователей, работающих с реальными интерфейсами коммерчески актуальных приложений, выявлены два чётких состояния пользователя, которым соответствует своя суперпозиция бета и дельта мозговых волн — спокойное состояние и возбуждённое состояние. Эти состояния характеризуют работу пользователя с дружественным пользовательским интерфейсом и с интерфейсом, который субъективно экспертами считался сложным и запутанным. На основе полученных данных было проведено улучшение пользовательского интерфейса мобильного приложения, которое привело к увеличению его конверсии в три раза.
КЛЮЧЕВЫЕ СЛОВА: юзабилити-тестирование, пользовательский интерфейс, методика, конверсия, эксперимент
До XX века большинство машин, созданных человеческой цивилизацией, были механическими и взаимодействовали с человеком главным образом физически. Но постепенно человеческие изобретения стали иметь всё большее отношение к области абстрактных, интеллектуальных и виртуальных задач. Поэтому всё большую важность стали
приобретать ментальные способности и возможности человека, находя своё отражение в электронно-технических устройствах и одновременно требуя развития таких новых областей знаний, как: когнетика, эргономика, юзабилити.
Юзабилити или удобство использования в ISO 9241-11 определено как степень эффективности использования
системы пользователями при решении конкретных задач и их удовлетворённости работой в этой системе. Для нахождения этой степени эффективности и удовлетворённости проводится юзаби-лити-тестирование пользовательского интерфейса. Сегодня активно разрабатываются новые методики по автоматизации [1], улучшению [2], оценке результатов [3] юзабилити-тестирования, так как доказана непосредственная связь между удобством пользовательского интерфейса и его конверсией [4], высокие показатели которой непосредственно приводят к повышению продаж программного продукта с удобным интерфейсом.
Однако даже комплексные методики юзабилити-тестирования, основанные на агрегировании различных внешних данных пользователя [5], нельзя назвать объективными. Они могут содержать ошибку в интерпретации данных пользователя, в работе специалиста по юзаби-лити, проводящего тестирование, и прежде всего ошибку в объяснении своих действий самим пользователем. поэтому целью данной работы является разработка метода объективного юзабилити-те-стирования, основанного на анализе биосигналов пользователя (его электроэнцефалограммы), которые он в большинстве случаев не может контролировать, и которые с достаточной степенью объективности передают его состояние и отношение к объектам, с которыми пользователь взаимодействует в реальном или виртуальном мире.
148
Обзор литературы и место исследования
Успехи развития биосенсорных технологий в начале XXI века позволили приступить к применениию нейроком-пьютерных интерфейсов и электроэнцефалограмм (ЭЭГ) пользователя для анализа пользовательских интерфейсов [6]. Было показано, что ЭЭГ даёт возможность получить объективную оценку состояния пользователя [7], которое даже можно использовать в системах автоматического контроля доступа [8]. Также были проведены обширные исследования по оценке юзабилити самих нейрокомпьютерных интерфейсов для работы в различных приложениях [9]. подробно исследованы значения альфа и бета мозговых волн при работе с интерфейсом [10], но конкретные диапазоны мозговых волн для дружественного и недружественного интерфейсов выделены не были.
Кроме того, в отличие от данных работ в рассматриваемом исследовании применялись не искусственно созданные интерфейсы для юзабилити-тести-рования, а реально работающие пользовательские интерфейсы актуальных коммерческих приложений. Впервые явно показано повышение конверсии пользовательского интерфейса после юзабилити-тестирования с ЭЭГ. Вместе с тем, методика юзабилити-тестирова-ния, применяемая в данной работе, предполагает работу вне лабораторных условий, без использования большого
ОБРАЗОВАТЕЛЫНЫЕ ТЕХНОЛОГИИ № 1/2015
(32-256) пула электродов и базируется на элегантном, мобильном устройстве получения информации об активности мозговых волн МеигоБку MindWave, которое рассматривается в следующем разделе.
Описание устройства NeuroSky MindWave
Информация о нейроактивности пользователя передаётся в компьютер с помощью устройства MindWave, производимого компанией МеигоБку. Внешний вид устройства представлен на рисунке 1а, пример использования мобильного устройства — на рисунке 1б.
•Р
Нейросетевой интерфейс устройства построен на базе специализированной микросхемы (ASIC), производства компании NeuroSky, поставляемой в виде готового модуля TGAM1. Модуль имеет 3 входа EEG (электрод на лбу), REF и GND (электрод на клипсе, размещаемой на ухе). Все электроды подключены экранированным кабелем. Питание модуля 3,3 В формируется DC-DC преобразователем, размещённом на основной плате. Питание устройства происходит от одного элемента AAA напряжением 1,5 В. Данные от устройства передаются по радиоканалу на специализированный USB-приёмник, эмулирующий последовательный порт компьютера.
Рис. 1. Устройство NeuroSky MindWave: а) внешний вид устройства; б) пример крепления устройства на голове испытуемого
Рис. 2. Схема взаимодействия устройств при проведении тестирования и экспериментов
Мозг постоянно вырабатывает электрические сигналы за счёт взаимодействия друг с другом клеточных компонентов головного мозга — нейронов. На макроуровне они производят широкий спектр частот. Устройство MindWave улавливает электрическую активность мозга и делит сигнал на различные типы волн в зависимости от частоты. Для уменьшения электрических помех, производимых человеческим телом, в устройстве имеется «базовый» контакт, который крепится к мочке уха и позволяет осуществлять фильтрацию электрических волн, производимых телом (шумы). В устройство встроен
Bluetooth-модуль, позволяющий осуществлять передачу данных для последующей обработки и интерпретации. В нашем эксперименте данные передавались на мобильный телефон под управлением операционной системы (IPhone).
На рисунке 2 представлена схема взаимодействия устройств при проведении тестирования и экспериментов. Сначала программа загружается на мобильное устройства (шаг 1), затем мобильное устройство посылает запрос на подключение к гарнитуре (шаг 2). На шаге 3 устройство Mindwave принимает запрос и начинает высылать данные с заданной
периодичностью. Мобильное устройство принимает эти данные и присылает на компьютер для сохранения и анализа (шаг 4).
Методика проведения
экспериментального
исследования
В экспериментальном исследовании участвовали 50 человек. Из личностных характеристик пользователей учитывали пол испытуемых (мужчина, женщина) и их возраст (от 18 до 35 лет). Уровень образования колебался от выпускников средней школы до кандидатов наук. Все испытуемые были здоровы, учились и/или работали в университете МГТУ им. Н.Э. Баумана, национальности испытуемых были типичны для московского региона РФ, родным
языком для всех был русский язык. Испытуемых с недомоганием и плохим самочувствием к обследованию не допускали. Исключали также ситуации сильного голода, жажды и переутомления. Отношение большинства испытуемых было конструктивным, случаев отказа или агрессии не отмечено.
Перед юзабилити-тестированием пользовательских интерфейсов было проведено краткое анкетирование для уточнения психотипа испытуемого (сангвиник, флегматик, холерик или меланхолик) и сняты данные мозговой активности в нормальном состоянии. Затем испытуемым были предъявлены для работы удобные и неудобные пользовательские интерфейсы интернет-сайтов, выбранные экспертами. Удобные пользовательские интерфейсы
Рис. 3. Интернет-сайт с неудобным пользовательским интерфейсом
Рис. 4. Проведение юзабилити-тестирования с использованием NeuroSky MindWave
были представлены интернет-сайтами: Dribbble.com, Facebook.com, Mail.ru. Среди неудобных были выбраны интернет-сайты небольших компаний и физических лиц, изобилующие рекламой и размещённые на бесплатных хостингах:
hosanna1.com, arngren.net (рис. 3), ууууууу.^.
Испытуемые в течение 65 секунд работали с каждым интерфейсом. пример проведения юзабилити-тестирования с фиксацией мозговой активности представлен на рисунке 4. Для формирования статистически репрезентативной выборки использовался алгоритм стратификации. В соответствии с этим алго-
ритмом выборка результатов состояла из результатов измерения мозговых волн, отобранных следующим образом: из испытуемых был составлен общий список, упорядоченный по алфавиту; после проверки на ошибки и отсутствие повторяемости был выбран каждый пятый элемент списка. Затем полученные результаты были усреднены.
после анализа экспериментальных данных были получены следующие результаты.
после анализа значений мозговых волн можно выделить два состояния: спокойное — при работе с удобным интерфейсом, и возбуждённое — при
500000 400000
200000 100000
35000 30000 25000 20000 15000 10000 5000 0
Рис. 5. Низкие бета-волны в спокойном состоянии
работе с неудобным пользовательским интерфейсом. Возбуждённое состояние характеризуется падением среднего значения сигнала по каналу низких бета-волн (low betta) в 20 раз (рис. 5 и 6) и изменением среднего значения дельта-волн в среднем на 56% (рис. 7 и 8). Таким образом, пороги значений бета-волн для возбуждённого состояния — 14-16 Гц, дельта-волн — 0,5-1 Гц.
Усреднённые значения мозговых волн в спокойном и возбуждённом состоянии не зависят от пола, возраста и психотипа
Рис. 6. Низкие бета-волны в возбуждённом состоянии
(разница менее 5 процентов и была принята за погрешность измерения).
Итоговые данные указывают на то, что, работая с пользовательскими интерфейсами интернет-сайтов, которые экс-пертно считались удобными и привлекательными, мозг пользователя не переходил в состояние возбуждения — полученные данные близки к нормальному, расслабленному состоянию. При работе с сайтами, отмеченными как неудобные, наблюдался переход пользователя в возбуждённое состояние, что может
Значение сигнала, ГЦ
Значение сигнала, ГЦ
Рис. 7. Дельта-волны в спокойном состоянии
Рис. 8. Дельта-волны в возбуждённом состоянии
900000
800000
/00000
600000
300000
2500000
5000
Потенциальная аудитория этой рекламы: 1 260 ООО пользователей
■ Живущие в: Соединенное королевство
■ возраст 17 и старше
■ Кому интересны Настольная игра, Puzzle video game и Board Games
■ В широкой категории Apple iOS Owners (All)
■ на страницах типа Лента новостей на мобильных устройствах
■ Которые в данный момент используют IPad,iPhone или i Pod
■ Которые в данное время используют iOS версии 7.0 или выше
■ Которые получают доступ на Facebook через Wi-Fi
Рис. 9. Потенциальная аудитория, отобранная по ряду критериев
свидетельствовать об испытывании стресса и повышенной нагрузки на мозг пользователя, реализующего свои функции по восприятию информации и адаптации к внешней среде.
Эксперимент по увеличению конверсии при рекламе продукта с помощью контекстной рекламы Facebook
В данном эксперименте проводилось сравнение результатов рекламной компании при объективном и необъективном юзабилити-тестировании рекламных баннеров. Были созданы 5 баннеров для рекламы программного продукта для платформы iOS мобильного приложения Christmas Quiz Pro (https://itunes.apple. com/ru/app/christmas-quiz-pro/ id767397894?mt=8). Изначально разработчики приложения, не будучи специалистами в области рекламы, сами выбрали баннер для таргетированной аудитории (рис. 9).
На рисунке 10 представлен баннер, отобранный разработчиками приложения первоначально.
На следующий день была просмотрена статистика по конверсии, а именно — параметр СРС, означающий соотношение
Рекомендуемое приложение
Christmas Quiz Pro
Реклама
Feel the unforgettable atmosphere! Find out new interesting facts about Christmas!
Feel this unforgettable atmosphere!
Christmas Quiz Pro
Можно найти в «Магазине приложений»
Установить сейчас
Рис. 10. внешний вид рекламного баннера в первый день начала продаж
Эффективность
CTR
5
подведения итогов юзабилити-тестиро-вания стало понятно, что пользователи предпочли другой рекламный баннер, на котором отсутствуют скриншоты приложения (рис. 12).
На следующий день вновь были проверены результаты конверсии. Полученные результаты очень сильно отличались от предыдущих: конверсия увеличилась более чем в 3 раза, а именно — с 1,6% до 4,9% (рис. 13).
Это, в свою очередь, привело к увеличению продаж приложения с 14-го на 15-е декабря более чем в два раза, как видно на рисунке 14.
Таким образом, можно утверждать, что объективное юзабилити-тестирова-ние позволяет улучшить внешний вид
1,6
^ 14 декабря
11
ДЕК
12
14
Рис. 11. Конверсия за первый день рекламы с помощью субъективно выбранного баннера
показов к кликам. Величина конверсии составила значение 1,6%, что неплохо для разнородной аудитории, но является достаточно плохим показателем для тар-гетированной группы (рис. 11, график получен с помощью приложения Face-book ads).
Для увеличения конверсии и, соответственно, продаж программного продукта был предпринят вышеописанный эксперимент. Группа добровольцев из 5 студентов кафедры ИУ-3 просила взаимодействовать с приложением и обращать внимание на разные рекламные баннеры. При этом с использованием устройства NeuroSky MindWave и компьютерного приложения, написанного специально для проведения юзабили-ти-тестирования, анализировалось, в каком состоянии находится пользователь: спокойном или возбуждённом. После
Рекомендуемое приложение
I Christmas Quiz Pro
Реклама
Feel the unforgettable atmosphere! iOS7 style Christmas Quiz is waiting for you!
Feel the Christmas coming!
. - •
Christmas Quiz Pro
Можно найти в «Магазине приложений»
Установ ить сейч ас
Рис. 12. Рекламный баннер, выбранный с помощью объективного юзабилити-тестирования
Эффективность
CTR
интерфейса, что увеличивает соотношение показов к кликам при рекламе товара в Интернете и, как следствие, приводит к увеличению продаж программного продукта или рекламируемого товара.
Заключение и общие выводы
В человеко-машинном взаимодействии можно выделить две составляющие: человеческую и машинную. И, несмотря на значительное число философских, культурологических и социально-психологических теорий, именно человеческая составляющая остаётся наиболее сложной для изучения. В предположении о том, что методы технического университета, заключающиеся в объективном анализе биосигналов
с 9
Deс 11
Deс 13
Dec 15 Dec17
Change from last week: 4900 %
Рис. 14. Демонстрация увеличения продаж с 14-го по 15-е (на рисунке с 9-го по 17-е) декабря
156
11
ДЕК
Рис. 13. Конверсия за второй день продаж, после улучшения с объективным юзабилити-тестированием
пользователя, в частности, во время человеко-машинного взаимодействия с пользовательскими интерфейсами, будут действенным средством в решении этой задачи, в статье рассмотрена методика увеличения конверсии пользовательского интерфейса путём объективного юзабилити-тестирования на основе анализа электроэнцефалограммы пользователя.
Основные результаты экспериментального исследования заключаются в следующем.
Все пользователи, независимо от пола, возраста или психотипа, демонстрировали практически идентичные показатели мозговой активности при работе с пользовательскими интерфейсами.
при работе с ресурсами, требующими повышенной концентрации и внимания,
ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ № 1/2015
5
0
пользователь переходит в возбуждённое состояние (бета-волны — 14-16 Гц, дельта-волны — 0,5-1 Гц).
При работе с ресурсами, которые пользователь считает субъективно удобными, перехода в возбуждённое состояние не наблюдается.
Улучшенный пользовательский интерфейс мобильного приложения после юзабилити-тестирования с использованием рассмотренной методики продемонстрировал увеличение конверсии в три раза. Высокая конверсия в практическом плане означает увеличение посещаемости электронного ресурса и, соответственно, увеличение продаж программного продукта или рекламируемого товара.
полученные данные позволяют по-новому взглянуть на проблему юзабили-ти-проектирования и юзабилити-тести-рования пользовательских интерфейсов. Вместо субъективной оценки появилась возможность получать объективные данные. В дальнейшем планируется с помощью данной методики тестировать отдельные элементы пользовательского интерфейса. предполагается, что возможно будет установить, какие кнопки, переключатели и поля кажутся пользователю наиболее привлекательными для той или иной прикладной области программного продукта, чтобы начать проектировать интерфейсы, в своей основе состоящие из привлекательных и удобных для пользователя элементов.
ЛИТЕРАТУРА
1. Мартынов П.Н., Ковшов Е.Е. Разработка средств автоматизации тестирования интерфейсов пользователя в человеко-машинных системах управления // Информационные технологии. 2012. № 7. С. 42-46.
2. Копаница Г.Д., ЦветковаЖ.Ю., веселиХ. Анализ метрик, используемых для оценки удобства использования медицинских информационных систем // Врач и информационные технологии. 2012. № 3. С. 31-36.
3. Дегтяренко И.А., Бурмистров И.в., Леонова А.Б. Методика оценки удовлетворённости пользователей интерфейсом интернет-сайта // Вестник Московского университета. Серия 14: Психология. 2010. № 1. С. 94-109.
4. Храмов Е.И. Взаимоотношения с клиентом: от вопросов юзабилити к увеличению конверсии // Маркетинговые коммуникации. 2010. № 2. С. 92-96.
5. Дегтяренко И.А., Леонова А.Б. Экспериментальная разработка комплексного подхода к оценке юзабилити интернет-сайтов // Психологические исследования: электронный научный журнал. 2012. № 2(22). С. 6.
5. Hu J., Nakanishi M., Matsumoto K., Tagaito H., Inoue K. A Method of Usability Testing by Measuring Brain Waves // Proceedings of the International Symposium on Future Software Technology (ISFST-2000). Guiyang, China, 2000. P. 159-164.
6. Lee H., Seo S. A Comparison and Analysis of Usability Methods for Web Evaluation: The Relationship Between Typical Usability Test and Bio-Signals Characteristics (EEG, ECG) // Proceedings of the 2010 conference of the Design Research Society. Montrial, Canada. 2010. P. 893-904.
7. Chuang J., Nguyen H., Wang C., Johnson . I Think, Therefore I Am: Usability and Security of Authentication Using Brainwaves // Lecture Notes in Computer Science. Vol. 7862, 2013. P. 1-16.
8. Bos D.P.-O. et al. Human-Computer Interaction for BCI Games: Usability and User Experience // Proceedings of International Conference on Cyberworlds. Singapore, 2010. P. 277-281.
9. KimuraM., Uwano H., OhiraM., Matsumoto K.-I. Toward Constructing an Electroencephalogram Measurement Method for Usability Evaluation // Proceedings of the 13th International Conference on Human-Computer Interaction. San Diego, USA. Part I: New Trends. 2009. P. 95-104.
158
ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ № 1/2015
