CC BY
23
(ее)
http://dx.doi.org/10.35596/1729-7648-2021-19-1-30-36
Оригинальная статья Original paper
УДК 004.514: 004:055
А/В ТЕСТИРОВАНИЕ КАК ЭФФЕКТИВНОЕ СРЕДСТВО ДЛЯ АДАПТАЦИИ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА ПРИ ИТЕРАЦИОННОЙ МОДЕЛИ РАЗРАБОТКИ ПРИЛОЖЕНИЙ ДЛЯ МОБИЛЬНЫХ УСТРОЙСТВ
© Белорусский государственный университет информатики и радиоэлектроники, 2021
Аннотация. Изменение пользовательского интерфейса всегда влечет риски уменьшения эргономики приложения и оттока пользователей. Целью данной работы является поиск методов изменения пользовательского интерфейса без ущерба удобству пользования и увеличению количества активных пользователей. При помощи Alpha/Beta тестирования и анализа метрик приложения возможно включить проектирование в каждую итерацию и удаленно управлять конфигурацией приложения, что позволяет улучшать пользовательский интерфейс приложения. В статье предложен способ интеграции этапа изменения пользовательского интерфейса и адаптации в итеративную модель разработки программных средств, а также описаны успешно проведенные опыты улучшения пользовательского интерфейса, которые позволили улучшить метрики приложения. В данной работе была выделена проблема недостаточной информативности и контроля за покупками пользователя, что негативно влияло на количество покупок. Выдвинута гипотеза о том, что пользователь должен иметь эффективный инструмент визуализации и контроля в приложении. В результате проведения эксперимента гипотеза была подтверждена увеличением количества покупок и активностью пользователей. В приложении также существовала проблема безопасности данных, что подвергало риску потери данных пользователей. Был проведен эксперимент по изменению значения по умолчанию пользовательской настройки, что привело к увеличению положительных метрик использования функционала резервации данных. Также рассмотрена проблема опроса пользователей, что является важной составляющей в процессе улучшения эргономики приложения. Была использована методика удаленного опроса пользователей, что позволило получать быструю обратную связь от пользователей и быстро реагировать на их запросы. Результатом работы является подтверждение гипотезы изменения пользовательского интерфейса в циклах итеративной модели разработки, положительная динамика метрик приложения, а также удовлетворение пользователей изменениями.
Ключевые слова: A/B тестирование, пользовательский интерфейс, итерационная модель разработки, мобильные устройства, аналитика.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Для цитирования. Павлович Ю.Г., Киринович И.Ф. А/В тестирование как эффективное средство для адаптации пользовательского интерфейса при итерационной модели разработки приложений для мобильных устройств. Доклады БГУИР. 2021; 19(1): 30-36.
ЮГ. ПАВЛОВИЧ, И.Ф. КИРИНОВИЧ
Белорусский государственный университет информатики и радиоэлектроники (г. Минск, Республика Беларусь
Поступила в редакцию 12 февраля 2020
A/B TESTING AS AN EFFECTIVE INSTRUMENT FOR ADAPTATION OF THE USER INTERFACE AT THE ITERATIVE MODEL OF DEVELOPING APPLICATIONS FOR MOBILE DEVICES
YURY G. PAVLOVICH, IRYNA F. KIRYNOVICH
Belarusian State University ofInformatics and Radioelectronics (Minsk, Republic of Belarus)
Submitted 12 February 2020
© Belarusian State University of Informatics and Radioelectronics, 2021
Abstract. Changing the user interface always entails risks of decreasing application ergonomics and user churn. The purpose of this work is to find methods for changing the user interface without the need to use and increase the number of active users. Using Alpha / Beta testing and analysis of application metrics, it is possible to include design in each iteration and remotely manage the application configuration, which improves the user interface of the application. The way to integrate the UI modification and adaptation phase into an iterative software development model is proposed in this article. The successful user interface improvement experiments that have improved application metrics are described. In this work, the problem was highlighted, lack of information and control over user purchases, which negatively affected the number of purchases. A hypothesis is put forward that the user must have an effective visualization and control tool in the application. As a result of the experiment, the hypothesis was confirmed by an increase in the number of purchases and user activity. There was also a data security issue in the application, which put users at risk of data loss. An experiment was conducted to change the default value of user settings, which led to an increase of the positive metrics for using the data reservation functionality. The problem of polling users is also considered, which is an important component in the process of improving the ergonomics of an application. The method of remote user polling was used, which allowed to receive quick feedback from users and quickly respond to requests from users. The result of the work is the confirmation of the hypothesis of changes in the user interface in the cycles of the iterative development model, the positive dynamics of application metrics, as well as the satisfaction of users with the changes.
Keywords: A/B testing, user interface, iterative development model, mobile devices, analytics. Conflict of interests. The authors declare no conflict of interests.
For citation. Pavlovich Y.G., Kirynovich I.F. A/B testing as an effective instrument for adaptation of the user interface at the iterative model of developing applications for mobile devices. Doklady BGUIR. 2021; 19(1): 30-36.
Введение
Существенную роль в процессе адаптации могут играть две сущности: система и пользователь. В случае адаптивного дизайна пользовательского интерфейса для мобильного приложения адаптация системы должна быть в максимально возможной степени перенесена на сторону системы с точки зрения прозрачности процесса адаптации. Таким образом, система или приложение должны управлять информацией таким образом, чтобы уменьшить сложность и стремиться к невидимости самой вычислительной системы [1].
Можно выделить три основных класса адаптации мобильных приложений [2]:
1. Информация включает в себя адаптацию контента приложения, его макет и организацию.
2. Визуализация включает в себя способ представления информации.
3. Пользовательский интерфейс включает в себя адаптацию элементов управления пользовательского интерфейса и взаимодействие между пользователем и системой.
Основной целью адаптации пользовательского интерфейса для мобильных приложений является создание эргономичного пользовательского интерфейса [3]. Кроме того, интерфейс должен реагировать на изменяющуюся среду и смягчать ограничения мобильных устройств.
Проектирование интерфейса является неотъемлемой частью в итерационной модели разработки приложений. Практически на каждой итерации данной модели происходит введение нового функционала с новым интерфейсом либо улучшается предыдущий. Основной целью улучшения интерфейсов является сортировка их свойств по приоритетам, т. е. определение наиболее критичных свойств тестируемого интерфейса, наиболее важных для улучшения пользовательского интерфейса. Для этого проводится разбиение проблем по приоритетам. В связи с приоритетами предлагаются альтернативы улучшения пользовательского интерфейса, формируется документ, в котором описаны технические требования по изменению пользовательского интерфейса. Данные требования реализуются на этапе разработки и тестирования программного средства.
Методика проведения эксперимента
Была выделена проблема информативности для пользователя: чем больше информации мы даем пользователю, тем более он вовлечен в процесс использования приложения. Данная концепция позволяет увеличить использование функционала приложения путем подачи пользователю дополнительного функционала по контролированию и статистике данных.
В качестве объекта был выделен модуль покупок, в который входила только покупка некоторых сервисов. Была выделена проблема, которая заключалась в том, что пользователь должен иметь эффективный инструмент визуализации и контроля за текущими покупками.
В качестве эксперимента была выбрана текущая версия приложения, в качестве тестируемой - версия с новым функционалом (рис. 1). Эксперимент был произведен на всей выборке пользователей (20 млн человек) путем дисперсии пользователей на тестируемых с процентным соотношением 50 на 50 % тестируемых.
Purchases
Your credits Credits
5.99$
Purchases
Search
1 Month subscription
1 ОС actions left
3 Months subscription
300 actions left
Subscriptions Vour balance 5.99$
1 Month subscription Subscriptions
3 Months subscription > 1 Month subscription >
6 Months subscription > 3 Months subscription >
More subscriptions > 6 Months subscription >
More subscriptions >
Рис. 1. Эксперимент добавления статистики использования сервиса Fig. 1. Experiment adding service usage statistics
В качестве метрики улучшения функционала были выбраны такие параметры, как количество приобретаемых покупок, а также активность использования функционала. Результатом данного эксперимента было увеличение платных подписок на сервис на 55 %, что является положительным и успешным результатом. Данный эксперимент был прекращен, и новый функционал вошел в новую версию приложения, став основным вариантом использования приложения.
За объект другого эксперимента был принят функционал, который позволяет сохранить данные пользователя в случае критических ошибок. Решалась проблема, состоящая в том, что пользователь по причине недостаточной информированности терял данные, в результате приложение получало негативные отзывы, что отрицательно сказывалось на общем впечатлении о приложении.
В качестве гипотезы была выделена проблема перекладывания ответственности стандартного поведения на плечи разработчиков без ущерба текущему функционалу. С целью выбора стандартного поведения было произведено изменение со значения «выключено» на «еженедельно» (рис. 2).
Backup Backup
Create backup to nor lost your data Backup data on another device in Settings Create backup to not lost your data. Backup data on another device in Settings
Backup Now Auto backup
Auto backup Off > Every day 0
Last backup Never Total Яге OB Every week
Every month
Never
Last backup Today Total size 100KB
Рис. 2. Стандартное значение в текущем функционале Fig. 2. Standard value in current functionality
В качестве метрик были выделены такие показатели, как использование текущего функционала, а также реакция пользователей на данное изменение. В качестве метрики для параметра использования функционала была выбрана система аналитики данных. Результатом данной метрики является увеличение использования функционала сохранения данных в 35 раз (рис. 3), что является положительным критерием. Также был выявлен скачок использования функционала по загрузке сохраненных данных в 2 раза (рис. 4), что не было основной целью данного эксперимента, однако также является успешным критерием при оценке результатов данного эксперимента.
7 500 5 000 2 500 0
Рис. 3. Графики использования функционала приложения загрузки данных Fig. 3. Graphs of using the data loading application functionality
1 500 ООО
1 ooo ooo
500 000 0
01.01
Рис. 4. Графики использования функционала приложения сохранения данных Fig. 4. Application graphs for saving data
Результатом данного эксперимента стало увеличение использование функционала, которое было определено разработчиком, без ущерба пользователю. Положительным критерием является отсутствие негативных отзывов пользователей по данному функционалу.
Опрос пользователей является эффективным методом для вовлечения конечных пользователей в развитие продукта, а также обратная реакция на изменения. Технической реализацией данного решения было использование системной библиотеки iOS SDK SKStoreReviewController.requestReviewO [4]. У пользователя на экране мобильного устройства показывается нативное окно для быстрого опроса по поводу лояльности и удобства программного продукта (рис. 5).
Тар star to rate or write
Рис. 5. Экран опроса пользователя Fig. 5. User review poll screen
Перенос ответственности этапа ревью на пользователя может показаться слишком навязчивым, отчего оценки и отзывы приложения могут пострадать. Решением данной проблемы является применение логики показов.
Выборка пользователей для показа экрана основана на персональной активности, которая базируется на аналитических метриках использования различного функционала приложения. За логику показов экрана опроса был выбран аналитический сервис Braze [5]. На базе данных активности пользователя были выбраны критерии выборки пользователей, которые возвращают активных пользователей, данные пользователи были уведомлены через сервис.
Данный метод оптимизации помог увеличить количество отзывов и оценок на приложение, увеличив тем самым пользовательскую вовлеченность в развитие проекта, а также улучшил обратную связь. Данный метод позволил уменьшить себестоимость процесса опроса пользователей, а также количество данных, получаемых извне.
Результаты и их обсуждение
В данной работе представлен эксперимент по улучшению функционала модуля покупки. В качестве решения было предложено улучшить визуальную и информационную составляющие интерфейса отображения текущих покупок пользователя. Данное решение позволило увеличить количество покупок в приложении более чем на 50 %. Также была рассмотрена проблема безопасности данных пользователей и реализовано решение по изменению стандартного поведения приложения в пользу более безопасного.
В результате эксперимента использование функционала сохранения данных увеличилось в 35 раз, а также был выявлен скачок использования функционала по загрузке сохраненных данных в 2 раза, что положительно сказалось на безопасности данных пользователей. Важным критерием также является отсутствие негативных отзывов от пользователей.
Была произведена оптимизация этапа анализа полученных результатов, посредством которой был внедрен механизм опроса пользователей, который позволил уменьшить его себестоимость и улучшить количественные показатели вовлеченности пользователей в проведение оценки и развитие проекта.
Заключение
Исследования пользовательского интерфейса достигают своего полного потенциала, когда количественные и качественные методологии объединяются, чтобы обеспечить представление о поведении, перспективах и ожиданиях пользователей. Такие разнообразные исследовательские эксперименты в разработке пользовательского интерфейса помогают реализовать концепцию итеративной разработки, когда разработка продуктов и услуг подвергается повторяющемуся, ориентированному на пользователя процессу построения, тестирования, анализа и итерации. Процесс изменения пользовательского интерфейса приложения при помощи А/В-тестирования, описанный в данной работе, представляет собой эксперименты над элементами пользовательского интерфейса, который позволяет оперативно принимать решения и изменять приложение в циклах разработки. В целом А/В-тестирование оказалось эффективным методом сбора пользовательских данных и улучшения работы пользователей приложения, предлагая метод ответов на вопросы при разработке пользовательского интерфейса. Процесс А/В-тестирования в конечном счете представляет собой ценную форму наблюдения, где известные проблемы пользовательского интерфейса продуктивно информируются теми пользователями, которые напрямую взаимодействуют с приложением.
В статье были предложены контролируемые эксперименты по изменению функционала и пользовательского интерфейса приложения. Были собраны метрики по использованию данного функционала, получена положительная динамика, что показывает успешность эксперимента. Используя эмпирические данные в исследовании, А/В тестирование позволяет развивать приложение с контролем его качества путем сбора метрик, анализа полученных данных и делать выводы о полезности проделанной работы. А/В тестирование предоставляет возможность добавлять новый функционал в приложение, делать функционал более гибким в зависимости от пользователя, изменять удаленно дизайн и функционал приложения. Удаленный опрос пользователя показал себя как хороший инструмент получения обратной связи от пользователей. Опрос рейтинга внутри приложения, среди выборки активных пользователей по аналитическим метрикам, помогает увеличивать количество опрошенных пользователей, ускоряет обратную связь и позволяет следить за общей оценкой приложения и быстро реагировать на ее изменение.
Таким образом, A/B тестирование является мощным и полезным инструментом в разработке мобильных приложений и пользовательских интерфейсов, позволяющим контролировать изменение пользовательского интерфейса и минимизировать риск ошибочных решений, а также получать обратную связь непосредственно от пользователей.
Список литературы / References
1. Weiss S. Handheld Usability. New York: John Wiley & Sons, Inc., NY, USA; 2002. ISBN 0470844469.
2. Cena F., Console L., Gena C., Goy A., Levi G. Integrating heterogeneous adaptation techniques to build a flexible and usable mobile tourist guide. AI Commun. 2006:1-17.
3. Wesson J.L., Singh A., Van Tonder B. Can Adaptive Interfaces Improve the Usability of Mobile Applications? Human-Computer Interact. 2010:187-198.
4. Киринович И.Ф., Антюшеня Д.В., Яшин К.Д. Исследование зависимости индекса потребительской лояльности веб-приложения от эргономических параметров и удобства использования интерфейса. Доклады БГУИР. 2018;(1):30-36. Kirinovich I.F., Antsiushenia D.V., Yashin K.D. Research of the net promoter score dependence on ergonomic parameters and usability for web-application. Doklady BGUIR = Doklady BGUIR .2018;(1):30-36. (In Russ.)
5. Abel F., Gao Q., Houben G., Tao K. Twitter-based user modeling for news recommendations. In IJCAI'13. Р. 2962-2966.
Вклад авторов
Павлович Ю.Г. осуществила проектирование и выполнила разработку части приложения для проведения исследования адаптации пользовательского интерфейса.
Киринович И.Ф. провела поиск научной литературы предметной области, подготовила статью к опубликованию.
Authors' c
Pavlovich Y.G. designed and developed interface adaptation research.
Kirynovich I.F. fulfilled the search for the article for publication.
Сведения об авторах
Павлович Ю.Г., м.т.н., аспирант кафедры инженерной психологии и эргономики Белорусского государственного университета информатики и радиоэлектроники.
Киринович И.Ф., к.ф.-м.н., доцент кафедры инженерной психологии и эргономики Белорусского государственного университета информатики и радиоэлектроники.
Адрес для корреспонденции
220013, Республика Беларусь, г. Минск, ул. П. Бровки, 6, Белорусский государственный университет информатики и радиоэлектроники тел. +375-29-317-75-66; e-mail: kirinovich@bsuir.by Киринович Ирина Федоровна
the part of the application for conducting user scientific literature of the subject area, prepared
Information about the authors
Pavlovich Y.G., M.Sci, PhD student of the Engineering Psychology and Ergonomics Department of the Belarusian State University of Informatics and Radioelectronics.
Kirinovich I.F., PhD, Associate Professor of the Engineering Psychology and Ergonomics Department of the Belarusian State University of Informatics and Radioelectronics.
Address for correspondence
220013, Republic of Belarus, Minsk, P. Brovka str., 6, Belarussian State University of Informatics and Radioelectronics tel. +375-29-317-75-66; e-mail: kirinovich@bsuir.by Kirynovich Iryna Fedorovna
