CC BY
48ISSN 1814-1196
http://journals. nstu. ru/vestnik Science Bulletin of the NSTU Vol. 57, No. 4, 2014, pp. 119-130
Научный вестник НГТУ том 57, № 4, 2014, с. 119-130
СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
MODERN INFORMATION TECHNOLOGIES
УДК 004.51
Тестирование эргономики пользовательского
*
интерфейса мобильных приложений
А.Ю. АТИСКОВ1, И.И. ДАВИДОВИЧ2
1 199178, РФ, г. Санкт-Петербург, 14-я линия В.О., д. 39, Санкт-Петербургский институт информатики и автоматизации РАН, кандидат технических наук. E-mail: [email protected]
2 197376, РФ, г. Санкт-Петербург, улица профессора Попова, дом 5, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина), бакалавр. E-mail: ilona. davidovich@gmail. com
Основной целью данной работы является изучение и анализ тестирования эргономичности пользовательского интерфейса мобильных приложений, а также выявление степени необходимости повышения качества программных продуктов с точки зрения взаимодействия с пользователем. Даны основные определения предметной области, рассмотрены их качества и меры, которые необходимы для поиска оптимального решения задачи повышения качества эргономических свойств пользовательского интерфейса. Описаны подходы к тестированию эргономичности пользовательского интерфейса мобильных приложений и показаны их достоинства и недостатки. В работе показаны особенности и сложности тестирования мобильных приложений, технические средства тестирования эргономичности.
В современных программных приложениях доступ к их функциональной части осуществляется через графический пользовательский интерфейс, в ходе тестирования которого проверяется работа его различных компонент: изображений, строк меню, диалоговых окон, списковых окон, линеек с прокруткой и т. д. Однако помимо перечисленных характеристик необходимо оценивать простоту и удобство графического пользовательского интерфейса с позиции самого пользователя, а именно: доступность содержимого, оперативность выполнения, эффективность, понятность и наглядность. Проверка перечисленных характеристик является главной задачей тестирования эргономических свойств пользовательского интерфейса.
Данная статья может представить интерес для того, кто хочет заняться непосредственно тестированием эргоно-мичности мобильных приложений, а также для разработчиков мобильных приложений, которые заинтересованы в полном цикле разработки в рамках единой компании без сторонних организаций. В дальнейшем авторы рассмотрят методологию проведения тестирования эргономичности мобильных приложений и ее сложности.
Ключевые слова: пользовательский интерфейс, программное обеспечение, программный продукт, контрольная группа, тестовый набор, юзабилити, эргономика, тестирование
В современном мире стало очень популярно использование мобильных устройств, соответственно и спрос на мобильные приложения очень велик. Спрос всегда порождает предложение, на сегодняшний день только магазин приложений AppStore предлагает более 585 000 приложений. Для того чтобы завоевать пользователя при таком многообразии, разработчик должен предложить ему удобный в использовании продукт, так как в противном случае пользователь просто выберет приложение конкурента. Актуальность тестирования эргономических свойств пользовательского интерфейса (ПИ) мобильных приложений очевидна, так как без тестирования на степень удобства в использовании приложение не будет пользоваться популярностью у пользователей и повлечет коммерческий провал.
* Статья получена 10 мая 2014 г.
DOI: 10.17212/1814-1196-2014-4-119-130
ВВЕДЕНИЕ
1. ЗНАЧЕНИЕ ЭТАПА ТЕСТИРОВАНИЯ В РАЗРАБОТКЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Говоря в целом о разработке какого-либо нового программного продукта (ММ), схематично процесс разработки [1] можно представить как последовательно идущие этапы (рисунок):
1) анализ - систематизация требований к ММ, анализ проблем предметной области, предложение решения с пользовательской точки зрения;
2) дизайн - проект решения задач, сформулированных на стадии анализа;
3) реализация - представление решения на языке программирования;
4) тестирование - процесс пробного запуска ММ с целью его проверки на предмет возможного ошибочного поведения. Иными словами, проверяется устойчивость к условиям использования.
Процесс создания программного продукта
Тестирование любого программного обеспечения (МО) является неотъемлемым этапом в процессе реализации конкретного проекта (программы, приложения, сайта). Несмотря на то что сам этап тестирования является последним и завершающим в цикле разработки программного продукта, он является чрезвычайно важным и имеет значительное влияние на дальнейшую судьбу этого продукта. С помощью тестирования происходит оценка реального качества ММ, а затем достигается желаемый уровень качества ММ [2].
2. ТЕСТИРОВАНИЕ ЭРГОНОМИЧЕСКИХ СВОЙСТВ (ЮЗАБИЛИТИ-ТЕСТИРОВАНИЕ)
Для того чтобы понять суть тестирования эргономических свойств или юзабилити-тестирования, необходимо определить сам термин «юзабилити». «Юзабилити» в прямом переводе с английского языка означает «удобство в использовании».
Удобство использования программного средства - совокупность эргономических свойств программного средства, характеризующая усилия, необходимые для его использования [3], и индивидуальную оценку результатов его использования заданным кругом пользователей программного средства.
ММ является удобным в использовании тогда, когда пользователь делает то, что ему кажется наиболее правильным и при этом у него не возникает никаких вопросов и сомнений в своих действиях. Иными словами, ММ удобен в использовании тогда, когда он обладает следующими свойствами: полезность [4], эффективность, производительность, осваиваемость [5], удовлетворенность, доступность. Рассмотрим подробнее каждое из них [6].
1. Полезность. Степень полезности определяет, насколько ММ позволяет пользователю достигнуть конкретной цели/задачи/результата, а также оценивает общую готовность пользователя использовать данный ИЛ. Без оценки полезности дальнейшие параметры не имеют никакого значения, так как продукт может просто оказаться никому не нужным. Если ММ прост в использовании и освоении, но при этом не выполняет конкретные задачи конкретного пользователя, то его не будут использовать [6].
2. Эффективность. Эффективность определяется тем, как быстро достигается поставленная пользователем цель. Мричем подразумевается, что процесс достижения цели должен проходить безошибочно и целиком. Мример установленного критерия эффективности: «95 процентов пользователей смогут скачать МО за 10 минут».
3. Производительность. Производительность является показателем того, как работает 1111 в соответствии с ожиданиями пользователя и насколько легко осуществляются намерения пользователя. Обычно показатель производительности исчисляется количественно как уровень ошибок. Пример установленного критерия производительности: «95 процентов пользователей смогут удачно скачать ПО с первой попытки».
4. Осваиваемость. Данное свойство можно считать частью производительности. Осваи-ваемость оценивает способность пользователя осваивать компетентное управление ПП после некоторого заранее установленного периода обучения.
5. Удовлетворенность. Удовлетворенность оценивает восприятие пользователей, их мнение и ощущения от 1111. Как правило, этот показатель фиксируется с помощью устных и письменных опросов, в ходе которых пользователи оценивают и сравнивают предложенные к рассмотрению продукты.
6. Доступность. Доступность характеризует степень досягаемости рассматриваемого ПП для людей с ограниченными возможностями.
Достижение удобства использования - не тривиальный процесс. Однако он является неотъемлемым этапом жизненного цикла любого ПП. Во время этого процесса возникают вопросы, для поиска ответов на которые осуществляется ряд мер по оптимизации решения:
1) что должен делать ПП (тестирование удобства использования, исследования, установка стандартов);
2) как он должен работать (совместный дизайн, создание прототипа, подробное описание ПП, тестирование удобства использования, эвристическая оценка);
3) выполняет ли он те функции, которые от него ожидают (тестирование удобства использования, последующие исследования, сравнение с установленными стандартами).
3. КОНЦЕПЦИЯ ТЕСТИРОВАНИЯ ЭРГОНОМИЧЕСКИХ СВОЙСТВ
Тестирование эргономических свойств является, прежде всего, инструментом исследования, в основе которого лежит экспериментальное исследование. Существует целый ряд тестов, от традиционных экспериментов с большим количеством тестируемых образцов до неформальных качественных исследований с одним участником.
Говоря о приемах и методах проведения тестирования удобства использования, следует отметить, что основой всему является проведение контролируемых испытаний (экспериментов), в ходе которых обязательно формулируется гипотеза, а затем проводится ее проверка. Результатом проверки является подтверждение гипотезы либо ее опровержение. Ниже приведены принципы, которыми следует руководствоваться при проведении эксперимента [7].
1. Формулировка гипотезы. Гипотеза иллюстрирует ожидания тестирования. Она должна быть максимально точно сформулирована.
2. Подбор участников эксперимента. Для выявления требований и пожеланий со стороны целевой аудитории проводится случайный выбор участников эксперимента и дальнейшее их помещение в испытываемую экспериментальную среду.
3. Обеспечение надежных средств управления и контроля процессом. Управление экспериментом является чрезвычайно важным. Несмотря на то что получение данной статистики является основной целью тестирования, достоверность результатов можно подвергнуть сомнению в том случае, если управление и контроль тестирования был ненадлежащий. Важно следить за тем, чтобы все участники имели примерно одинаковый опыт перед проведением эксперимента, а также во время него.
4. Контрольные группы. Для достоверности результатов эксперимента необходимо, чтобы использовались также и контрольные группы. Расхождения основной группы с контрольной группой допустимы только по одному из тестируемых признаков.
5. Достаточное количество участников. Это необходимо для того, чтобы оценить существенные различия между группами. Для того чтобы статистически оценить разницу между ними, экспериментальная группа должна быть достаточно большой, так как маленькая экспериментальная группа может привести к ложным выводам.
В итоге можно выделить основные элементы процесса тестирования эргономичности:
1) разработка вопросов и задач эксперимента для испытуемых;
2) использование показательной выборки из конечных пользователей;
3) представление реальной рабочей среды;
4) наблюдения пользователей в момент практического применения ими тестируемого продукта;
5) подробный исчерпывающий опрос участников экспериментальной группы координатором процесса тестирования;
6) совокупность количественных и качественных показателей эффективности и предпочтения;
7) рекомендации по улучшению дизайна продукта.
С точки зрения практической пользы данный вид тестирования оправдан. В процессе тестирования достигается ряд целей [8]:
1) создание архивной записи стандартов удобства использования. Архивированные данные тестирования могут в дальнейшем стать основой для совершенствования ММ;
2) уменьшение затрат на техническую поддержку. Удобный ММ не вызывает лишних вопросов у пользователей, соответственно им не требуется обращение за технической помощью;
3) увеличение продаж. Мользователи делятся своим удачным опытом с другими потенциальными пользователями, а также привыкают к данному продукту и не желают обращаться к продукции конкурентов;
4) приобретение конкурентных преимуществ. Удобство использования становится своего рода отличительной чертой на рынке аналогичных продуктов;
5) уменьшение рисков. Компании-производители пользуются тестированием эргономичности для того, чтобы сделать своего рода пробный выпуск продукта до того, как он попадет на рынок.
4. ПОДХОДЫ К ТЕСТИРОВАНИЮ ЭРГОНОМИЧЕСКИХ СВОЙСТВ
ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА МОБИЛЬНЫХ ПРИЛОЖЕНИЙ
Рассмотрим достоинства и недостатки получаемых данных и результатов для подходов к тестированию эргономичности [9].
В специализированном месте / в реальных условиях эксплуатации
Мод специализированным местом эксплуатации в данном случае понимается лаборатория или другие специальные условия, куда приглашаются подопытные пользователи. Мре-имуществом этого подхода является то, что появляется возможность тщательного анализа эргономичности исследуемого ММ, а также можно параллельно проводить опрос пользователей во время проведения теста.
Однако недостаток данного подхода в том, что это дорого и требует много времени, а также не отражает реального поведения пользователя в условиях реальной среды. Навигация по приложению может быть легкой в лабораторных условиях и сложной в условиях ограниченного времени или пространства, плохой связи с интернетом и т. д. Таким образом, данный подход дает неточное представление о реальных действиях пользователей.
Наибольшую популярность и значимость имеет тестирование в реальной среде использования. Это обусловлено непосредственным назначением мобильного средства: портативность и использование его на ходу. Результаты тестирования оказываются в большинстве случаев более надежными, так как данный подход исключает возникновение так называемого хоторн-ского эффекта, когда на мнение пользователей влияет тот факт, что они знают, что идет эксперимент и их мнение и участие важно для успеха исследования [10].
Управляемое / неуправляемое
Суть управляемого тестирования состоит в том, что за пользователями проводят наблюдение в тот момент, когда они используют рассматриваемое приложение. Как правило, пользователям дают ряд заданий для выполнения, после чего в ходе выполнения этих заданий им попутно задаются вопросы. Если у пользователя возникают какие-либо сложности,
можно сразу же приступить к установлению их причины относительно удобства использования. Пользователя можно снабдить разными версиями пользовательского интерфейса, представленными на бумаге, и опросить его, как именно он взаимодействовал бы с приложением [9].
При неуправляемом тестировании пользователь взаимодействует с приложением без присутствия модератора. По завершении тестирования пользователю предлагается ответить на ряд вопросов, характеризующих впечатление от пользования приложением.
Преимуществом неуправляемого тестирования является то, что оно позволяет пользователю взаимодействовать с приложением в удобном ему темпе. Пользователь не испытывает давление от того, что он привязан к определенным временным рамкам со стороны модератора. Также значимым преимуществом является то, что данный подход требует меньших затрат на управление процессом тестирования, что позволяет проводить тестирование на большем количестве пользователей и собирать больше данных.
Исследование / запись
Тестирование удобства использования, основанное на исследовании, собирает данные из тщательно составленного вопросника. Пользователю дают к выполнению индивидуальные задания в рамках работы с приложением, после чего его просят описать, как именно они выполняли задания. В случае, если эксперты тщательно подошли к разработке такого исследования, его результаты дают надежную и достоверную оценку удобства использования испытываемого приложения.
Под записью тестирования удобства использования подразумевается фиксирование всех действий пользователя во время его взаимодействия с тестируемым приложением. Во время фиксации действий записываются выражение лица пользователя, его передвижения, голос, а также движение его глаз. Однако данный подход сложнее использовать с мобильными приложениями из-за недостаточного количества технических средств.
5. ОСОБЕННОСТИ И СЛОЖНОСТИ ТЕСТИРОВАНИЯ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ
Исследуемый вид тестирования является одним из наиболее важных при создании мобильного приложения, так как в условиях высокой конкуренции эргономичность пользовательского интерфейса приложения является одним из основных параметров, влияющих на востребованность продукта [11]. Тестирование эргономичности ПИ позволяет выявить части приложения, которые недостаточно привлекательны или вызывают затруднения в навигации или использовании на сенсорных экранах [12].
Основными отличиями данного вида тестирования мобильных приложений от тестирования десктопных приложений являются следующие:
1) специфичность операционных систем для мобильных платформ;
2) различные компании-изготовители устройств;
3) небольшие размеры экранов мобильных устройств;
4) конфигурации комплектующих;
5) функциональность устройств как коммуникаторов.
В первую очередь небольшие экраны этих устройств делают взаимодействие пользователя с ними более трудным, чем при работе с классическим дисплеем. Особенно примечателен тот факт, что ограниченные технологические возможности этих устройств ограничивают процесс сбора качественных и количественных данных в ходе тестирования эргономичности ПИ. Этот недостаток особенно хорошо проявляется при сборе данных о движениях глаз пользователя.
Во-вторых, сложности вызывает нехватка специального программного обеспечения для изучения и записи пользовательских движений и его несовершенство. Если при работе с клавиатурой и мышью легко следить за передвижениями (передвижение от одной кнопки к другой), то в случае с сенсорным экраном виден только конечный результат (какая кнопка нажата).
В-третьих, само свойство мобильности устройства несет в себе проблему. Мобильный контекст означает, что и пользователь и устройство находятся в постоянном движении, что приводит к проблеме постоянного изменения среды использования. Кроме того, в условиях постоянной смены обстановки появляются такие факторы влияния, как потеря связи, входящие звонки, внешние помехи и т. д. [7].
6. ТЕХНИЧЕСКИЕ СРЕДСТВА ТЕСТИРОВАНИЯ ЭРГОНОМИЧНОСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Существует ряд технических средств, позволяющих проводить тестирование эргономических свойств пользовательского интерфейса мобильных устройств. Наиболее распространенные из них приведены ниже [13].
Захват видео с экрана устройства. Зачастую возможность сделать видеозапись воспроизводимой ошибки очень полезна - она помогает более подробно описать баг и таким образом сэкономить время разработчиков (Reflector, Android screen capture).
Эмуляторы. Эмулятор - программа, полностью или частично копирующая функционал и поведение устройства или другой программы, позволяющая протестировать наиболее сложные и опасные сценарии (Electric Mobile Studio 2012, Android SDK).
Облачные платформы устройств. Позволяют удалённо протестировать свой продукт на множестве различных устройств, передавая данные о тестировании разработчику, при этом нет вмешательства в тестируемое приложение (Perfecto Mobile, Device Everywhere).
7. ИСПОЛНЯЕМЫЕ ТЕСТЫ ЭРГОНОМИЧНОСТИ СВОЙСТВ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА
Определим ряд критериев, необходимых для хорошего теста:
1) существование обоснованной вероятности выявления тестом ошибки, для этого проанализируем возможные варианты неправильного поведения рассматриваемого приложения;
2) набор тестов не должен быть избыточным, т. е. не должно быть несколько тестов для выявления одной и той же ошибки;
3) тест не должен быть слишком сложным, так как это может привести к тому, что его будет сложно понять и выполнить [14].
Далее для непосредственного проведения процесса тестирования разработаем по вышеперечисленным критериям тест-кейсы. Для этого подробно опишем входные, а также выходные данные. Крайне важно, чтобы объем выходных данных теста был минимальным, так как в малом объеме данных легче определить отклонение от ожидаемого результата.
Определим подробнее ряд атрибутов, которыми будет обладать каждый рассматриваемый тест-кейс:
1) название - уникальное имя тест-кейса, отражающее его смысл, так же как идентификатор используется для последующего указания на данный тест-кейс;
2) описание и примечания - дополнительные комментарии к тест-кейсу;
3) предназначение - ориентированность на тип устройств;
4) шаги теста - алгоритм выполнения теста;
5) ожидаемый результат - фактический полученный результат (пройден, пройден с недочетами, сложно пройти, не пройден).
Для проведения тестирования удобства применения пользовательского интерфейса необходимо выделить конкретные метрики, по которым будет даваться оценка степени удобства. Далее составим по каждой из метрик отдельный тест-кейс, по которому будет оцениваться удобство эксплуатации пользовательского интерфейса мобильного приложения.
Удобочитаемость. Удобочитаемость содержимого мобильного приложения означает, что содержимое легко воспринимается и понимается целевой аудиторией. Смысл текста должен пониматься пользователем без усилий.
Тест предназначен для проверки приложения на мобильных устройствах с пользовательским дисплеем на степень удобочитаемости его содержимого. Исключения в требованиях удобочитаемости могут быть сделаны для приложений, у которых высокий уровень графического изображения предмета (карты или веб-страница).
Шаги теста: все содержимое пользовательского экрана должно быть четким и ясным (экран не должен быть перегружен содержимым), а также удобным для прочтения невооруженным глазом независимо от типа информации на экране, выбора шрифта, цвета и т. д.
Ожидаемый результат: содержимое приложения должно быть удобочитаемо. Если имеются проблемы, они должны быть измерены по приведенной шкале.
Время прочтения. Время прочтения - оптимальное время, в течение которого отображается предназначенное к прочтению содержимое страницы. Данное время отображения не должно быть слишком коротким, так как в этом случае пользователь не успеет усвоить необходимую информацию, что может повлечь дальнейшее затруднение в пользовании. Аналогично время не должно быть слишком долгим, так как в этом случае пользователю приходится тратить лишнее время, что вызывает неудобство и противоречит мобильной концепции устройства.
Тест-кейс «Время прочтения» предназначен для всех приложений.
Шаги теста: запуск приложения, передвижение между страницами приложения.
Ожидаемый результат: каждая страница должна быть видимой в течение времени, которое требуется для прочтения всей информации, содержащейся на ней. Если страница видима недостаточное количество времени, то данная проблема должна быть измерена по шкале, приведенной ниже.
Вывод на экран. Корректность вывода изображения на экран заключается в том, что изображение должно выводиться без каких-либо искажений: мерцаний, наложений и т. д. Некорректный вывод на экран является наиболее раздражающим фактором для пользователя.
Тест-кейс «Вывод на экран» предназначен для всех приложений.
Шаги теста: запуск приложения, передвижение между страницами приложения.
Ожидаемый результат: страницы приложения должны корректно выводиться на экран вместе со всем содержимым, в том числе в случаях, когда поля ввода и диалоговые окна отключены. Не должно быть несанкционированного мерцания объектов или фона. Объекты приложения должны отображаться корректно даже в случае небольшого наложения друг на друга.
Согласованность. Согласованность мобильного приложения заключается в его общей логичности, т. е. все составляющие приложения (функционал, терминология, визуальное отображение, софт-клавиши, звуки и т. д.) должны быть понятны пользователю и не должны противоречить друг другу. Правила использования приложения должны быть понятны пользователю на интуитивном уровне.
Тест-кейс «Согласованность ПИ» предназначен для всех приложений.
Шаги теста: запуск приложения, передвижение между страницами приложения.
Ожидаемый результат: пользовательский интерфейс приложения должен быть логичным и простым для понимания во всех отношениях, т. е. основной ряд действий, их различная последовательность, терминология, общее расположение элементов, функциональность и звуковые сигналы софт-клавиш - все вышеперечисленное должно быть понятным.
Эргономичность расположения клавиш. Эргономичное расположения клавиш представляет собой удобное в использовании расположение клавиш на экране устройства, пользователь не должен испытывать дискомфорт. Использование приложения должно быть физически
удобным для пользователя, т. е. должны легко осуществляться основные жесты управления, к которым относятся нажатие, перемещение, легкое касание и т. д.
Тест-кейс «Эргономичность расположения клавиш» предназначен для всех приложений. Тестирование удобства расположения клавиш осуществимо в той степени, в которой позволяет само приложение, т. е. непреодолимыми ограничениями, накладываемыми самим устройством, можно пренебречь. В случае наличия «множественного ввода» (например, клавиатура сенсорного экрана) необходимо протестировать все варианты ввода данных в обычном режиме работы приложения. Элементы сенсорного экрана должны быть просты в использовании, а сам экран - достаточного размера.
Шаги теста: запуск приложения, передвижение между страницами приложения.
Ожидаемый результат: клавиши управления должны быть просты и понятны в использовании. В пределах физических ограничений дизайна устройства принцип использования клавиш должен одинаково подходить как для правшей, так и для левшей.
Скорость работы приложения. Скорость работы приложения должна быть приемлемая для работы с ним. Работа данного приложения на данном устройстве - корректна, т. е. скорость работы приложения приемлемая для выполнения прямой задачи приложения и не вносит изменения в предполагаемый ход работы пользователя.
Тест-кейс «Скорость работы приложения» предназначен для всех приложений. Разработчик предполагает, что приложение будет протестировано полностью (например, игра на устройстве будет пройдена до конца). Однако на деле тестировщик проведет тест только некоторых частей приложения, насколько это будет возможно, уделив примерно 15 минут на данный процесс.
Шаги теста: запуск приложения, наблюдение за скоростью его работы, насколько оно медленное/быстрое, как это влияет на удобство использования.
Ожидаемый результат: приложение удобно в использовании на конкретном устройстве, скорость работы приложения достаточно хорошая для его использования (пример: реакция приложения на ввод данных пользователем должна быть компетентной и не должна мешать работе пользователя).
Работа функций. Работа функций представляет собой их успешное исполнение, т. е. все функции должны запускаться. Мользователь должен быть информирован о ходе выполнения некоторого запущенного процесса.
Тест-кейс «Работа функций» предназначен для оценки визуального отображения протекающего процесса выполнения каких-либо функций приложений.
Шаги теста: запуск приложения, передвижение между страницами приложения.
Ожидаемый результат: любая выбранная пользователем функция приложения должна запускаться в течение 5 секунд, должен присутствовать некоторый визуальный индикатор, показывающий, что функция в процессе выполнения. В качестве визуального индикатора может служить любое обозначение, понятное пользователю (использование подсказок при вводе данных пользователя, полоса прогресса выполнения, текст «Можалуйста, подождите...»).
Действия во время выполнения команды. Мосле запуска команды любое дополнительное несанкционированное действие со стороны пользователя может вызвать последующие проблемы в работе приложения. Необходимо, чтобы приложение правильно интерпретировало последующие действия пользователя в момент выполнения команды.
Тест-кейс «Действия во время выполнения команды» предназначен для всех приложений.
Шаги теста: вызвать другую команду или ввести данные в тот момент, когда приложение уже выполняет какую-либо команду или выводит на экран некоторые данные.
Ожидаемый результат: приложение не должно реагировать на данный пользовательский
ввод.
Многоформатность отображения. Многоформатность отображения представляет собой возможность использования разных форматов отображения содержимого приложения. Это свойство особенно востребовано в случае использования приложений в планшетном компьютере. У приложений и устройств, поддерживающих различные форматы отображения объектов (пример: книжная/альбомная ориентация изображения, основной/внешний дисплей), все элементы приложения должны быть корректно отформатированы при разных видах и возможностях их отображения.
Тест-кейс «Многоформатность отображения» предназначен для приложений, поддерживающих использование различных форматов изображения на устройствах, также поддерживающих многоформатность изображения. Отрицательный исход данного теста может впоследствии стать серьезным недостатком, дезориентирующим пользователя или полностью парализующим его работу с приложением. При наличии мелких недостатков, не влияющих на функциональность приложения, тест можно считать пройденным, однако их следует отметить в отчете. Если у устройства есть клавиатура, расположенная вдоль длинной стороны устройства, то приложение обязательно должно поддерживать альбомную ориентацию.
Шаги теста: запуск приложения, передвижение между страницами приложения с использованием различных функций с разными форматами изображения.
Ожидаемый результат: приложение должно корректно выводить изображение разных форматов без серьезных ошибок и переключаться с одной ориентации изображения на другую.
Многоформатность экрана. Многоформатность отображения представляет собой возможность использования разных форматов экрана, т. е. возможность корректной работы приложения на разных устройствах вне зависимости от размеров их экранов.
Тест-кейс «Многоформатность экрана» проверяет приложения на совместимость с устройствами, имеющими разные размеры экрана. Отрицательный исход данного теста («тест не пройден») представляет собой невозможность корректного воспроизведения на устройствах с разными размерами экрана.
Шаги теста: одновременный запуск приложения на разных устройствах, одновременное идентичное передвижение между страницами приложения на обоих устройствах.
Ожидаемый результат: приложение должно корректно выводить изображение без серьезных ошибок, использовать весь экран, а также работать как на мобильном телефоне, так и на планшетном компьютере.
Реакция датчика движения. Корректная работа датчика движения заключается в том, что физическое положение устройства никаким образом не влияет на работу приложения, что не противоречит самой идее и смыслу использования мобильного устройства.
Тест-кейс «Реакция датчика движения» оценивает отклик приложения на движение или изменение положения устройства и не должен препятствовать корректной работе приложения (дезориентировать пользователя). Предназначен для приложений, кроме тех случаев, когда ни приложение, ни само устройство не поддерживают сенсор движения. Незначительные задержки или неточности допустимы. Значение результата теста «не пройден» имеет место в случае, если проблемы использования сенсора движения сильно мешают работе с приложением.
Шаги теста: запуск приложения, использование различных его функций при изменении физического положения устройства (местоположения, угла наклона), при перемещении в пространстве с различной скоростью (обычной, медленной, быстрой).
Ожидаемый результат: реакция приложения на движение или перемещение в пространстве/изменение положения не должна мешать работе с приложением, а также не должна дезориентировать пользователя. Приложение должно без проблем и ошибок переключаться с книжной ориентации на альбомную и наоборот.
Ошибки правописания. В приложении обязательно должна соблюдаться орфография того языка, который в нем используется.
Тест-кейс «Ошибки правописания» предназначен для всех приложений. Ошибками считаются синтаксические и пунктуационные ошибки. Недостающие диакритические знаки не считаются ошибкой. Правописание можно считать приемлемым, если оно соответствует нормам выбранного языка использования.
Шаги теста: запуск приложения на целевом языке, проверка текста в следующих элементах: заставка, заголовок, логотип, экран загрузки, основное меню, вспомогательные меню, раздел «справка/инструкции».
Ожидаемый результат: ни один элемент приложения не содержит ни синтаксических, ни пунктуационных ошибок.
Ошибки представления информации. Ошибки представления информации - это ошибки в тексте, проявляющиеся в виде визуальных искажений (наложение, искажение размера и т. д.). При высоком содержании текстовой информации такого рода ошибки сильно затрудняют работу с приложением. Текст приложения должен быть понятным и читаемым. Приложение не должно содержать технических проблем с отображением текста (наложение или отсутствие части текста).
Тест-кейс «Ошибки представления информации» предназначен для всех приложений. Процесс тестирования производится специалистом по тестированию по инструкции, но при этом разработчик должен гарантировать, что данное требование выполняется для всего приложения. При выбранном языке использования весь текст должен отображаться без каких-либо искажений (тексты заголовков в меню не выровнены; размер текста на кнопках превосходит размер самих кнопок или же настолько мал, что не видно значения той или иной клавиши; размер текста на других текстовых областях превосходит саму область либо слишком мелкий; текст не переносится ниже по достижении крайней части экрана, и часть текста теряется; текст обрезается по горизонтали; несколько элементов текста перекрывают друг друга (наложение текста может быть допустимым в случаях, если это сделано намеренно или оно не оказывает влияния на работу с данным приложением).
Шаги теста: запуск приложения на целевом языке, проверка текста в следующих элементах: заставка/заголовок/экран загрузки; основное меню, а также все вспомогательные меню; раздел «справка/инструкции».
Ожидаемый результат: все элементы текста отображаются корректно.
ЗАКЛЮЧЕНИЕ
Этап тестирования крайне важен и необходим при разработке ПО в целом. От него зависит качество конечного ПП [15], следовательно, и его популярность и успех у пользователей. При разработке, в частности, мобильных приложений неменьшее значение имеет тестирование эргономических свойств ПИ, именно оно позволяет создать по-настоящему удобный в использовании продукт. Этот трудоемкий процесс имеет ряд особенностей, обусловленных контекстом мобильности устройства.
Выбранные авторами метрики, подлежащие последующему тестированию, максимально охватывают пользовательский интерфейс приложения и эффективно оценивают степень удобства использования приложения. Разработанные тест-кейсы дают возможность составить подробную оценку качества тестируемого приложения, а именно детально рассмотреть свойства, в которых наблюдается несоответствие требованиям, т. е. являются эффективным инструментом исследования его эргономичности.
Дальнейшая работа авторов будет сосредоточена на практическом применении метрик оценочного тестирования эргономики мобильных приложений для реальных приложений с формулированием новых результатов, достигнутых благодаря формальному описанию тест-кейсов.
СПИСОК ЛИТЕРАТУРЫ
1. Jaaskelainen A. Design, implementation and use of a test model library for GUI testing of smartphone applications: doctoral dissertation / Tampere University of Technology. - Tampere, Finland, 2011. - P. 21-22.
2. Bertolino A., Marchelli E. A brief essay on software testing // Sofware Engineering. - 3rd ed. Hoboken, New Jersey: Wiley: IEEE Computer Society Press, 2005. - Vol. 1: The development process. - P. 2-3.
3. ГОСТ 28806-90. Качество программных средств. Термины и определения. - Введ. 01.01.1992. - М.: Изд-во стандартов, 2001. - 8 с.
4. Большой толковый социологический словарь = Collins dictionary of sociology: русско-английский, англорусский / пер. с англ. Н.Н. Марчук; сост.: Д. Джери, Дж. Джери. - М.: АСТ: Вече, 1999. - Т. 1: А - О. - 544 с.; Т. 2: П -Я. - 528 с.
5. Аберкромби Н., Хилл С., Тернер Б.С. Социологический словарь = The penguin dictionary of sociology / пер. с англ. И.Г. Ясавеев; ред. С.А. Ерофеев. - 2-е изд., перераб. и доп. - М.: Экономика, 2004. - 620 с.
6. Rubin J., Chisnell D. Handbook of usability testing: How to plan, design, and conduct. - Second ed. - New York: John Wiley & Sons, 2008. - P. 15-53.
7. Seix C.C., Veloso M.S., Rodriguez J.J. Towards the validation of a method for quantitative mobile usability testing based on desktop eyetracking // Proceedings of the 13th International Conference on Interacción Persona-Ordenador. - New York, USA: ACM, 2012. - Art. N 49. - P. 2-13. - doi: 10.1145/2379636.2379684.
8. Kalbach J. Designing web navigation: optimizing the user experience. - Beijing: O'Reilly Media Inc., 2007. - P. 36-38.
9. Keys to mobile usability. How to develop, test and launch user-friendly mobile apps [Electronic resource]. - URL: http://go.utest.com/rs/utest1/images/uTest_Whitepaper_Keys_to_Mobile_Usability.pdf (дата обращения: 04.09.2014).
10. ГудвинДж. Исследование в психологии: методы и планирование. - 3-е изд. - СПб.: Питер, 2004. - 232 с.
11. Utting M., Legeard B. Practical model-based testing: a tools approach. - San Francisco, California, USA: Morgan Kaufmann Publ., 2006. - 456 p.
12. Шлыков К. Особенности тестирования на мобильных приложениях: обзорная статья [Электронный ресурс] // Enterra: web-сайт. - URL: http://www.enterra.ru/blog/mobile_qa/ (дата обращения: 04.09.2014).
13. Шлыков К. Инструменты тестирования приложений для мобильных устройств: обзор вариантов и возможностей [Электронный ресурс] // Enterra: web-сайт. - URL: http://www.enterra.ru/blog/tools_for_qa/ (дата обращения: 04.09.2014).
14. Канер С., Фолк Дж., Нгуен Е.К. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений: пер. с англ. - Киев: ДиаСофт, 2001. - C. 30-32.
15. Kshirasagar N., Tripathy P. Software testing and quality assurance: theory and practice. - Hoboken, New Jersey: John Wiley & Sons, 2008. - P. 57-66. - doi: 10.1002/9780470382844.
Атисков Алексей Юрьевич, кандидат технических наук, научный сотрудник Санкт-Петербургского института информатики и автоматизации Российской академии наук. Основное направление научных исследований - онтологическое проектирование, интеграция знаний, разработка мобильных приложений. Имеет 14 публикаций, в том числе две монографии. E-mail: [email protected]
Давидович Илона Игоревна, бакалавр, студент магистратуры дневной формы обучения на кафедре автоматизированных систем обработки информации и управления факультета компьютерных технологий и информатики Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина). Основное направление научных исследований - эргономика пользовательских интерфейсов, автоматизация тестирования. E-mail: [email protected]
Testing of ergonomics of user interface mobile applications
A.Yu. ATISKOV1, I.I. DAVIDOVICH2
1 Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences, 39, 14th Line VO, Saint-Petersburg, 199178, Russian Federation, Philosophy Doctor in computer science, Researcher. E-mail: ati-skov@gmail. com
2 Saint-Petersburg Electrotechnical University "LETI", 5 Professor Popov Street, Saint-Petersburg, 197376, Russian Federation, bachelor. E-mail: [email protected]
The main purpose of this paper is to study and analyze the results of testing the user interface mobile application usability as well as to find out the extent of the necessary improvement of the software product quality in terms of interaction with the user. The basic definitions of the subject field are given and the qualities and measures that are needed to find an optimal solution to improve the quality of the user interface ergonomic properties. Some approaches to testing ergonomics of user interface mobile applications are shown along with their advantages and disadvantages. The paper
* Received 10 May 2014.
130
a.m. arnckob, h.h. pabhffobhh
shows the features and complexity of testing mobile applications and the usability of testing hardware. In today's software applications access to their functional part is provided via a graphical user interface. Various components are checked during its test: images, menu bars, dialog boxes, list boxes, scrolling bars and so on. However, apart from these characteristics, there is a need to assess the ease and convenience of the graphical user interface from the perspective of the user, namely the availability of content, efficiency of performance, efficiency, clarity and visibility. Verification of these characteristics is the main task of direct testing of the user interface ergonomic properties. This article may be of interest to anyone who wants to perform usability testing of mobile applications, as well as to mobile application developers who are interested in a complete cycle of development within a single company without any outside participation. In the future, the authors will consider a methodology for usability testing of mobile applications and its complexity.
Keywords: user interface, software, use case, control group, test set, usability, ergonomics, testing
REFERENCES
1. Jääskeläinen A. Design, implementation and use of a test model library for GUI testing of smartphone applications: doctoral dissertation. Tampere, Finland, Tampere University of Technology, Jan. 2011. - P. 21-22.
2. Bertolino A., Marchelli E. A brief essay on software testing. Sofware engineering. Vol. 1. The development process, 3rd. ed., R.H. Thayer, M.J. Christensen, eds. Hoboken, New Jersey, Wiley - IEEE Computer Society Press, 2005, pp. 2-3.
3. GOST 28806-90. Kachestvo programmnykh sredstv. Terminy i opredeleniya [State Standart 28806-90. Software quality. Terms and definitions]. Moskow, Gosstandart Publ., 2001, 8 p.
4. Dzheri D., Dzheri Dzh., compilers. Bol'shoi tolkovyi sotsiologicheskii slovar' [Collins dictionary of sociology]. Moscow, AST Publ., Veche Publ., 1999. Vol. 1. 544 p. Vol. 2. 528 p.
5. Aberkrombi N., Khill S., Terner B.S. Sotsiologicheskii slovar' [The penguin dictionary of sociology]. 2nd ed., rev. and enl. Moscow, Ekonomika Publ., 2004. 620 p.
6. Rubin J., Chisnell D. Handbook of usability testing: how to plan, design, and conduct. Second ed. New York, John Wiley & Sons, 2008, pp. 15-53.
7. Seix C.C., Veloso M.S., Rodriguez J.J. Towards the validation of a method for quantitative mobile usability testing based on desktop eyetracking. Proceedings of the 13th International Conference on Interaccion Persona-Ordenador, New York, USA, ACM, 2012, art. no. 49, pp. 2-13. doi: 10.1145/2379636.2379684
8. Kalbach J. Designing web navigation: optimizing the user experience. Beijing, O'Reilly, 2007, pp. 36-38.
9. Keys to mobile usability. How to develop, test and launch user-friendly mobile apps. Available at: http://go.utest.com/rs/utest1/images/uTest_Whitepaper_Keys_to_Mobile_Usability.pdf (accessed 04.09.2014).
10. Goodwin J.C. Research in psychology: methods and design. Third ed. New York, John Wiley & Sons, 2002. (Russ. ed.: Gudvin Dzh. Issledovanie vpsikhologii: metody iplanirovanie. 3-e izd. St. Petersburg, Piter Publ., 2004. 232 p.).
11. Utting M., Legeard B. Practical model-based testing: a tools approach. San Francisco, California, USA, Morgan Kaufmann Publ., 2006. 456 p.
12. Shlykov K. Osobennosti testirovaniya na mobil'nykh prilozheniyakh [Main characteristics of testing applications on mobile devices]. Available at: http://www.enterra.ru/blog/mobile_qa/ (accessed 04.09.2014).
13. Shlykov K. Instrumenty testirovaniya prilozhenii dlya mobil'nykh ustroistv: obzor variantov i vozmozhnostei [Tools for mobile application testing: choices and features review]. Available at: http://www.enterra.ru/blog/tools_for_qa/ (accessed 04.09.2014).
14. Kaner C., Falk J., Nguyen H.Q. Testing computer software. The bestselling software testing book of all time. New York, John Wiley & Sons, International Thomson Publ. Press, 1999. 480 p. (Russ. ed.: Kaner S., Folk Dzh., Nguen E.K. Testi-rovanie programmnogo obespecheniya. Fundamental'nye kontseptsii menedzhmenta biznes-prilozhenii. Kiev, DiaSoft Publ., 2001, pp. 30-32).
15. Kshirasagar N., Tripathy P. Software testing and quality assurance. Theory and practice. Hoboken, New Jersey, John Wiley & Sons, 2008, pp. 57-66. doi: 10.1002/9780470382844
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 57, No. 4, 2014, pp. 119-130
