CC BY
291
ВЕСТН. МОСК. УН-ТА. СЕР. 14. ПСИХОЛОГИЯ. 2010. № 1
МЕТОДИКА
И. А. Дегтяренко, И. В. Бурмистров, А. Б. Леонова
МЕТОДИКА ОЦЕНКИ УДОВЛЕТВОРЕННОСТИ ПОЛЬЗОВАТЕЛЕЙ ИНТЕРФЕЙСОМ ИНТЕРНЕТ-САЙТА
Удовлетворенность пользователей является важной характеристикой качества программных продуктов, в частности интернет-сайтов. Существенным препятствием в эмпирических исследованиях удовлетворенности является отсутствие общепринятых методических средств ее оценки. В статье представлены результаты разработки новой психодиагностической методики, пригодной для использования в этих целях. Она представляет собой стандартизированный и хорошо сбалансированный по составу тест-опросник, обладающий высокой внутренней согласованностью и дифференцирующей чувствительностью. Использование этой методики обеспечивает получение многокомпонентной оценки удовлетворенности пользователя как основы для более эргономичного дизайна интерфейса интернет-сайтов.
Ключевые слова: пользовательский интерфейс, юзабилити интернет-сайтов, удовлетворенность пользователей, эргономическая оценка программных продуктов.
User satisfaction is one of the key characteristics of software products including the web-sites’ quality. An absence of generally accepted instruments for evaluation of the user satisfaction creates a significant impediment for empirical studies on usability of software products. In the paper there are discussed the results of elaboration of a new psychodiagnostic tool that can be used for these purposes. It is presented in the form of a standardized questionnaire with well-balanced content, high internal consistency and differential sensitivity. The instrument provides a multidimensional evaluation of user satisfaction as a way for ergonomic redesign of a web-site interface.
Key words: user interface, web-site usability, user satisfaction, ergonomic evaluation of software products.
Дегтяренко Иван Александрович — аспирант кафедры психологии труда и инженерной психологии ф-та психологии МГУ. E-mail: idegtiarenko@acm.org
Бурмистров Иван Викторович — науч. сотр. лаборатории психологии труда ф-та психологии МГУ. E-mail: ivan@interUX.com
Леонова Анна Борисовна — докт. психол. наук, профессор, зав. лабораторией психологии труда ф-та психологии МГУ. E-mail: ableonova@gmail.com
Работа выполнена при финансовой поддержке РФФИ (грант № 08-06-00284а).
94
Эргономическое проектирование информационных систем и программных средств относится к числу наиболее перспективных направлений исследований в современной инженерной психологии и психологии труда (Мунипов, Зинченко, 2001; Тидвелл, 2008). Традиционно эргономичность программного продукта (ПП) оценивается на основе таких показателей, как результативность, производительность и удовлетворенность пользователя при работе с ним (ISO..., 1998). Однако если первые два критерия достаточно четко операционализированы и описаны в специальной литературе, то единое понимание природы удовлетворенности ПП, ее детерминант и адекватных методов исследования пока еще не сложилось (Lindgaard, Dudek, 2003). Отсутствуют также и конкретные методики оценки удовлетворенности пользователей интернет-сайтов, хотя работа по проектированию последних является в настоящее время наиболее актуальной и востребованной, что определяется расширением круга пользователей Интернета во всем мире за последние годы. Так, если к концу 2007 г. им регулярно пользовались около 20% населения Земли, то в начале 2009 г. эта цифра возросла до 23.8%, а, по прогнозам, к концу этого года к Интернету будет обращаться каждый 4-й житель планеты. При этом эксперты отмечают, что две трети пользователей (66.8%) посещают различные социальные сети и блоговые системы, т.е. активно работают с интерфейсами соответствующих интернет-сайтов (Cox, Fisher, 2004). Поэтому проблема оценки удовлетворенности и удобства работы с ПП такого типа становится центральной не только для специалистов по «человеческому фактору», но и для производителей и маркетологов (Нильсен, Лоранжер, 2007).
Удовлетворенность средством или продуктом труда, т.е. высокая «субъективная оценка его качества» (Большой., 2006, с. 555), отражает личностное отношение к нему пользователя. Оно формируется на основании предшествующего опыта взаимодействия человека с определенным объектом, в ходе которого у него неоднократно возникали состояния комфорта и чувство удовлетворения. В свою очередь термин «удовлетворение» можно определить как «чувство того, кто доволен исполнением своих стремлений, желаний, потребностей» (Ожегов, Шведова, 1999, с. 827). Таким образом, в содержательном плане удовлетворенность проявляется в комплексе позитивно окрашенных эмоционально-потребностных переживаний.
В работах по психологии мотивации (Хекхаузен, 2003), как и в сфере исследований взаимодействия человека с компьютером и юзабилити-инженерии (Бурмистров, Белышкин, 2005; Cox, Fisher, 2004; Lindgaard, Dudek, 2003), подчеркивается принципиально важная роль ожиданий, личностных диспозиций и предпочтений субъекта в процессе возникновения разных видов эмоциональных состояний. Так, Х. Хекхаузен, цитируя мнение Д. Мак-Клелланда и соавт., пишет: «Определенные стимулы, или ситуации, вызывающие рассогласования между ожида-
95
ниями и восприятием, служат источниками первичного, ненаучаемого аффекта, который по своей природе либо позитивен, либо негативен» (Хекхаузен, 2003, с. 78). Центральным психологическим конструктом, позволяющим анализировать особенности отражения объекта (предмета, события или ситуации) через призму отношения к нему субъекта, является понятие образа (Ломов, 2006; Lazarus, 1991). Последний, по определению А.Н. Леонтьева (2004), является «предметным», «константным» и «пристрастным».
Опора на эти положения применительно к решению прикладных задач — в частности, эргономического проектирования интерфейсов — означает, что ключевую роль в понимании удовлетворенности ПП должны играть реконструкция образа конкретного продукта, с которым имеет дело пользователь, и учет его представлений об оптимальном продукте той же категории (Ломов, 2006; Мунипов, Зинченко, 2001). Поэтому для того, чтобы исследовать удовлетворенность ПП, необходимо провести разработку адекватных методических инструментов, позволяющих дать содержательную характеристику сложившегося у пользователя образа-представления об оцениваемом объекте с учетом его структурного состава. К числу основных компонентов такого образа-представления ПП можно отнести: ментальную репрезентацию, или собственно образ объекта («Что из себя представляет ПП в зависимости от его соответствия потребностям пользователя?»); образ результата («Чего можно достичь с помощью использования этого объекта?»); образ действий («Каким способом может быть получен ожидаемый результат?»).
Образ объекта характеризуется местом ПП в категориальном пространстве сходного круга явлений и их признаков, которые задействуются при восприятии информационных систем с учетом опыта, знаний, личных пристрастий и других индивидуальных характеристик пользователя. Образ результата и образ действий представляют собой целевой и операциональный аспекты «ментальной» программы действий, на основе которой собственно и организуется деятельность пользователя (Ломов, 2006; Павлов, 2007). При этом соответствие или несоответствие образов результата и действий реальному положению дел по механизму обратной связи влияет на трансформацию образа объекта. Наряду с этим ментальная репрезентация (или собственно образ объекта) дает возможность пользователю сформировать некий «прототипный» вариант образа результата и образа действий даже по отношению к неизвестному ему ПП. Так, например, опытный пользователь Интернета обычно легко догадывается, как начать работать на совершенно незнакомом сайте. Это происходит благодаря тому, что «новый» сайт находит определенное место в уже сформировавшемся у него категориальном пространстве представлений о данном классе ПП. Другими словами, в процессе регуляции деятельности все выделенные
96
компоненты образа-представления ПП взаимодействуют между собой. Поэтому мы полагаем, что для более полного и содержательно емкого анализа удовлетворенности пользователя работой с компьютеризованными средствами деятельности необходимо уделить специальное внимание реконструкции состава и структурных взаимосвязей между выделенными компонентами образа-представления ПП.
Непосредственная цель нашего исследования — подготовка рабочей версии структурированной и достаточно компактной методики для оценки удовлетворенности пользователей работой с конкретным интернет-сайтом. Методика предназначалась для проведения массовых дистанционных обследований, что предполагало ее реализацию в форме стандартизованного тест-опросника. Разработка такого психодиагностического инструмента включала решение следующих задач: (1) подбор релевантного вербального материала для создания предварительного варианта методики; (2) выделение основных компонентов в структуре субъективных оценок интернет-сайта; (3) определение состава основных шкал тест-опросника и формирование рабочего варианта методики; (4) предварительная оценка психометрических качеств и диагностической пригодности подготовленного варианта методики.
Подготовка предварительного варианта методики
Процедура подбора вербального материала. Для отбора информативных признаков, которые могли быть включены в состав предварительного варианта методики, был подготовлен априорно избыточный массив вербальных формулировок, характеризующих различные аспекты отношения пользователей к интернет-сайтам. В этот массив вошло 400 простых высказываний, подобранных на основании следующих источников: 1) авторский перевод пунктов ряда англоязычных опросников, предназначенных для оценки удовлетворенности пользователей различными типами интерфейсов: WAMMI (Kirakowski et al., 1998), CSUQ (Lewis, 1995), SUS (Brooke, 1996), USE (Lund, 2001); 2) вербальные формулировки личностных конструктов, полученные в исследовании Д.О. Павлова1 по оценке удобства работы с электронными устройствами и компьютерными программами с помощью методики репертуарных решеток Дж. Келли и любезно предоставленные автором для проведения нашего исследования; 3) наиболее частотные высказывания, выделенные нами при анализе результатов предварительных бесед с разными категориями пользователей Интернета.
Избыточный перечень утверждений подвергался многоступенчатой процедуре лексического и семантического отбора: (а) исключение идентичных формулировок и повторов, отличающихся несуществен-
1 См.: Павлов Д.О. Удовлетворенность пользователя при человеко-ориентированном подходе к проектированию технических устройств. Дипл. работа. СПбГУ, 2007.
97
ными для общего смысла словами; (б) проведение предварительной сортировки пунктов на сходные по семантике группы с последующим выделением в каждой из них наиболее удачных вербальных формулировок; (в) исключение из списка разговорных оборотов, жаргона, сокращенных высказываний. В результате первоначально подготовленный список был сокращен до 136 пунктов. В качестве примеров включенных в него пунктов можно привести следующие высказывания: «Справочная информация на сайте понятна», «Я бы с удовольствием порекомендовал этот сайт другу», «Я могу решить ту же самую задачу, не прибегая к помощи данного сайта» и пр.
Экспертная оценка избыточного перечня высказываний. Исходя из того, что цель работы заключалась в создании достаточно компактной методики для оценки удовлетворенности интернет-сайтом (включающей не более 25—30 пунктов), составленный избыточный перечень высказываний требовал дальнейшего сокращения2. Для этого был проведен экспертный опрос, к участию в котором привлекались лица разной квалификации — профессиональные разработчики интерфейсов, специалисты по созданию диагностических тестов, а также рядовые пользователи с достаточным опытом работы с Интернетом (всего 23 чел.).
Процедура экспертного оценивания включала 3 этапа. На первом этапе (10 экспертов) применялась методика свободной сортировки (Петренко, 2005). Участники классифицировали карточки с высказываниями, раскладывая их в группы и подгруппы. На основе обработки данных, проведенной с помощью иерархического кластерного анализа по методу полной связи, были выделены 38 кластеров, при этом 39 высказываний не вошли в состав ни одного из кластеров.
На втором этапе (12 экспертов) был проведен опрос, в ходе которого эксперты выбирали внутри каждого кластера высказывания, с их точки зрения имеющие наибольшую диагностическую ценность. По результатам частотного анализа этих данных в перечне было оставлено 81 высказывание.
На третьем этапе (6 экспертов) применялась методика субъективного шкалирования каждого из этих высказываний по двум критериям: важности/уместности высказывания и четкости формулировки. На основании полученных суммарных оценок по всей группе экспертов было отобрано 51 высказывание.
Отметим, что согласованность ответов экспертов, полученных на последнем этапе отбора релевантных пунктов, оценивалась по показателям коэффициента конгруэнтности между индивидуальным профилем
2 Согласно рекомендациям, приводимым в психометрической литературе (Nun-nally, 1978), список пунктов до проведения факторного анализа должен быть в 1.5—2 раза больше конечного варианта методик, т.е. включать 45—60 утверждений.
98
ответов эксперта и усредненным профилем оценок по всей группе. Значения этих показателей варьировались в диапазоне от 54 до 80% (в среднем — 66%), что говорит о достаточно высокой степени согласованности данных. Коэффициент корреляции Спирмена между оценками по двум выделенным критериям составил 0.608 (p<0.001). Полученные результаты подтверждают, что перечень из отобранных 51 высказываний является полноценной основой для его дальнейшего использования в качестве предварительного варианта методики.
Факторная структура оценок
удовлетворенности интернет-сайтом
Выделение обобщенных компонентов в структуре частных оценок удовлетворенности интернет-сайтом осуществлялось на основе факторного анализа большого массива данных, собранного по результатам специально организованного интерактивного опроса. Лицам, регулярно пользующимся Интернетом, предлагалось принять участие в исследовании по оценке их отношения к различным аспектам работы с интернет-сайтами. В случае согласия потенциальные респонденты должны были выбрать из заранее подготовленного списка сайтов те, с которыми они чаще всего работают, и оценить каждый по всему набору пунктов, включенных в состав предварительного варианта методики.
Материалы и процедура проведения исследования. В список было включено 18 достаточно известных интернет-сайтов, по тематике относящихся к следующим категориям: (1) электронная почта («Mail. ru», «Mail.Yandex.ru», «Gmail.com»), (2) социальные сети («В контакте», «Одноклассники», («Facebook.com»); (3) деловые социальные сети («Мой круг»; «LinkedIn.com»); (4) онлайн-дневники («Живой журнал», «Блоги@Mail.ru», «Liveintemet.ru», «Habrahabr.ru»; (5) энциклопедия («Wikipedia.org»); (6) информационные порталы («Росбизнесконсалтинг», «Auto.ru»); (7) тематические коллекции и хранилища файлов — музыки, видеороликов и др. («Last.fm», «YouTube.com», «RapidShare. com»). Каждый из участников исследования мог выбрать из предложенного списка произвольное количество сайтов, причем в дальнейшем каждый из них оценивался отдельно.
Опрос проводился путем заполнения респодентами бланка предварительного варианта методики, размещенного на специально организованной интернет-странице. Формат страницы включал инструкцию для участника исследования, поля для ввода его имени и дополнительной информации, а также полный перечень пунктов предварительного варианта методики (51 высказывание), расположенных в случайном порядке. В ответах респонденты отмечали степень своего согласия/ несогласия с каждым утверждением, используя 7-балльную оценочную шкалу. Для этого рядом с каждым высказыванием располагалось семь элементов управления типа «радиокнопка», пронумерованных от 1 до 7
99
и соответствующих следующим градациям: «1» — «категорически несогласен», «4» — «затрудняюсь с ответом», «7 — «полностью согласен». Выбор такой процедуры шкалирования определялся принятыми в современной психодиагностике правилами, согласно которым использование прямых 7-балльных шкал обеспечивает достаточную надежность и минимизирует смещение субъективных оценок в сторону завышения, как это бывает в случае применения пяти оценочных градаций или биполярных шкал, — от «-3» до «+3» баллов (см.: Schwarz et al., 2001).
Приняв приглашение к участию в исследовании, респонденты знакомились с вводной инструкцией, а затем заполняли анкету, содержащую ряд вопросов социально-демографического характера (указывая, в частности, свой пол, возраст, опыт работы в Интернете и частоту его использования). После этого они переходили к работе с основной частью интернет-страницы, содержащей опросный бланк методики с конкретной инструкцией по его заполнению, и оценивали один из выбранных им сайтов. Закончив работу, участники исследования имели возможность перейти к оценке следующего сайта. Время на заполнение опросника не ограничивалось.
Участники исследования и подготовка банка данных. Всего в опросе приняли участие 138 человек (73 женщины и 65 мужчин) в возрасте 16—54 лет (средний возраст — 23.77 года). В выборку вошли активные пользователи Интернета, обращающиеся к нему не менее 1 раза в день3. Каждый участник оценил от 1 до 13 сайтов, что в сумме составило 340 заполненных бланков опросника. Незначительная часть из них была исключена в дальнейшем из рассмотрения вследствие наличия многочисленных выбросов частных оценок при подсчете расстояний Махаланобиса (значения>88.0, что превышает критическую величину X2 для р=0.001, df=51). В конечном итоге для проведения дальнейшего статистического анализа использовался банк данных, составленный на основе 319 заполненных бланков опросника. Обработка результатов осуществлялась с помощью стандартного пакета статистических программ SPSS for Windows 13.0.
Результаты факторного анализа данных. Предварительный анализ собранного массива данных показал, что согласно коэффициенту корреляции Пирсона оценки по каждому пункту опросника имеют достоверные связи не менее чем с одним (r>0.4) и несколькими другими (r>0.3) пунктами. По критерию Бартлетта матрица корреляций значимо отличается от единичной (x2=10.688, p<0.001), а значение статистики Кайзера—Мейера—Олкина составляет 0.956. Показатели критерия
3 По этому показателю выборка является репрезентативной для широкого круга потенциальных респондентов, так как, по данным Фонда общественного мнения, в Центральном и Северо-Западном округах России более половины всей совокупности пользователей посещают Интернет ежедневно (ФОМ, 2007).
100
выборочной адекватности для отдельных пунктов также находятся в диапазоне высоких значений (от 0.869 до 0.981). Приведенные статистические характеристики свидетельствуют о том, что собранный массив данных достаточен для проведения факторного анализа. Кроме того, семь пунктов, входящих в состав предварительного варианта опросника, были исключены из дальнейшего рассмотрения, так как для них было обнаружено наличие корреляций с другими пунктами с предельно высоким уровнем значимости (r>0.75, р<0.001).
Факторизация всего массива данных, проведенная с помощью метода главных компонент параллельно (а) с использованием Varimax-вращения и (б) с использованием косоугольного вращения методом Direct Quartimin, позволила получить содержательно сходные результаты и выделить устойчивую 4-факторную структуру пунктов опросника, описывающую 60.3% общей дисперсии. Для дальнейшего анализа была применена более простая факторная структура, полученная с использованием вращения Direct Quartimin (табл. 1).
Выделенные факторы хорошо дифференцируются по составу пунктов опросника, получивших максимальные нагрузки. На уровне качественного анализа различия между факторами легко проинтерпретировать как относящиеся к разным аспектам удовлетворенности работой с интернет-сайтом. Так, наиболее мощный фактор 1 объединяет пункты, характеризующие степень надежности, отсутствия сбоев/затруднений и
Таблица 1
Факторная структура пунктов предварительного варианта методики
Факторы Примеры пунктов с максимальной факторной нагрузкой
1-й фактор «Эффективность» Факторный вес: 11.5 Этот сайт часто работает некорректно (—0.832) На сайте отсутствуют некоторые из нужных мне функций (-0.720) Сайт заставляет совершать много лишних действий (-0.618) При работе с сайтом возникают трудности (-0.596)
2-й фактор «Простота использования» Факторный вес: 12.1 Мне было просто понять, как работать с сайтом (0.888) По внешнему виду сайта легко понять, как выполнить какое-либо действие (0.745) Все действия, выполняемые на сайте, для меня привычны и знакомы (0.744)
3-й фактор «Полезность» Факторный вес: 10.1 Этот сайт нужен мне для работы (0.952) Сайт экономит мое время (0.837) Предоставляемая сайтом информация хорошо помогает в решении моих задач (0.796)
4-й фактор «Эмоциональная привлекательность» Факторный вес: 10.6 Этот сайт помогает мне развлечься и расслабиться (0.884) Мне интересно пользоваться этим сайтом (0.801) Данный сайт весьма оригинален (0.664)
101
оптимальности функциональных взаимодействий, обеспечивающих эффективность работы пользователя с сайтом. Фактор 2 включает оценки легкости, понятности и доступности овладения действиями, которые необходимы для работы с сайтом, что можно интерпретировать как простоту его использования. Фактор 3 содержит пункты, указывающие на ценность результатов, достигаемых при работе с сайтом (экономия времени, ресурсов, помощь при решении значимых для пользователя задач), т.е. на полезность сайта. В фактор 4 входят различные аффективно окрашенные оценки, характеризующие возможность удовлетворения различных потребностей и интересов пользователя при работе с сайтом, или его эмоциональную привлекательность. Таким образом, описанная факторная структура позволяет выделить различные смысловые блоки в списке утверждений, включенных в предварительный вариант методики, что создает основу для подготовки ее более компактной и структурированной версии.
Рабочий вариант методики оценки
удовлетворенности интернет-сайтом
Процедура подготовки рабочего варианта методики состояла в выделении основных шкал опросника, соответствующих составу описанной четырехфакторной структуры, и отбора наиболее информативных утверждений по каждой из них. Выбор осуществлялся по величине факторной нагрузки отдельных пунктов (не менее 0.4) и отсутствию отрицательного вклада в общий показатель надежности-однородности соответствующей шкалы (по критерию а-Кронбаха). В результате из предварительного перечня утверждений было отобрано 25 пунктов, по количеству равномерно распределенных между шкалами методики. При этом на основе повторной факторизации в составе первой шкалы было выделено две субшкалы, характеризующие разные аспекты субъективной оценки эффективности работы с сайтом («надежность» и «функциональность»). Ниже в более подробном виде дано описание структуры и состава подготовленного рабочего варианта методики. В скобках указаны факторные нагрузки.
Шкала 1. «Эффективность»
Субшкала 1а — «Надежность»: «Сайт работает стабильно» (0.508); «Этот сайт подводил меня в важный момент» (—0.790); «Этот сайт часто работает некорректно» (—0.832); «При работе с сайтом возникают трудности» (—0.596).
Субшкала 1б — «Функциональность»: «Сайт устраивает меня такой, как есть, не требуя каких-то изменений или настройки» (0.437); «Некоторые особенности сайта меня раздражают» (—0.536); «Сайт заставляет совершать много лишних действий» (—0.618); «Сайт обладает всеми функциями, которые я от него ожидал, и вполне удовлетворяет всем моим нуждам» (0.426); «На сайте отсутствуют некоторые полезные
102
функции, к которым я привык, используя другие сайты» (—0.578); «На сайте отсутствуют некоторые из нужных мне функций» (—0.720).
Шкала 2. «Простота использования»
«По внешнему виду сайта легко понять, как выполнять какое-то действие» (0.745); «Все действия, выполняемые на сайте, для меня привычны и знакомы» (0.744); «Пользоваться сайтом легко» (0.667); «Информация на сайте легка для понимания» (0.713); «Мне было просто понять, как работать с сайтом» (0.888).
Шкала 3. «Полезность»
«Сайт экономит мое время» (0.837); «Сайт позволяет достигать целей с меньшими затратами» (0.718); «Этот сайт необходим для повседневного использования» (0.767); «Предоставляемая сайтом информация хорошо помогает при решении моих задач» (0.796); «Этот сайт нужен мне для работы» (0.952).
Шкала 4. «Эмоциональная привлекательность»
«Этот сайт для меня привлекателен» (0.585); «Данный сайт весьма оригинален» (0.664); «Мне интересно пользоваться сайтом» (0.801); «На сайте есть много интересной для меня информации» (0.751); «Этот сайт помогает мне развлечься и расслабиться» (0.884).
По составу отобранных пунктов выделенные шкалы обладают достаточно высокой внутренней согласованностью: показатели надежности-однородности по каждой из них, рассчитанные по коэффициенту а-Кронбаха, варьируются в диапазоне от 0.817 до 0.892. Для получения других важных психометрических характеристик методики (ретестовой надежности и различных оценок валидности) необходимо проведение дополнительных исследований.
Оценка дифференцирующей чувствительности методики
Подтверждением диагностической пригодности рабочего варианта методики могут служить результаты сравнительного анализа по уже собранному массиву эмпирических данных, в частности связанному с определением различий между субъективными оценками сайтов, имеющих разную степень популярности у пользователей Интернета. Внешними критериями пользовательских предпочтений являются частота обращений к разным сайтам одинаковой целевой направленности, а также темп роста аудитории сайта (косвенные индикаторы степени удовлетворенности и удобства работы с ним). Поэтому можно предположить, что если подготовленный рабочий вариант методики обладает достаточной дифференцирующей чувствительностью, то показатели по основным ее шкалам будут существенно различаться при оценке сайтов, имеющих разные показатели роста аудитории.
Это предположение в целом подтвердилось результатами дисперсионного анализа, проведенного по всему массиву эмпирических данных. В качестве независимых переменных использовались дихотомическая
103
оценка размера аудитории сайта и дихотомическая оценка темпов роста аудитории. Для этого сайты, предварительно оцененные на основе доступной в Интернете информации, были подразделены на две группы по размеру аудитории: (1) наиболее популярные в своей тематической категории и (2) менее популярные. Таким же образом сайты были разделены по темпам роста аудитории на: (1) сайты, аудитория которых растет существенно быстрее общей аудитории Интернета (более 25% за первые три квартала 2009 г.) и (2) сайты, аудитория которых растет более медленными темпами (менее 15%) либо не растет вовсе. Далее по каждому из этих факторов независимо, с помощью однофакторной модели ANOVA (df=1/230 и df=1/216 соответственно для первой и второй переменной) проводилась оценка значимости различий отдельно по четырем основным показателям рабочего варианта методики. При этом была обнаружена разница между наиболее и менее посещаемыми сайтами по следующим шкалам: «Эффективность» (p<0.05), «Простота использования» (p<0.01), «Эмоциональная привлекательность» (p<0.01). Еще более четко видна разница между сайтами с высокими и низкими темпами роста аудитории: в данном случае обнаружены статистически достоверные различия по всем шкалам методики: «Эффективность», «Полезность», «Эмоциональная привлекательность» (p<0.001), «Простота использования» (p<0.01).
Кроме того, данные о дифференцирующей чувствительности методики проявляются при выборочном сравнении внутри одной категории сайтов, характеризующихся разной степенью популярности у пользователей. В качестве примеров в табл. 2 приведены результаты попарных сравнений сайтов идентичного целевого назначения, но существенно различающихся по частоте обращения к ним либо по темпам прироста аудитории. Отметим, что для проведения такого анализа были выбраны сайты, хорошо знакомые и широко востребованные массовым пользователем: электронная почта, социальные сети, онлайн-дневники. Полученные данные показывают, что в большинстве случаев оценки удовлетворенности работой с более перспективными сайтами, имеющими высокие темпы прироста аудитории (по сравнению с менее перспективными), достоверно сдвинуты в сторону более выраженных позитивных значений по основным показателям методики. Так, при сравнении служб электронной почты социальных сетей только в одном случае — при сравнении почтовых служб «Gmail.com» и «Mail.Yandex.ru» — отсутствуют значимые различия по показателю «простота использования». Статистически достоверных обратных по направлению сдвигов не обнаружено ни в одном из проведенных сравнений. Данные о достоверно более выраженных позитивных оценках сайтов, завоевывающих максимальную популярность, хорошо согласуются с независимыми свидетельствами их удобства и комфортности для широкого круга пользователей. Так, на данный момент «Gmail.com» является не самым популярным сайтом
104
Таблица 2
Значимость различий в оценках удовлетворенности работой с сайтами одной категории, различающимися частотой обращения к ним пользователей. Приводятся результаты сравнений по непараметрическому критерию Манна-Уитни; средние оценки показателей по основным шкалам методики представлены в /-значениях
Показатели по шкалам методики Средние оценки Достоверность различий
Высокочастотные сайты Менее частотные сайты Z Р
Электронная почта
«Gmail.com» «Mail.Yandex.ru»
Недельная аудитория в России «500 000 чел.*** 5 939 700 чел.*
Прирост аудитории 35%**** 15%**
Эффективность 0.60 -0.12 -2.65 <0.01
Простота 0.29 0.20 -0.32 нет
Полезность 1.00 0.42 -2.54 <0.01
Привлекательность 0.12 -0.60 -2.56 <0.01
Социальные сети
«В контакте» «Одноклассники»
Недельная аудитория 12 650 800 чел.* 9 421 200 чел.*
Прирост аудитории 19%** -3%**
Эффективность 0.24 -1.15 -5.82 <0.001
Простота 0.47 -0.65 -4.89 <0.001
Полезность -0.31 -1.05 -4.22 <0.001
Привлекательность 0.18 -0.90 -4.71 <0.001
Интернет-дневники
«LiveInternet.ru» «Живой Журнал»
Недельная аудитория в России 2 053 200 чел.* 4 157 700 чел.*
Прирост аудитории 25%** 13%**
Эффективность -0.10 -0.33 -0.22 нет
Простота 0.12 -0.66 -0.83 нет
Полезность -0.73 -0.33 -1.22 нет
Привлекательность -0.35 0.56 -1.23 нет
Примечание. * — Данные TNS Web Index за сентябрь 2009; ** — результаты сравнения данных TNS Web Index за февраль и сентябрь 2009; *** — приблизительная оценка, полученная за счет усреднения результатов расчета аудитории с использованием различных подходов; **** — по данным компании comScore.
105
электронной почты, но современная и компактная организация позволяет ему быть самой быстрорастущей почтовой службой на мировом рынке, обгоняющей по темпам роста более привычные сайты «Mail.Yandex.ru» и «Mail.ru». Другой яркий пример: социальная сеть «Одноклассники», которая в ноябре 2008 г. лидировала в своем сегменте рынка, теперь существенно проигрывает по размеру аудитории сайту «В контакте», который отличается более удобной навигацией и постоянным развитием своих функциональных возможностей. При сравнении интернет-дневников «Живой журнал» и «LiveIntemet.ru» также заметна большая разница оценок по ряду основных показателей методики, однако статистически достоверные различия не обнаружены, по всей видимости, из-за недостаточного числа респондентов, оценивавших сайт «LiveIntemet.ru». Эти наблюдения говорят в пользу экологической валидности разработанного рабочего варианта методики.
Интересны также результаты качественного анализа оценок удовлетворенности работой с высокочастотными сайтами разных категорий. Этот анализ проводился на основе сопоставления профилей основных показателей методики. Для него были выбраны три широко известных сайта из доступных для массового пользования сетей — «В контакте», «Gmail.com» и «Wikipedia» (см. рисунок). Конфигурация профилей в каждом из рассмотренных случаев отличается своеобразием — неодинаковым сочетанием «пиков» по разным шкалам методики. Это подтверждается наличием статистически достоверных различий между значениями по большинству основных показателей, рассчитанных по критерию Краскела—Уоллеса: «простоты использования» (p<0.05), «по-
Пример сравнительных оценок удовлетворенности работой с высокочастотными сайтами разных категорий: социальная сеть — «В контакте» (штриховая линия); электронная почта — Gmail.com (сплошная, квадрат); энциклопедия — "Wikipedia
(сплошная линия)
106
лезности» (p<0.001) и «эмоциональной привлекательности» (p<0.005). Подчеркнем, что значимых различий по показателю «эффективность» обнаружено не было — во всех трех случаях его оценки находятся в диапазоне выраженных позитивных значений, что говорит о высокой надежности и хорошей функциональной организации работы этих популярных сайтов.
Различия «пиков», доминирующих на профилях, легко соотнести со спецификой целевого назначения сравниваемых сайтов. Так, сайт «В контакте» получил максимально высокие оценки по шкале «простота использования», тогда как величина показателя по шкале «полезность» минимальна и находится в зоне отрицательных значений. Это скорее всего связано с использованием данного сайта как «площадки» для свободного общения, не ориентированного на профессиональные интересы и выполнение рабочих заданий. В оценках сайта «Gmail.com» наиболее высокое значение имеет показатель по шкале «полезность», что в сочетании с выраженными позитивными оценками по шкалам «эффективность» и «простота использования» свидетельствует о том, что пользователи удовлетворены им прежде всего как инструментом для осуществления быстрых и точных электронных коммуникаций. Сайт «Wikipedia» максимально высоко оценивается одновременно по показателям двух шкал — «полезность» и «эмоциональная привлекательность», что хорошо согласуется с его общей информационной и образовательной направленностью, присущей энциклопедии массового пользования. Таким образом, приведенные результаты являются еще одним подтверждением хорошей дифференцирующей чувствительности рабочего варианта методики. Его использование позволяет не только оценивать степень удовлетворенности работой с конкретным интернетсайтом, но и давать качественную интерпретацию его сильных и слабых сторон, влияющих на оптимальность взаимодействия пользователя с компьютеризованными средствами деятельности.
Заключение
Разработанный в ходе многоэтапного исследования рабочий вариант методики для оценки удовлетворенности пользователя интернетсайтом является хорошо сбалансированным по составу диагностическим инструментом, обладающим достаточно высокой внутренней согласованностью и дифференцирующей чувствительностью. Это дает основание рекомендовать его для более широкого применения с целью дальнейшей стандартизации и эмпирической верификации. Учитывая, что подготовленный вариант методики является одним из первых полноценных психометрических тестов в отечественной практике юзабилити-инженерии, то в будущем его можно использовать в качестве прототипа при создании средств оценки эргономичности интерфейса ПП более широкого назначения.
107
Отличительной чертой подготовленного варианта методики является его четкая структурированность. Входящие в его состав шкалы позволяют охарактеризовать содержательные особенности разных компонентов образа-представления ПП. Учитывая процессуальную направленность пользователя при работе с интернет-сайтом (т.е. обращение к нему как к средству решения значимых для субъекта задач), шкалы «эффективность: надежность и функциональность» и «эмоциональная привлекательность» определяют специфику ментальной репрезентации сайта в целом. Реконструкция содержания двух других компонентов — образа результата и образа действий — осуществляется на основе оценок по шкалам «полезность» и «простота использования». Взаимосвязи между разными компонентами образа-представления конкретного интернет-сайта находят отражение в профиле показателей по основным шкалам методики. Их соотношение не только указывает на полноту и целостность образа-представления, но и помогает выделить «зоны дефицита» со стороны его отдельных компонентов, которые являются факторами риска для снижения удовлетворенности пользователя.
Важно подчеркнуть, что в рамках проведенного нами исследования получило дальнейшее развитие представление об удовлетворенности работой как о многомерном конструкте. В ряде современных работ, развивающих двухфакторную теорию мотивации Ф. Герцберга, показано, что ряд характеристик образа ПП являются своеобразными мотивирующими факторами, а другие — факторами контекста (Cheung, Lee, 2005; Zhang, von Dran, 2000). Для того чтобы полнее обосновать отнесенность выделенных в методике основных показателей удовлетворенности к той или иной группе факторов, необходимо более тщательно соотнести характеристики образа-представления конкретного интернет-сайта с образами идеального и типичного ПП данной категории. Это является главной перспективой развития начатых исследований. В то же время уже сейчас разработанный вариант методики можно использовать в практике оценки и проектирования интернет-сайтов, прежде всего для выявления достоинств и недостатков дизайна уже существующих сайтов массового назначения, а также для создания более совершенных компьютеризированных средств поддержки деятельности пользователя.
СПИСОК ЛИТЕРАТУРЫ
Большой психологический словарь / Под ред. В.П. Зинченко, Б.Г. Мещерякова. СПб., 2006.
Бурмистров И.В., Белышкин А.А. Юзабилити-инженерия как перспективное направление работы прикладных психологов // Прикладная психология как ресурс социально-экономического развития современной России: Мат-лы межрегиональной науч.-практ. конф. (17 — 20 ноября 2005 г.) М., 2005. С. 74—76.
Леонтьев А.Н. Деятельность. Сознание. Личность. 3-е изд. М., 2004.
Ломов Б.Ф. Психическая регуляция деятельности. Избранные труды. М.,
2006.
108
Мунипов В.М., Зинченко В.П. Эргономика: человеко-ориентированное проектирование техники, программных средств и среды. М., 2001.
Нильсен Я., Лоранжер Х. Web-дизайн. Удобство использования web-сайтов. М., 2007.
Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка. 4-е изд. М.,
1999.
Петренко В.Ф. Основы психосемантики. 2-е изд. СПб., 2005.
Тидвелл Дж. Разработка пользовательских интерфейсов. СПб., 2008
ФОМ. Опросы «Интернет в России» / «Россия в Интернете». Вып. 21 (осень). 2007. URL: http://bd.fom.ru/report/map/int0704
ХекхаузенХ. Мотивация и деятельность: В 2 т. 2-е изд. Т. 1. СПб.; М., 2003.
Brooke J. SUS: a “quick and dirty” usability scale // Usability evaluation in industry / Ed. by P.W. Jordan et al. L., 1996. P. 189 - 194.
Cheung C.M.K., Lee M.K.O. The asymmetric effect of website attribute performance on satisfaction: An empirical study // Proc. of the 38th Hawaii International conference on system sciences (January 3—6, 2005). Track 7. P. 175.
Cox A., Fisher M. Expectation as a mediator of user satisfaction // Proc. of the WWW 2004 Conference, Workshop on Web Search Effectiveness: User Perspective (N.Y., May 18, 2004). URL: http://torch.cs.dal.ca/~watters/www2004WorkShop/coxfisher_paper.pdf
ISO 9241-11 — Ergonomic requirements for office work with visual display terminals (VDTs). Part 11: Guidance on usability. International Standards Organization. Geneva, 1998.
Kirakowski J., Claridge N., WhitehandR. Human centered measures ofsuccess in Web Site Design // Proc. of the 4th Conference on human factors and the web (Basking Ridge, NJ, June 5, 1998). URL: http://zing.ncsl.nist.gov/hfweb/att4/proceedings/kirakowski/ index.html
LazarusR. Emotions and adaptation. N.Y., 1991.
Lewis J.R. IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use // Intern. J. of Human-Computer Interact. 1995. Vol. 7. Iss. 1. P. 57—78.
Lindgaard G., Dudek C. What is this evasive beast we call user satisfaction? // Interacting with computers. 2003. Vol. 15. Iss. 3. 429—452.
Lund A.M. Measuring Usability with the USE Questionnaire // STC Usability SIG Newsletter. 2001. Vol. 8. N 2. URL: http://www.stcsig.org/usability/newsletter/ 0110_mea-suring_with_use.html
Nunnally J.C. Psychometric theory. N.Y., 1978.
SchwarzN., KnauperB., HipplerH.-J. et al. Rating scales: Numeric values may change the meaning of scale labels // Public Opinion Quart. 2001. Vol. 55. N 4. P. 570—582.
Zhang P, von Dran G.M. Satisfiers and dissatisfiers: A two-factor model for website design and evaluation // J. of Amer. Soc. for Inform. Sci. 2000. Vol. 51. Iss. 14. P. 1253— 1268.
Поступила в редакцию 30.11.09
