CC BY
203
УДК 159.9 072, 004.738.5
Оценка удовлетворенности пользователей работой с интернет-сайтом1
И. А. Дегтяренко, А. Б. Леонова
Компьютер с выходом в Интернет стал для большинства работников основным средством трудовой деятельности. Так, по прогнозам Фонда «Общественное мнение», к 2014 году доля интернет-пользователей составит более 70% от населения России (см. рисунок 1). 36% аудитории Интернета пользуются им с рабочего компьютера, причем большинство из них составляют представители сигнономи-ческих профессий [21].
Помимо обработки данных, и работы с текстами, современные компьютерные технологии и Интернет помогают специалистам различных профессиональных групп получать справочную информацию, поддерживают процесс принятия решений, а также позволяют вести общение с коллегами и партнерами посредством текстовых, аудио- и видеоконференций. Для таких специалистов, как операторы контакт-центров или диспетчеры, деятельность по приему обращений и их обработке при помощи компьютера, является основной. Так или иначе, миллионы людей вынуждены выполнять эти и подобные задачи в условиях жестких временных ограничений, высокой степени неопределенности,
при наличии прерываний и переключений в сети. В результате использование компьютеризированных средств труда, как правило, связано с яркими эмоциональными переживаниями: как позитивными, так и негативными.
Удовлетворенность средствами деятельности вносит существенный вклад в общую удовлетворенность трудом [6], а, следовательно, повышает качество жизни работников. С точки зрения работодателей, значимым фактором становится удовлетворенность сотрудников применяемыми в организации программными средствами. Ведь она связана с повышением результативности и производительности их труда [9, 12] за счет влияния удовлетворенности средством деятельности на трудовую мотивацию. Неменьшую проблему для организаций составляет внедрение новых информационных систем и обновление существующих. Есть множество примеров неудачного внедрения новых компьютерных средств. Разработчики сталкиваются с нежеланием работников осваивать новые способы деятельности, а зачастую и активным противостоянием внедрению новых компьютерных программ.
Дегтяренко Иван Александрович
аспирант кафедры психологии труда и инженерной психологии факультета психологии Московского государственного университета им. М. В. Ломоносова.
Работа выполнена при финансовой поддержке РФФИ (грант № 11-06-00463-а)
Леонова Анна Борисовна
доктор психологических наук, профессор, заведующая лабораторией психологии труда факультета психологии Московского государственного университета им. М. В. Ломоносова.
Восприятие любого продукта как полезного и удобного, а, вместе с тем, простого в использовании, существенно повышает шансы на его принятие [22]. Оценка удовлетворенности интернет-сайтами в организационном контексте становится особенно актуальной в связи с ростом популярности так называемых «облачных» сервисов: систем, позволяющих размещать информацию и работать с ней на удаленном сервере через Интернет. Большое число экспертов в области корпоративных информационных систем считает, что такой способ развития технической инфраструктуры организаций в ближайшие годы станет преобладающим [20].
Интерес компаний-разработчиков интернет-сайтов к повышению удовлетворенности пользователей связан с ее влиянием на коммерческую успешность ресурса. В маркетинге хорошо известно, что высокая удовлетворенность клиентов в долгосрочной перспективе существенно повышает их лояльность, и, соответственно, прибыли компании [15].
Требования ^ к оценке интернет-сайтов
Эти факторы стимулировали появление во второй половине 80-х годов (в период взрывного роста популярности персональных компьютеров) таких прикладных дисциплин как чело-
веко-ориентированное проектирование программных продуктов (ПП) и юзабилити-инженерия. В это время компьютеры становятся массовыми средствами труда. Если раньше основную часть затрат на ИТ-инфраструк-туру в организациях составляло приобретение аппаратного и программного обеспечения, то со временем эти расходы становятся все менее существенными по сравнению с оплатой обучения и поддержкой пользователей. На первый план вышла не дорогостоящая техника, а человеческий капитал.
Центральным понятием в оценке степени эргономичности ПП стал конструкт «юзабилити», впервые введенный Дж. Макколлом в 1977 году и включенный во все современные модели качества ПП, в том числе и в соответствующий стандарт Международной организации по стандартизации (180) [15]. По определению, данному в 180, юзабилити — это «степень, в которой продукт может быть применен определенной группой пользователей для достижения определенных целей в определенном контексте использования результативно, производительно и с чувством удовлетворенности» (см. рисунок 2) [13]. Если показатели результативности и производительности хорошо операци-онализированы, то общего понимания природы удовлетворенности и мето-
дических средств ее оценки до сих пор не существует как в литературе, так и в сообществе специалистов-практи-ков [18]. Так, проведенный К. Хорн-беком обзор 180 статей, посвященных оценке юзабилити программных продуктов, опубликованных в течение ряда лет в 4-х ведущих журналах по тематике взаимодействия человека с компьютером, показал, что лишь в 12 статьях использовались стандартизованные методики оценки удовлетворенности [11]. И это притом, что на английском языке таких методик существует не менее 10. Наиболее известны из них QUIS [8], SUMI/WAMMI [16], CSUQ [17], SUS [7], USE [19]. На русском языке до этого исследования не публиковалось ни одной валидизирован-ной методики для оценки удовлетворенности пользователей.
Пользовательская удовлетворенность как психологическая категория
Мы рассматриваем удовлетворенность средством труда как интегральную субъективную оценку его качества [1], которая отражает личностное отношение пользователя, сформированное в процессе деятельности с использованием определенного средства. Принципиально важную роль в формировании удовлетворенности ПП играют ожидания пользователя, которые репрезентируются в виде образа
Рисунок 1. Динамика месячной интернет-аудитории по разным возрастным группам в % от населения России. После зимы 2010 — 2011 приведены прогнозируемые данные. По [5]
о
т
е
Ч
2
а
и
СО
о
т
е
а
н
с
е
—
ь
н
е
с
CD
а
н
с
е
—
ь
н
е
с
О
а
н
с
е
—
ь
н
е
с
О
а
н
с
е
—
ь
н
е
с
О
а
н
с
е
—
ь
н
е
с
О
а
н
с
е
—
ь
н
е
с
О
Образ объекта включает структурную и оценочную составляющие. Субъект обладает определенной ментальной моделью ПП: представлением о его структурном составе и принципах функционирования. Эта структурная составляющая, в частности, обусловливает формирование образа действий. С другой стороны, образ ПП характеризуется его местом в категориальном пространстве явлений и признаков, которые задействуются при восприятии информационных систем с учетом опыта, знаний, личных пристрастий и других индивидуальных характеристик пользователя. Пользователь будет считать сайт «красивым» или «некрасивым», «удобным» или «неудобным». Реперными точками, задающими размерность такого пространства, являются другие сайты той же категории.
Как показано выше, образ ПП представляет собой систему, каждый из компонентов которой играет роль в организации деятельности пользователя и трансформации остальных компонентов образа. Удовлетворенность ПП формируется как интегральная оценка соответствия сайта ожиданиям и потребностям пользователя. Удовлетворенность будет высокой, если оценочная составляющая образа объекта близка к образу идеального объекта данной категории, а выполнение задач в соответствии с образом
действий приводит к ожидаемому результату.
Основной целью нашего исследования была разработка и валидизация оригинальной опросной методики ОПУС, предназначенной для оценки удовлетворенности пользователей. Так как методика предназначалась, в частности, для использования в рамках массовых дистанционных обследований, это предполагало ее реализацию в виде относительно компактного стандартизованного тест-опросника. Подготовка такой методики включала решение следующих задач: 1) подбор вербального материала для создания предварительного варианта методики; 2) выявление основных компонентов в структуре субъективных оценок интернет-сайтов; 3) формирование рабочего варианта методики и предварительная оценка его психометрических качеств; 4) валидизация и подготовка окончательного варианта методики.
Разработка методики для оценки пользовательской удовлетворенности
Подбор вербального материала для предварительной версии методики. В связи с тем, что структура отношения к ПП обладает кросс-культурными различиями [10], необходимо было выявить набор характеристик, имеющих наиболее важное значение при восприятии сайтов русскоязычной
аудиторией Интернета. Для этого были использованы методы репертуарных решеток Дж. Келли, а также беседы с разными категориями пользователей. Кроме того, собранный массив априорно содержал избыточный перечень из 400 простых высказываний. При этом использовался авторский перевод популярных англоязычных опросников WAMMI [16], CSUQ [17], SUS [7] и USE [19]., который затем подвергался многоступенчатой процедуре лексического и семантического отбора. Были исключены идентичные и близкие формулировки, разговорные обороты, жаргон, сокращенные высказывания, в результате чего список сократился до 136 пунктов. В качестве примера можно привести следующие высказывания: «Справочная информация на сайте понятна», «Я бы с удовольствием порекомендовал этот сайт другу», «Я могу решить ту же самую задачу, не прибегая к помощи данного сайта» и пр.
В дальнейшем была проведена экспертная процедура отбора наиболее информативных высказываний, состоявшая из трех этапов. В ней приняли участие лица разной квалификации
— профессиональные проектировщики интерфейсов, специалисты по созданию диагностических тестов, а также рядовые пользователи с достаточным опытом работы в Интернете
Рисунок 2. Схематическое представление определения понятия «юзабилити», традиционно применяемого для оценки эргономичности программных средств. На основе [13].
Продукт
результат использования
Цель
Юзабилити: степень, в которой цели могут быть достигнуты результативно, производительно и с чувством удовлетворенности
Г
результат использования
Результативность
Производительность
Удовлетворенность
Метрики юзабилити
ПП, так как образ — это центральный психологический конструкт, который позволяет анализировать особенности отражения объекта (предмета, события или ситуации) через призму отношения к нему субъекта [4]. Таким образом, для создания адекватных средств оценки пользовательской удовлетворенности необходимо, в первую очередь, реконструировать структурные компоненты образа ПП. К их числу следует отнести образ объекта («Что собой представляет программный продукт в контексте его соответствия потребностям пользователя?»), образ результата (Чего можно достичь с помощью использования этого объекта?»), образ действий («Каким способом может быть получен ожидаемый результат?»).
Во время выполнения компьютеризованных задач деятельность субъекта строится исходя из образа действий, сформированного на основании предшествующего опыта. Когда выполнение действий в соответствие с этим образом оказывается затруднено или приводит к итогу, не соответствующему образу ожидаемого результата, возникает рассогласование ожиданий с результатами деятельности. Это не только вызывает трансформацию имеющихся образов результата и действий, но и сопровождается фрустрацией. В противоположной ситуации может возникать состояние функционального комфорта или, в некоторых случаях, потока.
(всего 23 человека). На первом этапе (10 экспертов) применялась методика свободной сортировки с целью выделения групп сходных по содержанию высказываний (см. рисунок 3). На втором этапе (12 экспертов) внутри каждой полученной в результате сортировки группы высказываний были выбраны наиболее удачные. На третьем
этапе (6 экспертов) выполнялось субъективное шкалирование каждого из оставшегося 81 высказывания по двум критериям: важности/уместности высказывания и четкости формулировки. На основании суммарных оценок по всей группе экспертов было отобрано 51 высказывание.
Процедура определения структуры оценок удовлетворенности интернет-сайтом. Выделение обобщенных компонентов в структуре удовлетворенности интернет-сайтом осуществлялось на основе факторного анализа боль-
шого массива данных, собранного по результатам специально организованного интерактивного опроса, в котором приняли участие лица, регулярно пользующиеся Интернетом. Респонденты должны были выбрать из заранее подготовленного списка сайтов те, с которыми они чаще всего работают, и оценить последовательно каждый из
них по всему набору пунктов, включенных в состав предварительного варианта методики. В список вошли некоторые из наиболее популярных русскоязычных сайтов разных категорий: почтовые серверы, социальные сети, интернет-дневники, информационные порталы, тематические коллекции и хранилища файлов.
Опрос проводился путем заполнения респондентами бланка предварительного варианта методики, размещенного на специально организованной интернет-странице. Формат страницы включал инструкцию для участника исследования, поле для ввода его имени и полный перечень пунктов предварительного варианта методики (51 высказывание), расположенных в случайном порядке. В ответах респонденты отмечали степень своего согласия/несогласия с каждым утверждением, используя 7-балльную оценочную шкалу.
В опросе приняло участие 138 человек (средний возраст 23,9 года, стандартное отклонение — 5,9). Из них 53% женщин и 47% мужчин. Каждый участник оценил от 1 до 13 сайтов (в среднем, около 2,5). В результате мы получили 340 заполненных бланков опросника. После исключения оценок, являвшихся статистическими выбросами, в дальнейшем анализе использовалось 319 бланков.
Результаты факторного анализа данных. Факторизация всего массива
Выделение обобщенных компонентов в структуре удовлетворенности интернет-сайтом осуществлялось на основе факторного анализа большого массива данных, собранного по результатам специально организованного интерактивного опроса, в котором приняли участие лица, регулярно пользующиеся Интернетом.
первичных данных позволила выделить устойчивую 4-факторную структуру опросника, описывающую 60,3% общей дисперсии. Выделенные факторы хорошо дифференцируются по составу пунктов опросника, получивших максимальные нагрузки. На уровне качественного анализа различия между факторами легко проинтерпретировать как относящиеся к разным аспектам удовлетворенности работой с интернет-сайтом. Так, фактор 1 объединяет пункты, характеризующие степень надежности, отсутствия сбоев/затруднений и оптимальности функциональных взаимодействий, обеспечивающих эффективность работы пользователя с сайтом. На основе повторной факторизации пунктов в составе первого фактора было выделено два фактора более низкого порядка: «надежность» и «функциональность», однако в дальнейшем, при валидизации методики, наличие двух отдельных субфакторов не подтвердилось.
Фактор 2 включает оценки легкости, понятности и доступности овладения действиями, которые необходимы для работы с сайтом, что можно интерпретировать как простоту его использования и обучения работе с ним. Фактор 3 содержит пункты, указывающие на ценность результатов, достигаемых при работе с сайтом (экономия времени, ресурсов, помощь при решении значимых для пользователя задач), т. е. на полезность сайта. В фактор 4 входят различные аффективно окрашенные оценки, характеризующие возможность удовлетворения различных потребностей и интересов пользователя при работе с сайтом, или его эмоциональную привлекательность. Таким образом, описанная факторная структура позволяет выделить различные смысловые блоки в списке утверждений, включенных в предварительный вариант методики, что создает основу для подготовки ее более компактной и структурированной версии.
Подготовка рабочего варианта методики и ее предварительная психометрическая оценка. Процедура подготовки рабочего варианта методики состояла в выделении основных шкал опросника, соответствующих составу описанной четырехфакторной структуры, и отбора наиболее информативных утверждений по каждой из них. Выбор осуществлялся по величине факторной нагрузки отдельных пунк-
тов (не менее 0,4) и отсутствию отрицательного вклада в общий показатель надежности-однородности соответствующей шкалы (по критерию альфа Кронбаха). В результате, из предварительного перечня утверждений было отобрано 25 пунктов, вошедших в рабочий вариант методики.
Предварительная оценка валидности методики продемонстрировала высокую надежность-согласованность ее шкал (показатели альфа Кронбаха от 0,82 до 0,89), а также высокую дифференцирующую чувствительность методики. В рамках большинства тематических категорий сайтов были обнаружены статистически достоверные различия оценок различных сайтов по нескольким шкалам методики ОПУС. В большинстве случаев сайты с более высокими темпами роста посещаемости получали более высокие оценки пользователей.
Дифференцирующая чувствительность и конструктная валидность методики подтверждаются наличием характерных различий «пиков», доминирующих на профилях, которые легко соотнести со спецификой целевого назначения сравниваемых сайтов (см. рисунок 4). Так, сайт «В контакте» получил максимально высокие оценки по шкале «простота», тогда как величина показателя по шкале «полезность» минимальна и находится в зоне отрицательных /-значений. Это, скорее всего, связано с использованием данного сайта как «площадки» для свободного общения, не ориентированного на профессиональные интересы и выполнение рабочих заданий. В оценках сайта
Gmail.com наиболее высокое значение имеет показатель по шкале «полезность», что в сочетании с выраженными позитивными оценками по шкалам «эффективность» и «простота» свидетельствует о том, что пользователи удовлетворены им, прежде всего, как инструментом для осуществления быстрых и точных электронных коммуникаций. Сайт Wikipedia максимально высоко оценивается одновременно по показателям двух шкал — «полезность» и «эмоциональная привлекательность», что хорошо согласуется с его общей информационной и образовательной направленностью, присущей энциклопедии массового пользования.
Более подробно процедура разработки методики и предварительной психометрической оценки описана в [3].
Эмпирическая верификация методики ОПУС
Этапы валидизации методики. Ва-лидизация методики состояла из двух этапов. На первом этапе был проведен еще один интерактивный опрос на отдельной выборке респондентов с целью проверки надежности шкал и отдельных пунктов методики, а также ее конструктной и критериальной валидности. По результатам опроса был подготовлен окончательный вариант методики. Второй этап валидизации представлял собой экспериментальное исследование с использованием целого комплекса субъективных и объективных показателей удовлетворенности программным продуктом и эффективности его использования, включая
Рисунок 4. Пример сравнительных оценок удовлетворенности работой с высокочастотными сайтами разных категорий: социальная сеть — «В контакте»;
электронная почта — Gmail.com; энциклопедия — Wikipedia.
- В контакте •—Gmiil com —Wikipedia
индикаторы глазодвигательной активности и показатели ЭКГ. Настоящая статья посвящена первому этапу вали-дизации. Результаты экспериментального исследования будут опубликованы отдельно.
Подготовка методического инструментария для валидизации методики в рамках интерактивного опроса. Для оценки в рамках интерактивного опроса было выбрано 18 популярных сайтов различных категорий (почтовые серверы, социальные сети, Интернет СМИ, агрегаторы новостей и сайты с прогнозом погоды), которые могут использоваться в контексте трудовой деятельности и данные о посещаемости которых регулярно публикуются в рамках панельного исследования TNS Web Index. Последнее обеспечивало наличие внешнего объективного критерия успешности сайтов. Также для оценки критериальной валидности методики была введена дополнительная шкала субъективной оценки «Общая удовлетворенность». В ее состав вошли 3 пункта: «В целом, этот сайт меня вполне удовлетворяет», «Как часто вы пользуетесь этим сайтом?», «Порекомендовали бы вы этот сайт своим знакомым?»
Процедура проведения опроса. Респонденты переходили на специально организованный сайт, где отмечали в списке предлагаемых для оценки сайтов те, «которыми они регулярно пользуются или которые достаточно хорошо представляют». Последующие страницы опроса предъявлялись по числу выбранных сайтов. На каждой странице было приведено название сайта, который надо оценить, полный перечень пунктов рабочего варианта методики (25 пунктов), расположенных в случайном порядке, а также 3 пункта дополнительной шкалы «Общая удовлетворенность» и поля для словесной характеристики сайта. В последние респонденты должны были ввести несколько прилагательных: от 1 до 3 по собственному усмотрению, которые характеризуют основное их впечатление от сайта.
Участники обследования. В опросе приняли участие 124 человека (68% женщин, 32% мужчин, средний возраст
— 26,8 года, стандартное отклонение — 10,0). 83% участников используют Интернет несколько раз в день, остальные
— не реже раза в неделю. Всего они заполнили 653 бланка методики.
Проверка конструктной валидности и составление окончательного варианта методики. В результате факторизации массива данных была выделена структура пунктов опросника, содержательно аналогичная модели, полученной при разработке методики (доля объясненной дисперсии — 62,5%). Как уже было сказано выше, на новой выборке не подтвердилось деление фактора «Эффективность» на два субфактора.
В соответствии с полученными данными факторного анализа из состава методики были исключены 4 пункта, которые не удалось четко отнести к определенной шкале. Таким образом, в окончательный вариант методики вошел 21 пункт. Ниже приведена полная структура методики. Шкала 1. «Эффективность».
• Этот сайт часто работает некорректно
• Этот сайт подводил меня в важный момент
• На сайте отсутствуют некоторые из нужных мне функций
• Сайт заставляет совершать много лишних действий
• При работе с сайтом возникают трудности
• На сайте отсутствуют некоторые полезные функции или особенности, к которым я привык, используя другие сайты
• Некоторые особенности сайта меня раздражают
Шкала 2. «Простота».
• Мне было просто понять, как работать с сайтом
• По внешнему виду сайта легко понять, как выполнить какое-либо действие
• Все действия, выполняемые на сайте, для меня привычны и знакомы
• Информация на сайте проста для понимания
• Пользоваться сайтом легко Шкала 3. «Полезность».
• Этот сайт нужен мне для работы
• Сайт экономит мое время
• Предоставляемая сайтом информация хорошо помогает в решении моих задач
• Этот сайт необходим для повседневного использования
Шкала 4 «Эмоциональная привлекательность».
• Этот сайт помогает мне развлечься и расслабиться
• Мне интересно пользоваться этим сайтом
• На сайте много интересной для меня информации
• Данный сайт весьма оригинален
• Этот сайт для меня привлекателен Проверка надежности и дифференцирующей чувствительности методики. Значения коэффициентов альфа Кронбаха для разных шкал методики варьировались в диапазоне от 0,81 до 0,92, что говорит о ее высокой одномоментной надежности. Показатель надежности-устойчивости, полученный методом «тест — ретест» на выборке в 28 человек, варьируется для разных шкал в диапазоне от 0,613 до 0,827 (коэффициенты ранговой корреляции Спирмена между показателями по первому и второму замерам). Приведенные показатели приемлемы, так как методика измеряет ситуативное отношение, а не устойчивые индивидуальные черты респондентов.
Образ ПП характеризуется его местом в категориальном пространстве явлений и признаков, которые задействуются при восприятии информационных систем с учетом опыта, знаний, личных пристрастий и других индивидуальных характеристик пользователя. Пользователь будет считать сайт «красивым» или «некрасивым», «удобным» или «неудобным». Реперными точками, задающими размерность такого пространства, являются другие сайты той же категории.
Таблица 1. Сравнение средних оценок сайтов по шкалам методик ОПУС внутри каждой тематической категории.
Электронная почта Mail.ru Рамблер почта Яндекс почта
Количество оценок 73 52 20
Эффективность (р = 0.07)* 4.39v** 4.82" 4.26v
Простота (р = 0.07) 5.54"v 5.82л 5.09v
Полезность (р = 0.45) 4.79 4.99 4.50
Привлекательность (р = 0.43) 3.85 4.18 3.93
Социальные сети В контакте Одноклассники Мой мир
Количество оценок 74 28 19
Эффективность (р = 0.01) 4.62" 3.79v 3.80v
Простота (р = 0.001) 5.95" 4.40v 4.27v
Полезность (р = 0.001) 4.21" 2.25v 2.83v
Привлекательность (р = 0.001) 5.09" 3.40v 3.07v
Агрегаторы новостей Яндекс Новости Mail.ru Новости Рамблер Новости
Количество оценок 38 28 17
Эффективность (р = 0.25) 5.08 4.56 4.78
Простота (р = 0.64) 5.61 5.41 5.33
Полезность (р = 0.24) 4.13 3.67 4.44
Привлекательность (р = 0.08) 4.65a 4.00b 4.84ab
Интернет СМИ Лента.ру РБК РИА Новости Вести
Количество оценок 33 29 21 18
Эффективность (р = 0.06) 5.43" 4.75"v 4.74v 5.02"v
Простота (р = 0.11) 5.70 5.35 4.90 5.09
Полезность (р = 0.35) 4.03 4.41 3.98 3.76
Привлекательность (р = 0.05) 4.93" 4.57"v 4.12v 4.06v
Прогноз погоды Гисметео ЯндексПогода Mail.ru Погода Рамблер Погода
Количество оценок 61 49 20 18
Эффективность (р = 0.32) 4.65 4.96 4.59 5.04
Простота (р = 0.06) 5.30^v 5.71" 5.54^ 5.69^
Полезность (р = 0.05) 4.45"v 4.76"v 4.26v 4.86"
Привлекательность (р = 0.29) 4.12 4.27 3.87 4.08
Примечания: * — достоверность различия средних оценок. ** — оценки, имеющие различные знаки, достоверно отличаются друг от друга на уровне значимости p < 0,1 на основании post-hoc критериев. Например, сайт со знаком А значимо отличается от сайта со знаком v, а сайт с обоими знаками не имеет значимых отличий ни от одного из других.
Исследование показало высокую дифференцирующую чувствительность методики. При помощи однофакторного дисперсионного анализа между оценками разных сайтов каждой из категорий были обнаружены различия, значимые на уровне р<0,1 (см. таблицу 1), что во многих случаях достаточно в ходе практической оценки эргономичности сайтов. Стоит также учесть, что в практике такой оцен-
ки каждый респондент обычно оценивает одинаковый набор сайтов, что позволяет использовать более мощные статистические критерии (для связанных выборок).
Проверка критериальной валидности методики. В качестве внешних критериев для оценки валидности методики использовались как субъективные показатели (дополнительная шкала «Общая удовлетворенность» и данные рес-
пондентами словесные характеристики сайтов), так и объективный показатель скорости роста посещаемости сайта.
Результаты регрессионного анализа показали, что оценки по шкалам методики ОПУС совокупно объясняют 63,5% дисперсии оценок по шкале «Общая удовлетворенность»2. Вторым внешним критерием была положительная или отрицательная валентность эпитетов, которыми респонденты в свобод-
2 За оценку по шкале принималась факторная оценка, полученная путем факторного анализа ответов на пункты шкалы с выделением единственного фактора.
Таблица 2. Сайты разных категорий, рост аудитории которых в наибольшей степени отличается в большую и меньшую сторону от предсказанного на основании абсолютного размера текущей аудитории.
Категория сайтов Более быстрый рост аудитории Замедленный рост аудитории
Электронная почта Яндекс Почта Mail.ru Почта
Социальные сети Одноклассники Мой мир
Интернет СМИ Вести РИА Новости
Агрегаторы новостей Яндекс Новости Mail.ru Новости
Прогноз погоды Гисметео Рамблер Погода
Таблица 3. Сравнение средних оценок сайтов с быстро и медленно растущей аудиторией по всем шкалам методики
Сайты с быстро растущей аудиторией Сайты с медленно растущей аудиторией
Количество оценок 198 159
Эффективность 4.69** 4.47
ф = 0.09 / 0.05)* 0.02 -0.03
Простота 5.34 5.30
ф = 0.75/ 0.44) 0.16 0.13
Полезность 4.14 4.26
ф = 0.50/ 0.73) -0.29 -0.28
Эмоциональная 4.13 3.58
привлекательность ф = 0.06 / 0.01) -0.11 -0.18
Примечания: * — достоверность различия средних оценок: соответственно, «сырых» и взвешенных по средней оценке пункта методики соответствующим респондентом.
** — для каждой шкалы в верхней строке приведены «сырые» средние баллы по шкале, а в нижней строке — взвешенные.
ной форме охарактеризовали свое общее впечатление от сайтов. Эпитеты были разделены автором исследования на 3 группы: «позитивные», «негативные», «нейтральные» (к последним были отнесены все те эпитеты, которые не могли быть однозначно оценены как «позитивные» или «негативные»).
В бланках методики, по которым сайт получил высокую суммарную по всем шкалам методики (верхний квартиль распределения), было 79,5% положительных и 4,6% отрицательных эпитетов, наиболее часто употребляемыми эпитетами были «удобный», «простой», «интересный», «информативный», «нужный». В бланках с низ-
кой оценкой (нижний квартиль распределения) было только 16,1% положительных и 60,6% отрицательных эпитетов, наиболее частые — «неудобный», «перегруженный», «запутанный». Различие этих распределений статистически достоверно по критерию хи-квадрат(91,57, df=2, p<0,001).
Третий, и объективный, внешний критерий — скорость роста аудитории сайта. Для оценки роста использовалось сравнение данных TNS Web Index о размере недельной аудитории сайтов за май 2010 и май 2011 года. Предварительный анализ показателей процентного роста аудитории показал, что в целом наиболее популярные сайты в каждой категории обладают и более
высокими показателями роста. Чтобы нивелировать влияние этого побочного фактора, для определения сайтов с быстро растущей аудиторией и медленно растущей аудиторией был использован показатель отличия реального показателя роста от показателя роста, спрогнозированного при помощи линейной регрессионной модели на основе абсолютного размера аудитории сайта. В таблице 2 приведено по одному сайту из каждой тематической категории, который растет быстрее всего в сравнении с прогнозом, и одному, который растет медленнее всего в сравнении с прогнозом.
Дисперсионный анализ подтвердил предположение о том, что сайты с более высокими темпами роста аудитории получат более высокие оценки по шкалам методики ОПУС. В качестве независимой переменной использовалась дихотомическая оценка быстроты роста аудитории относительно предсказанной на основании размера аудитории сайта. Для этого из всего массива данных были выделены две группы протоколов: 1) с оценками сайтов с наиболее быстро растущей аудиторией в своей тематической категории и 2) с оценками сайтов с наименее быстро растущей аудиторией. Далее с помощью однофакторной модели ANOVA проводилась оценка значимости различий отдельно по четырем основным шкалам методики. При этом помимо «сыых» оценок по шкалам методики использовались оценки, взвешенные на основании средней оценки каждым респондентом одного пункта методики. Часть респондентов склонна к общему занижению, а часть
— к общему завышению оценок для всех оцениваемых ими сайтов. Использование взвешенных по средней оценке пункта методики данным респондентом оценок нивелирует влияние этого фактора3. Сайты с быстро растущей аудиторией получили достоверно более высокие оценки по шкалам «Эффективность» и «Эмоциональная привлекательность» (см. таблицу 3), что подтверждает критериальную валидность методики.
3 Взвешенная оценка подсчитывалась по формуле: Ов = Осыр/Бср — 1, где Ов — взвешенная оценка сайта по шкале методики, Осыр — сырая оценка сайта по шкале методики, Бср — средняя оценка пункта методики во всех протоколах данного респондента. В случае с обратными пунктами методики оценка данного пункта подсчитывалась как 8 — х, где х — степень согласия с приведенным высказыванием, указанная респондентом.
Заключение
Разработанная в ходе многоэтапного исследования методика для оценки удовлетворенности пользователей интернет-сайтами является хорошо сбалансированным по составу диагностическим инструментом. Она обладает высокой надежностью и дифференцирующей чувствительностью. Также была продемонстрирована критериальная валидность методики, в том числе и с использованием объективного критерия успешности оценивавшихся сайтов. Кроме того, был проведен моделирующий эксперимент, и продемонстрирована взаимосвязь оценок по шкалам методик ОПУС с объективными индикаторами вегетативно-эмоциональной напряженности и распределения когнитивной нагрузки при работе с сайтами [2].
Отличительной чертой методики является ее четкая структурированность. Входящие в ее состав шкалы позволяют охарактеризовать содержательные особенности разных компонентов образа ПП. Учитывая процессуальную направленность пользователя при работе с интернет-сайтом (т. е. обращение к нему как к средству решения значимых для субъекта задач), шкалы «эффективность» и «эмоциональная привлекательность» определяют специфику ментальной репрезентации сайта в целом. Реконструкция содержания двух других компонентов — образа результата и образа действий — осуществляется на основе оценок по шкалам «полезность» и «простота». Взаимосвязи между разными компонентами образа конкретного интернет-сайта находят отражение в профиле показателей по основным шкалам методики. Их соотношение не только указывает на полноту и целостность образа ПП, но и помогает выделить «зоны дефицита» со стороны его отдельных компонентов, которые являются факторами риска для снижения удовлетворенности пользователя.
Все это дает основание для того, чтобы рекомендовать данную методику для применения в контексте массовых опросов и экспериментальных исследований в рамках научных исследований, а
также в практике человеко-ориентиро-ванного проектирования интернет-сайтов и их внедрения в организациях. Учитывая, что подготовленный вариант методики является одним из первых полноценных психометрических тестов в отечественной практике юзабилити-инженерии, то в будущем его можно использовать в качестве прототипа при создании средств оценки эргономичности интерфейса ПП более широкого назначения.
Список литературы:
1. Большой психологический словарь / Под ред. В. П. Зинченко, Б. Г. Мещерякова. — СПб: Прайм Еврознак, 2006. — 672 с.
2. Дегтяренко И.А. Валидация опросника пользовательской удовлетворенности сайтом // Человеческий фактор: Проблемы психологии и эргономики. — 2011. - №3/1.
3. Дегтяренко И.А., Бурмистров И.В., Леонова А.Б. Методика оценки удовлетворенности пользователей интерфейсом интернет-сайта // Вестник Московского университета, Серия 14: Психология. - 2010. - №1. - С. 94-109.
4. Завалова Н.Д., Ломов Б.Ф., Пономаренко В.А. Образ в системе психической регуляции деятельности. - М.: Наука, 1986. - 172 с.
5. К концу 2014 года численность интернет-пользователей составит около 80 млн человек, или 71 населения страны старше 18 лет. - База данных ФОМ, 2011. -[Электронный ресурс]. - URL: http:// bd.fom.ru/report/map/bntergum07 / intergum0703/pressr_130611 (дата обращения: 19.06.2011).
6. Ang J., Soh P.H. User information satisfaction, job satisfaction and computer background: An exploratory study // Inform. & Management. - 1997. - V. 32, Iss. 5. - P. 255-266.
7. Brooke J. SUS: a «quick and dirty» usability scale // P. W. Jordan. Usability evaluation in industry. - L.: Taylor & Francis, 1996. - P. 189-194.
8. Chin J., Diehl V., Norman K.L. Development of a tool measuring user satisfaction of the human-computer interface // Proc. of the SIGCHI conf. on Human factors in computing systems. - New York, NY: ACM, 1988. - P. 213-218.
9. Etezadi-Amoli J., Farhoomand A.F. A structural model of end user computing satisfaction and user performance // Inform. & Management. - 1996. - V. 30, Iss. 2. - P. 65-73.
10. Frandsen-Thorlacius O., Hornbaek K., Hertzum M., Clemmensen T. Non-universal usability: a survey of how usability is understood by Chinese and Danish users //
Proc. of the 27th intern. conf. on Human factor in computing systems (CHI ’G9). — New York, NY: ACM, 2GG9. - P. 41-5G.
11. Hombaek K. Current practice in measuring usability: Challenges to usability studies and research || Intern. Joum. of Man-Machine Studies. - 2GG6. - 64. - P. 79-1G2.
12. Igbaria M., Tan M. The consequences of information technology acceptance on subsequent individual performance || Inform. & Management. - 1997. - V. 32, Iss. 3. -P. 113-121.
13. ISO 9241-11 - Economic requirements for office work with visual display terminals (VDTs). Part 11: Guidance on usability. -Geneva: ISO, 1998. - 22 p.
14. ISO/IEC FDIS 9126-1. Software Product Quality - Part 1: Quality Model. - Geneva: ISO, 2GGG. - 25 p.
15. Keiningham T.L., Cooil B., Andreassen T.W., Aksoy L. A longitudinal examination of net promote! and firm revenue growth || Joum. of maTketing. - 2GG7. - V. 71, Iss. 3. - P. 39-51.
16. Kirakowski J., Claridge N., Whitehand R. Human centered measures of success in Web Site Design || Proc. of the 4th Conf. on human factors and the web. - Basking Ridge, NJ, 1998. - [Электронный ресурс]. - Режим доступа: http:||research.microsoft.com| en-us|um|people|marycz|hfweb98|kirakowski| (дата обращения: 27.G9.2G11).
17. Lewis J.R. IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use || Intern. J. of Human-Computer Interact. - 1995. -V. 7. Iss. 1. - P. 57-78.
18. Lindgaard G., Dudek C. What is this evasive beast we call user satisfaction? || Interacting with computers. - 2GG3. - V. 15, Iss. 3. -P. 429-452.
19. Lund A.M. Measuring usability with the USE Questionnaire || STC Usability SIG Newsletter. - 2GG1. - V. 8, №2. -[Электронный ресурс]. - Режим доступа: http:|| www.stcsig.org|usability|newsletter| G11G_measuring_with_use.html (дата обращения: 27.G9.2G11).
2G. O’Connell M. New developerWorks survey shows dominance of cloud computing and mobile application development. IBM developerWorks. - 2G1G. - [Электронный ресурс]. - Режим доступа: http:11 www.ibm.com|developerworks|aboutdw| 2G1Gsurvey-results| (дата обращения: G3.G9.2G11).
21. TNS Web Index: Аудитория Интернет-проектов | Результаты исслед. TNS Media Research, дек. 2G1G. - [Электронный ресурс]. - URL: http:||www.tns-global.ru | media|content|B7525726-B5E1-4C12-BE25-4C543F42F3EE|!Web IndexReport 2G1G12.zip (дата обращения: 19.G6.2G11).
22. Wixom B.H., Todd P.A. A theoretical integration of user satisfaction and technology acceptance || Inform. Systems Research. -2GG5. - 16 (1). - Pp. 85-1G2.
