Анализ взаимосвязи факторов usability открытых образовательных сетевых ресурсов для поддержки обучения и самообучения Текст научной статьи по специальности «Компьютерные и информационные науки»

Анализ взаимосвязи факторов usability открытых образовательных сетевых ресурсов для поддержки обучения и самообучения

Боброва Любовь Николаевна к. п. н., доцент кафедры электроники телекоммуникаций и компьютерных

технологий,

Липецкий государственный педагогический университет, ул. Ленина, 42, Липецк, 398020, (4742)328490 lubov_bobrova1@front.ru

Никулова Галина Анатольевна доцент, к.ф.-м. н., доцент кафедры электроники телекоммуникаций и компьютерных

технологий,

Липецкий государственный педагогический университет, ул. Ленина, 42, Липецк, 398020, (4742)328395 niklip@mail.ru

Аннотация

Статья посвящена проблеме оценки usability открытых образовательных сетевых ресурсов для поддержки обучения и самообучения в сфере IT- и web-технологий. Предпринята попытка выявить факторы, значимые для пользователей при работе с ресурсами учебного назначения. Установлено, что доминирующими среди факторов usability являются полезность и эффективность ресурсов. Устойчивость к ошибкам признана наиболее важной среди категорий usability, отмечена устойчивая взаимосвязь между оценками по некоторым категориям.

The article deals with the usability evaluation of open educational network resources to support teaching and learning in IT- and web-based technologies fields. An attempt was made to identify the factors that are important to users. It was found that resource usefulness and efficiency are dominant usability factors. Robustness recognized as among the most important categories of usability, a stable relationship between estimates in some categories awarded.

Ключевые слова

Открытые образовательные ресурсы, ресурсы e-learning, оценивание usability, факторы и категории usability

open educational network resources, e-learning usability, usability evaluation, factors and categories of usability

Не существует хорошего, не существует плохого, все просто существует в своем проявлении

хорошего и плохого. Лууле Виилма

Ключ, которым пользуются, всегда блестит.

Бенджамин Франклин

Введение

Перспективы развития ГГ-сегментов социальных сфер вызывают многочисленные дискуссии [1-6, 45-47], тем не менее, очевидно, что многие

процессы в здравоохранении, культуре, юриспруденции и, особенно, образовании, активно виртуализируются [5], то есть налицо устойчивая тенденция к доминированию on-line инструментов поддержки многих процедур и процессов в этих областях. В сфере образования в течение последнего десятилетия отмечается неуклонный рост доли электронного обучения (e-learning) с прогнозом его дальнейшего увеличения [6-10, 47-49], это касается как фундаментального, так и корпоративного образования. В обзоре [49] прогнозируется рост e-learning в мире в среднем на 23% в год до 2017 г.

Web-среда организует эффективную доставку образовательной информации с использованием Глобальной сети. Основные направления и формы реализации online обучения, их разнообразие и пересечение рассматриваются в работах [11-15, 5052]. В настоящее время принципиальное значение для самообразования и дополнительной поддержки формального обучения в парадигме смешанного обучения [16] приобретают «открытые» ресурсы, ориентированные на асинхронную форму получения учебной информации [12]. Именно к ним обращаются пользователи для экспресс-решения познавательных или технологических проблем [11, 17, 49]. Согласно определению [13] «образовательные сетевые ресурсы» - это ресурсы, представленные в виде текста, графики, аудио, видео информации, предназначенные для использования в образовательных и профессиональных целях и организованные в комплексы, такие как: образовательный сайт; образовательный портал; база данных (БД); система дистанционного обучения (СДО). Значение этих ресурсов трудно переоценить - как правило, они не ставят временных рамок при использовании учебных материалов или контролирующих блоков, не обременяют пользователей регистрацией, оплатой и т.д., в то же время такие ресурсы стимулируют прагматическое накопление практико-ориентированных знаний и компетенций. По опыту авторов, реальная частота обращения студентов к таким ресурсам намного больше, чем к более серьезным и организованным, как, например, набирающие силу и популярность MOOC курсы [18, 51].

Согласно данным интернет-обзора о состоянии отрасли электронного обучения в 2014 году [49] средства e-learning использовали 81% учащихся, из которых 82% - студенты. В том же источнике указано, что средний возраст on-line учащегося составляет 34 года, что означает расширение аудитории обучающихся пользователей в область «среднего возраста». По меткому выражению [19] «самостоятельное развитие собственных умений перестаёт быть привилегией маленькой группы и превращается в массовое явление, которое так же органично встроено в жизнь каждого человека, как личная гигиена или фитнес».

Особенно популярными стали on-line услуги в области IT-образования (разделы дисциплин «Computer science»), нацеленного на формирование компетенций, востребованных при любой инновационной деятельности [20].

Широкое использование открытых источников учебной информации порождает проблему их правильного выбора как самими обучающимися (в случае самостоятельной работы этот термин является более подходящим, чем «учащиеся» или «обучаемые»), так и руководителями учебного процесса. При рекомендации к использованию ресурсов для поддержки обучения преподаватели, как правило, руководствуются личным опытом и оценкой их полезности или эффективности. Обычно выбор ресурса диктуется его доступностью, грамотностью и структурированностью контента, удобством использования, дружественностью интерфейса, как по функциональным критериям, так и по эстетико-психологическим, упорядоченностью структуры и навигации [50]. Эти же критерии являются основой для оценки особого потребительского качества ресурсов - usability, с которым связывают не только (и не столько) позитивные эмоции при их использовании, но и эффективность работы, обеспеченную их интеллектуальной эргономичностью.

В настоящей работе авторы попытались сделать субъективную и объективную оценку обучающих ресурсов, ориентированных на on-line предъявление учебных и информационных материалов для поддержки учебного процесса блока дисциплин «Web-технологии» в асинхронном режиме.

Usability: качество ресурсов и методология их оценивания

Терминология электронного обучения, варианты реализации e-learning и классификация связанных с ним ресурсов и инструментов приведены в работах [1118, 20-23, 50-54]. В настоящей работе применительно к объектам исследования в сфере e-learning авторы используют термин «открытые образовательные сетевые ресурсы» (ООСР), который во многом аналогичен понятию «интернет-ресурсы учебного назначения» (ИРУН) [11; 13], охватывающему доступные в среде Интернет информационные ресурсы и программные средства (проблемно-, предметно- или объектно-ориентированные), в которых отражается некоторая предметная область, в той или иной мере реализуется технология ее изучения и обеспечиваются условия для осуществления различных видов учебной деятельности и саморазвития [11]. Однако понятие ООСР несколько сужает рассматриваемую область, включая ресурсы открытого доступа в сети.

История usability (удобоиспользования) как инструмента и технологии по проверке программного обеспечения и Web-ресурсов на степень эффективности и удобства для пользователей насчитывает несколько десятилетий. Однако некоторые аналитики, например, Мэдс Соегард (Mads Soegaard) [55], усматривают истоки usability в древних трактатах по архитектуре Витрувия (1 в. до н.э.). В этих текстах были явно указаны принципы, определяющие пользу сооружений: Firmitas (прочность), характеризующая долговечность; Venustas (привлекательность) -эстетические характеристики, Utilitas (практичность, лат.) - простоту в использовании.

М.Соегард среди предпосылок становления и развития usability в современном понимании называет компьютерный стресс, привлекший пристальное внимание разработчиков программного обеспечения при расширении пользовательской аудитории персональных компьютеров в 80-х годах прошлого века. Создание программного и аппаратного обеспечения, удобного не только для технически подготовленных компьютерных специалистов, стало одним из главных требований для IT разработок.

Начиная с 2005 года, в ноябре отмечается Всемирный день юзабилити (World Usability Day) [24], что знаменует экспансию этого понятия в широкую сферу услуг, опосредованных техническими устройствами [56, 57], а наиболее популярная трактовка этого термина, как «удобство и простота использования, применения», дополнилась категорией «практичность».

В последние годы, отмеченные ростом в геометрической прогрессии количества Web-ресурсов и сетевых документов, обозначился выраженный интерес к различным аспектам человеко-компьютерного взаимодействия в сети (Computerhuman interaction, CHI). Исследования в области CHI напрямую связывают с уважением прав пользователя и поиском способов расширения прав и возможностей каждого гражданина, как потребителя информационных услуг [58]. Б. Шнейдерман (B. Shneiderman) выделяет три проблемы в достижении всеобщего удобства (Universal usability) web-сервисов:

- технологическое разнообразие программного и аппаратного обеспечения;

- разнородность пользовательской аудитории: разнообразие персональных

навыков, знаний, возраста, пола, разная степень грамотности, уровни

культуры, доходов; возможные физические ограничения и т.д.;

- пробелы в знаниях пользователя: преодоление разрыва между тем, что пользователи знают и что они должны знать.

Некоторые из названных Б. Шнейдерманом проблем (проблемы доступа, уровня исходной пользовательской культуры) с развитием технологий (в частности, современная браузерная поддержка, ужесточение web-стандартов) перестали быть актуальными, вместо них появились новые - повышенные требования удобства для пользователей мобильных устройств [25, 59, 60].

Названный «адвокатом пользователя» и внесший наиболее весомый вклад в становление и систематическое развитие usability, как области прикладных научных знаний, Якоб Нильсен (Jakob Nielsen) определяет usability следующим образом - это качество работы пользователя в некоторой интерактивной среде (web-сайт, программа и пр.) [61, 62].

Список вопросов, обсуждаемых специалистами usability, непрерывно прирастает пограничными и смежными областями. Так, ресурс «Usability в России» [26] аккумулирует опыт теоретиков и практиков по следующим направлениям: Usability Engineering; User Expirience (UX); технология проектирования человеко-компьютерного взаимодействия / Human-Computer Interaction (HCI); проектирование пользовательского интерфейса (включая web-интерфейсы) / GUI Design; инженерная психология, методология эргономического проектирования, удобство использования человеко-машинных интерфейсов, эргономика / Human Factors (HF)/Ergonomics.

Таким образом, появившись (в современном понимании) как область оценки удобоиспользования программного и аппаратного обеспечения и связанных с ними интерфейсами, понятие «usability» претерпело ряд изменений, значительно усложнившись [55] и «ментально расплывшись». Подверженность влиянию технологических новинок и обогащению новыми критериями, отражающими не только первичные, но и косвенно связанные с ними потребности групп пользователей, обусловило неоднозначность трактовок и подходов к его определению и измерению, рис. 1.

неотъемлемое свойство интерактивных систем

независимое

свойство

использования

прикладная научно-ттр ак тнчвс кая область

идеологии успеха ресурса или системы

методологии оценки качества

эссенцналнстс к ни

Подходы к определению

к онте кстуаль нын

Методы оценки

| эмпирические н П аналитические

7

снстешо-ориентированные

инспекционные, ориентированные на взаимодействие

Рис. 1 Состав понятия «usability» и методология его определения

Эссенциалистский подход к определению usability ресурсов ориентирован в основном на оценку технологической эффективности инструментов интерактивности, обуславливающих универсальное удобство для пользователей. В противовес этому подходу контекстуальный подразумевает не только изменчивость категорий удобства в зависимости от условий и целей использования, но и повышение роли эмоциональной удовлетворенности при работе, опосредованно влияющей на ее эффективность [55, 63].

Эмпирические методы оценки usability ориентируются на данные результатов реального использования ресурсов, аналитические - как правило, учитывают ответы на конкретные вопросы респондентов, связанные с суждениями о свойствах и качестве потенциального взаимодействия с инструментами ресурса, при этом некоторые действия пользователей могут быть специально запланированными экспериментатором. Среди аналитических методов выделяют следующие подвиды: инспекционные методы выявляют причины позитивной или негативной оценки работы с ресурсом; методы, ориентированные на взаимодействие, преимущественно используют контекстуальный подход; системо-ориентированные методы сосредотачиваются исключительно на характеристиках и возможностях ресурса, как программного обеспечения [64].

Отметим, что такое деление достаточно условно, и часто границы между ними размываются при расширении экспертной аудитории или вариациях вопросов и заданий при тестировании ресурсов.

Базовые рекомендации по определению usability программного обеспечения изложены в стандартах ISO 9241-11или Common Industry Format 1.1 [65, 66]. Методики измерения usability достаточно подробно описаны в работах [27, 67-72], приводятся ссылки на связанные с ними опросники и соответствующие Web-инструменты [72, 73]. Как правило, опросники содержат список вопросов-суждений в форме «это мне полезно», «это мне удобно», для которых оценивающий должен указать степень личного согласия/несогласия по 7 балльной шкале от -3 до +3 («совершенно не согласен» ... «абсолютно согласен»). Количество вопросов варьируется от 5 до 100. Они могут быть сгруппированы по категориям отношения: полезность, удобство использования, легкость изучения, удовлетворенность (Usefulness, Ease of Use, Ease of Learning, Satisfaction) [74], или по технологическим характеристикам: совместимость, согласованность, гибкость, обучаемость, минимальная память загрузки, перцептивные ограничения, руководство для пользователя (Compatibility, Consistency, Flexibility, Learnability, Minimal Memory Load, Perceptual Limitation, User Guidance) [75]. Классический аналитический инструмент «Эвристическая оценка» Я. Нильсена (Nielsen's Heuristic Evaluation -NHE) содержит всего 10 позиций, включающих: простые и естественные диалоги, возможность их ведения на языке пользователя, минимизацию памяти при загрузке, краткость процедур, последовательность, логику переходов, предупреждение и сообщение об ошибках, справки, документацию [76]. Следует отметить, что перечисленные методы основаны преимущественно на субъективном отношении к проявлению качеств или удовлетворенности степенью их проявления. Поэтому, несмотря на математическую обработку результатов опроса, такие данные, скорее, являются качественными ориентирами для заказчиков, разработчиков и потребителей. Существует и другой подход, повышающий объективность оценивания, согласно ему респондент должен фиксировать наличие или отсутствие конкретных элементов, связей, функций, возможностей ресурса по двоичной системе (0 или 1). Результат позволяет судить об удовлетворении требованиям по каждой из категорий, характеризующих области реализации usability, например, «Планировка и дизайн», «Архитектура и навигация», «Взаимодействие и формы», «Устойчивость к ошибкам» и т. п. [28, 77].

В последнее время наблюдается тенденция к переходу от понятия «usability» к еще более широкому и трудно определяемому «user-experience» (UX - опыт пользователя) [78]. Сравнение этих понятий в соответствии со стандартами ISO 9241-11 и ISO 13407 проводят авторы [79], указывая, что UX апеллирует к эмоциональной сфере пользователя. Заметим, что методики usability и UX дизайна для сетевых ресурсов разрабатывались и развивались, ориентируясь в основном на Web-коммерцию, с их помощью формируют стратегии увеличения продаж в Сети виртуальных и реальных услуг и товаров [80, 81].

Развитие сферы e-learning, особенно для корпоративного обучения, спровоцировало пристальный интерес к usability сайтов образовательных учреждений и ресурсов, предоставляющих образовательные услуги [29-31, 82, 83]. Появились разработки и методики, ориентированные именно на оценку образовательных ресурсов [84-87].

Оценка usability образовательных ресурсов имеет ряд особенностей [88]:

- оценка более контекстно зависима, поскольку цели и ориентиры преподавания варьируются при изменении ситуации, аудитории (возраст, базовый уровень, мотивация) и других факторов;

- оценка образовательного программного обеспечения тесно увязана с реализацией учебно-методических принципов;

- оценка зависит от особенностей самого тестируемого ресурса, включающих: целевое назначение; условия доступа и вид функционирования; уровень образования и профиль обучения; пользовательское назначение; предоставляемые сервисы; преобладающие форматы контента и проч.

Таким образом, понятие «usability», подходы к его определению и соответствующие методики не являются устоявшимися и однозначными, а во многом зависят от целевых объектов, а также этапа развития технологий.

Результаты исследования и их обсуждение

Исследования характеристик открытых образовательных сетевых ресурсов (ООСР) включали 4 этапа:

I. оценивание респондентами тест-группы usability ООСР (субъективная оценка);

II. установление связей между категориями usability и потребительскими свойствами ресурсов;

III. объективная оценка ООСР с помощью сетевых инструментов анализа эффективности ресурсов в интернет и сопоставление результатов с данными субъективного оценивания;

IV. определение степени важности для пользователей потребительских качеств ООСР и их связей с категориями usability.

Методологической основой обработки полученных результатов послужили результаты теоретических и практических работ, рассматривающих методы сбора и обработки данных социологических, педагогических, психологических и экономических исследований [34-37; 89, 90].

В настоящей работе авторы включили в список объектов тестирования открытые образовательные сетевые ресурсы, ориентированные на обучение (и самообучение) информационно-коммуникативным технологиям, и, более конкретно - формирование компетенций web-мастеринга, интернет- и web-программирования без использования формальных процедур фиксации их получения [11].

Основной целью проводимого исследования являлось сопоставление объективных и субъективных оценок электронных образовательных ресурсов,

рекомендованных для дистанционного обучения студентов-заочников, которое, как предполагалось, позволило бы преподавателям сделать оптимальный выбор при их рекомендации. В качестве оцениваемых объектов были выбраны следующие ресурсы, занимающие высокие позиции по отзывам специалистов и реальных обучающихся пользователей [32, 33]:

1) учебник по Web-дизайну (www.des4web.ru/Web-master/soder.html);

2) учебник-справочник htmlbook.ru (htmlbook.ru/);

3) «простой» учебник по РНР (php.net/manual/ru/tutorial.php);

4) Wisdomweb. ru - on-line учебники HTML5;

5) (www.wisdomweb. ru/HTML5/index.php);

6) Академия html (htmlacademy.ru/);

7) Codeacademy (www.codecademy.com/ru), русск./англ.;

8) Code Avengers (www.codeavengers.com/), англ.

I. В эксперименте по оцениванию респондентами usability перечисленных ООСР на основе анкет приняли участие 38 студентов заочной формы обучения факультета ФМиКН ЛГПУ, специальности «Информационные системы и технологии». Выбор данной референтной тест-группы не случаен:

- набор требуемых компетенций для данной специальности предполагает формирования навыков тестирования и оценки существующих и разрабатываемых программных средств;

- заочная форма обучения стимулирует активное использование образовательных ресурсов, что делает оценку менее формальной и позволяет сочетать оба подхода к оценке usability (аналитический и эмпирический);

- студенты-заочники обладают большим жизненным и пользовательским опытом, более ответственно относятся к роли эксперта при оценке предложенных ресурсов.

Респондентам было предложено заполнить оценочные формы, включающие оценки потребительских качеств и категорий usability рассматриваемых обучающих ресурсов.

Оценивание категорий usability осуществлялось на основе вопросов, отражающих наличие или отсутствие соответствующих данному свойству возможностей или эффектов (1 - наличие, 0 - отсутствие) согласно методике [28, 77]. Список категорий и максимально возможная оценка по каждой из них при положительных ответах на все вопросы (T'max) представлен ниже:

1) архитектура и навигация (T'max =12);

2) планировка и дизайн (T'max =9 );

3) содержание (T'max =9);

4) формы и взаимодействие (T'max=7);

5) графика (T'max =6);

6) цветовое решение (T'max =4);

7) оформление текста (T'max =6);

8) устойчивость к ошибкам и особенности реализации (T'max =9);

9) иконография (T'max =8).

Следует отметить, что авторы дополнили опросные листы [28] категорией «иконография», что обусловлено высокой значимостью графических акцентов и маркирующих объектов для учебных материалов при любой форме обучения. Поскольку используемая методика ориентирована на достаточно формализованную оценку наличия признаков и свойств ресурсов в каждой категории, для анализа степени удовлетворенности респондентов при работе с ресурсами были выбраны 3 свойства, оцениваемые по 5-балльной шкале на основе индивидуального впечатления:

- удобство использования;

- привлекательность оформления;

- полезность для обучения.

Дополнительно респондентов просили указать лучший, по их мнению, ресурс. Большинство респондентов в качестве таковых назвали Wisdomweb и Академию html. Количественно это подтверждает табл. 1, в которую сведены средние оценки ООСР по категориям и свойствам, красным шрифтом выделены максимальные значения средних оценок в каждой категории.

В данной и последующих таблицах и рисунках используется аббревиатура исследуемых категорий и свойств: УИ - удобство использования; ПрО -привлекательность оформления; ПО - полезность для обучения; АиН - архитектура и навигация; ПиД - планировка и дизайн; С - содержание; ФиВ - формы и взаимодействие; Г - графика; Ц - использование цвета; ОТ - оформление текста; УО - устойчивость к ошибкам; И - иконографика.

Таблица 1

Средние оценки ООСР___

Учебник по Web- дизайну Учебник-справочник htmlbook Простой учебник по РНР Wisdomweb Академия html Codeacademy Code Avengers

УИ 3,1 4,3 2,9 4,5 3,8 2,6 2,7

ПрО 1,7 3,8 2,1 3,9 4,3 3,1 2,9

ПО 4,1 4,4 2,7 4,5 3,9 3,1 3,2

АиН 8,6 10,5 9,5 10,5 8,0 5,9 5,1

ПиД 3,5 7,8 5,5 7,9 6,9 6,5 6,4

С 4,1 4,9 5,0 5,4 5,7 4,9 5,4

ФиВ 2,5 6,5 4,9 6,2 6,7 5,8 5,1

Гр 0,9 2,0 2,2 2,1 2,0 2,4 2,8

Ц 1,9 3,0 2,2 3,0 2,3 2,3 2,2

ОТ 3,6 5,6 5,1 5,8 4,7 4,5 4,7

УО 1,1 3,9 5,4 3,1 4,2 4,3 4,4

ИГ 2,4 5,3 4,1 4,3 5,4 4,5 5,0

Наибольшее количество максимальных баллов имеют ООСР Wisdomweb и Академия html. Wisdomweb превосходит Академию html в удобстве использования, полезности обучения, архитектуре и навигации, планировке и дизайне, оформлении текста и цветовом решении. По остальным категориям лидирует Академия html. Высокие качества этого образовательного ресурса уже отмечались в работе [11].

Поскольку при оценивании степени удовлетворенности пользователей и категорий usability применялись различные максимальные баллы (от 4 для цветового оформления до 12 для оценки архитектуры и дизайна), было проведено нормирование полученных средних оценок ООСР в каждой из категорий к максимально возможной.

В табл. 2 и на рис. 2-5 оценки свойств ООСР представлены в долях от максимальной (нормированная оценка). Последняя строка (выделена красным) отражает ранг ресурса Яобщ - средний нормированный балл по всем категориям и

свойствам: Яоещ= , где Tt- сумма всех средних баллов, полученных i-м ресурсом,

T

max

Tmax - максимально возможная сумма баллов при оценивании.

Таблица 2

Нормированные средние оценки ООСР_

Учебник по Web- дизайну Учебник-справочник htmlbook Простой учебник по РНР Wisdomweb Академия html Codeacademy Code Avengers

УИ 0,62 0,85 0,49 0,91 0,76 0,52 0,53

НВ 0,16 0,25 0,15 0,36 0,77 0,60 0,53

ПрО 0,35 0,76 0,43 0,77 0,87 0,63 0,57

ПО 0,81 0,88 0,53 0,91 0,77 0,61 0,64

АиН 0,71 0,87 0,79 0,87 0,67 0,49 0,42

ПиД 0,39 0,87 0,61 0,87 0,76 0,73 0,71

С 0,45 0,55 0,56 0,60 0,64 0,55 0,60

ФиВ 0,36 0,93 0,70 0,89 0,96 0,83 0,73

Гр 0,16 0,33 0,37 0,36 0,33 0,40 0,47

Ц 0,48 0,75 0,55 0,75 0,57 0,57 0,55

ОТ 0,60 0,93 0,86 0,97 0,79 0,75 0,78

УО 0,13 0,44 0,60 0,35 0,47 0,48 0,49

ИГ 0,30 0,67 0,51 0,53 0,68 0,57 0,63

-^общ 0,42 0,70 0,55 0,70 0,69 0,59 0,59

На гистограмме, рис. 2, очевидно преимущество трех ресурсов: Академия html, Wisdomweb и учебник-справочник htmlbook.

Рис. 2 Нормированные средние оценки степени выраженности всех параметров

ООСР

Представим на гистограмме (рис. 3) нормированные оценки свойств, отражающих степень удовлетворенности пользователей для этих трех ресурсов.

Учебник HTML5 Wisdomweb лидирует по двум категориям: «Удобство использования» и «Полезность обучения». «Привлекательность оформления» преобладает у ресурса «Академия html».

Интересно сопоставить с этими результатами оценки категорий usability для тех же ресурсов, рис. 4. Учебник HTML5 Wisdomweb и учебник-справочник htmlbook имеют наибольшие оценки по «Архитектуре и навигации», «Планировке и дизайну», «Цветовому оформлению» и «Оформлению текста». Хотя в последнем случае преимущество на стороне Wisdomweb. У этого же учебника выше и оценки по

категории «Графика». Академия html занимает ведущие позиции по категориям «Содержание», «Формы и взаимодействие», «Устойчивость к ошибкам» и

Рис. 3 Сравнение выраженности степени удовлетворенности пользователей для ООСР Академия html, Wisdomweb и учебника-справочника htmlbook (в нормированных оценках)

Рис. 4 Сравнение нормированных оценок категорий usability ресурсов Академия html, Wisdomweb и учебника-справочника htmlbook

Таким образом, в целом пользователи отдали предпочтение образовательному ресурсу Академия html.

II. При анализе полученных результатов было замечено, что средние оценки по некоторым категориям проявляют схожие тенденции, то есть они частично взаимосвязаны. Определение коэффициентов корреляции [89, 90] между оценками респондентов по каждому из ресурсов подтвердило это предположение. Надо отметить, что для данной выборки (n=38, количество степеней свободы df=N-2=36 ) критическое значение коэффициента Пирсона равно гкр=0,33 для уровня значимости />=0,05, традиционно используемого при выборках более 30 человек [37, 90].

Значения коэффициентов корреляции Пирсона для каждой пары категорий по всем исследуемым ресурсам представлены в табл. 3, положительные значения свыше 0,33 выделены полужирным шрифтом, а ячейки с отрицательными значениями имеют серый фон.

Таблица 4

Коэффициент корреляции между средними значениями оценки категорий

usability ООСР......

УИ ПрО ПО АН ПД С ФВ Г Ц ОТ УО И

УИ 1

ПрО 0,66 1

ПО 0,80 0,58 1

АН 0,35 0,23 0,39 1

ПД 0,11 0,08 0,32 0,79 1

С -0,21 -0,09 0,03 0,38 0,80 1

ФВ -0,03 0,02 0,21 0,73 0,91 0,82 1

Г -0,32 -0,39 -0,08 0,19 0,65 0,78 0,54 1

Ц -0,05 -0,09 0,12 0,21 0,69 0,76 0,48 0,91 1

ОТ 0,10 -0,02 0,15 0,65 0,60 0,43 0,74 0,35 0,24 1

УО -0,15 -0,06 0,15 0,50 0,88 0,91 0,94 0,70 0,66 0,59 1

И -0,40 -0,23 -0,19 -0,22 0,04 0,28 0,38 0,13 -0,07 0,41 0,46 1

При детальном анализе коэффициентов корреляции оценок по категориям выявлена высокая степень взаимозависимости между свойствами «Удобство использования» и «Привлекательность оформления»; кроме того, обнаруживается устойчивая связь категорий «Архитектура и навигация» и «Планировка и дизайн»; «Графика» и «Оформление текста». Практически для всех ресурсах категория «Содержание» обнаруживает сходные тенденции при оценивании с категориями «Архитектура и навигация» и «Планировка и дизайн» и т.п.

III. Авторы попытались сравнить результаты, полученные в ходе субъективной комплексной оценки usability, с данными анализа ресурсов по их объективным характеристикам, которые могут свидетельствовать об их популярности и качестве. Так, например, Шевченко Д.А. предложил для определения эффективности сайтов вузов наряду с традиционными критериями (дизайн, навигация, контент, интерактивность (обратная связь)) использовать «видимость сайта в Интернет» [31], т.е. объективные характеристики популярности ресурса в Глобальной сети. Эти параметры все чаще используются специалистами в области UX, как показатели доверия, эффективности поиска (оптимизации), безопасности [55].

В настоящей работе для каждого из рассматриваемых обучающих ресурсов были определены следующие характеристики: тИЦ Яндекс, PR Google, скорость загрузки, Global Rank, Траст XT, табл. 4.

Таблица. 4

Название Краткое описание

тИЦ Яндекс тИЦ является показателем релевантности расположения ресурсов в рубриках каталога Яндекса, который, по утверждению [38] определяет значимость или «авторитетность» Internet-ресурсов с учетом количественных (частота ссылок на данный ресурс) и качественных (сумма «весов» в зависимости от тематической близости и собственной авторитетности ссылающихся на ресурс сайтов). Чем больше тИЦ, тем авторитетней ресурс [39]

PR Google В основе определения Google PageRank (PR) лежит аналогичный алгоритм оценки «авторитетности» (в соответствии с процедурой определения индекса цитирования автора или его работ, принятой в научном мире). В отличие от системы Яндекс, Google

определяет значимость не только ресурса в целом, но и отдельных его страниц. «Авторитетность» сайтов, ссылки которых определяют PR, также определяются дифференцировано. Диапазон изменения 0 до 10. Чем выше PR, тем авторитетней страница [40]

Скорость загрузки, Google Page Speed Insights измеряет скорость загрузки вебстраниц. Оценка PageSpeed может составлять от 0 до 100 баллов. Чем больше оценка - тем лучше. Удовлетворительной считается оценка выше 85 баллов. Сервис предоставляет информацию о количестве правил usability, соблюдаемых на ресурсе, по оптимизации скорости загрузки и удобства использования [41]

Global Rank Оценка популярности ресурса (по месту в глобальном рейтинге), вычисляется по комбинации средних ежедневных посетителей сайта и просмотров страниц ресурса за последние 3 месяца. [91]

Траст XT Показатель XT представляет собой интерпретацию доверия поисковой системы Яндекс к сайту, а также связан с передаваемым ссылочным весом страницы, определяется по закрытому алгоритму, граничное значение XT > = 2 [42]

В табл. 5 приведены данные по объективным показателям эффективности ресурсов, определенные с помощью инструментов анализа ресурсов (www.ranking.com/. www.alexa.com,xtool.ru/about.php, www .seo gadget. ru/, developers.google.com/speed/pagespeed/insights/).

Таблица 5

Данные по объективным показателям эффективности ресурсов_

Учебник по Web- htmlb Простой учебник по Wisdom Акад. Code Code

дизайну ook РНР web html academy Avengers

PR Google 2 6 9 2 2 7 5

ТИЦ Яндекс 10 1200 8900 30 70 230 20

Скорость

загрузки, Google 87 75 91 89 78 69 64

Global Rank 300000 5264 459 137214 44516 1678 87496

Траст XT 2 9 10 4 5 4 0,5

По результатам оценки PR Google и тИЦ Яндекс, оценке удобства использования и рейтинга оценивания Global Rank лучшим электронным образовательным ресурсом (из исследуемых авторами) оказался «простой» учебник по РНР, его оценки выделены в таблице красным цветом. Вторые и третьи позиции ООРС (по убыванию рейтинга) выделены зеленым и синим цветом соответственно.

Поиск взаимозависимости (при определении коэффициентов корреляции Пирсона) между объективными и субъективными оценками ресурсов дал следующие результаты.

- Можно утверждать о наличии выраженной связи индекса PR Google ресурсов только с оценками по категориям «Графика», «Иконографика» и «Устойчивость к ошибкам», коэффициенты корреляции 0,480, 0,716 и 0,719, соответственно.

Подобные же тенденции демонстрирует и индекс тИЦ, но зависимости менее выражены.

- Достоверность полученных выше результатов подтверждают данные о зависимостях Global Rank с оценками по тем же категориям: коэффициенты корреляции для категорий «Графика» r = -0,732, «Оформление» r = -0,551, «Устойчивость к ошибкам» r = -0,920, «Иконографика» r = -0,791. Наличие отрицательной взаимосвязи вполне закономерно, т.к. показатель Global Rank уменьшается с ростом популярности ресурса (Global Rank самого Google равен 1, т.е. первое место в рейтинге).

- Высокие отрицательные коэффициенты корреляции по оценкам «Полезность для обучения» и «Удобство использования» с PR Google и тИЦ (-0, 537, -0, 590 и -0,477, -0,237, соответственно) свидетельствуют о наличии внутренних противоречий между технологиями поисковой оптимизации и реальными потребительскими качествами ресурсов. В работе [92] рассматриваются вопросы корреляции для измеренных параметров эффективности продвижения ресурсов и реального удовлетворения пользователей при работе с ними.

- Показатель доверия Траст XT в наибольшей степени коррелирует с оценками по категориям «Архитектура и навигация» (0,642), «Устойчивость к ошибкам» (0,494).

- Закономерен высокий коэффициент корреляции между характеристиками быстроты загрузки ресурсов и оценками по категории «Архитектура и навигация» (0,768), в то же время корреляции по другим категориям не прослеживается.

Следует отметить, что рассматриваемые в данной работе объективные показатели характеризуют в большей степени не usability, а успешность продвижения ресурсов, хотя некоторые авторы прогнозируют неизбежность слияния поисковой оптимизации и usability [43].

Неоднозначные результаты при сопоставлении объективных и субъективных характеристик usability образовательных web-ресурсов подвигли авторов на дополнительное исследование значимости отдельных аспектов оценки для целей обучения в on-line режиме с использованием метода парных сравнений.

IV. Метод анализа простых сравнений, являющийся базой метода анализа иерархий (МАИ), или в англоязычном варианте - Analytic Hierarchy Process (AHP), используется для принятия решений во многих отраслях, связанных с проектной деятельностью [93-95]. Основой МАИ является иерархическое группирование элементов, составляющих возможные направления, способы, свойства, задачи, которые необходимо принимать во внимание для решения проблемы или которые могут повлиять на желаемый результат. В результате парных сравнений вариантов выбора или определения степени значимости элемента в конкретной паре можно определить численные характеристики относительной интенсивности взаимодействия элементов в иерархии и выделить приоритетные критерии или альтернативы для достижения поставленной цели.

Наиболее привлекательными для целей настоящего исследования являются следующие особенности метода:

1. возможность сравнения гетерогенных критериев и альтернатив, что облегчает процесс оценки приоритетов при принятии окончательного решения или заключения;

2. численное моделирование процесса интуитивного многокритериального выбора (считается, что этот метод наиболее близок к аналогичному процессу, осуществляемому человеком в условиях сниженной определенности);

3. сочетание количественного и качественного подходов при оценивании приоритетов;

4. метод стимулирует обязательное «принудительное» структурирование проблем и отчетливое выражение суждений, что определяет содержание одного из этапов применения метода;

5. метод организует пошаговое решение сложных многоступенчатых задач на основе декомпозиции проблемной области с последующим сужением поля приемлемых решений;

6. простота проведения экспертной оценки позволяет привлечь к ней широкую респондентную аудиторию.

Из-за трудоемкости метода [96], для его реализации часто используются инструменты автоматизации проведения расчетов, включающие не только стандартизованный ввод данных, процедуру их обработки и вывода ее результатов, но и указания о необходимости корректировки внутренне противоречивых оценок, [44, 97, 98].

В настоящей работе целесообразность применения метода парных сравнений обусловлена тем, что:

- само понятие «usability» является достаточно размытым, его семантика со временем усложняется и уточняется. Данный метод стимулирует понимание целей уже в процессе оценивания приоритетов, упрощает процедуру определения важности критериев не в ряду многих, а в «прямом» сравнении;

- итерационный характер процедуры оценки, связанный с контролем сходимости матриц приоритетов, заставляет экспертов осмысливать и проверять суждения;

- для студенческой аудитории данный метод полезен, поскольку позволяет повышать квалификацию оценивающей группы, стимулируя поиск аргументации выбора.

Согласно традиционным процедурам МАИ была сформулирована цель: определение доминантных факторов usability обучающих асинхронных Web-ресурсов и их связь с категориями usability. К таковым были отнесены: удобство, доступность, эффективность, полезность, релевантность [98].

Число категорий usability было уменьшено до 7, путем объединения сходных категорий «графика» + «инфографика» и «оформление текста» + «цвета».

Респонденты использовали свободно распространяемый Web-инструмент AHP Online Calculator [99], фрагмент работы которого представлен на рис. 5.

A-lmporta „с. orB. Equal „„„

1 © Доступность or © Удобство 1 © 2 OsCuO Об 07В.О.О

2 ©Доступность or © Эффективность 1 © 2 Оз©4© Об О 7 О В О D О

3 ©Доступность □ г © Полезность 1 © = О з О л о Об О 7 О i] © 9 @

4 ©Доступность or © Релевантность 1 © = О S О 7 О В О 9 О

5 ©Удобство or © Эффективность 1 © 2 ©S Э 7 О е О а О

6 ©Удобство or @ Полезность 1 © 2 ©3©4® Об ©7 О В О 9 О

7 ©Удобство or © Релевантность 1 © 2 OJ«JO Об О 7 © В О 9 в

8 ©Эффективность or © Полезность 1 © = BsldO Об О 7 О в о»о

9 ©Эффективность or © Релевантность 1 © 2 ОЗОАО @ б © 7 © В О 9 О

10 ©Полезность or © Релевантность 1 © 2 О з О л о О S О 7 О S О 8 в

CR=3-4%QK

[ Calculate Result ] <s )АНР © Balanced scale Download_[.csv} ] EW.com™

Рис. 5 Фрагмент работы AHP Online Calculator (bpmsg.com/ahp-online-calculator/)

На первом этапе этой части исследования респонденты сравнивали, какой из двух факторов (удобство, доступность, эффективность, полезность, релевантность) в каждой паре более важен и во сколько раз. При одинаковой значимости обоих факторов выбиралась единица. При наличии противоречивых суждений проблемные

позиции выделяются красным (при критическом противоречии) и светло-зеленым цветами. В этом случае респондентам приходилось возвращаться к процедуре оценивания и уточнять свои суждения.

На втором этапе для каждого фактора этим же методом определяли приоритетные категории usability, то есть оценивали в парах категорий значимость каждой для реализации при использовании ресурса данного конкретного фактора: например, для фактора удобства выбор между категориями «планировка и дизайн» и «устойчивость к ошибкам». Заметим, что респонденты хорошо представляли содержание каждой категории, ознакомившись с ним в процессе оценивания usability названных выше ресурсов.

Среднее значение параметра отношения согласованности CR, характеризующего сходимость матриц парного сравнения, оказалось равно: CR=6,7%, что является удовлетворительным для данного метода (<10%, [97]).

Поскольку в настоящей работе изучались суждения группы респондентов (групповые суждения), для их объединения вычисляли геометрическое среднее значений по каждому критерию. В табл. 6 представлены результаты парных сравнений значимости факторов и категорий usability для обучающих ресурсов, при этом в столбце «Приоритетные категории» приведены данные не по всем 7 объектам сравнения, а выведены четыре категории, занявшие первые места при оценивании.

Таблица 6

Результаты парных сравнений значимости факторов и категорий usability __ для обучающих ресурсов___

Факторы Вес Ранг Приоритетные категории Вес Ранг

10,5 5 Архитектура и навигация 25,8 2

Удобство Планировка и дизайн 23,2 3

Интерактивность 10,9 4

Устойчивость к ошибкам 27,9 1

28,7 2 Архитектура и навигация 18,5 2

Эффективность Содержание 34,3 1

Планировка и дизайн 14,1 4

Устойчивость к ошибкам 17,6 3

31,2 1 Архитектура и навигация 16,6 3

Полезность Содержание 32,8 1

Интерактивность 13,6 4

Устойчивость к ошибкам 21,5 2

Доступность 16,3 3 Архитектура и навигация 18,9 2

Планировка и дизайн 18,1 3

Интерактивность 16,7 4

Устойчивость к ошибкам 41,1 1

Релевантность 13,3 4 Планировка и дизайн 15,1 3

Содержание 36,5 1

Интерактивность 15,1 3

Устойчивость к ошибкам 29,2 2

Строго говоря, используемая в настоящей работе методика парных сравнений не является точным воспроизведением метода МАИ, поскольку выбор осуществляется не между абсолютными альтернативами, а устанавливается значимость отдельных факторов для повышения usability обучающих Web-ресурсов.

Собственно, появление на первых местах факторов «полезность» (1 место) и «эффективность» (2 место) абсолютно ожидаемо для ресурсов, целью которых является обучение. Очевидно также, что информация любого качества не имеет

смысла без обеспечения к ней должного доступа («доступность» - 3 место) и соответствия ожиданиям посетителя ресурса («релевантность» - 4 место). Неожиданным для авторов было последнее место в рейтинге факторов usability «удобства», что противоречит самому понятию usability. В целом же полученное экспериментально ранжирование названных факторов вполне объяснимо с позиций здравого смысла.

Более интересными представляются результаты по определению приоритетных категорий usability для каждого из факторов. Как уже было сказано, в таблицу для каждого из факторов были вынесены наиболее значимые (приоритетные) категории, занявшие первые 4 позиции в рейтинге важности. Уже беглый взгляд на данные таблицы позволяет отметить, что, по мнению респондентов, наиболее значимыми практически по всем направлениям являются категории «содержание» и «устойчивость к ошибкам». 2-3 места, как правило, занимают «Архитектура и навигация» и «Планировка и дизайн». Категории «Интерактивность», «Оформление», «Графика и инфографика» респонденты сочли менее значимыми.

Данные согласуются с результатами, опубликованными в работе [98], где обнаружены явные связи между отдельными функциями, рассматриваемыми в указанной работе: а) степень достижения образовательных целей программным обеспечением; б) успехом графического дизайна; в) эффективностью общего использования мультимедийных компонентов; г) общей оценкой эстетики рассматриваемого образовательного программного обеспечения; д) понятностью и простотой содержания учебных материалов; е) простотой использования образовательного программного обеспечения.

Результаты и выводы

Основная цель открытых образовательных сетевых ресурсов - предоставление необходимой и достаточной (или, по крайней мере, полезной) для успешной учебной или профессиональной деятельности информации в доступном и удобном для пользователей формате. Одним из направлений деятельности преподавателей и обучающихся пользователей является целенаправленный поиск эффективных и надежных ресурсов для поддержки обучения. В настоящей работе была решена частная задача формирования списка оптимальных рекомендуемых ресурсов для самостоятельной работы студентов заочной формы обучения по дисциплинам блока «Web-технологии». Были определены наиболее внутренне организованные, содержательные и востребованные ООСР: Академия html (является лидером по оценке респондентов); «простой» учебник РНР (лидирует по результатам объективного анализа показателей эффективности ресурсов), учебник-справочник htmlbook.ru - сбалансирован по всем характеристикам.

Комплексный подход к выявлению оснований и критериев такого выбора дал следующие результаты.

1. Наиболее значимыми категориями usability ООСР являются «содержание», «устойчивость к ошибкам», «архитектура и навигация» и «планировка и дизайн» (категории перечисляются в порядке убывания значимости, определенной респондентами).

2. Категории usability ООСР «Архитектура и навигация» и «Планировка и дизайн», «Графика» и «Инфографика» являются взаимосвязанными и взаимодополняющими, поэтому количество оцениваемых позиций в опросниках можно сократить за счет их объединения.

3. Особое значение для usability ООСР имеет высокие оценки по категории «Устойчивость к ошибкам», выполнение требований которой, по-видимому, являются критичными для предотвращения компьютерного стресса пользователей ООСР.

4. Можно предположить наличие внутренних противоречий между технологиями поисковой оптимизации и реальными потребительскими качествами ресурсов (по высоким отрицательным значениям коэффициентов корреляции между оценками «Полезность для обучения» и «Удобство использования» с PR Google и тИЦ .

5. Многие ресурсы строятся на основе «стихийного» usability, то есть здравого смысла, где доминирует ориентация на достижение основной цели. Успех такого подхода обусловлен потребностями пользователей ООРС и связанными с ними факторами usability, которые выстраиваются в следующем по убыванию значимости порядке: полезность; эффективность; доступность; релевантность; удобство использования. Этот вывод подтверждает утверждения известных специалистов по проблемам usability: «полезность в 1,5 раз важнее, чем удобство использования» [63] и «удобство использования ... стало зависеть от того, насколько хорошо система вписывается в контекст ее использования» [55].

Литература

1. Шеян И. Цифровая перспектива образования и здравоохранения // Открытые системы. 2014. №06. URL: http://www.osp.ru/news/articles/2014/25/13041695/ (дата обращения: 05.03.15)

2. Агапов В., Пратусевич В., Яковлев С. Обзор и оценка перспектив развития мирового и российского рынков информационных технологий / IDC. 2014. - 61 с. URL: http://www.rusventure.ru/ru/programm/analytics/docs/obzor_it.pdf (дата обращения: 23.02.15)

3. Соколов А.В. Опус 6. Виртуализация информационного мира: бренд или новая реальность / Информатические опусы. 2011. - 9 с. URL: http://www.gpntb.ru/ntb/ntb/2011/5/ntb_5_1_2011-sokolov.pdf (дата обращения: 25.03.15)

4. Лопатинская Т.Д. Виртуализация современной культуры и ее феноменов. // Межд. научн. ж. Теория и практика общественного развития. 2014. № 4. - С. 34-38.

5. Моисеева А.П., Мазурина О.А., Перепелкин О.А. Виртуализация как социальная трансформация и коммуникация // Известия Томского политехнического университета. 2010. Т. 316, № 6. - С. 141-146.

6. E-Learning: мифы, возможности, перспективы // Towave. Издание о стартапах. URL: http://www.towave.ru/pub/e-learning-miiy-vozmozhnosti-perspektivy.html (дата обращения: 01.03.15).

7. E-learning в мире: материалы совместного семинара НИИ Управления знаниями и Консорциума «Электронный университет». Что такое e-learning? 2011. URL: www.myshared.ru/slide/3372/ (дата обращения: 13.03.15)

8. Обзор Мирового и российского рынка электронного обучения / SeeMedia. 2012. -25 с. URL: http://seemedia.ru/wp-content/uploads/E-learning.pdf (дата обращения: 13.03.15)

9. Андреев А.А. Интернет в системе непрерывного образования // Высшее образование в России. 2005. №7. - С. 91-94.

10. Могилев А.В. Тенденции развития технологий E-Learning в России // Смешанное и корпоративное обучение: труды Всерос. науч.-метод. симпозиума «СКО-2007». Ростов-на-Дону. - С. 31-37.

11. Никулова Г.А., Боброва Л.Н., Марчев Д.В. Характеристики привлекательности интернет-ресурсов учебного назначения: стилевые аспекты преподавания и потребительские свойства // Межд. эл. журнал "Образовательные технологии и общество (Educational Technology & Society)". 2014. V.17, №2. - C. 569-597. ISSN 1436-4522.

12. Стариченко Б.Е., Семенова И.Н., Слепухин А.В. О соотношении понятий электронного обучения в высшей школе // Образование и наука. 2014. № 9 (118) -С. 52-68.

13. Носырева М.В. Профессионально-ориентированные сетевые информационные ресурсы в образовательной среде библиотек региона: дис.. .к.п.н. СПб., 2008. -227 с.

14. Роберт И.В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). М: ИИО РАО, 2007. - 234 с.

15. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы; перспективы использования. М.: ИИО РАО, 2010. - 140 с.

16. Тихомирова Е.В. Формирование эффективной стратегии смешанного корпоративного обучения // Смешанное и корпоративное обучение: труды Всеросс. науч.-метод. симпозиума «СКО-2007». Ростов-на-Дону. - С. 37-42.

17. Беляева О.С. Интернет как ресурс самостоятельной образовательной работы студента // Вопросы управления, сентябрь 2013 г. №3(24). URL: http://vestnik.uapa.ru/ru-ru/issue/2013/03/27/ (дата обращения: 13.03.14)

18. Шаповалов А.С. От «e-learning» к «e-learning 2.0» и «massive open online courses»: развитие онлайн-обучения // Межд. ж. экспер. образования. 2014. № 7. - С. 52-55.

19. Духнич Ю. Re-Engineering Futures: прогноз по развитию международного образования / Smart Education Апрель 2014 // пер. Re-Engineering Futures. 2013. URL: http://www.smart-edu.com/re-engineering-futures-education-forecast.html.

20. Сухомлин В. А. Виртуальный национальный университет IT-образования: от концепций к реализации // Прикладная информатика. 2008. №3 (15) - С. 89-143.

21. Боброва Л.Н., Никулова Г.А. Расширение критериального диапазона оценивания программных продуктов учебного назначения // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)". 2011. V.14, №2. - C. 382-406. ISSN 1436-4522.

22. Боброва Л.Н., Никулова Г.А. Программные средства учебного назначения: проявление ролевого стиля преподавания // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)". 2012. V. 15, № 2. - С. 493-516. ISSN 1436-4522.

23. Роберт И.В., Лавина Т.А. Толковый словарь терминов понятийного аппарата информатизации образования. М.: Институт информатизации образования (ИИО) РАО, 2006. - 88 с.

24. Календарь событий. URL: http://www.calend.ru/holidays/0/0/2553/ (дата обращения: 25.03.15)

25. Круглый стол «Юзабилити как новое направление исследований в инженерной психологии» // Психологический журнал. 2011. Т. 32, № 4. - С. 113-124.

26. Usability в России. URL: http://usability.ru/ (дата обращения: 25.03.15)

27. Покровский Н. Usability-методы исследования Web-сайта // Usability.ru: сайт. URL: http://www.usability.ru/Articles/um.htm (дата обращения: 25.03.15)

28. Портал «Тестирование и качество ПО». URL: http://software-testing.ru/library/testing/other-testing/73-web-usability-check-list (дата обращения 17.02.2015).

29. Кузнецов А.М., Мартынов В.В. Требования к графическому дизайну и юзабилити образовательных порталов: сб. научн. ст. «Интернет-порталы: содержание и технологии». Вып. 1. ГНИИ ИТТ Информика. М.: Просвещение, 2003. - С. 365420.

30. Макарец А.Б. Методика оценки качества маркетинговых коммуникаций вузовских веб-сайтов // Открытое образование. 2009. 4. - C. 46-57.

31. Шевченко Д.А. Интернет-маркетинг вуза: новые принципы клиент -ориентированного маркетинга // Практический маркетинг. 2014. №8. - С. 15-21.

32. Десятка лучших сайтов, обучающих языкам программирования // Веб обозреватель Webtun.com. 10.10.2013. URL: http://webtun.com/webmaster/5317-top-10-websites-to-learn-coding-online.html (дата обращения: 12.01.15).

33. Рейтинг ресурсов по программированию и Web-технологиям. URL: http://top.mail.ru/Rating/Computers-Programming/Today/Visitors/Lhtml (дата обращения: 02.03.15).

34. Юркина Л.В. Методы психологических и педагогических исследований. М.: МИТХТ им. М.В. Ломоносова, 2006. - 57 с.

35. Томас Р. Количественные методы анализа хозяйственной деятельности / Пер. с англ. М.: Дело и сервис, 1999. - 432 с.

36. Сидоренко Е.В. Методы математической обработки в психологии. СПб.: ООО «Речь», 2003. - 350 с.

37. Таблица критических значений корреляции Пирсона // Математическая статистика для психологов. URL: http://statpsy.ru/pearson/tablica-pirsona/ (дата обращения: 17.03.15)

38. Каталог Яндекс. URL: http://help.yandex.ru/catalogue/ (дата обращения 22.01.2015).

39. Довженко М. Fast Trust - уникальный определитель траста / Workformation. 2013. URL: http://www.workformation.ru/fast-trust.html (дата обращения: 13.03.15).

40. Инструменты SEO-анализа сайтов / Инструменты веб-мастера. Seogadget. URL: http://www.seogadget.ru/ (дата обращения: 15.03.15).

41. PageSpeed Insights. URL: https://developers.google.com/speed/pagespeed/insights/ (дата обращения: 19.03.14).

42. Что такое траст XT. Сервис проверки траста XT в Яндексе / Xtool. URL: http://xtool.ru/about.php (дата обращения: 16.03.15).

43. Евгений Полознов Е. SEO vs Юзабилити / 12 Января 2015. URL: http://jenya-p.ru/home/1-blog/17-seo-vs-usability.html (дата обращения: 16.03.15).

44. Гожий А.П.., Кобылинский И.А. Разработка фреймворка для решения задач мнокритериального анализа и принятия решений / Пращ Одеського полггехшчного ун-ту. 2013. Вип. 1(40). - C. 162-168.

45. PR-technologies and informatization of the system of education: status and prospects: materials of the international scientific conference on October 10-11, 2014. Prague: Vedecko vydavatelske centrum «Sociosfera-CZ». - 151 p.

46. Sipek S. Special Report: Learning Delivery. 2015. URL: http://www.clomedia.com/ articles/6040-special-report-learning-delivery (дата обращения: 15.03.15)

47. E-Learning Market Trends & Forecast 2014 - 2016 Report 2 A / Docebo, by Valentina Piccioli, March 2014. - 47 р. URL: http://www.scorum.ru/DOCS/docebo-report.pdf (дата обращения: 15.03.15)

48. Tennessee Higher Education Commission Fact Book 2012-2013. 2013. - 102 p. URL: http://www. state.tn.us/thec/Legislative/Reports/2013/2012-2013%20Factbook.pdf (дата обращения: 15.03.15)

49. Cunningham C. 14 E-Learning statistics you need to know for 2014. 02.2014. URL: http://www.digitalcircle.org/articles/14-e-learning-statistics-you-need-to-know-for-2014 (дата обращения: 13.03.14)

50. A Guide to Quality in Online Learning/ by ed. Stamenka Uvalic-Trumbic, Sir John Daniel // ACADEMIC Partnerships. 2013. - 28 p.

51. Welham Holly. What will 2014 bring for the further education sector? URL: http://www.theguardian.com/education/2014/jan/09/further-education-predictions-2014-apprenticeship-college (дата обращения: 02.03.15).

52. Hennessy S., Ruthven K. and Brindley S. Teacher perspectives on integrating ICT into subject teaching: commitment, constraints, caution, and change. // J. Curriculum Studies. 2005. V. 37, N. 2. - P. 155-192.

53. Braun T. Making a Choice: The Perceptions and Attitudes of Online Graduate Students. // J. of Technology and Teacher Education. 2008. 16(1). - P. 63-92.

54. Annetta L., Murray M. et al. Investigating Student Attitudes toward a Synchronous, Online Graduate Course in a Multi-User Virtual Learning Environment // J. of Technology and Teacher Education. 2008. 16(1). - P. 5-34.

55. Soegaard M. The History of Usability: from Simplicity to Complexity / SmashingMagazine. 2012. URL: http://www.smashingmagazine.com/ 2012/05/23/the-history-of-usability-from-simplicity-to-complexity (дата обращения: 25.03.15)

56. Norman D., The Design Of Everyday Things. Originally published: The psychology of everyday things. New York: Basic Books. Basic Books, 2002. Technology & Engineering. - 257 p.

57. Copeland D., Willing-Pichs J. 3 Key Steps to Successfully Integrate Human Factors and Usability into Medical Device Design / Ximedica. Living Innovation. 2012. - 12 p. URL: http://www.ximedica. com/Portals/0/Uploads/Documents/Solutions/Ximedica-3 -Keys-to-Succsfully-Integrate-Human-Factors-and-Usability-into-Medical-Device-Design.pdf (дата обращения: 25.03.15)

58. Shneiderman B. Universal usability // Communications of the ACM. May 2000. V. 43, No. 5/ - P. 84-91.

59. Nielsen J. Mobile Usability, First Findings // NN/g (Nielsen Norman GROUP). July, 2009. URL: http://www.nngroup.com/articles/mobile-usability-first-findings/ (дата обращения: 25.02.15)

60. Budiu R. The State of Mobile User Experience // NN/g (Nielsen Norman GROUP). March, 2015. URL: http://www.nngroup.com/articles/mobile-usability-update/ (дата обращения: 26.02.15)

61. Nielsen J. The alertbox: Current issues in Web usability. 1995. URL: http://www.useit.com/alertbox. (дата обращения: 13.03.15)

62. Nielsen J. Designing Web Usability / Published January 1st 2000 by New Riders Publishing. - 432 p.

63. Sauro J. The Essential Elements Of A Successful Website October 4, 2011. URL: http://www.measuringu.com/blog/usefulness.php (дата обращения: 25.03.15)

64. Huart C. Kolski and Sagar M. Evaluation of multimedia applications using inspection methods: the Cognitive Walkthrough case / Interacting with Computers. 2004. vol. 16.-P. 183-215.

65. Draft International ISO DIS 9241-11 STANDARD, September 1994. URL: http://www.usability.ru/sources/iso9241-11.htm (дата обращения: 25.03.15)

66. Common Industry Format for Usability Test Reports Version 1.1, October 28, 1999. URL: http://zing.ncsl.nist.gov/iusr/documents/cifv1.1b.htm (дата обращения: 25.03.15)

67. Castillo J.C. The User-Reported Critical Incident Method For Remote Usability Evaluation/ Thesis Submitted to the Faculty of the Virginia Polytechnic Institute and

State University in Partial Fulfillment of the Requirements for the Degree of Master of Science In Computer Science/ July, 1997 Blacksburg, Virginia. - 238 p. URL: http://research.cs.vt.edu/usability/publications/castillo-remote-usability.pdf

68. Tullis T. and Albert B. Measuring the User Experience: Collecting, Analyzing and Presenting Usability Metrics. Morgan Kaufmann Publishers. 2008. - 317 p.

69. Leavitt M. O., Shneiderman B. Research-Based Web Design & Usability Guidelines. 2006. - 230 p.

70. Sauro J. Should You Use 5 Or 7 Point Scales? / MeasuringU, August 25, 2010. URL: http://www.measuringu.com/blog/scale-points.php (дата обращения: 25.03.15)

71. Brooke J. SUS: a retrospective // J. of Usability Studies. 2013. V. 8, Issue 2. - P. 29-40.

72. Tullis T.S. & Stetson J.N. A comparison of questionnaires for assessing website usability / Proceedings of UPA Conference. 2004, June 7-11. Minneapolis, Minnesota. -12p. - URL:

http://home.comcast.net/~tomtullis/publications/UPA2004TullisStetson.pdf (дата обращения: 25.03.15).

73. Lazar J., Feng J. H., & Hochheiser H. Research Methods in Human-Computer Interaction / Wiley, 2009. - 446 p.

74. User Satisfaction Questionnaires / by Chenwei Wang Interaction Design Journal. 2014. URL: http://wangchenwei.com/?p=562 (дата обращения: 25.03.15).

75. Lin, H.X. Choong, Y.-Y., and Salvendy, G. A Proposed Index of Usability: A Method for Comparing the Relative Usability of Different Software Systems. Behaviour & Information Technology. 1997. 16:4/5. - P. 267-278.

76. Nielsen J. Usability Engineering / Academic Press. Chapter 5, 1993. - 115 p.

77. Brinck Т., Gergle D. & Wood Scott D. Usability for the Web: Designing Web Sites that Work (Interactive Technologies) / San Francisco: Morgan Kaufmann. 2002. -481 p.

78. Sauro J. SUPR-Q: A Comprehensive Measure of the Quality of the Website User Experience // J. of Usability Studies. 2015. Vol. 10, Issue 2. - P. 68-86.

79. Jokela T., Iivari N., Matero J., Karukka M. The Standard of User-Centered Design and the Standard Definition of Usability: Analyzing ISO 13407 against ISO 9241-11. URL: http://mcom.cit.ie/staff/Computing/prothwell/hci/papers/IS0%20Standards%20Analysi s%202003%20Jokela.pdf (дата обращения: 25.03.15)

80. Nielsen J. Usability: Empiricism or Ideology? 2005. URL: http://www.nngroup.com/ articles/usability-empiricism-or-ideology/ (дата обращения: 25.03.15)

81. Charlton Gr.Q&A. Jakob Nielsen on RWD, Google and the best ways to test your website / Econsultancy. 2014. URL: https://econsultancy.com/blog/65719-q-a-jakob-nielsen-on-rwd-google-and-the-best-ways-to-test-your-website (дата обращения: 25.03.15)

82. Carvalho A. A. Usability Testing Of Educational Software: Methods, Techniques And Evaluators / 3° Simpósio Internacional de Informática Educativa. 2001. - P. 139-148.

83. Vinesh Ch., Fisher D.L. Students' perceptions of a blended web-based learning environment // Learning Environments Research. April 2009. V. 12, Issue 1. - P. 31-44.

84. Ardito C., Costabile M., De Marsico M., Lanzilotti R., Levialdi S., Roselli T., Rossano V. An Approach To Usability Evaluation Of E-Learning Applications / Universal Access In The Information Society. 2006. Vol. 4(3). - P. 270-283.

85. Squires D. and Preece J. Predicting quality in educational software: Evaluating for learning, usability and the synergy between them // Interacting with Computers.1999. Vol. 11. - P. 467-483.

86. Bayram S. Nous A. Evolution of Educational Software Evaluation: Instructional Software Assessment // TOJET. 2004. V. 3, N. 2. - P. 21-27.

87. Leacock T. L., Nesbit J. C. A Framework for Evaluating the Quality of Multimedia Learning Resources // Educational Technology & Society. 2007. V. 10, N. 2. - P. 4459.

88. Lyras D.P., Panagiotakopoulos Th.C., Kotinas I.K., Panagiotakopoulos C.T., Kyriakos N. Sgarbas and Dimitrios K. Lymberopoulos Educational Software Evaluation: A Study From An Educational Data Mining Perspective // The Int. J. of Multimedia & Its Applications (IJMA). June 2014. V.6, No.3. - P. 1-20.

89. Osgood C. E., Suci G. and Tannenbaum P. The Measurement of Meaning // University of Illinois Press. Urbana. 1957. - 342 p.

90. Pearson's Correlation Coefficient. URL: http://psystat.at.ua/Articles/Table_Pearson.PDF (дата обращения: 11.03.15)

91. Actionable Analytics for the Web. URL: http://www.alexa.com/ (дата обращения: 10.03.15)

92. Frokjsr E. Hertzum M. and Hornbsk K. Measuring usability: are effectiveness, efficiency, and satisfaction really correlated? // Proc. Of the ACM SIGCHI 2000 Conference. New York: ACM Press. 2000.

93. Brauers W.K.M. Robustness of the multi-objective MOORA method with a test for the facilities sector / W.K.M. Brauers, W. Karel; E. Zavadskas, E. Kazimieras // Technological and economic development of economy. 2009. No 2(15). - P. 352-375.

94. Karel, W. Multi-objective decision-making for road design / W. Karel, W.K.M. Brauers, E. Zavadskas, F. Peldschus, Z. Turskis // Transport. 2006. No 3(23). - P. 183193.

95. Brauers, W.K.M. MULTIMOORA-FG: A Multi-Objective Decision Making Method for Linguistic Reasoning with an Application to Personnel Selection / W.K.M. Brauers, A. Balehentis, T. Balehentis // Informatica. 2012. Vol. 23, No. 2. - P. 173-190.

96. Beynon M. DS/AHP method: A mathematical analysis, including an understanding of uncertainty // Europ. J. of Operational Research. 2002. 140. - P. 148-164.

97. Lamata A.. Consistency in the analytic hierarchy process: a new approach / Int. J. of Uncertainty, Fuzziness and Knowledge based systems. 2006. Vol. 14, No 4. - P. 445-459.

98. Nielsen J. Usability 101: Introduction to Usability / NN/g (Nielsen Norman GROUP). January 4, 2012. URL: http://www.nngroup.com/articles/usability-101-introduction-to-usability/ (дата обращения: 15.03.15)

99. Klaus D. Goepel. BPMSG AHP priority calculator. URL: http://bpmsg.com/academic/ahp_calc.php (дата обращения: 15.03.15)