Показатели и критерии качества электронного учебного курса Текст научной статьи по специальности «Науки об образовании»

Показатели и критерии качества электронного учебного

курса

Шалкина Татьяна Николаевна доцент кафедры кибернетических систем, к.п.н., доцент Тюменский государственный нефтегазовый университет 625000, г. Тюмень, ул. 50 лет Октября, 38, тел. (3452)416866 shalkina-tn@,yandex. га

Аннотация

Рассмотрена проблема проектирования и оценки качества электронных учебных курсов в условиях компетентностного подхода к подготовке студентов. Компетентностная модель ориентирована на формирование общекультурных и профессиональных компетенций, что требует переработки содержания электронных учебных курсов в соответствии с новыми требованиями. В статье определены этапы проектирования электронного учебного курса и требования, предъявляемые к качеству курса на каждом этапе. Представлена система показателей качества электронного учебного курса, которая интегрирует дидактические, технические, дизайн-эргономические и технологические характеристики. Приведены результаты экспериментальной работы по применению предложенной методики в оценке качества электронных учебных курсов.

The problem of designing and quality evaluation e-learning courses under the competence approach to preparing students is considered. The competence model is focused on the formation of common cultural and professional competences, which requires to change e-learning courses in accordance with the new requirements. The article defines the stages of the designing of e-learning course and the requirements to the quality of the course at each stage. Presents a system of indicators of the quality of e-learning course that integrates didactic, technical, design-ergonomic and technological characteristics. The results of experimental work on the application of the proposed methodology in assessing the quality of e-learning courses are introduced

Ключевые слова

электронное обучение; электронный учебный курс; показатели качества; оценка качества

e-learning; e-learning course; quality indicators; quality evaluation;

Введение

В настоящее время одним из основных средств реализации технологий обучения и контроля в профессиональном образовании стали электронные учебные курсы (ЭУК), которые обеспечивают информационную, методическую, технологическую поддержку образования как в условиях дистанционной, так и традиционной форм обучения.

Проблема повышения качества ЭУК как элемента общей тенденции повышения качества образовательных услуг обусловлена рядом причин:

-ужесточаются требования к характеристикам ЭУК: эффективности, эргономичности, надежности, информационной безопасности, и т.п.;

-повышение качества ЭУК носит комплексный характер, зависит от качества исходного учебно-методического материала, используемых технологий и методов организации процесса обучения на его основе [1]. Таким образом, конечный результат удовлетворяет потребностям только в том случае, если каждый его компонент строго соответствует федеральным государственным образовательным стандартам (ФГОС), нормативным требованиям к организации учебного процесса и техническим условиям;

-помимо удовлетворения в количественном выражении потребности в ЭУК на первый план выдвигается их качественная характеристика. Возникает необходимость на основе имеющегося ресурса и технологий получить более полно удовлетворяющую образовательные потребности продукцию.

Качество электронного учебного курса

Анализ определений понятия «качество» позволяет разделить их на две основные группы[2]:

- характеризующие качество объекта с точки зрения его компонентов и их взаимосвязей. Так, качество объекта определяется только ему присущими внутренними и внешними свойствами, определенной организацией этих свойств.

-определяющие качество объекта как совокупность его характеристик, относящихся к способности удовлетворять установленные и предполагаемые потребности. Как отмечается в работе [3], продукция, созданная в процессе производства, обладает только потенциальным качеством, которое переходит в реальное только в процессе потребления, когда начинает удовлетворять конкретным общественным потребностям.

Высокое качество продукции может быть достигнуто, прежде всего, благодаря системе управления качеством, которая подразумевает упорядоченную совокупность взаимосвязанных и взаимодействующих элементов объекта производства, предназначенных для достижения поставленной цели: обеспечение требуемого уровня качества при минимальных затратах.

Факторы, влияющие на уровень качества ЭУК, могут быть сгруппированы по стадиям жизненного цикла (рисунок 1).

В процессе проектирования решаются следующие задачи: -реализация требований ФГОС, нормативной документации в проекте ЭУК в виде результатов обучения в условиях компетентностного подхода;

-разработка детальной модульной структуры ЭУК и сценариев изучения материала;

-разработка качественного учебно-методического материала; -выбор форм и технологий контроля результатов обучения, разработка контрольно-измерительных материалов;

-подбор и структурирование вспомогательного материала. На этапе реализации необходимо создать условия для получения ЭУК, отвечающего целевым требованиям и проекту ЭУК, для чего должны быть решены следующие задачи:

-обеспечение дизайн-эргономических требований к оформлению ЭУК; -использование современных информационных технологий и программных сред разработки;

-тестирование и отладка ЭУК, проверка его работоспособности и надежности в заявленной аппаратно-программной среде.

На стадии эксплуатации основная проблема - организация информационно -технологической поддержки эффективного использования ЭУК в процессе обучения, а также его актуализация.[4] Основные задачи данного этапа:

-организация информационно-методического сопровождения технологии обучения;

-анализ востребованности курса; -актуализация контента ЭУК.

Рис. 1. Жизненный цикл ЭУК

Система показателей качества электронного учебного курса

Всякий объект может характеризоваться неопределенно большим количеством показателей качества, однако существенными являются только те, которые формируют ожидания потребителя. Выделяют единичные, комплексные, определяющие и интегральные показатели. Единичные показатели отражают одно свойство качества продукции. Комплексные показатели характеризуют совокупность нескольких свойств. На основании определяющих показателей судят о качестве продукции. Интегральные показатели выражаются суммой экономических и технических показателей. [5]

Предварительная подготовка к оценке качества ЭУК включает в себя: [6]: -формирование групп показателей качества, отражающих особенность ЭУК как учебного, программного и технологического средства;

-выбор показателей оценки для каждой группы и методы их измерения; -определение уровней значимости, показывающее соответствие между измеренными значениями характеристик и степенью удовлетворенности требований;

-определение критерия оценки, отражающего комплексный результат оценки качества в определенной среде, которая определяет цель оценки и контекст внешних условий.

Процедура оценки включает в себя следующие этапы: -измерение, результатом которого являются конкретные значения; -определение уровня рейтинга для измеренных значений; -оценка, объединяющая уровни рейтинга и позволяющая сделать утверждение о качестве ЭУК.

Методика построения системы показателей качества ЭУК, на наш взгляд, должна быть основана на иерархической концепции построения системы показателей. Вершиной иерархии (дерева показателей) является комплексный показатель, отражающий качество ЭУК. Затем показатели более высокого уровня декомпозируются на более детальные, отражающие определенную специфику ЭУК. [7, 8].

Рассмотрим практическую реализацию методики построения системы показателей качества ЭУК на основе дерева показателей. Среди всего многообразия типов ЭУК выделим сетевые ЭУК, разработке и внедрению в учебный процесс которых уделяется большое внимание в научно-технической и педагогической литературе. [9, 10, 11] Концептуальной основой сетевых ЭУК является модульная архитектура, такие ЭУК требуют для своей работы специальные информационные системы, отвечающие требованиям стандартов в области электронного обучения. Сетевые ЭУК позволяют, используя возможности сети Интернет и сетевые коммуникационные технологии, организовать не только аудиторную, но и самостоятельную учебную, научно-исследовательскую работу студентов: лабораторный эксперимент, практикум по специальности, контроль знаний, умений, аттестация компетентности на моделях профессиональных ситуаций и т.д.

Разрабатывая систему показателей качества сетевого ЭУК, следует учитывать, что такие ресурсы не имеют «жесткого» итогового варианта структуры и содержания, постоянно изменяются в процессе своего жизненного цикла, адаптируясь к изменяющимся требованиям учебного процесса и результатам обучения. Поэтому помимо набора показателей, которые обычно используют при оценке ЭУК или электронных образовательных изданий [8, 9, 12, 13], должны быть рассмотрены показатели, позволяющие оценить эффективность сетевого ЭУК и его актуальность (обновление базы контрольно-измерительных материалов, учебно-методического обеспечения и т.п.). Для оценки эффективности сетевого ЭУК могут быть использованы показатели, которые обычно используют при оценке Интернет-сайтов: usability, посещаемость, время, проведенное на сайте, популярность/невостребованность отдельных страниц сайта и т.п. [14, 15, 16, 17].

Система показателей оценки качества сетевого ЭУК по стадиям жизненного цикла представлена в таблице 1.

Показатели измеряются по четырех бальной шкале: 3 - наилучшее представление текущей ситуации, по мнению эксперта; 0 - отсутствие показателя.

Таблица 1

Описание показателей качества ЭУК

Показатели Описание критериев сравнения в балльной шкале

L СТАДИЯ ПРОЕКТИРОВАНИЯ ЭУК

Ы Группа структурно-целевых показателей

I.1.1 Наличие и обоснованность цели 3 - Наличие рабочей программы курса, определены требования к входному уровню обученности и результатам обучения, заявленных в виде формируемых компетенций в качестве отдельного

элемента ЭУК, а также детализированы в методическом обеспечении для отдельных видов учебной и самостоятельной работы. 2 - Наличие рабочей программы курса, требования к входному уровню обученности и результатам обучения определены частично 1 - Наличие рабочей программы 0 - Материалы по данному компоненту отсутствуют

1.1.2 Модульная структура ЭУК 3 - ЭУК имеет четкую структуру, соответствующую логике изучения материала и соответствует рабочей программе курса. В структуре отражены все виды тематик и выполняемых учебных работ 2 - ЭУК имеет модульную структуру, но она не в полной мере отражает логику изучения материала и состав выполняемых работ 1 - ЭУК структурирован, но не по модульному принципу изучения материала 0 - ЭУК не структурирован

1.2 Группа показателей, характеризующих качество контента

1.2.1 Научность и новизна представленного учебно-методического 3 - Высокое качество представленных учебно-методических материалов, ЭУК разработан на основе собственных научных, учебных, методических разработок автора, ссылки на которые представлены в ЭУК 2 - Представленный материал актуален и соответствует научно-техническому уровню в рассматриваемой предметной области 1 - Материалы, представленные в ЭУК являются ссылками на внешние работы 0 - Материалы отсутствуют

1.2.2 Наглядность и доступность материала 3 - Материалы ЭУК изложены доступным для целевой аудитории языком, насыщенны иллюстративным материалом (таблицы, рисунки и т.п.), хорошо структурированы, выделены основные идеи и выводы 2 - Материалы ЭУК изложены доступным для целевой аудитории языком, но недостаточно иллюстрированы, не выделены основные моменты 1 - Материалы изложены языком, не соответствующим целевой аудитории, недостаточно иллюстрированы и структурированы 0 - Материалы отсутствуют

1.2.3 Проблемный характер изложения материала 3 - При изложении материалов ЭУК использованы практические примеры, пояснения при объяснении сложных моментов, выделены наиболее трудные в усвоении вопросы, приведены дополнительные объяснения, имеются междисциплинарные связи 2 - Представленный материал содержит практические примеры, но не отражены междисциплинарные связи с другими областями знаний 1 - В учебно-методических материалах ЭУК недостаточное количество примеров, не отражены междисциплинарные связи с другими областями знаний

0 - Материалы отсутствуют

1.2.4 Достаточность учебно-методических материалов 3 - ЭУК содержит учебно-методические материалы ко всем видам работ и по всем модулями 2 - ЭУК содержит учебно-методические материалы не ко всем основным видам работ, которые предусмотрены рабочей программой курса (за исключением самостоятельной работы) 1 - ЭУК содержит учебно-методические материалы не ко всем видам работ, которые предусмотрены рабочей программой курса 0 - Материалы отсутствуют

13 Группа показателей информационно-методического и организационного обеспечения ЭУК

1.3.1 Учет индивидуальных особенностей обучающихся 3 - В ЭУК представлены различные формы и варианты промежуточных и итоговых заданий в зависимости от их уровня сложности, имеются пояснения к оценке итоговых результатов 2 - В ЭУК представлены различные варианты промежуточных и итоговых заданий в зависимости от их уровня сложности, имеются пояснения к оценке итоговых результатов 1 - В ЭУК представлены различные варианты промежуточных и итоговых заданий, не дифференцированные по уровням сложности 0 - В ЭУК предусмотрена единая для всех траектория обучения

1.3.2 Повышение уровня мотивации к обучению 3 - ЭУК активизирует интерес к получению новых знаний, вызывает потребность работать с различными видами и формами учебного материала, обладает свойством интерактивности и мультимедийности, содержит интересные ссылки и материалы, связанные с изучаемой предметной областью, предусмотрена система поощрений студентов за успешную работу 2 - ЭУК содержит интересные ссылки и материалы, связанные с изучаемой предметной областью, предусмотрена система поощрений студентов за успешную работу 1 - В предусмотрена система поощрений студентов за успешную работу 0 - Компонент повышения мотивации обучения студентов не представлен в ЭУК

1.3.3 Наличие и достаточность информацио нно -методических материалов и пояснений к различным видам учебной деятельности 3 - В ЭУК приведены информационно-методические инструкции ко всем модулям ЭУК, поясняющие последовательность изучения материала, порядок выполнения заданий, работу с литературой и т.п.). Материалы представлены как отдельные элементы ЭУК 2 - В ЭУК приведены информационно-методические инструкции не ко всем модулям и заданиям ЭУК, но они оформлены как отдельные элементы ЭУК 1 - В ЭУК приведены информационно-методические инструкции к изучению отдельных элементов ЭУК, которые не выделены в качестве отдельных элементов

ЭУК 0 - Информационно-методические материалы не представлены

1.3.4 Достаточность вспомогательного материала 3 - В ЭУК представлены: список литературы, глоссарий, ссылки на Интернет-источники 2 - В ЭУК представлены: список литературы, глоссарий 1 - В ЭУК представлены: список литературы 0 - Дополнительные материалы не представлены

1.4 Группа показателей, характеризующих контролирующие функции ЭУК

1.4.1 Разнообразие форм самоконтроля и контроля 3 - В ЭУК используются различные виды и формы промежуточного и итогового контроля, в том числе интерактивные формы контроля, представленные в соответствующей LMS системе (эссе, тесты, семинары и т.п.), формы контроля отражают специфику заданий 2 - В ЭУК используются различные виды и формы промежуточного и итогового контроля, но недостаточно востребованы интерактивные формы 1- Используемые в ЭУК формы контроля однотипны, не отражают специфику заданий, не используются интерактивные формы контроля 0 - Компонент не представлен

1.4.2 Диагностика результатов обучения 3 - В ЭУК осуществляется диагностика входного уровня обученности, результатов выполнения различных видов заданий, итоговый контроль знаний 2 - В ЭУК осуществляется диагностика результатов выполнения отдельных видов заданий, итоговый контроль знаний 1 - В ЭУК осуществляется диагностика результатов итогового контроля 0 - Компонент не представлен

1.4.3 Обеспеченность контрольно-измерительными материалами 3 -Достаточность контролирующих заданий для понимания и усвоения учебного материала, количество тестовых заданий превышает 200 единиц 2 -Достаточность контролирующих заданий для понимания и усвоения учебного материала, количество тестовых заданий превышает 100 единиц 1 - В ЭУК представлены только тестовые задания и их количество превышает 100 единиц 0 - Контрольно-измерительных материалов недостаточно

II СТАДИЯ РЕАЛИЗАЦИИ ЭУК

П.1 Группа дизайн-эргономических показателей

11.1.1 Качество оформления текстового материала 3 - Высокое качество оформления текстового материала, используются цветовые, шрифтовые и т.п. приемы выделения текста в соответствии с логикой изложения, наблюдается единство оформления текста, текст читабелен, предусмотрена возможность индивидуальных настроек 2 - Хорошее качество оформления текстового материала, наблюдается единство оформления текста, текст читабелен

1 - Низкое качество оформления текстового материала, текст не структурирован 0 - Текст не читабелен

11.1.2 Качество и достаточность графических изображений, аудио и видео материала 3 - Высокое качество оформления графического, аудио, видео материалов, количество которых достаточно для усвоения студентом 2 - Хорошее качество оформления графического, аудио, видео материалов, количество которых или недостаточно или избыточно 1 - Низкое качество оформления 0 - Материалы не представлены

11.2 Группа технических показателей

11.2.1 Работоспособност ь ссылок 3 - Все ссылки ЭУК работоспособны 2 - Количество неработоспособных ссылок незначительно 1 - Количество неработоспособных ссылок значительно 0 - Большинство ссылок ЭУК неработоспособно

11.2.2 Удобство в представлении материалов на основе использования различных электронных форматов 3 - В ЭУК для просмотра учебных материалов предлагаются различные форматы; материалы ЭУК представлены с использованием современных свободно распространяемых форматов, их просмотр не требует установки дополнительного ПО, или установка не представляет сложности, и представлена соответствующая инструкция 2 - Материалы ЭУК представлены с использованием современных свободно распространяемых форматов, их просмотр не требует установки дополнительного ПО, или установка не представляет сложности, и представлена соответствующая инструкция 1 - При просмотре отдельных материалов ЭУК могут возникнуть проблемы, связанные с выбранным форматом представления 0 - Материалы не просматриваются

III СТАДИЯ ЭКСПЛУАТАЦИИ ЭУК

Ш.1 Показатели сопровождения ЭУК

Ш.1.1 Ведение журнала учебных достижений студентов 3 - Работы студентов (не только тесты, но и другие виды контроля) своевременно проверяются; настроен график контрольных сточек, ведется журнал оценок, который доступен студентам 2 - Контрольные точки представляют собой только тестовые задания; настроен график контрольных сточек, ведется журнал оценок 1 - Контрольные точки представляют собой только тестовые задания; ведется журнал оценок 0 - Контрольные точки не определены

Ш.1.2 Поддержка обратной связи со студентами (рассылка сообщений, ответы на входящие сообщения, информирование о предстоящих событиях) 3 - Студенты вовремя оповещаются о предстоящих мероприятиях (например, с использованием форума или отправки личных сообщений), преподаватель отвечает на задаваемые вопросы; регулярно ведет форум 2 - Преподаватель отвечает на вопросы, информирует студентов

1 - Преподаватель отвечает на вопросы 0 - Преподаватель не поддерживает обратную связь

С целью учета значимости отдельных показателей в итоговой комплексной оценке к ним может быть применена процедура ранжирования на основе одного из экспертных методов (например, метод анализа иерархий, парных сравнений и т.п.). [8] Результатом ранжирования является вектор весовых коэффициентов показателей и групп показателей, что позволит повысить точность оценки. Таким образом, результирующая оценка качества будет определяться как свертка показателей.

Экспериментальная апробация

Рассмотренные в статье показатели оценки качества ЭУК были апробированы в образовательном процессе кафедры кибернетических систем Тюменского государственного университета при оценке сетевых ЭУК, представляющих собой электронные учебно-методические комплексы дисциплин. Было оценено 25 сетевых ЭУК по направлению 09.03.01 «Информатика и вычислительная техника» (на рисунках 2-3 представлены средние баллы по группам показателей), в качестве экспертов выступили преподаватели и сотрудники университета. 3,00 -1—

2,50

Группа структуретоп^елевих Группа! лоиазателвй^харакгермэ-уютих Группа показателей нгсср.мцнст-о- Группа показателей, хара-стеризу ¡содах пооетелен гачестяо котгыла ллегадачютагэ н арпиннцнммого ¡■та-ктролнрувздаффукгадаи ЭОР

оЁеспеиекмя ЭОР

Рис. 2. Средние баллы по группам показателей

3,00 2,50 2,00 1,50 1,00 0,50 0,00

Группа дизайн-эргономичЕских Группа технических показатЕЛЕЙ Покааатвли сопровождения ЭОР

показателен

Рис. 3. Средние баллы по группам показателей

Методика позволила выявить наиболее проблемные стороны создания и эксплуатации сетевых ЭУК: недостаточность организационно-методического обеспечения изучения ЭУК и средств повышения мотивации обучения (средний балл по этому компоненту 1,38), а также невысокое качество сопровождения (средний балл - 1,63).

Анализируя результаты экспериментальной работы отдельно по компонентам, можно сделать следующие выводы:

-полное отсутствие, либо незначительное присутствие в ЭУК информационно-методических материалов к изучению курса, отсутствие элементов повышения мотивации студентов;

-разработка ЭУК ведется в отрыве от требований рабочей программы курса, что приводит к несоответствию структуры и содержания ЭУК целевым требованиям;

-преподаватели детально модульно не структурируют ЭУК, выкладывая отдельно «теорию», отдельно «практику»;

-недостаточно востребованы интерактивные формы обучения и контроля; -большинство преподавателей рассматривает ЭУК как средство предоставления учебного материала, но не как средство интерактивной связи со студентами, о чем свидетельствуют:

• низкая посещаемость ЭУК («скачивается» материал, после чего курс не востребован);

• недостаточно востребованы интерактивные формы обучения и контроля, проверка заданий и ведение журнала учебных достижений ведется вне LMS системы;

• низкий уровень информационной поддержки студентов в процессе обучения.

2,87

1,76 1,63

Заключение

Одним из основных направлений повышения качества подготовки студентов является электронное обучение, ориентированное на активную самостоятельную работу обучающихся с применением инфокоммуникационных технологий и средств мультимедиа как в условиях традиционной технологии, так и дистанционного обучения. Качество электронного обучения напрямую зависит от качества

электронных образовательных курсов, актуальности, корректности представленной в них информации, возможностей по организации контроля и самоконтроля, общения, соответствия требованиям здоровьесберегающих технологий образования.

Использование в ВУЗах различных LMS систем в качестве средства управления и поддержки учебного процесса ведет к необходимости создания единой системы управления качеством ЭУК на различных стадиях жизненного цикла: проектирования, реализации, управления. Представленная в статье система показателей и критериев, а также методика оценки качества сетевых ЭУК позволяет: -провести покомпонентную оценку и анализ качества курсов; -обобщить результаты и выделить основные проблемные направления в разработке ЭУК в процессе всего жизненного цикла;

-использовать результаты оценки для принятия соответствующих управляющих решений по повышению качества ЭУК.

Литература

1. Подлесный С.А. Электронное обучение и обеспечение его качества // Инженерное образование, 2013. - №12. - С. 104-111.

2. Федоров В. А. Профессионально-педагогическое образование: теория, эмпирика, практика. - Екатеринбург: Изд-во Урал. гос. проф.-пед. ун-та, 2001. -330 с.

3. Управление качеством продукции: учеб. пособие / под ред. Н. И. Новицкого.- 2-е изд., испр. и доп. - М. : Новое знание, 2002. - 363 с.

4. Rosewell, J. (2014) OpenupEd label, quality benchmarks for MOOCs. URL: http://www.openuped.eu/images/docs/OpenupEd_quality_label_-_Version1_0.pdf (дата обращения: 07.08.2015)

5. Федюкин В.К. Методы параметрической оценки качества продукции // Качество, инновации, образование. - №5, 2007, С. 33-38.

6. Шалкина Т.Н. Модель комплексной оценки качества электронных образовательных изданий и ресурсов / Т.Н. Шалкина // Педагогическая информатика, 2013. - С. 85-91.

7. Азгальдов Г.Г. Теория и практика оценки качества товаров. (Основы квалиметрии) // Г.Г. Азгальдов. - М.: Экономика, 1982.

8. Шалкина Т.Н. Применение метода анализа иерархий для оценки качества электронного издания учебного назначения / Е.Н. Горутько, Т.Н. Шалкина // Информатика и образование, 2013. - №1. - С. 13-19.

9. Осин А.В. Мультимедиа в образовании: контекст информатизации. -Монография. - М.: Агентство "Издательский сервис", 2005. - 320 с.

10. ^ловьев М.А. Стратегии развития электронного обучения в техническом вузе / М.А. Соловьев, С.И. Качин, С.Б. Велединская, М.Ю. Дорофеева // Высшее образование в России, 2014. - № 6 - С. 67-76.

11. Остроух А.В. Опыт разработки электронных образовательных ресурсов нового поколения для дистанционной технологии обучения // В мире научных открытий. 2011. № 9 (21). С. 149-158.

12. Kurilovas, E and Dagiene, V. (2010) Multiple Criteria Evaluation of Quality and Optimisation of e-Learning System Components // Electronic Journal of e-Learning Volume 8 Issue 2 2010, (pp141 151). URL: http://www.ejel.org/volume8/issue2 (дата обращения: 07.08.2015)

13. Лыгина Н.И. Экспертиза качества учебных материалов / Н.И. Лыгина, Е.М. Турло // Вестник Томского государственного университета, 2007. - № 305. - С. 169-173.

14. Дегтяренко И.А. Методика оценки удовлетворенности пользователей интерфейсом интернет-сайта / И. А. Дегтяренко, И. В. Бурмистров, А. Б. Леонова // Вестн. моск. ун-та. сер. 14. Психология, 2010. - № 1. С. 94-109.

15. Никулова Г.А. Пользователи о сайтах вузов: анализ веб-ресурсов лидеров образования / Г.А. Никулова // Вестник Пермского государственного гуманитарно-педагогического университета. Серия: Информационные компьютерные технологии в образовании, 2013. - №9. - С. 53-58.

16. Боброва Л.Н. Анализ взаимосвязи факторов usability открытых образовательных сетевых ресурсов для поддержки обучения и самообучения / Л.Н. Боброва, Г.А. Никулова // Образовательные технологии и общество, 2015. - № 2. URL: http://ifets.ieee.org/russian/depository/v18_i2/pdf/18.pdf (дата обращения: 07.08.2015).

17. Пилат О.Ю. Моделирование и интегральная модель оценки качества сайтов // Интернет-журнал «НАУКОВЕДЕНИЕ» 2014. № 6. URL: http://naukovedenie.ru/PDF/23TVN614.pdf (дата обращения: 07.08.2015).