Критерии оценки качества в системе электронного обучения Текст научной статьи по специальности «Науки об образовании»

Cloud of Science. 2015. T. 2. № 4 http:/ / cloudofscience.ru ISSN 2409-031X

Критерии оценки качества в системе электронного обучения

Г. Г. Бубнов, Е. В. Плужник, В. И. Солдаткин

Московский технологический институт 119334, Москва, Ленинский проспект, 38а

e-mail: rector@mti.edu.ru

Аннотация. В системе электронного обучения, наряду с общими подходами к оценке качества, важное значение имеет методология проектирования средств информационных технологий обучения. В статье сформулированы критерии качества электронного обучения и учебного электронного курса. Проведен анализ международного опыта оценки материалов на основе анкетирования студентов по окончании изучения курса.

Ключевые слова: анкетирование, дистанционное обучение, качество, критерии качества образования, учебный электронный курс, электронное обучение.

Качество образования — это многоаспектное явление. Качество образования, подготовки и переподготовки раскрывается в таких понятиях, как: качество преподавания (учебного процесса и педагогической деятельности); качество научно-педагогических кадров; качество образовательных программ; качество материально-технической базы, информационно-образовательной среды; качество студентов, учащихся, абитуриентов; качество управления; качество исследований и др. [1]. Здесь же целесообразно, по-видимому, оговориться и о понятиях и соотношении качества и эффективности: эффективность — это степень достижения цели при определенных затратах; но эффективность можно определить и как качество (достижение цели) с учетом затрат.

Особенности характеристики качества образования состоят в следующем:

- многоаспектность или многогранность качества (качество конечного результата образования и качество потенциала образовательных систем, обеспечивающих достижение этого качества; качество результатов воспитания и обучения); творческая и репродуктивная, знаниевая и деятельностная компоненты;

- многоуровневость конечных результатов качества (качество выпускников образовательных учреждений различного уровня);

- многосубъектность качества образования — оценка качества образования осуществляется множеством субъектов (сами учащиеся и студен-

ты; их родители; выпускники вузов и послевузовского образования, различных дополнительных образовательных программ; работодатели; общество в целом и государственные органы; сама система образования; представители ее различных уровней и ступеней; исследователи системы образования; эти же субъекты по регионам, стране (в международной системе образования, ее разных уровней);

- многокритериальность — качество образования оценивается набором критериев;

- полихронность — сочетание текущих, тактических и стратегических аспектов качества образования, которые в разное время одними и теми же субъектами воспринимаются по-разному (например, выпускники в течение жизни, трудовой деятельности со временем переоценивают качество своего образования, ценность отдельных дисциплин и преподавателей; общество и государство в зависимости от своего состояния пересматривают приоритеты в качестве и содержании образования и т. д.);

- неопределенность в оценках качества образования и образовательных систем, в принципе, из-за более высокого уровня субъективности оценки качества образования разными субъектами;

- инвариантность и вариативность — среди множества качеств образовательных систем, учебных заведений, их выпускников выделяются инвариантные, общие качества для всех выпускников каждого уровня образования, каждой специальности или направления подготовки выпускников вузов и специфические (именно для данного множества выпускников или образовательных систем) [2].

К определению качества образования, являющемуся многомерным понятием, можно подойти через понятие «обеспечение качества». Это, в свою очередь, подразумевает любую политику, деятельность, систему или процесс, которые направлены на сохранение и повышение качества, например, образовательного продукта, создаваемого учебным заведением [3]. Концепция обеспечения качества подразумевает, что качество может пониматься как некая корректировка того, что предусматривается самим учебным заведением, т. е. что поставленные задачи были достигнуты такими средствами, которые являются совместимыми с установленными критериями качества. Феномен качества образования тесно связан с «качеством» человека, качеством его интеллекта, с качеством культуры, науки и производства [4]. Качество человека стало центральным, системообразующим фактором любых процессов проектирования, управления, технологии и образования.

Традиционно при определении понятия «качество образования» выделяют три основных вектора: качество содержания образования; качество результатов образования (качество образованности личности); качество образовательных технологий (качество методов обучения и воспитания).

В числе структурных элементов многокомпонентной системы качества образования выделим главные:

- качество педагогического персонала, что подразумевает наличие соответствующего социального статуса и достаточного финансирования, воли к уменьшению проявлений неравенства, стремление управлять кадровыми ресурсами в соответствии с принципом способностей и обеспечение для преподавателей непрерывной подготовки, создание стимулирующих факторов и структур;

- качество образовательных программ, что заставляет проявлять особое внимание к определению целей подготовки и увязке с потребностями общества, адаптации педагогических методов, чтобы повысить активность учащихся, привить им предпринимательские качества;

- качество студентов, являющихся исходным материалом, что требует особого внимания к проблемам, связанным с учетом их способностей, с доступностью образования, переходом с одного уровня образования на другой;

- качество управления учебным заведением как единым целым, которое должно быть координируемым и последовательным, должно учитывать качество инфраструктур внутренней и внешней среды и осуществляться во взаимодействии с окружающей средой.

В системе электронного обучения, наряду с общими подходами к оценке качества, важное значение имеет методология проектирования средств информационных технологий обучения [5-7]. Выделяют следующие основные требования к компьютерным обучающим программам (они могут быть использованы и при сертификации (оценке качества) программных средств учебного назначения):

1) научность содержания: обеспечение возможности построения содержания учебной деятельности с учетом основных принципов педагогики, психологии, кибернетики, теории высшей нервной деятельности;

2) открытость: возможность реализации любого способа управления учебной деятельностью, выбор которого обусловлен, с одной стороны, теоретическими воззрениями разработчиков обучающей программы, а с другой — целями обучения;

3) целенаправленность: обеспечение обучающегося постоянной информацией о ближайших и отдаленных целях обучения, степени достижения целей; стимуля-

ция тех видов познавательной активности обучающихся, которые необходимы для достижения основных учебных целей;

4) обеспечение мотивации: стимулирование постоянной высокой мотивации обучаемых, подкрепляемой целенаправленностью, активными формами работы, высокой наглядностью, своевременной обратной связью;

5) воспитывающий характер: информационное наполнение обучающей среды должно предусматривать воспитательные моменты, обеспечивать сочетание процессов обучения и воспитания;

6) наличие входного контроля: диагностика обучающегося перед началом работы с целью обеспечения индивидуализации обучения, а также оказания требуемой первоначальной помощи;

7) структурная целостность: знания должны быть представлены в виде укрупненных дидактических единиц, сохраняющих логику, главные идеи и взаимосвязи изучаемого материала;

8) блочная или модульная структура: основные блоки, которые целесообразно включать в типовую обучающую программу;

9) индивидуализация обучения: для реализации индивидуального подхода программа должна включать динамическую модель обучаемого, многоуровневую организацию учебного материала, банк задач разной трудности;

10) обеспечение обучения в сотрудничестве: программа должна, по возможности, моделировать совместную объектно-субъектную деятельность;

11) креативность: обеспечение подготовки специалистов с творческим потенциалом, способных самостоятельно ставить и решать проблемы; исключение таких нежелательных последствий компьютеризации, как чрезмерная алгоритмизация мыслительной деятельности и пассивность мышления;

12) обеспечение систематической обратной связи: обратная связь должна быть педагогически оправданной, не только сообщать о допущенных ошибках, но и содержать информацию, достаточную для их устранения;

13) наличие развитой системы помощи: система помощи должна быть многоуровневой, педагогически обоснованной, достаточной для того, чтобы решить задачу и усвоить способ ее решения, помощь должна оказываться с учетом характера затруднения и модели обучаемого;

14) обоснованность оценивания: использование, помимо результатов тестового контроля, дополнительных показателей, влияющих на оценку обучающегося; в роли дополнительных показателей могут выступать: время, затраченное на изучение вопроса, количество повторений материала, количество проработанных гиперссылок, характер допущенных ошибок и т. д.;

15) наличие интеллектуального ядра: может быть обеспечено за счет использования экспертных систем или средств искусственного интеллекта; программа должна включать систему анализа причин ошибок обучающегося; систему комментариев, необходимых для того, чтобы обучающийся понял свои ошибки и сделал правильные для себя выводы;

16) возможность возврата назад: при самостоятельной работе должна быть предусмотрена отмена обучающимся ошибочных действий;

17) педагогическая гибкость: программа должна позволять обучающемуся самостоятельно принимать решение о выборе учебной стратегии, характере помощи, последовательности и темпе подачи материала; должны быть обеспечены возможности доступа к ранее пройденному учебному материалу, выхода из программы в любой ее точке;

18) наличие специально отведенного места для рефлексии обучаемых: программа должна накапливать результаты рефлексии с целью последующей корректировки обучающих воздействий;

19) возможность документирования хода обучения и его результатов: полученная информация может быть полезна не только преподавателю, но и разработчику программы, руководству учебного заведения;

20) наличие интуитивно понятного дружелюбного интерфейса: обучаемый не должен затрачивать значительных усилий на освоение основных приемов работы в программе; обеспечение возможностей изменения шрифтов учебного текста, цвета фона;

21) системная организация дизайна обучающей среды: обеспечение максимальной информативности при минимальной утомляемости пользователя;

22) обеспечение возможности получения твердой копии статических разделов программы: возможность копирования выбранной информации в личный электронный конспект, ее редактирования и распечатки;

23) наличие развитой поисковой системы, режимов «лупы», «автопоказа»;

24) наличие блока контроля утомления обучаемого, блока релаксации: последний должен содержать тематически однородные небольшие «банки» шуток, анекдотов, музыкальные фрагменты и т. д.;

25) надежность работы и системная целостность: техническая корректность; защита от случайного или неправильного нажатия; обеспечение адекватной реакции на любые, даже самые неожиданные ответы обучаемых [8].

Выделяют также критерии оценки качества электронного учебного курса:

1) количественные критерии: объем используемых знаний; коэффициент усвоения учебного материала, который равен отношению объема учебного материала, усвоенного учащимися в течение определенной единицы времени, к материалу, со-

общенному учащемуся за то же время; коэффициент прочности усвоения учебного материала, исчисляемый как отношение запомнившегося материала и материала, сообщенного учащимся в процессе обучения за определенный период;

2) качественные критерии, отождествляемые с уровнями знания учебного материала: понимания учебного материала; овладения учебным материалом (умение фактически использовать усвоенное при решении практических задач); овладения интеллектуальными навыками (умение сознательно и оперативно трансформировать усвоенный материал в новых условиях).

Основные (общие, системные) качественные характеристики электронного учебного курса выглядят следующим образом:

- целевая ориентация курса;

- содержание курса;

- мотивированность изучения курса (использование алгоритмов логической непрерывности, системы поощрения);

- возможность освоения учебного материала в зависимости от целей обучения (профессиональная потребность);

- методические возможности изучения курса (различные сценарии: самообучение, самоподготовка, работа в аудитории и т. д.);

- комплексность учебно-методического сопровождения (учебник, руководство по изучению дисциплины, сборник профессиональных задач, хрестоматия и т. д.);

- целесообразность иллюстративного материала (графика, анимация, звук);

- коммуникационные возможности курса (интерактивность, связь студент-преподаватель, студент-студент и т. п.);

- информационная поддержка (помощь студентам и преподавателям при возникновении неожиданных ситуаций);

- контроль знаний (промежуточный, рубежный, итоговый); возможность продвижения курса на международном рынке образовательных услуг (представление учебного материала на иностранных языках с учетом особенностей межкультурных коммуникаций);

- возможность обучения контингента с физическими ограничениями;

- возможность обновления учебного материала;

- лицензионная чистота используемых учебных материалов (соблюдение авторских прав).

Дополнительно для оценки качества электронных учебных курсов используются специальные критерии:

1) авторской разработки: ориентация на опыт аудитории, стили обучения; ориентация на потребности аудитории; глубина когнитивного анализа задач; определение стратегии; определение целей тьюторства; определение необходимых отношений между тьютором и учащимся;

2) проектирования учебных материалов: наличие материалов для разных категорий учащихся; разнообразие возможных учебных траекторий; предварительно определенное число траекторий учащегося; соответствие поставленным целям обучения;

3) процедуры тьюторства: линейное следование, одинаковое для каждого; сценарное следование, зависящее от предыстории;

4) адекватности моделирования: элементы интерактивности и презентации; адекватность реалиям рабочих мест;

5) поставки учебных материалов: качество графического материала; качество звука; время ожидания для выгружаемых учебных материалов и ответа системы.

В зарубежных системах образования в качестве экспертов обязательно привлекаются студенты. Существует практика анкетирования студентов по окончании изучения курса. Для оценки эффективности использования электронных курсов в учебном процессе им предлагается ответить на вопросы, позволяющие оценить:

- целесообразность изучения курса в электронном виде (возможность достижения целей курса);

- технологии поставки учебного материала;

- длительность загрузки электронного курса;

- контентную сложность курса;

- разнообразие форм заданий;

- наличие иллюстративных материалов, в частности динамических;

- управление курсом;

- возможность обновления и актуализации содержания курса;

- возможность выполнения групповых заданий;

- интерактивность курса (подтверждение правильности действий студента, задания для самооценки);

- обратную связь с преподавателем (электронная почта, время для консультаций);

- поддержку студентов (информация о задачах курса, техническая помощь);

- уместность раздаточного материала (контентное соответствие, достаточность количества, удобство использования).

Представляет практический интерес опросный лист для оценки качества web-курса, который предложил американский ученый П. Бинер из университета Ball

State University. Такой опросник традиционно встроен в web-курс, и невозможно закончить обучение, не ответив на все вопросы.

Анкета составлена с учетом того, что статистическая обработка результатов опроса будет проводиться автоматически с помощью подключенного статистического пакета. Приведем перечень вопросов, нацеленных на оценку преподавания и работы преподавателя, технологических характеристик курса, администрирование:

1. Характеристики преподавания/преподавателя:

- четкость формулировок заданий;

- целесообразность использования графического материала в курсе;

- своевременность оценки и возврата творческих работ, тестов и письменных заданий;

- уместность методов преподавания (лекции, демонстрации, онлайновые дискуссии и т. д.);

- роль преподавателя в активизации процесса обучения;

- коммуникационные навыки преподавателя;

- организация и подготовка к занятиям преподавателя;

- степень участия преподавателя при изучении курса;

- профессионализм преподавателя;

- мотивирование аудитории преподавателем при изучении курса;

- возможность контактов с преподавателем в процессе изучения курса;

- педагогическое поведение преподавателя;

- общая оценка преподавателя;

2. Технологические характеристики:

- качество графического материала, соизмеримость размеров графического материала и экрана компьютера;

- удобство навигации курса;

- качество используемого потокового аудио и видео;

- время доставки сообщений электронной почты и электронной доски объявлений;

- качество технического обслуживания курса;

3. Координация и руководство курсом/программой:

- оценка средств обмена материалами между студентами и преподавателем курса;

- возможность доступа к библиотечным ресурсам;

- качество работы координатора учебного сайта (поставка учебных материалов, решение технических проблем);

- доступность службы технического сопровождения или координатора курса;

- качество технического сопровождения курса;

- скорость поставки учебных материалов;

- удобство регистрации и зачисления на курс.

Приведем типовую форму оценки курса университета Washington (США). Оценка (превосходно; очень хорошо; хорошо; средне; плохо; очень плохо) производится по следующим вопросам:

- курс в целом;

- содержание курса;

- участие преподавателя;

- эффективность формата поставки;

- уместность ссылок;

- соответствие целей курса и заданий;

- качество/полезность обратной связи с преподавателем;

- поощрения в процессе обучения;

- своевременность дополнительной помощи;

- практический аспект изучения курса;

- приемлемость заданий;

- преподаватель как модератор дискуссии;

- адекватность ресурсов;

- ясность учебного материала;

- полезность учебного материала;

- полезность онлайновых групповых дискуссий;

- в сравнении с другими курсами;

- интеллектуальный уровень и т. д.

Статистическая обработка данных итогового анкетирования позволяет сделать научно-обоснованный вывод об эффективности использования в учебном процессе электронных курсов. При анкетировании же предлагаются семь направлений оценки качества курса:

1) институциональная поддержка:

- поощряется инициатива преподавателей по разработке и эффективному ведению дистанционных курсов;

- существует документально оформленная внутривузовская система критериев оценки качества;

- разработана технологическая система безопасности хранения информации;

- предусмотрена инфраструктура поддержки дистанционного обучения;

2) разработка курса:

- сопровождается активным обсуждением учебного материала, методики, дизайна и т. д. на уровне кафедры;

- существуют методические рекомендации по разработке, дизайну и поставке курсов;

- в группу разработчиков входят преподаватели, эксперты по контенту, дизайнеры, технические эксперты и персонал для технического редактирования;

- при постоянной структуре курса предусмотрена настройка на различные предпочтения студентов, касающиеся обучения и поставки курса;

- при разработке курса обеспечивается интерактивность;

- предусмотрены мониторинг содержания курса и его корректировка;

3) процесс обучения/преподавания:

- предусмотрены различные средства коммуникации при взаимодействии «преподаватель-студент», «студент-студенты»;

- обеспечиваются своевременность и качество ответов на вопросы студентов;

- используется принцип модульности изучения курса с управляемой навигацией в зависимости от оценки знаний по модулю;

- используются активные методы обучения, ориентация на групповые методы обучения;

4) структура курса:

- отражает цели, концепции и идеи, заложенные в курсе;

- предусмотрен график выполнения заданий, определяемый структурой курса;

- имеются сроки возврата преподавателями контрольных заданий студентам;

- предусмотрены источники основной и дополнительной литературы;

- заложены возможности выполнения творческих работ;

- обеспечивает предварительное тестирование способности студента к дистанционному обучению;

- входит ли эта функция в структуру курса;

- предусмотрена встроенная статистика результатов обучения;

5) поддержка студентов:

- техническая, информационная, учебный материал в печатном виде;

6) поддержка преподавателей:

- техническая и методическая поддержка при разработке курса;

7) оценивание:

- для оценки полезности и эффективности курса предусмотрено использование обратной связи при обучении;

- сравнительный анализ результатов обучения от группы к группе;

- статистические данные о количестве записавшихся на изучение курса, а также о доходе от продажи курса используются для оценки его эффективности.

Некоторые выводы:

1. Оценивание позволяет выявить сильные и слабые стороны курса, определить потребности студентов.

2. При оценивании необходимо учитывать мнение преподавателей-коллег, внешних рецензентов, завершивших изучение курса студентов, а также студентов, не завершивших обучение, гарантируя при этом анонимность.

3. Оценивание следует проводить по следующим направлениям:

- использование технологий (общая осведомленность, представление, проблемы, положительные аспекты, отношение к технологиям);

- формат занятий (эффективность лекции, дискуссии, вопросов и ответов);

- актуальность обсуждаемых проблем;

- поощрения студентов в процессе обучения;

- атмосфера в процессе обучения (доброжелательность преподавателя);

- интерактивность курса (взаимодействие с преподавателем и студентами);

- содержание курса;

- задания (полезность, степень трудности, время на выполнение задания, своевременность обратной связи, уровень учебно-методического материала);

- тесты (повторяемость, релевантность, рецензия на результаты ответов, трудность, обратная связь);

- службы поддержки (тьютор, технический персонал, библиотечные службы);

- персональные оценки студента (активность, своевременность сдачи контрольных работ, статистика обращений за помощью);

- преподаватель (ведение дискуссии, эффективность, профессионализм).

4. Целесообразно проводить как итоговое, так и промежуточное оценивание курса.

5. Необходимо акцентировать внимание на промежуточном оценивании курса, т. к. оно позволяет в процессе изучения курса предотвратить возможные недостатки.

6. При оценивании следует использовать как встроенные опросные листы, так и услуги статистических фирм. Менее желательно использование почты, факса, телефона, печатных опросных листов, т. к. эти способы сопровождаются дополнительными затратами и не обеспечивают анонимность.

7. В процессе оценивания целесообразно использовать как количественные, так и качественные показатели.

8. Не следует разрабатывать собственные опросные листы, целесообразно выбирать среди опубликованных и адаптировать их к своему курсу.

9. При составлении опросного листа следует располагать вопросы открытой формы в конце опросного листа.

10. Перечень вопросов следует регулярно пересматривать, обобщать как положительные, так и отрицательные стороны курса.

Состав интегральных показателей может варьироваться в зависимости от целевого назначения курса. Те или иные параметры экспертизы необходимо использовать, в частности, при проведении опросов как преподавателей, так и студентов, обучающихся по сетевым технологиям.

Литература

[1] Преподавание в сети Интернет: учеб. пособие / отв. ред. В. И. Солдаткин. — М. : Высшая школа, 2003. С. 348-388.

[2] Андреев А. А., Солдаткин В. И. Прикладная философия открытого образования: педагогический аспект. — М. : МГОПУ, 2002. а 94-95.

[3] Панасюк В. П. Системное управление качеством образования в школе. — СПб. : РГПУ им. А. И. Герцена, 2000.

[4] Управление качеством образования / под ред. М. М. Поташника. — М. : Педагогическое общество России, 2000.

[5] Бубнов Г. Г., Никульчев Е. В., Плужник Е. В. Опыт внедрения инновационных информационных технологий в образовательную деятельность // Высшее образование в России. 2015. № 1. С. 159-161.

[6] Солдаткин В. И., Бубнов Г. Г., Плужник Е. В. Взгляд на тенденции развития электронного обучения в России // Образовательная среда сегодня и завтра. Сб. науч. трудов IX Международной науч.-практ. конф. — М. : МТИ, 2014. С. 96-108.

[7] Osipov I. V., Nikulchev E., Volinsky A. A., Prasikova A. Y. Study of gamification effectiveness in online e-learning systems // International Journal of Advanced Computer Science and Applications. 2015. Vol. 6. No. 2. P. 71-77.

[8] Основы открытого образования. Т. 2. / отв. ред. В. И. Солдаткин. — М. : НИИЦ РАО, 2002. С. 283-286.

Авторы :

Григорий Георгиевич Бубнов — доктор экономических наук, профессор, ректор, Московский технологический институт; директор Высшей школы системного инжиниринга, Московский физико-технический институт (государственный университет)

Евгений Владимирович Плужник — первый проректор, Московский технологический институт

Василий Иванович Солдаткин — доктор философских наук, профессор, первый вице-президент, директор центра научных исследований, Московский технологический институт

Criteria of quality assessment in e-learning system

Gregory G. Bubnov, Evgeniy V. Pluzhnik, Vasiliy I. Soldatkin

Moscow Technological Institute 38A, Leninskiy pr., Moscow, Russia, 119334

e-mail: rector@mti.edu.ru

Abstract. In the e-learning system, along with the general approaches to quality assessment, a great importance is attached to the design methodology of means of information training technologies. Quality criteria of e-learning training and study course are formulated in the article. An analysis of international experience in evaluation of materials based on the survey among students at the graduation is carried out.

Key words: questionnaires, distance learning, quality, education quality criteria, training e-course, e-learning.

References

[1] Soldatkin V. I. (Ed.) (2003) Prepodavanie v seti Internet. Moscow, pp. 348-388. [In Rus]

[2] Andreev A. A., Soldatkin V. I. (2002) Prikladnaja filosofija otkrytogo obrazovanija: pedago-gicheskij aspekt. Moscow, pp. 94-95. [In Rus]

[3] Panasjuk V. P. (2000) Sistemnoe upravlenie kachestvom obrazovanija v shkole. Sankt-Peterburg. [In Rus]

[4] Upravlenie kachestvom obrazovanija / pod red. M. M. Potashnika. — M. : Pedagogiche-skoe obshhestvo Rossii, 2000. [In Rus]

[5] Bubnov G. G. at al. (2015) Vysshee obrazovanie v Rossii, 1:159-161. [In Rus]

[6] Soldatkin V. I. at al. (2014) Vzgljad na tendencii razvitija jelektronnogo obuchenija v Rossii. In Proc. 9 Intern. conf Obrazovatel'naja sreda segodnja i zavtra. Moscow, pp. 96-108. [In Rus]

[7] Osipov I. V., Nikulchev E., Volinsky A. A., Prasikova A. Y. (2015) International Journal of Advanced Computer Science and Applications, 6(2): 71-77.

[8] Soldatkin V. I. (Ed.) (2002) Osnovy otkrytogo obrazovanija. Moscow, vol. 2, pp. 283-286. [In Rus]