CC BY
60
Г.В. Курицына, ст. преподаватель, Н.Д. Чикова, ст. преподаватель, кафедра математики и информатики, Нижегородский государственный лингвистический университет им. Н.А. Добролюбова, г. Нижний Новгород, Россия, kgs20@yandex.ru
ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНАЯ АПРОБАЦИЯ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ВУЗЕ
Актуальность исследования определяется необходимостью инновационных решений в системе вузовского образования, связанных с повышением качества и применением новых форм обучения. В статье изложен ход и представлены результаты эксперимента по созданию и внедрению универсальной системы качества дистанционного обучения в вузе на примере Нижегородского государственного лингвистического университета. Процесс развития дистанционного обучения сопровождается рядом противоречий. С одной стороны, использование дистанционных образовательных технологий делает получение высшего образования более доступным, а с другой, недостаточная разработанность критериев оценки качества приводит к снижению уровня подготовки студентов. Имеющиеся на сегодняшний день технологии оценки не отвечают современным требованиям компетентностного подхода к подготовке специалиста. В ходе эксперимента проверена эффективность технологии реализации оценки качества дистанционного обучения в вузе, в основе которой лежит пошаговый контроль формирования компетенций, использование уровневых заданий, разработанных по принципам таксономии Б. Блума. Для обработки первичных данных применены методы математической статистики, выбор которых обусловлен небольшим количеством студентов в группах, что является спецификой организации процесса обучения в лингвистическом университете. Получено эмпирическое подтверждение того, что разработанная технология является эффективным средством оценки качества дистанционного обучения, так как позволяет получать достоверные данные, дает возможность обеспечивать непрерывность процесса совершенствования качества обучения. Необходимость разработки содержательной базы и технологии оценки качества дистанционного обучения в вузе обусловлена современной потребностью в развитии качественного дистанционного обучения, направленного на подготовку конкурентоспособных специалистов. Ключевые слова: дистанционное обучение, качество обучения, оценка качества дистанционного обучения, таксономия, инструментарий оценивания, статистические методы обработки результатов, эксперимент.
Качественное образование на сегодняшний день является основой профессионального успеха отдельного человека и залогом стабильного развития общества. Использование дистанционных образовательных технологий (ДОТ) помогает решить одну из важнейших современных задач, стоящих перед образовательной сферой, — предоставление гражданам равных возможностей получения образования любого уровня независимо от места проживания, финансовых средств, физических ограничений. Тем
не менее при всей востребованности данной формы обучения недостаточно четко определены требования к критериям качества на разных уровнях обучения, отсутствуют четкие рекомендации по созданию содержательной базы оценивания и контроля. Имеющиеся технологии оценки не отвечают современным требованиям компетентностно-го подхода к подготовке специалиста.
Вопросы повышения качества и эффективности дистанционного обучения раскрываются в работах Р. Аткинсона
ДИСКУССИЯ 4
журнал научных публикаций Ц
и Д. Грина, Дж. Даниэля, Б.Г. Дейла, Р. Льюиса и К. Макбиса, А. Макилроя, Д. Мичема и Ф. Ноуенса, Дж. Оукланда и Р. Робинсона, Р. Уолкера и др. Несмотря на некоторую разницу формулировок, по мнению ученых, процесс дистанционного обучения должен быть индивидуально направленным и опираться на современные информационные технологии, методы математического моделирования.
Технологизация обучения и контроля в условиях дистанционного обучения неизбежно вызвала выработку определенных параметров и способов измерения результатов обучения, связанных с квалиметрическим подходом. Основой современной контрольно-оценочной системы у нас в стране стали работы В.С. Аванесова, Т.И. Батуриной, В.А. Болотова, С.И. Высоцкой, Н.Ф. Ефремовой, М.И. Зарецкого, В.А. Качалова, Н.А. Кулемина, А.Н. Майорова, А.И. Су-бетто, Г.К. Селевко, А.О. Татура, В.А. Хлебникова, М.Б. Челышковой, В.Д. Шадрико-ва, А.Г. Шмелева и др. Процессы педагогических измерений в работах этих ученых представляются последовательностью действий, к которым относятся качественное описание предмета измерения, разработка измерителей и выбор соответствующих шкал, математико-статистическая обработка первичных результатов, систематизация окончательных данных и интерпретация их в виде матриц, таблиц и графиков.
В Нижегородском государственном лингвистическом университете им. Н.А. Добролюбова (далее — НГЛУ) дистанционные образовательные технологии стали внедряться с 2008 года во всех формах обучения: очной, заочной и очно-заочной. Параллельно с созданием дистанционных курсов проводилась разработка модели оценки качества дистанционного обучения и опытно-экспериментальная проверка ее эффективности. В эксперименте приняли участие более 500 студен- =
тов и 45 преподавателей разных дисциплин. Учебные курсы разрабатывались по методикам и рекомендациям известных ученых и специалистов в области дистанционного
При всей востребованности дистанционной формы обучения недостаточно четко определены требования к критериям качества на разных уровнях обучения, отсутствуют четкие рекомендации по созданию содержательной базы оценивания и контроля.
обучения. В задачи эксперимента входили разработка критериальной базы оценки, создание банка заданий по различным дисциплинам, разработка рекомендаций для преподавателей по использованию технологии оценки в своей преподавательской практике.
При создании системы оценки качества дистанционного обучения мы остановились на анализе тех педагогических подходов, которые в наибольшей мере соответствуют созданию универсальной системы оценивания. Это компетентностный, квалиметриче-ский, информационный и индивидуальный подходы. Идею синтеза подходов к образованию можно считать одной из основных идей дистанционного обучения1.
Компетентностный подход позволил создать практико-ориентированные методики формирования компетенции. Для детализации формируемой способности разработаны технологические карты ком-петенций2. Компетенция рассматривается в виде уровневой структуры. Каждый уровень характеризуется определенными достижениями студента. В ходе эксперимента разработана технология реализации оценки качества обучения, в основе которой лежит пошаговый контроль формирования компетенций.
В создании критериальной базы оценки и банка заданий использован таксономический подход Б. Блума, позволяющий определить уровни познавательных целей обучения и структурировать систему зада-ний3. Таксономия, предложенная группой ученых под руководством Б. Блума в 50-х годах прошлого столетия, несмотря на то что = неоднократно подвергалась критике, по мнению современных исследователей, является одной из самых популярных систематизаций учебных целей, так как наиболее полно охватывает различные области учебной деятельности: когнитивную (познавательную), аффективную, психомоторную4.
На организованных в НГЛУ курсах повышения квалификации преподавателей разрабатывались тестовые задания, соответ-
дискуссия
журнал научных публикаций
ствующие трем начальным уровням таксономии (знание, понимание, применение), проверяемые автоматически, и задания творческого характера, соответствующие трем последним уровням (анализ, синтез, оценка), которые проверяются преподавателем.
Поскольку взаимодействие участников процесса обучения при дистанционной форме происходит опосредованно, с использованием телекоммуникационных технологий, в НГЛУ для создания виртуальной обучающей среды выбрана современная платформа дистанционного обучения Moodle, имеющая богатый инструментарий для создания тестовых заданий открытого и закрытого типа, проведения семинаров в режиме онлайн и оффлайн и другие ресурсы электронной обучающей среды. Были установлены критерии оценки, по которым можно судить о достижении результата дистанционного обучения: полнота ответа, самостоятельность, оригинальность решения, активность при выполнении групповых заданий и т. п.
Целью педагогического эксперимента является эмпирическое подтверждение того, что предложенная технология оценки является более эффективной, чем применение традиционных методик, на примере от-
Сложившаяся в практике вузов оценка дистанционного обучения ориентирована в основном на оценку конечного результата тогда как развивающий эффект обучения остается неопределенным.
дельно взятой математической дисциплины «Линейная алгебра». Сложившаяся в практике вузов оценка дистанционного обучения ориентирована в основном на оценку конечного результата, тогда как развивающий эффект обучения остается неопределенным. Можно отметить субъективность трактовки результатов обучения, чрезмерную склонность к применению тесто -вых технологий, слабую рефлексию результатов со стороны преподавателей, что в целом снижает качество дистанционного обучения.
В эксперименте участвовали две группы, первоначально совпадающие по своим характеристикам. В экспериментальную и контрольную группу вошли студенты первого курса направления подготовки «Экономика», обучающиеся с применением ДОТ. Эксперимент длился в течение семестра. В контрольной группе оценка результатов проходила по традиционной методике. Инструментарием оценки служили обычные самостоятельные и контрольные работы, тестовые задания, выявляющие, как правило, три первых уровня глубины охвата изучаемой темы: знание, понимание, применение. Для оценки результатов проводилось рубежное и итоговое тестирование. По результатам рубежного тестирования
ДИСКУССИЯ 4
журнал научных публикаций Ц
Таблица 1
Результаты измерений уровня знаний в контрольной и экспериментальной группах
до и после эксперимента
Контрольная группа Экспериментальная группа
До После До После
Балашов Павел 17 13 Родионова Юлия 17 18
Зобнина Анастасия 15 15 Алюкова Алена 17 15
Раева Олеся 4 2 Осокина Ксения 12 16
Усова Светлана 9 10 Енцова Марина 14 18
ХмыловаАлександра 15 13 Журавлев Артем 3 14
Бучельников Иван 17 18 Артамонова Татьяна 12 14
Осипова Ксения 14 13 Дремлюк Юлия 10 15
Гурьева Вера 7 7 Бусыгина Ольга 13 10
Томилина Наталья 16 18 Изосимова Дарья 15 19
Пода Жанна 5 4 Немкова Ольга 8 17
студенты допускались к изучению следующей темы дисциплины. В экспериментальной группе студенты выполняли уровневые задания, разработанные по принципам таксономии Б. Блума, охватывающие шесть уровней глубины освоения. По каждому уровню выполнялось 3—4 задания. В процессе изучения темы проводилось промежуточное оценивание результатов, позволяющее учитывать индивидуальные достижения студентов. Был расширен инструментарий оценивания: студенты участвовали в веби-наре, обсуждали собственные достижения и давали оценку работам одногруппников, участвовали в групповом проекте. Для промежуточного оценивания использовались тестовые задания и электронная обучающая лекция, позволяющая проводить самооценку при изучении темы. Результаты самооценки давали преподавателю информацию для рефлексии результатов и своевременной корректировки процесса обучения.
Проведем два сравнения и покажем, что при первом сравнении (до начала педагогического эксперимента) характеристики экспериментальной и контрольной группы совпадают, а при втором (после окончания эксперимента) — характеристики = экспериментальной группы превосходят характеристики контрольной группы (характеристикой обучающегося — признаком — является число правильно решенных им за-
Для наибольшей эффективности оценки инструментарий оценивания должен быть разнообразным и включать в себя такие ресурсы платформы дистанционного обучения, как вебинары, электронные обучающие лекции, тестовые задания и прочие.
дач). Конечно, говорить о совпадении или различии характеристик экспериментальной и контрольной групп можно лишь в статистическом смысле. Для того чтобы выяснить, являются ли совпадения или различия случайными, используем статистический метод Вилкоксона выбор которого обусловлен тем, что данные получены в результате измерений в шкале отношений, малым объемом выборок, а также их независимостью.
Экспериментальная и контрольная группы включают 20 человек (объем каждой выборки равен 10). Цель измерения заключается в определении уровня знаний путем проведения теста, включающего 20 заданий, составленных по шести уровням усвоения. Результаты измерений уровня знаний в контрольной и экспериментальной группах до и после эксперимента приведены в таблице 1.
По данным таблицы 1, проверим две гипотезы. Первая гипотеза: характеристики экспериментальной и контрольной групп до эксперимента совпадают. Если данная гипотеза отклоняется, то принимается конкурирующая гипотеза: характеристики экспериментальной и контрольной групп до эксперимента считаются различными.
Вторая гипотеза: характеристики экспериментальной и контрольной групп после эксперимента совпадают. Если она отклоняется, то принимается конкурирующая ги-
дискуссия
журнал научных публикаций
Таблица 2
Вариационный ряд с порядковыми номерами до эксперимента
n 1 2 3 4 5 6 7 8 9 10 11,5 11,5 14 14 14 15 8, 5 18.5 8, 5 8, 5
x 3 4 5 7 8 9 10 12 12 13 14 14 15 15 15 16 17 17 17 17
Таблица 3
Вариационный ряд с порядковыми номерами после эксперимента
n 1 2 3 4,5 4,5 6 7 8 9 10 12 12 12 14 15 17,5 17,5 17,5 17,5 19
y 2 4 7 10 10 13 13 13 14 14 15 15 15 16 17 18 18 18 18 19
потеза: характеристики экспериментальной группы после эксперимента лучше (выше) характеристик контрольной группы после эксперимента.
Установление совпадения характеристик двух групп до эксперимента проведем с применением статистического критерия Вилкок-сона. Все таблицы и диаграммы экспортируются из компьютерных программ Microsoft Excel. Так как данный статистический критерий не реализован в Microsoft Excel 10, расчеты эмпирических значений критерия проведем вручную, используя компьютер или калькулятор, для получения описательной статистики и автоматизации расчетов.
Расположим варианты обеих выборок в виде одного вариационного ряда и проведем нумерацию по способу, описанному в книге В.Г. Гмурмана5. Вариационный ряд с порядковыми номерами до эксперимента представлен в табл. 2.
На основании информации о результатах наблюдений (характеристиках членов экспериментальной и контрольной группы до эксперимента) вычислим эмпирическое значение критерия W . Это число срав-
г г эмп г
ним с известным (заданным таблично) эталонным числом, называемым критическим значением критерия (в нашем случае это
не одно, а два значения: нижняя и верхняя критические точки w , w )6. Крити-
г нижн.кр. верхн.кр.' г
ческие значения берем для уровня значимости а = 0,05, это значит, допускается не более чем 5% возможности ошибки7.
Согласно критерию Вилкоксона, если w < Ж < w , то принимается пер-
нижн.кр. эмп верхн.кр.' г г
вая гипотеза.
Получили 78 < 106,5 < 132, следовательно, гипотеза о совпадении характеристик контрольной и экспериментальной групп до начала эксперимента принимается на уровне значимости 0,05.
Проверим однородность контрольной и экспериментальной групп после эксперимента по тому же критерию. Вариационный ряд с порядковыми номерами после эксперимента отражен в табл. 3.
Получили Ж = 78,5,
эмп ' '
w (0,05,10,10) = 82,
нижн.кр.
w = 128.
верхн.кр.
Так как Ж < w , то данную гипо-
эмп верхн.кр.'
тезу отвергаем. Это значит, что конкурирующая гипотеза (характеристики контрольной группы уступают характеристикам экспериментальной группы после окончания эксперимента) верна на 95% .
Следовательно, можно сделать вывод: положительный эффект изменений обуслов-
Таблица 4
Описательная статистика числа правильно решенных задач в контрольной группе после эксперимента
Среднее 11,3
Медиана 13
Мода 13
Стандартное отклонение 5,49848464
Дисперсия выборки 30,23333333
Интервал 16
Минимум 2
Максимум 18
Сумма 113
Счет 10
Таблица 5
Описательная статистика числа правильно решенных задач в экспериментальной группе после эксперимента
Среднее 15,6
Медиана 15,5
Мода 18
Стандартное отклонение 2,633122354
Дисперсия выборки 6,933333333
Интервал 9
Минимум 10
Максимум 19
Сумма 156
Счет 10
лен применением экспериментальной методики обучения.
На завершающем этапе подтвердим наши выводы показателями описательной статистики числа правильно решенных задач в контрольной группе после окончания эксперимента, которые представлены в табл. 4, и показателями описательной статистики числа правильно решенных задач в экспериментальной группе после окончания эксперимента в табл. 5.
Данные, полученные в таблице 4 и таблице 5, показали, что в конце эксперимента уровень знаний экспериментальной группы выше уровня знаний контрольной группы. Об этом свидетельствуют следующие характеристики: среднее число правильно решенных задач в экспериментальной группе — 15,6, в контрольной — 11,3; мода (число правильно решенных задач, имеющее наибольшую вероятность) в экспериментальной группе равна 18, в контрольной — 13; выборочная дисперсия (разброс значений относительно среднего числа правильно решенных задач) в экспериментальной группе равна 6,9, в контрольной — 30,2; интервал (разница между максимальным и минимальным значениями) в экспериментальной группе — 9, в контрольной — 16.
Полученные данные подтверждают эффективность разработанной технологии и возможность ее применения для оценки качества дистанционного обучения. Как отмечают преподаватели, участвующие в эксперименте, принципы таксономии Б. Блума и разработанные рекомендации по ее применению помогают педагогу найти подходы к составлению творческих заданий, упрощают создание тестовых заданий.
Таким образом, конкретизация целей упрощает работу преподавателя дистанционного курса, позволяя строить учебный процесс как пошаговую отработку его элементов. Система оценки качества дистанционного обучения должна опираться на результаты текущего контроля, дающего возможность своевременно корректировать процесс обучения. Для наибольшей эффективности оценки инструментарий оценивания должен быть разнообразным и включать в себя такие ресурсы платформы дистанционного обучения, как вебинары, электронные обучающие лекции, тестовые задания и пр. Методы математического моделирования, статистической обработки результатов и последующая интерпретация позволяют получать точные и достоверные результаты оценки обучения.
Литература
1. Щенников С.А. Открытое дистанционное образование. М.: Наука, 2002. С. 527.
2. Курицына Г.В. Квалиметрический подход в системе педагогического контроля результатов дистанционного обучения студентов вуза // В мире научных открытий. 2013. № 11.1(47). С. 182-203.
3. Bloom, B.S. (1975) Taxonomy of Educational Objectives, Book 1 Cognitive Domain. Longman Publishing.
4. Чошанов М.А. Инженерия обучающих технологий. 2-е изд. М.: БИНОМ. Лаборатория знаний, 2013. С. 239.
5. Гмурман В.Г. Теория вероятностей и математическая статистика: учеб.пособие для вузов. 9-е изд., стер. М.: Высш. шк., 2003. С. 479.
6. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983. С. 416.
7. Новиков Д.А. Статистические методы в педагогических исследованиях (типовые случаи). М.: МЗ-Пресс, 2004. С. 67.
TESTING-EXPERIMENTAL APPROBATION OF QUALITY EVALUATION SYSTEM OF REMOTE EDUCATION IN UNIVERSITY
G.V. Kuritsyna, senior lecturer, N.D. Chikova, senior lecturer, The department of mathematics and informatics, Linguistics University of Nizhny Novgorod, Nizhny Novgorod, Russia, kgs20@yandex.ru
The urgency of the research is defined by the necessity of innovative solutions in the system of university education, connected with students' education quality growth and application of new educational forms. This article contains the process and results of the experiment of creation and introduction of universal remote education quality system by the example of Linguistics University of Nizhny Novgorod. The remote education development process is accompanied by some contradictions. On the one hand an application of remote educational technologies makes higher educational available, but on the other hand insufficient development of marks' criteria leads to decrease of quality. The today technologies of marks do not face the modern requirements of competence approach to specialists' training. During the experiment the technology's efficiency was checked; in the base of this technology there is a step-by-step control of competences' formation, application of level exercises, developed on the B. Bloom's taxonomy principles. For processing of initial data the methods of mathematical statistics were used, the choice of the methods is conditioned by small quantity of students in groups, what is a specificity of educational process in linguistic universities. There is an empirical confirmation that the developed technology is an efficient mean of remote education quality evaluation, because it allows getting reliable data, gives an opportunity to support continuing process of education's quality perfection. The necessity of development of content base and remote education quality evaluation is conditioned by the modern requirement in high quality remote education development aimed at training of competitive specialists. Key words: distance learning, quality learning, quality assessment of distance learning, taxonomy, evaluation tools, statistical methods of data processing, experiment.
References
1. Shchennikov S.A. Otkrytoe distantsionnoe obrazovanie [Open distance education]. Moscow, Nauka Publ., 2002. 527 p.
2. Kuritsyna G.V. Kvalimetricheskii podkhod v sisteme pedagogicheskogo kontrolia rezul'tatov distantsionnogo obucheniia studentov vuza [Qualitative approach in the pedagogical control of the results of distance learning students of the University]. Vmire nauchnykh otkrytii — In the world of scientific discoveries, 2013, no. 11.1(47), pp. 182-203.
3. Bloom, B.S. (1975) Taxonomy of Educational Objectives, Book 1 Cognitive Domain. LongmanPublishing.
4. Choshanov M.A. Inzheneriia obuchaiushchikh tekh-nologii [Engineering learning technologies]. Mos-
cow, BINOM. Laboratoriia znanii Publ., 2013. 239 p.
5. Gmurman V.G. Teoriia veroiatnostei i matematiches-kaia statistika: Ucheb.posobie dlia vuzov [Probability theory and mathematical statistics: Textbook.manual for higher educational institutions]. Moscow, Vyssh. shk. Publ., 2003. 479 p.
6. Bol'shev L.N., Smirnov N.V. Tablitsy matematiches-koistatistiki [Tables of mathematical statistics]. Moscow, Nauka Publ., 1983. 416 p.
7. Novikov D.A. Statisticheskie metody vpedagogicheskikh issledovaniiakh (tipovye sluchai) [Statistical methods in educational research (typical cases)]. Moscow, MZ-Press Publ., 2004. 67 p.
