Оценка эффективности репетиторских обучающих систем Текст научной статьи по специальности «Науки об образовании»

Оценка эффективности репетиторских обучающих систем

УДК 378.14

А. Д. Тазетдинов

директор Центра информационных технологий АНО ВПО «Международный банковский институт» (Санкт-Петербург), кандидат технических наук

Среди компьютерных автоматизированных обучающих систем (АОС) можно выделить особый класс систем репетиторского типа (РАОС). Их отличие от других АОС определяется, прежде всего, наличием диалоговой формы взаимодействия системы с обучающимся в реальном масштабе времени, когда обратная связь осуществляется не только при контроле, но и в процессе изучения материала.

В настоящее время вместе с интенсификацией образования прослеживается тенденция к снижению уровня восприятия обучаемыми исходной учебной информации. Это происходит, на наш взгляд, по нескольким причинам. Одна из них — понятийно-языковой барьер между обучаемыми и обучающим. Другая также связана с развитием понятийно-категориального аппарата личности и заключается в проблеме правильного понимания смысла учебных текстов. В соответствии с данными научных исследований, у многих студентов не сформированы когнитивные стратегии, отсутствует элементарный опыт работы со смысловой информацией, а иллюзия понимания смысла текста (неосознание непонимания) приводит к тому, что самооценка их деятельности в некоторых случаях в двенадцать раз превышает реальный показатель [1, с. 97], что и обусловливает потребность в создании и развитии репетиторских систем.

РАОС не являются альтернативой традиционным АОС. Они призваны решать частные, тактические задачи по устранению вышеуказанных проблем и могут использоваться как самостоятельно, так и входить в состав традиционных АОС. Целью применения репетиторской системы является поддержка гибкого индивидуализированного обучения, а основная задача состоит в формировании у обучаемого прочного понятийно-смыслового понимания той или иной предметной области.

В процессе создания репетиторской системы необходимо решить ряд проблем технического и психолого-педагогического характера. К первым из них относятся проблемы анализа текста ответов обучающихся и технологии создания вопросно-ответных структур диалогового модуля, позволяющие имитировать в рамках РАОС обучающий диалог на естественном языке и не накладывающие явных ограничений на терминологию и фразеологию ответа обучаемого. Другой проблемой является создание математической модели усвоения знаний, соответствующей технологии усвоения знаний в РАОС. К проблемам психолого-педагогического характера можно отнести проблемы анализа содержания учебной дисциплины

А

v

х —

А М

О

Ö

А

А. И. Стригун о;

заведующий отделом компьютерных ^

интеллектуальных тьюторов АНО ВПО _о

«Международный банковский институт» ^

(Санкт-Петербург)

х

С В

и ее структурирования, а также определения места ^ РАОС в учебном процессе. Возможные решения этих ^ проблем подробно описаны в научной литературе [2, < с. 119-121; 3, с. 292-294; 4; 5, с. 155]. В частности, ^ проблему анализа ответов обучаемого удалось решить путем создания и применения компьютерных интеллектуальных тьюторов (КИТ).

По окончании практических работ по созданию РАОС возникает необходимость в проверке эффективности ее использования с помощью педагогического эксперимента. В качестве проблемы эксперимента рассматривалось повышение уровня понимания учебного материала обучаемыми в современных условиях интенсификации обучения. Данная задача, по мнению авторов, могла быть решена за счет внедрения в учебный процесс новейших компьютерных технологий обучения. Объект, предмет и гипотеза исследования были сформулированы следующим образом:

• объект исследования — автоматизация процесса обучения;

• предмет исследования — репетиторские системы и, в частности, механизм активного повторения учебного материала;

• гипотеза исследования — повышение уровня понимания учебного материала (УМ) и, как следствие, большая эффективность учебного процесса вообще могут быть достигнуты за счет внедрения в учебный процесс репетиторских обучающих систем;

• нулевая гипотеза — применение репетиторских систем в учебном процессе не оказывает существенного влияния на уровень понимания учебного материала обучаемыми.

В соответствии с основными идеями исследования была определена цель эксперимента: проверить на этапе освоения понятийно-смысловой составляющей УМ эффективность разработанной с участием авторов адаптивной информационно-образовательной среды. Педагогический эксперимент проводился на базе Международного банковского института (Санкт-Петербург). Для проведения сравнительного педагогического эксперимента использовалась методика, описанная В. Е. Гмурманом [6, с. 479].

Методика проведения эксперимента

В качестве базовой дисциплины эксперимента была выбрана информатика. Этот предмет изучается студентами всех специальностей первого курса по

Таблица 1

Распределение диалогов и тьюториалов по уровням сложности

Низкий Средний Высокий

Тьюториалы 8 14 6

Диалоги 40 70 30

одинаковой методике (лекции и практические занятия в компьютерных классах). Для эксперимента были сформированы контрольная и экспериментальная группы, изучавшие дисциплину по стандартной методике, согласно календарно-тематическому плану. В качестве самостоятельной работы на этапе запоминания и повторения учебного материала экспериментальной группе было предложено использовать репетиторскую систему. Для этого были специально подготовлены 140 обучающих диалогов, которые объединили в наборы (тьюториалы) по пять диалогов каждый. Тьюториалы разделили на три категории по уровням сложности. В результате на разных уровнях сложности оказалось неравное количество диалогов и тьюториалов (табл. 1).

Студентам экспериментальной группы было предложено постараться набрать максимальный балл на каждом уровне сложности. При ответах на вопросы диалога студентам предоставлялась возможность обращения к электронным учебникам и коллегам по группе посредством чата, форума или системы электронных сообщений. В случае если не удавалось найти правильный ответ на вопрос диалога, студент мог обратиться за помощью к преподавателю. Такой механизм проведения эксперимента должен был переключить студентов с пассивного восприятия информации к ее активному поиску и переосмыслению. Количество обращений и время прохождения тьюто-риала не ограничивалось.

Продолжительность эксперимента составляла один семестр. Уровень знаний оценивался в контрольной и экспериментальной группах до и после проведения эксперимента рейтинговым методом. Оценка объекта производилась путем усреднения оценочных суждений группой экспертов, в данном случае тремя преподавателями. Имея общие критерии оценки в баллах, эксперты независимо друг от друга в устной форме выносили свои суждения, а усредненный результат подсчитывался по формуле:

I».

l(k) =

(1)

где й — студент; п — количество преподавателей (п = 3); п1 е 0,1 — оценка, выставленная ¿-м преподавателем.

Формирование контрольной и экспериментальной группы

Особенностью данного педагогического эксперимента являлось то, что набор на первый курс Международного банковского института не превышает 120-140 человек. Все студенты делятся на шесть или семь групп по 20 человек в соответствии с уровнем знаний, в связи с отсутствием на первом курсе специализации. Из семи групп первого курса для эксперимента были отобраны все нечетные группы. Каждая из них была разделена на две, по возможности равные по уровню знаний студентов, половины. Одна половина

формировала экспериментальную группу, а другая — контрольную. Таким образом, были организованы 2 выборки студентов по 40 человек, в число которых входили по 10 студентов из каждой нечетной группы первого курса.

Для статистического анализа результатов эксперимента использовались программы MS Excel и «Педагогическая статистика» [7].

Определение начального уровня знаний

Если вид распределения или функция распределения выборки известны, то задача оценки различий двух групп независимых наблюдений обычно решается с использованием параметрических критериев статистики: либо критерия Стьюдента если сравнение выборок ведется по средним значениям, либо с использованием критерия Фишера ^), если сравнение выборок ведется по их дисперсиям. Эти методы основываются на предположении о том, что распределение выборок подчиняется нормальному закону распределения. Использование параметрических критериев статистики без предварительной проверки вида распределения может привести к определенным ошибкам в ходе проверки рабочей гипотезы. Поэтому такая проверка была выполнена.

Контроль результатов эксперимента было решено выполнить с помощью критериев Стьюдента и %2. На рис. 1 представлены результаты проверки уровня знаний студентов контрольной и экспериментальной групп. Вместо фамилий, не несущих в данном эксперименте смысловой информации, испытуемым были присвоены порядковые номера, отражающие их ранг в пределах группы. Видно, что графики уровня знаний обеих групп очень близки. Тем не менее, во избежание ошибок при проверке статистической гипотезы о принадлежности обеих выборок одной генеральной совокупности требовалось определить вид их распределения.

Проверка гипотезы о нормальном распределении выборок выполнена с применением критерия Пирсона [6]. В качестве нулевой была выдвинута гипотеза о том, что выборка имеет нормальное распределение: Н0 = {Распределение нормальное}. Так как для вычисления критерия Пирсона выборка должна быть представлена в виде равноотстоящих вариант и соответствующих им частот, исходные данные выборок были сгруппированы в статистические ряды, состоящие из четырех столбцов (категорий).

Каждая категория отражает уровень понимания: «неудовлетворительно» (< 0,25 баллов); «удовлетворительно» (от 0,25 до 0,5 баллов); «хорошо» (от 0,5 до 0,75 баллов); «отлично» (от 0,75 до 1 балла). Количество студентов, соответствующих каждой из категорий, представлено в табл. 2.

В табл. 2 для каждой группы внесены выборочное среднее ^ и выборочное среднее квадратическое отклонение стБ, необходимые для вычисления критерия Пирсона. Эти величины вычислялись по формулам:

_I n

n

_ IIni (xi - Xb)

n -1

(2)

(3)

Вычисление теоретических частот критерия Пирсона производилось по формулам:

« 0,9

н

м

в °'7 §0,6 * 0.5

0,4 0,3 0,2 0,1 0

Л*

—0~ — экспериментальная группа □ — контрольная группа

□ □□

I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I

1 4 7 10 13 16 19 22 25 28 31 34 37 40

Испытуемые (до эксперимента)

Рис. 1. Уровень знаний студентов контрольной и экспериментальной групп до эксперимента

Таблица 2

Распределение студентов по категориям оценок до эксперимента

Интервал (х ¡) 0,25 0,5 0,75 1 хв

Экспериментальная группа (п1) 9 22 9 0 0,5 0,16984156

Контрольная группа (п ¡) 8 23 8 1 0,5125 0,17858059

к <

<

сг

с

>

Таблица 3

Теоретические частоты экспериментальной группы до эксперимента

I х' и = х—ххв 1 ов ф(»г) п' = 58,8784ф(иг)

1 0,25 -1,47196 0,135028169 7,9502433

2 0,5 0 0,39894228 23,4890855

3 0,75 1,47196 0,135028169 7,9502433

4 1 2,94392 0,00523561 0,30826439

Таблица 4

Эмпирические частоты экспериментальной группы до эксперимента

I п п - п (п - П)2 (П - п')2/п'

1 9 7,950243 1,049756702 1,10198913 0,138610743

2 22 23,48909 -1,48908547 2,21737553 0,094400249

3 9 7,950243 1,049756702 1,10198913 0,138610743

4 0 0,308264 -0,30826439 0,09502693 0,308264386

2 40 Хнабл = 0,679886122

п' = ^ -Ф(и,),

в

(4)

где п — объем выборки (сумма всех частот); Ь — разность между двумя соседними вариантами;

и =

■, ф(и) =

,-и2/2

(5)

В результате вычислений для экспериментальной группы получено значение п' = 58,8784ф(и;), а для контрольной п' = 55,9971 ф(и;). Полученный расчет теоретических частот для экспериментальной группы приведен в табл. 3.

Для сравнения эмпирических и теоретических частот с помощью критерия Пирсона была составлена расчетная таблица (табл. 4), по которой находилось наблюдаемое значение критерия:

%2

набл

= 1

(п - п')2

(6)

По таблице критических точек распределения %2, по уровню значимости а = 0,05 и числу степеней свободы, вычисляемых по формуле: й = в - 3, где в — количество категорий в выборке, была найдена критическая точка правосторонней критической области: хКр(0,05; 1) = 3,84. Так как % Набл < % Кр (0,67 < 3,84), гипотеза о нормальном распределении выборки авторами была принята. Аналогичным образом выполнялись расчеты для контрольной группы. Так как XНабл < XКр (0,6 < 3,84), гипотеза о нормальном распределении выборки для контрольной группы также была принята.

Полученные результаты позволили обосновать использование для сравнения этих выборок таких критериев, как ¿-критерий Стьюдента и критерий %2.

п

о

в

Таблица 5

Расчет ¿-критерия Стьюдента для независимых выборок

к <

Параметры Экспериментальная группа Контрольная группа

Среднее 0,37875 0,39025

Дисперсия 0,023139 0,02352

Наблюдения 40 40

Объединенная дисперсия 0,02333

Число степеней свободы 78

¿-статистика 0,33671

¿-критическое 1,990847

Проверка однородности выборки

Следующей задачей статистического анализа, решаемой после определения основных (выборочных) характеристик, является совместный анализ нескольких выборок. Важнейшим вопросом, возникающим при анализе двух выборок, является задача выявления различий между ними. Обычно для этого проводится проверка статистических гипотез о принадлежности обеих выборок одной генеральной совокупности или о равенстве средних. В случае нормального распределения выборок рекомендуют использовать ¿-критерий Стьюдента, осуществляя при этом перепроверку с помощью критерия х2 [8, с. 128], что и было сделано.

На данном этапе исследования были выдвинуты две гипотезы: нулевая гипотеза (Н0), согласно которой различия уровня подготовленности обучающихся недостаточно значительны, и поэтому распределение оценок относится к одной генеральной совокупности, т. е. выборка произведена правильно; и альтернативная гипотеза (Нх), согласно которой различия между обоими распределениями достаточно значительны и связаны с малым объемом выборки.

Статистика ¿-критерия Стьюдента для случая несвязанных, независимых выборок равна:

= х - у

эмп ~ , х-у

(7)

<зх - у — стандартная

где х, у — средние арифметические в эксперимен тальной и контрольной группах ошибка разности средних арифметических

Стандартная ошибка разности средних арифметических ох-у при п1 = п2, где п1 и п2 соответственно величины первой и второй выборки, исчислялась по формуле:

° х-у =

1(х, - х)2 +1(у. - у)2 (п -1) п

(8)

где п — величина выборки.

Подсчет числа степеней свободы осуществлялся по формуле й = 2п - 2. Результаты вычислений занесены в табл.5. Табличное значение ¿кр= 1,99 при уровне значимости 0,05. Сравнивая полученное в эксперименте значение í с табличным значением с учетом степеней свободы, получаем ¿экс < ¿кр (0,34 < 1,99). Это значит, что выборка произведена правильно, обе группы принадлежат одной генеральной совокупности и гипотеза Н0 принимается.

В соответствии с условиями использования критерия х2 подсчет статистики критерия производился по формуле

X2 =

эмп

- п2X,)

X + У

(9)

где п1 и п2 — объемы выборок; С — количество категорий оценок (в данном случае — четыре); , — категория оценок; У1 — количество студентов контрольной группы в ¿-категории; Х, — количество студентов экспериментальной группы в ¿-категории.

В соответствии с условиями применения двустороннего критерия х2 табличное значение вычислялось для уровня значимости а = 0,05 и трех степеней свободы (й = С - 1). В результате получено: х;Эмп = 1,139869281, а хКр = 7,814727764. Согласно правилу принятия решений для критерия х2, полученный результат хЭмп < хКР (1,14 < 7,8) не дает достаточных оснований для отклонения нулевой гипотезы.

Определение уровня знаний после эксперимента

После окончания эксперимента в обеих группах была выполнена повторная проверка уровня знания (понимания понятийно-смысловой составляющей) учебного материала. Полученные данные представлены в графическом виде на рис. 2. Проверка вида распределения подтвердила гипотезу о том, что выборки имеют нормальное распределение.

Чтобы доказать эффективность какого-либо воздействия, необходимо выявить статистически значимую тенденцию в смещении (сдвиге) показателей. Поэтому, согласно рекомендациям [там же], сравнение результатов контрольной и экспериментальной группы осуществлялось с помощью парного двухвыборочного ¿-критерия Стьюдента. В случае связанных выборок с равным числом измерений в каждой можно использовать более простую формулу ¿-критерия Стьюдента. В этом случае вычисление значения í осуществляется по формуле:

3

¿эмп Б3'

(10)

где 31 = х1 - у1 — разности между соответствующими значениями переменной X и переменной У; 3 — среднее этих разностей; Б3 вычисляется по формуле:

Б3 =

132 -

(I з, )2

п (п -1)

(11)

где п — величина выборки.

Одним из результатов теста является совокупная дисперсия (совокупная мера распределения данных

1

п

=s 1,2 s '

5

s 1,0

л к

w

я__

6 °'8

λ

0,6 0,4 0,2 0

--О---экспериментальная группа

□ ü^vys □ —контрольная группа

DDDDn

-Oq

ПЕГ

□ □ С;

î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î î I

1 4 7 10 13 16 19 22 25 28 31 34 37 40

Испытуемые (после эксперимента)

Рис. 2. Отсортированные данные по уровню знаний студентов после эксперимента

Таблица 6

Совокупные данные расчета парного ¿-критерия Стьюдента для сравнения экспериментальной и контрольной групп

к <

< CL

с

>

Параметры Экспериментальная группа Контрольная группа

Среднее 0,7 0,58475

Дисперсия 0,029620513 0,048794808

Наблюдения 40 40

Корреляция Пирсона 0,920224966

Число степеней свободы 39

3 0,11525

Б3 0,014531079

¿-статистика 7,931276379

¿-критическое 2,022690901

вокруг среднего значения), вычисляемая по формуле:

n G, + n Go

(12)

G = niG1 + n2G2 Св n1 + n2 - 2

где n1 и n2 — соответственно величины первой и второй выборки; ст1 и ст2 — дисперсии первой и второй выборки.

Число степеней свободы k определялось по формуле k = n - 1.

На данном этапе эксперимента, как было сказано выше, для формирования доказательной базы выдвинуты две гипотезы. Согласно нулевой гипотезе (Н0), различия уровня подготовленности обучающихся недостаточно значительны, и поэтому распределение оценок относится к одной генеральной совокупности (т. е. применение репетиторских систем в учебном процессе не оказывает существенного влияния на уровень понимания учебного материала). Альтернативная гипотеза (Н1) состояла в том, что различия между обоими распределениями достаточно значительны и связаны с повышением эффективности учебного процесса за счет использования РАОС на основе компьютерных интеллектуальных тьюторов.

Совокупные данные расчета ¿-критерия Стьюдента по экспериментальной и контрольной группам приведены в табл. 6.

Сравнивая полученное в эксперименте значение ¿ с табличным с учетом степеней свободы, получаем ¿эмп > ¿кр (2,6 > 1,99), Следовательно, нулевая гипо-

теза, по которой различия уровня подготовленности обучающихся недостаточно значительны, отклоняется и принимается альтернативная, согласно которой различия между обоими распределениями достаточно значительны и связаны с повышением эффективности учебного процесса за счет использования РАОС.

Перепроверка полученных результатов выполнялась с помощью критерия х2. Данные для расчета критерия представлены в табл. 6 и 7.

В соответствии с условиями использования критерия х2 подсчет статистики критерия производился по формуле (9). В результате были получены следующие значения: х2эмп = 1,139869281; х2кр = 7,814727764. Согласно правилу принятия решений для критерия х2, полученный результат %2мп > хКр (10,98 > 7,8) дает достаточно оснований для отклонения нулевой гипотезы в пользу альтернативной и однозначно подтверждает результаты, полученные с помощью ¿-критерия Стьюдента.

Совокупные данные до и после эксперимента по категориям оценок для обеих групп представлены на рис. 3.

На диаграмме видно, что после проведения эксперимента произошло перераспределение оценок из категории «удовлетворительно» в категории «хорошо» и «отлично». Причем в экспериментальной группе этот сдвиг выражен сильнее. Следовательно, технологии обучения с применением репетиторской системы оказывают большее влияние, чем обучение по стандартной технологии.

к <

<

сг

с

>

Таблица 7

Распределение студентов по категориям оценок после эксперимента

Интервал 0,25 (неуд.) 0,5 (удов.) 0,75 (хор.) 1 (отл.)

Экспериментальная группа 0 5 20 15

Контрольная группа 3 15 13 9

Неудовлетворительно Удовлетворительно

I I — экспериментальная группа до эксперимента I I — контрольная группа до эксперимента И — экспериментальная группа после эксперимента Щ — контрольная группа после эксперимента

Хорошо

Отлично

Оценки

Рис. 3. Распределение студентов по категориям оценок после эксперимента

Выводы

Проведенное нами исследование позволяет сделать вывод о том, что экспериментальная технология вызывает более сильный сдвиг показателей (в сторону повышения) уровня знаний, чем стандартная. Была выявлена закономерность, заключающаяся в достижении более высокого уровня знаний в экспериментальной группе после проведения эксперимента по сравнению с контрольной. Статистические доказательства этой закономерности были получены путем количественной обработки результатов педагогического эксперимента с использованием ¿-критерия Стьюдента и критерия Х2. Поскольку после проведения эксперимента для всех проверяемых критериев значение эмпирического показателя критерия было выше значения его критической точки, можно утверждать, что между результатами проверки уровня знаний в исследуемых группах имеются статистически значимые отличия с вероятностью ошибки, равной 5%. Следовательно, выдвинутая в данном исследовании гипотеза подтверждается.

Анализ полученных в педагогическом эксперименте результатов позволяет говорить о том, что применение в учебном процессе репетиторских систем на основе компьютерных интеллектуальных тьюторов является эффективным средством повышения качества усвоения учебного материала.

Таким образом, доказана эффективность использования в учебном процессе компьютерных репетиторских обучающих систем, что определяется активной ролью обучаемого при изучении УМ. В ходе исследования предложенной технологии обучения были сформулированы следующие рекомендации: • репетиторские системы необходимо применять не только при изучении нового материала, но и при повторении ранее изученного;

• технология обучения с применением репетиторской системы должна сочетаться с традиционными технологиями обучения в силу того, что основное назначение подобных систем состоит в формировании фактуальных знаний понятийно-категориального аппарата и смысловой базы дисциплины. Формирование же специализированных умений и навыков достигается за счет иных форм обучения. Экспериментальное обучение доказало, что предлагаемая технология приводит к повышению качества знаний обучаемых, способствует развитию познавательного интереса, делает обучение более эффективным, а изучение — более доступным.

Литература

1. Позина М. Б. Психология и педагогика: Учеб. пособие / Науч. ред. И. Ф. Неволин. М.: Университет Натальи Нестеровой, 2001.

2. Джалиашвили З. О., Стригун А. И. Анализатор естественно-языковых ответов в АОС // Управляющие системы и машины. 1989. № 5.

3. Стригун А. И. Компьютерные интеллектуальные тьюторы, методология и практика их применения в современных образовательных технологиях // Новые образовательные технологии в вузе: Сборник тезисов докладов. Екатеринбург: ГОУ ВПО УГТГ-УПИ, 2004.

4. Система тестирования с использованием свободного ответа: А. С. 4229 ОФАП / А. И. Стригун, А. Д. Тазетдинов. № ГР 50200500081 // Алгоритмы и программы. М.: ВНТИЦ, 2005.

5. Тазетдинов А. Д. Интерактивные процессы в обучающих системах: методы управления. СПб.: Изд-во Политех. ун-та, 2007.

6. Гмурман В. Е. Теория вероятностей и математическая статистика: Учеб. пособие для вузов. 12-е изд., перераб. М.: Высш. обр., 2008.

7. Компьютерная программа «Статистика в педагогике» http://www.mtas.ru/uploads/stat.zip.

8. Давыдов В. П., Образцов П. И., Уман А. И. Методология и методика психолого-педагогического исследования: Учеб. пособие. М.: Логос, 2006.