CC BY
22
науки Российской Федерации от 16.12.2009 № ИК-1766/03 во исполнение поручения Президента Российской Федерации от 31.10.2009 № ПР-2920 [Электронный ресурс]/Электронная библиотека «КнигаФонд».-[Б. м.], 2008-2010.-Режим доступа: http://www.knigafund.ru/docs/ob_obespechenii_ dostupom_k_ebs.pdf.
11. Конвенция Совета Европы о защите личности в связи с автоматической обработкой персональных данных от 28 января 1981 г с изменениями 1999 г. [Электронный ресурс]//Защита информации открытого доступа: [сайт]/Компания «Информзащита».-М., 1995-2010.-Режим доступа: http://www.zki.infosec.ru/ law/personal/doc/137/.
12. Заявление ИФЛА о доступе к информации, соотносимой с личностью, в архивных записях [Текст]// Новости Международной федерации библиотечных ассоциаций и учреждений.-2009.-№ 3(78).-С. 12-13.
13. О некоторых вопросах, возникающих в связи с введением в действие части четвертой Гражданского
кодекса Российской Федерации [Электронный ресурс]: постановление Пленума Верховного Суда Рос. Федерации и Пленума Высшего Арбитражного Суда Рос. Федерации от 26.03.2009 № 5/29//Информационно-правовой портал «Гарант».-Режим доступа: http:// www.garant.ru/hotlaw/doc/135099.htm.
14. Об архивном деле в Российской Федерации [Электронный ресурс]: федеральный закон от 22.102004 № 125-ФЗ//Информационно-правовая система «Консультант Плюс».-Режим доступа: http://base.consultant. ru/cons/cgi/onlme.cgi?req=doc;base=LAW;n=76997.
15. Об обязательном экземпляре документов [Электронный ресурс]: федеральный закон от 29.12.1996 № 77-ФЗ://Информационно-правовая система «Консультант Плюс». -Режим доступа: http://base.consultant.ru/ cons/cgi/online.cgi?req=doc;base=LAW;n=78626.
16. Материалы XV Конференции РБА [Электронный ресурс]//РБА: [сайт]/Российская библиотечная ассоциация.-[СПб.], 2005-2010.-Режим доступа: http://www.rba.ru/conference/tomsk/programm.pdf.
УДК 004.942
А.Д. Тазетдинов
О РЕЗУЛЬТАТАХ ПРИМЕНЕНИЯ МАТЕМАТИЧЕСКОМ МОДЕЛИ ПРОЦЕССА УСВОЕНИЯ ЗНАНИЙ В ЕСТЕСТВЕННО-ЯЗЫКОВОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ
Необходимость проверки обоснованности научных положений, выводов и рекомендаций, выдвинутых в работах [1-4], и связанных с разработкой математической модели усвоения знаний, требовала проведения эксперимента. Цель исследования - проблема повышения качества обучения в современных условиях интенсификации обучения, которая, по мнению автора, может быть решена за счет внедрения в учебный процесс новейших компьютерных технологий обучения.
Эксперимент проводился с применением специально разработанного естественно-языкового модуля для компьютерной обучающей среды Moodle [5], использующего в своей работе созданные математические модели. Модуль позволяет имитировать наиболее эффективный на сегодняшний день механизм личностно-ориентированного диалогового репетиторского обучения.
Методика проведения и результаты эксперимента
Посредством сравнения оценок, выставленных преподавателями студентам контрольной и экспериментальной групп, осуществлялась проверка следующих гипотез:
Н0 - уровень понимания учебного материала (УМ) студентами стохастически (вероятностно) зависит от их уровня обучаемости, т. е. естественно-языковая обучающая система не оказывает существенного влияния на уровень понимания УМ;
Н - различия в уровне понимания УМ между обоими распределениями достаточно значительны и связаны с использованием естественноязыковой обучающей системы.
Эксперимент проводился на базе Международного банковского института в Санкт-Петербурге
в 2008 г. [6]. Из студентов первого курса были организованы две относительно равные по уровню знаний выборки по 40 человек. Обе группы, контрольная и экспериментальная, изучали информатику согласно календарно-тематическому плану по методике, включающей в себя, кроме лекционных и практических занятий, использование обучающей среды Moodle и электронных учебно-методических комплексов. В случае необходимости студенты как экспериментальной, так и контрольной группы могли обратиться за помощью к преподавателю или коллегам по группе посредством чата, форума или системы электронных сообщений. В качестве самостоятельной работы на этапе запоминания и повторения учебного материала экспериментальной группе было предложено использовать естественно-языковую обучающую систему. Для проведения эксперимента были специально подготовлены 140 обучающих диалогов, которые объединили в наборы по пять диалогов. Наборы разделили на три категории по уровням сложности. Студенты экспериментальной группы должны были набрать максимальный балл на каждом уровне сложности. Сколько раз нужно пройти тот или иной диалог для понимания учебного материала, определялось самим студентом. Время прохождения диалога также не ограничивалось. Такой механизм проведения эксперимента должен был переключить студентов с пассивного восприятия информации к ее активному переосмыслению.
Продолжительность эксперимента составляла один семестр. Оценивание знаний студентов до и после эксперимента осуществлялось на основании обезличенных письменных работ. Для того чтобы преподаватели, оценивающие работы, не знали, какому студенту принадлежит конкретная работа, каждой работе случайным образом присваивался идентификационный номер. Соотнесение номеров с группами проводилось после оценивания всех работ. Уровень знаний оценивался тремя преподавателями в контрольной и экспериментальной группах до и после проведения эксперимента рейтинговым методом по 100-балльной шкале. Усредненный результат подсчитывался по формуле:
n
M(k ) = -И—, n
где k - студент; n - количество преподавателей
(п = 3); ni е 0,1 - оценка, выставленная г-м преподавателем.
Сравнение оценок, выставленных преподавателями, осуществлялось с использованием критериев Стьюдента и %2 (хи-квадрат). Для контроля результатов было решено выполнить дополнительную проверку с применением непараметрического критерия Вилкоксона-Манна-Уитни. Проверка гипотезы о нормальном распределении выборок выполнялась с применением критерия Пирсона. Все расчеты проводились для уровня значимости а = 0,05, т. е. с вероятностью ошибки равной 5 %. Распределение оценок в обеих группах до эксперимента показано на рис. 1. На графике видно, что уровни знаний в обоих группах достаточно близки. Расчеты статистических критериев ¿-критерия Стьюдента и %2 показали, что эмпирические значения критериев меньше их табличных значений ? < ? (0,34 < 1,99) и
эмп кр 4 ' ' '
Х2эмп < х2кр (1,14 < 7,81). Следовательно, выборка произведена правильно, обе группы принадлежат одной генеральной совокупности и можно проводить эксперимент.
После окончания эксперимента преподавателями была выполнена повторная проверка уровня знаний студентов контрольной и экспериментальной групп. Оценки распределились следующим образом (рис. 2).
Результатирующие данные выборок были сгруппированы в статистические ряды, состоящие из четырех столбцов (категорий оценок) (рис. 3).
После проведения эксперимента произошло перераспределение оценок из категории «удовлетворительно» в категории «хорошо» и «отлично». Причем в экспериментальной группе этот сдвиг выражен сильнее. Сравнивая полученное в эксперименте значение ? с табличным значением с учетом степеней свободы, получаем ? > ?
эмп кр
(16,05 > 2,02). Следовательно, нулевая гипотеза, по которой различия уровня подготовленности обучающихся недостаточно значительны, отклоняется и принимается альтернативная, согласно которой различия между обоими распределениями достаточно значительны и связаны с повышением эффективности учебного процесса за счет использования естественно-языковой обучающей системы. Зная, что закон распределения оценок в экспериментальной и контрольных группах нормальный, для дополнительной проверки различия между средними был осуществлен расчет ^-критерия Фишера. Расчеты показали, что
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39
Испытуемые
Рис. 1. Уровень знаний студентов контрольной и экспериментальной групп до эксперимента
(—♦—) эксп. гр.; (-
-) контр. гр.
1 4 7 10 13 16 19 22 25 28 31 34 37 40
Испытуемые
Рис. 2. Уровень знаний студентов контрольной и экспериментальной групп после эксперимента
(—♦—) эксп. гр.; (—■—) контр. гр.
Неуд.
Удовл.
Хорошо
Отлично Оценки
Рис. 3. Распределение студентов по категориям оценок после эксперимента (□) эксп. гр. до экс.; (и) контр, гр. до экс.; (□) эксп. гр. после экс.; (н) контр, гр. после экс.
^эмп > ^ (13,07 > 3,96), следовательно, различие между средними значениями оценок экспериментальной и контрольной групп статистически значимо.
Анализ результатов сдачи сессионных экзаменов за 11 лет
Достоверность вышеописанного эксперимента подтверждается результатами статистического анализа итогов сдачи сессионных экзаменов за одиннадцать лет на факультете заочного обучения Международного банковского института. На этом факультете с 2000 г. для управления самостоятельной подготовкой слушателей используется автоматизированная обучающая среда «ВУОКСа» [7], а с 2005 г. для отдельных групп дисциплин и естественно-языковая обучающая система [5]. Для сравнительного анализа были взяты две группы дисциплин, изучаемые слушателями факультета в рамках учебных программ: математические и информационные. Первая группа - это традиционные математические дисциплины (линейная алгебра и геометрия, теория вероятностей и математическая статистика), где естественно-языковая обучающая система в учебном процессе никогда не использовалась. Вторая - это информационные дисциплины (информатика, информационные системы в экономике, информационные технологии в экономике
и управлении), где в дополнение к обучающей среде «ВУОКСа», начиная с 2005 г. используется естественно-языковая обучающая система.
Возможность проведения сравнительного анализа средних показателей оценок по годам обучения для разных групп дисциплин основывался на том, что эти дисциплины сдавались одними и теми же слушателями, и при прочих равных условиях общая динамика распределения оценок по обеим группам дисциплин должна была быть схожа. Эта закономерность подтверждается с помощью анализа статистики сдачи сессионных экзаменов студентами I курса факультета очного обучения МБИ по некоторым дисциплинам (табл. 1). Пронормировав данные таблицы для каждой из дисциплин по их среднему значению за весь период наблюдения, были построены графики распределения средних значений оценок по годам обучения (рис. 4).
На рисунке видно, что конфигурации графиков достаточно схожи. То есть при неизменности условий обучения средний уровень знаний, показанный при сдаче экзаменов одними и теми же студентами по разным дисциплинам, зависит, в основном, от года набора, а разница в показателях средних для каждой из дисциплин - от особенностей (сложности) самой дисциплины. Следовательно, несмотря на разницу средних значений оценок по наблюдаемым годам, средние значения
Таблица 1
Результаты сдачи сессионных экзаменов по некоторым дисциплинам студентами I курса факультета очного обучения
Год Дисциплины Общее количество наблюдений
Линейная алгебра Математический анализ Экономическая теория Информатика
2001 3,82 3,67 3,89 3,95 712
2002 3,95 3,9 4,08 4,15 816
2003 4,08 3,99 4,15 4,27 928
2004 3,9 3,84 4,09 4,12 1024
2005 3,89 3,71 4,06 4,1 1472
2006 4,12 3,96 4,2 4,23 1056
2007 3,87 3,69 3,94 4,01 1112
2008 3,83 3,65 4,01 4,03 1104
2009 3,9 3,66 4,02 4,07 1128
Общее среднее 3,93 3,79 4,05 4,1 9352
5 1.1 Т
г
О 1,06
к
5
Т
О
5 1.02
т
Р) 0)
3 0,98
о. 0,94
2 О.
2001 2002 2003 2004 2005 2006 2007 2008 2009
Годы наблюдения
Рис. 4. Распределение средних значений оценок сдачи сессионных экзаменов по некоторым дисциплинам студентами I курса факультета очного обучения ( + ) линейная алгебра; ( И ) математический анализ; ( ) экономическая тория; ( )( ) информатика
оценок двух произвольно взятых и относительно равноценных по времени периодов (например, до 2005 г. и с 2005 г., когда начала использоваться естественно-языковая обучающая система) должны быть статистически неразличимы.
В случае, когда в одной группе дисциплин статистически значимых различий в показателях средних нет, а в другой имеются, можно сделать предположение о влиянии на результаты сдачи сессионных экзаменов в этой группе некоторого фактора (в данном случае - естественно-языковой обучающей системы), отсутствующего в альтернативный период времени. Результаты сдачи сес-
сионных экзаменов по годам и категориям оценок для группы математических дисциплин приведены в табл. 2.
С учетом того, что в учебном процессе для этой группы дисциплин естественно-языковая обучающая система никогда не использовалась, предполагается, что если разделить представленную совокупность данных на два периода до 2005 г. и с 2005 г., значения средних за оба периода будут статистически неразличимы.
Полученные результаты расчетов статистических критериев ^-критерия Фишера для однофакторного дисперсионного анализа
Таблица 2
Результаты сдачи сессионных экзаменов по годам и категориям оценок для группы математических дисциплин
Год Количество оценок по категориям Среднее Дисперсия
2 3 4 5
2002 11 49 58 26 3,69 0,73
2003 16 236 189 111 3,72 0,66
2004 27 193 229 97 3,73 0,65
2005 23 180 202 96 3,74 0,67
2006 47 186 232 144 3,78 0,80
2007 53 110 164 99 3,73 0,91
2008 49 195 131 127 3,67 0,92
2009 2 18 14 13 3,81 0,81
Таблица 3
Результаты сдачи сессионных экзаменов по годам и категориям оценок для группы информационных дисциплин
Год Количество оценок по категориям Среднее Дисперсия
2 3 4 5
1999 0 7 10 0 3,59 0,26
2000 8 23 30 22 3,80 0,90
2001 10 30 37 27 3,78 0,89
2002 7 51 73 38 3,84 0,67
2003 17 111 142 101 3,88 0,74
2004 31 138 230 133 3,87 0,73
2005 19 129 231 170 4,01 0,68
2006 13 120 236 207 4,11 0,65
2007 26 115 217 182 4,03 0,74
2008 27 163 265 195 3,97 0,72
2009 0 14 25 31 4,24 0,59
Гэмп < Г (0,25 < 3,84) и ¿-критерия Стьюдента ?эмп < tкр (0,33 < 1,96) позволяют сделать вывод об относительном равенстве способностей и подготовки слушателей в сравниваемые периоды времени и о схожих условиях и методологии обучения. В связи с тем, что особой разницы в уровне подготовки слушателей факультета по математическим дисциплинам в сравниваемых периодах времени не наблюдается, можно предположить, что для тех же самых слушателей при прочих равных условиях аналогичная тенденция в распределении оценок будет прослеживаться и для информационных дисциплин (табл. 3).
Данные для группы информационных дисциплин также были разделены на два периода.
В результате расчеты ^-критерия Фишера для однофакторного дисперсионного анализа показали, что Г > Г (36,1 > 3,84). Аналогичные
' эмп кр 4 ' ' 7
результаты получены и при расчете ¿-критерия Стьюдента ?эмп > ?кр (5,71 > 1,96). Следовательно, различие между средними значениями оценок для группы информационных дисциплин за период до 2005 г. и за период с 2005 г. статистически значимо.
Нормирование данных табл. 2 и табл. 3 по показателю 2004 г. позволяет графически сравнить оба набора данных (рис. 5). В отличие от графиков, приведенных на рис. 4, на представленном
рисунке видно существенное расхождение графиков, начиная с точки 2004 г. Исходя из того, что за весь наблюдаемый период существенных изменений в преподавательском составе и методике преподавания для группы информационных дисциплин не происходило, можно заключить, что увеличение средних значений оценок после 2004 г. связано с внедрением в учебный процесс естественно-языковой обучающей системы.
Закрашенная область (рис. 5) показывает размер этого прироста. Таким образом, гипотеза о том, что использование естественно-языковой обучающей системы в учебном процессе позволяет повысить уровень знаний обучающихся, подтверждается.
Исследование показало, что экспериментальная технология обучения, с применением естественно-языковой обучающей системы вызывает более сильный сдвиг статистических показателей (в сторону повышения), чем стандартная. Отмечается закономерность, заключающаяся в достижении более высокого уровня знаний в экспериментальной группе после проведения эксперимента по сравнению с контрольной. Статистические доказательства этой закономерности были получены путем количественной обработки результатов педагогического эксперимента с использованием статистических методов ¿-критерия
Рис. 5. Распределение средних значений оценок по группе информационных дисциплин до 2005 г и с 2005 г. (—♦—) информационные дисциплины; (—■—) математические дисциплины
Стьюдента, х2 и критерия Вилкоксона-Манна-Уитни. Поскольку после проведения эксперимента для всех проверяемых критериев значение эмпирического показателя критерия было выше его критического значения, можно утверждать, что между результатами проверки уровня знаний в исследуемых группах имеются статистиче-
ски значимые отличия с вероятностью ошибки, равной 5 %. Следовательно, выдвинутая перед исследованием гипотеза о том, что применение естественно-языковой обучающей системы в учебном процессе является эффективным средством повышения уровня понимания и запоминания учебного материала, подтверждается.
СПИСОК ЛИТЕРАТУРЫ
1. Тазетдинов, А.Д. Анализ математических моделей обучения в приложении к компьютерным обучающим системам репетиторского типа [Текст]/А.Д. Та-зетдинов//Научно-технические ведомости СПбГПУ -2008.-№ 3(60).-С. 191-196.
2. Тазетдинов, А. Д. Математическая модель усвоения знаний для компьютерных систем репетиторского типа [Текст]/А.Д. Тазетдинов//Научно-технические ведомости СПбГПУ-2008.-№ 4(62).-С. 134-140.
3. Тазетдинов, А. Д. Об использовании графов понятий для структурирования и управления информацией в автоматизированных обучающих системах [Текст]/А.Д. Тазетдинов//Научно-технические ведомости СПбГПУ-2009.-№ 5(86).-С. 7-12.
4. Тазетдинов, А. Д. Математические модели про-
цесса усвоения знаний в автоматизированных обучающих системах: Монография [Текст]/А.Д. Тазетдинов. -СПб.: ГУАП, 2009.-64 с.
5. Модуль вопросов открытого типа к LMS-системе Moodle: А.С. 11711 ОФАП [Текст]/А.Д. Тазетдинов, А.И Стригун.-№ ГР 50200802191//С6. Алгоритмы и программы.-М.: ВНТИЦ, 2008.
6. Тазетдинов, А. Д. Результаты проверки эффективности репетиторской обучающей системы [Текст]/ А.Д. Тазетдинов, А.И. Стригун//Экономика и управле-ние.-2008.-№ 6(38).-С. 205-210.
7. Система тестирования с использованием свободного ответа: А.С. 4229 ОФАП [Текст]/А.Д. Тазетдинов, А.И Стригун.-№ ГР 50200500081//Сб. Алгоритмы и программы.-М.: ВНТИЦ, 2005.
