CC BY
53
УДК 31116 Е.Н. Клочкова
ВАК 08.00.12 РИНЦ 83.03.29
Методологические подходы к оценке использования информационно-телекоммуникационных технологий в образовательном процессе
В условиях становления новой системы образования, ориентированной на интеграцию в мировое информационно-образовательное пространство, необходимо взвешивать преимущества каждого метода, связанные с ним расходы и требуемые ресурсы. В статье предложены различные методики статистического исследования, позволяющие оценить методы и организационные формы обучения в контексте использования информационно-телекоммуникационных технологий.
Ключевые слова: информационно-телекоммуникационные технологии, образовательные ресурсы, непараметрические методы исследования.
METHODOLOGICAL APPROACHES TO THE ASSESSMENT OF USE OF INFORMATION AND TELECOMMUNICATION TECHNOLOGIES IN EDUCATIONAL PROCESS
In the conditions offormation of the new education system focused on integration into world information and education space it is necessary to weigh advantages of each method, the related expenses and the demanded resources. There are various techniques of statistical research allowing to estimate methods and organizational forms of education in the context of use of information and telecommunication technologies in article.
Keywords: information and telecommunication technologies, educational resources, nonparametric methods of research.
1. Введение
В соответствии с Федеральным законом от 29.12.2012 № 273-ФЗ (ред. от 13.07.2015) «Об образовании в Российской Федерации» особое внимание уделено применению электронного обучения, что открывает вузам новые возможности и перспективы [1]. Кроме того, Законом закреплена не только возможность применения новых технологий, но и обязанность обеспечения доступа к образовательным ресурсам в электронном виде.
В условиях развития информационного общества в образовательную систему все глубже проникает дистанционное, виртуальное обучение. Для успешной социальной и профессиональной адаптации школьник, студент, спе-
циалист в обязательном порядке должны отвечать новым требованиям, которые предъявляет к ним современное общество, компьютеризированное и опутанное сетью Интернет. Но вместе с требованиями это общество предоставляет и массу возможностей для человека, который хочет получать новые знания. Во-первых, использование компьютерных технологий в образовании существенно расширяет возможности интеллектуального и познавательного развития учащихся, обеспечивая доступ к любой информации по изучаемому предмету. Во-вторых, дистанционная передача информации обеспечивает равные возможности для получения образования и непрерывного повышения квалификации всем людям независимо от их места жительства
и социально-экономического положения. В-третьих, возможность кардинально поднять качество образования за счет обеспечения индивидуальности темпа и графика изучения материала, предоставления возможности сочетать обучение с трудовой деятельностью, оперативности включения в учебный процесс самых свежих знаний, привлечения к разработке общедоступных учебных материалов наиболее квалифицированных педагогов и ученых, вне зависимости от их места работы и проживания [2].
Поскольку образовательная среда является одной из составляющих информационного общества, исследование методов информатизации лекций и семинаров представляет существенный интерес.
ш
Елена Николаевна Клочкова,
к.э.н., доцент, доцент кафедры отраслевой и бизнес-статистики Тел.: (495)442-62-55 Е-mail: klotchkova.EN@rea.ru Российский экономический университет имени Г.В.Плеханова www.rea.ru
Elena N. Klochkova,
Candidate of Economic Sciences, associate professor, associate professor branch and business statistics Tel.: (495) 442-62-55 Е-mail: klotchkova.EN@rea.ru Plekhanov Russian University of Economics www.rea.ru
В научных исследованиях используются различные подходы к конструированию информационных образовательных проектов (услуг). В ВУЗах, как правило, используют смешанные формы обучения: наряду с очными занятиями в аудитории широко используются дистанционные формы, например, для промежуточного оценивания знаний обучающихся и для обеспечения доступа обучающихся к электронным библиотекам. Таким образом, наряду с традиционными формами обучения повсеместно происходит их смешение с электронными формами. Смешанное обучение может использовать различные методики [3]. Используемые методы можно условно разделить на две группы: синхронные (on-line) и асинхронные (off-line). С появлением синхронного и асинхронного обучения термин «смешанное» начал соотноситься с широким кругом методик обучения:
- проводимые в аудитории под руководством преподавателя (instructor-led training - ILT);
- синхронное или асинхронное электронное обучение (e-learning);
- использование мобильных технологий и обучением во время работы (on-the-job training - OJT) [3].
Предложенные в настоящей статье статистические методы анализа позволяют оценить преимущества применяемых методик в образовательном процессе, проследить взаимосвязи между условиями, качеством и эффективностью обучения.
2. Методы статистического исследования
В качестве инструментария статистического анализа для оценки установления связей воспользуемся непараметрическими методами исследования (nonparametric tests). Непараметрические методы предполагают, что переменные измерены с помощью номинальной или порядковой шкал.
В таблице 1 представлены результаты опроса студентов одного из факультетов по степени удовлетворенности различными формами обучения.
Для оценки степени зависимости воспользуемся коэффициентами ассоциации и контингенции [4, С.175-176]:
Ka =-
а(Л - Ьс а(Л + Ьс
аё - Ьс
Кк = ==
■у] (а + Ь)(Ь + ё )(а + с)(с + ё)
По результатам расчетов ^а = 0,66 (> 0,5), ^ = 0,31 (> 0,3). Следовательно, между степенью удовлетворенностью качеством образования и формой обучения имеется статистически значимая связь.
При выборе наиболее подходящей системы обучения необходимо взвешивать преимущества каждого метода с целью оценки качества усвоения материала. В таблице 2 представлены результаты тестирования студентов по дисциплине «Статистика», использующих различные методы обучения.
Таблица 1
Зависимость степени удовлетворенности студентов качеством образования от
формы обучения
Форма обучения Численность студентов, чел.
удовлетворены не удовлетворены
Традиционное обучение 175 30
Смешанное обучение 225 190
Таблица 2
Зависимость качества усвоения материала от метода обучения
Методы обучения Уровень усвоения материала
низкий средний высокий
Асинхронное электронное 14 20 25
Синхронное электронное 10 23 6
Обучение с преподавателем 20 18 16
Обучение во время работы 10 10 15
Мобильные технологии 8 10 17
Таблица 3
Результаты эксперимента, %
Номер студента Уровень усвоения дисциплины, %
традиционные методы (группа 1) технологии on-line обучения (группа 2)
1 55 70
2 60 85
3 70 95
4 35 75
5 45 65
6 65 72
7 60 68
8 42 82
9 58 93
10 70 88
11 40 75
12 56 86
13 47 73
14 49 97
15 55 86
16 45 75
17 66 70
18 55 80
19 43 85
20 47 90
Таблица 4
Зависимость уровня освоения дисциплины от используемых методов
обучения
Группы Количество наблюдения Средний ранг Сумма рангов
Группа 1 20 10,88 217,50
Группа 2 20 30,13 602,5
Итого: 40 7,50
U-критерий Манна-Уитни
Статистическая значимость наблюдаемой связи может быть измерена при помощи критерия хи-квадрат (chi-square statistic, X2) [5, С.685-687]. По результатам расчетов, расчетное значение X2 = 17,19. Сравнивая расчетное значение хи-квадрат с критическим значением (17,19 > 15,507), можно заключить, что с вероятностью 95% качество усвоения материала зависит от выбранного метода обучения. Отметим, что критерий х2 можно использовать и для установления связи между альтернативными признаками.
В оценке эффективности образовательной деятельности достаточно часто применяются оценочные шкалы (рейтинги). Данный метод предполагает оценку эксперта по определенным характеристикам достижений, личностных качеств и т.п. по заданной шкале. В качестве эксперта могут выступать опытные методисты, директора школ, педагоги-новаторы, ученые-психологи, преподаватели вузов, сотрудники научных центров, института повышения квалификации и т.п. По результатам составления рейтингов ставится задача проверки переменных из одной выборки, двух и более зависимых или взаимосвязанных выборок [6, С.42]. Данная задача реализуется также с помощью непараметрических методов, основанных на процедуре ранжирования (упорядочения) объектов изучения, которая выполняется на основе предпочтения. Каждому значению присваивается ранг, т.е. порядковый номер значений признака, расположенных в порядке возрастания или убывания их величин. Признаки, имеющие одинаковую количественную оценку, имеют ранг равный средней арифметической от соответствующих номеров мест. Данные ранги называются связными [4, С.178].
В качестве критериев оценки различий в показателях центральной тенденции в исследованиях наиболее широко используется U-критерий Манна-Уитни (MannWhitney U-test), который сравнивает различие в показателях положения двух совокупностей исходя из наблюдений, взятых из двух не-
зависимых выборок [6, С.43]. Например, при сравнении результатов контрольной и экспериментальной групп по одному или нескольким показателям.
Рассмотрим различие уровня качества освоения дисциплины «Статистика» в двух группах, в одной из которых применялись исключительно традиционные методы обучения (без применения IT-технологий), в другой преобладали технологии on-line обучения (в частности, e-learning). Результаты эксперимента приведены в таблице 3.
По результатам расчет критерия с использованием пакета «IBM SPSS». Результаты получены следующие результаты (табл.4).
Как видно из таблицы 4, более высокое среднее значение ранга для группы 2 свидетельствует о том, что уровень освоения дисцип-
лины группы, в которой используются технологии on-line обучения значительно выше уровня первой группы, в которой применяются традиционные формы обучения. Рассчитанное значение U-крите-рий Манна-Уитни (7,5) ниже критического значения (127). Таким образом, с вероятностью 95% можно заключить о статистической значимости различий между уровнем качества исследуемого признака в рассмотренных группах.
Важным непараметрическим критерием для зависимых выборок с целью изучения различий в показателях центральной тенденции является критерий попарных сравнений Вилкоксона (Wilcoxon matched-paris signed-ranks test).
С целью установления эффекта (усвоения материала) от использования презентаций на лекционных
Таблица 5
Результаты эксперимента, балл
Номер студента Результаты опроса, балл (от 1 до 10)
До использования презентаций После использования презентаций
1 3 7
2 2 8
3 5 10
4 6 5
5 7 6
6 5 6
7 4 8
8 7 7
9 3 8
10 6 6
Результаты расчета критерия Вилкоксона
Количество наблюдений Средний ранг Сумма рангов
Отрицательные ранги 2 2,00 4,00
Положительные ранги 6 5,33 32,00
Совпадающие ранги 2
Итого: 10 -1,975
Критерий Вилкоксона
Критерий занков 0,289
Таблица 7
Результаты тестирования, балл
Номер Результаты тестирования, балл (от 1 до 10)
студента в начале семестра в середине семестра в конце семестра
1 4 7 8
2 5 4 7
3 3 6 10
4 4 5 6
5 3 4 8
6 4 6 7
7 4 5 9
8 3 5 9
9 5 4 5
10 5 4 6
Таблица 8
Результаты расчета критерия Крускалла-Уоллеса
Групповые переменные Количество наблюдений Средний ранг
1 10 8,10
2 10 14,00
3 10 24,40
Итого: 30
Критерий 18,226
занятиях по дисциплине «Статистика» в рамках одной группы был проведен эксперимент. По результатам опроса студентов были получены следующие результаты (табл. 5).
По результатам расчетов (табл. 6), что у 6 из 10 опрошенных студентов качество усвоения материала на основе презентаций выше, чем у тех студентов, которые их не использовали. Средний ранг их равен 5,33. У двух студентов наблюдается отрицательная разность, что свидетельствует о снижении качества усвоения материала, средний ранг разности равен 2,00. Кроме того, есть два совпадающих ранга, указывающие на отсутствие эффекта в результате проведения эксперимента. Полученное расчетное значение критерия Вилкоксона |l,975| меньше табличного (5) при уровне значимости 0,05. Отметим, что нулевые сдвиги из анализа исключаются, при этом количество единиц наблюдения уменьшается соответственно. Таким образом, можно констатировать, что между эффектами присутствует статистическая значимость изменений показателя, следовательно, использование презентаций в образовательном процессе положительно влияет на качество усвоения дисциплины.
Для нескольких независимых выборок также существует ряд критериев, позволяющих выявить достоверность различий между ними по одной или нескольким переменным. К ним относятся: критерий Крускала-Уоллеса, Джонкхира-Терпстры, медианный критерий.
Критерий Крускала-Уоллеса (Kruskal Wallis H) используется для оценки различий между тремя и более выборками по уровню какого-либо признака.
С целью оценки навыков использования информационно-коммуникационных технологий среди студентов 1 курса было проведено тестирование до начала обучения, в середине семестра и в конце семестра (по окончании обучения). В проведенном исследовании приняли участие 10 студентов. Результаты тестирования оценены по 10-бальной шкале (табл. 7).
Данные таблицы 8 демонстрируют, что различия между группа-
ми значимы для всех переменных. Поскольку объем выборки больше 5, то для оценки воспользуемся критерием /2. Критическое значение на уровне значимости 0,05 и числом степеней свободы = 2, составило 5,99. Таким образом, можно сделать вывод о том, что
Таблица 6
различия между группами существенны.
Другой непараметрический критерий - медианный критерий (median test), используемый для сравнения более двух независимых переменных, идентичен критерию X2 для таблиц сопряженности. По
Рис. 1. Результаты тестирования (на основе медианного критерия)
Таблица 9
Результаты расчета медианного критерия
Статистики Групповые переменные
1 2 3
Число наблюдений, лежащих выше общей медианы 0 3 9
Число наблюдений, которые лежат ниже (или равны) общей медианы 10 7 1
Значение медианы 5
Число наблюдений 30
Значение %2 17,50
Таблица 10
Результаты наблюдения за посещаемостью студентов, единиц
Номер студента Количество посещений, ед.
1 курс 2 курс 3 курс 4 курс
1 12 10 8 4
2 8 9 7 6
3 10 6 6 5
4 9 7 6 3
5 12 8 5 0
6 8 7 7 2
Таблица 11
Результаты расчета критерия Джонкхира-Терпстры
Статистики Значение
Число групп 4
Число наблюдений 24
Критерий Джонкхира-Терпстры 19,5
Среднее значение критерия Джонкхира-Терпстры 108,0
Стандартное отклонение статистики 19,281
сути, он не такой мощный как критерий Крускалла-Уоллеса, так как он просто использует положения каждой единицы наблюдения относительно медианы, а не ранг каждой единицы наблюдения [6, 45].
В результате анализа использования ИКТ студентами доказано,
что наибольшее число студентов, со значением признака больше медианного сосредоточено в третьей экспериментальной группе (9 студентов). Число студентов, со значением признака меньше медианного (или равны) расположены в первой группе. Таким образом, медианный тест
подтверждает вывод об эффективности обучения студентов информационным технологиям (табл. 9).
На рис. 1 представлено графическое изображение результатов расчета медианного критерия.
Критерий Джонкхира-Терпст-ры (Jonck heereterpstra) используется не только для оценки различий между несколькими группами по уровню изменений переменной при переходе от одной группы к другой, но и выявляет тенденцию (направление) этих различий. Среди рассмотренных выше критериев при сравнении более двух независимых выборок критерий Джонкхира-Тер-пстры является наиболее мощным, поскольку не только определяет наличие достоверных различий между группами, но и указывает на то, что эти различия также упорядочены по возрастанию. При использовании критерия необходимо учитывать, что число наблюдений в каждой выборке должно быть одинаково. Кроме того, число выборок должно быть от трех до шести, число наблюдений от двух до десяти [6, 45].
С целью определения посещаемости лекционных занятий среди студентов разных курсах было организовано выборочное наблюдение. Результаты наблюдения представлены в табл. 10.
По результатам расчетов критерия Джонкхира-Терпстры можно заключить, что по мере перехода на старшие курсы посещаемость лекционных занятий снижается (табл. 11).
В исследованиях наряду с вышеописанными непараметрическими критериями имеются те, с помощью которых можно оценивать различия между результатами нескольких повторных измерений, проведенных с помощью одной методики на одной и той же группе единиц наблюдения. К ним относят: критерий Фридмана, критерий Кендалла и критерий Кохрана.
С целью оценки эффективности обучения студентов по трем дисциплинам были использованы различные формы обучения. В результате тестирования 10 отобранных студентов, получены следующие результаты (табл.12).
Таблица 12
Результаты эксперимента использования различных методов в обучении,
балл
Номер студента Итоговые баллы за семест р (1 до 100)
On-line обучение Off-line обучение Смешанное обучение
1 85 55 90
2 70 50 85
3 90 60 70
4 60 80 100
5 70 62 88
6 65 70 74
7 70 73 86
8 72 64 92
9 80 62 90
10 75 59 85
Таблица 13
Результаты расчета критерия Фридмана
Статистики
On-line обучение 1,80
Off-line обучение 1,30
Смешанное обучение 2,90
Число наблюдений 10
Хи-квадрат 13,400
Таблица 14
Исходные данные для определения зависимости на основе критериев Спирмена и Кендалла
Преподаватель Навыки использования ИКТ, балл Эффективность использования ИКТ в учебном процессе, балл
1 6 3
2 9 10
3 8 4
4 3 1
5 10 10
6 4 1
7 5 7
8 2 4
9 10 8
10 9 10
11 10 8
12 6 3
Так как расчетное значение критерия Фридмана выше табличного хКрит(0,05,2)-5,99, следовательно, между выборками существуют статистические значимые различия (табл. 13).
Критерий Кендалла (Kendall's W) аналогичен критерию Фридмана, но, кроме расчета непосредственно критерия Фридмана, он включает в себя также расчет нормализованного ^-критерия, который часто называют критерием конкордации (согласованности оценок) Кендалла. Этот критерий интерпретируется как согласие (единообразие, систематичность, тенденциозность) единиц наблюдения в оценивании ими всех сравниваемых объектов (переменных). Значение ^-крите-рия может изменяться от нуля, в случае полного отсутствия согласия между значениями единиц наблюдения, до единицы, при полном единообразии в оценках [6, С. 46].
По результатам анализа эффективности обучения студентов, использующих различные формы обучения (табл. 12) значение критерия составило 0,670, что указывает на достаточно умеренную степень различий между выборками.
Рассмотренные критерии основывались на проверке гипотез о различиях между переменными. Однако не менее важным в исследованиях является вопрос об оценке связи между переменными. В качестве критериев оценки тесноты связи для двух непараметрических признаков применяются ранговые коэффициенты Спирмена (Spearmen^rho р) и Кендалла (Kendall's tau т).
Рассмотрим применение данных критериев на практике. По данным о навыках использования информационно-коммуникационных технологий и эффективности их применения в учебном процессе среди преподавателей определим зависимость между этими признаками (табл. 14).
Рассчитанные с использованием пакета «IBM SPSS» критерии равны 0,766 (коэффициент Спирмена) и 0,580 (коэффициент Кендалла). Критическое значение t-критерия Стьюдента с уровнем значимости 0,05 (2,229) меньше расчетного (3,768), следовательно,
можно утверждать, что связь между признаками тесная. Расчетное значение Кендалла также превышает значение 0,5, что свидетельствует о статистической значимости связи. Таким образом, с улучшением навыков использования ИКТ, эффективность их использования в учебном процессе увеличивается.
Заключение
Проведенное исследование доказывает значимость информационно-коммуникационных технологий в обучении. Внедрение ИКТ в
учебный процесс обеспечивает систематизацию и интеграцию информационных потоков в образовательном пространстве формирование субъектной позиции обучающихся на основе освоения ИКТ проектирование и мониторинг личностных достижений обучающихся в освоении общих и профессиональных компетенций. Предложенные методы статистического исследования в полной мере могут качественно изменить методы и организационные формы обучения, способствовать более эффективной оценке системы образования в целом.
Литература
1. Федеральный закон от 29.12.2012 № 273-Ф3 (ред. от 13.07.2015) «Об образовании в Российской Федерации».
2. Петрова Е.В. Информационная компетентность в образовании как залог успешной адаптации человека в информационном обществе // Информационное общество, 2012, вып. 2, с. 37-43.
3. Андреев А.А., Трайнёв И.В. Методические и практические основы конструирования информационных образовательных проектов на примере электронных лекций и электронных семинаров // Информационное общество, 2012, вып. 5, с. 25-37.
4. Статистика: учебник для бакалавров / Н.А.Садовникова [и др.]; под ред. В.Г. Минашкина. - М: Издательство Юрайт, 2013. - 448 с. - Серия: Бакалавр. Базовый курс.
5. Малхотра, Нэреш К. Маркетинговые исследования. Практическое руководство, 4-е издание: Пер. с англ. -М.: ООО «И.Д. Вильямс», 2007. - 1200 с.
6. Будрейка Н.Н. Непараметрические методы исследования в психологии / Журнал Психологическая наука и образование, 2007, № 1, С. 40-48.
7. Теория статистики: учебник / Р.А. Шмойлова, В.Г. Минашкин, Н.А. Садовникова [и др.]; под ред. Р.А. Шмойловой. - М.: Финансы и статистика, 2008. - 656 с.
8. Шмойлова, Р.А., Клочкова, Е.Н. Использование новых технологий обучения в условиях развития информационного общества. Тезисы конференции Международной научно-практической конференции «Экономика, государство и общество в XXI веке» в рамках Юбилейных X Румянцевских чтений. М: РГТУ, апрель 2012.
9. Методология формирования системы статистических показателей оценки эффективности использования ИКТ в образовании [Текст] / Е.С. Дарда, Е.Н. Клочкова, В.Г. Минашкин, Л.Г. Моисейкина, Н.А. Садовникова, Р.А. Шмойлова: монография. - Москва: МЭСИ, 2014. - 237 с.
