CC BY
82
УДК 378.146:378.637
ББК Ч448.902.8 ГРНТИ 14.35.07 Код ВАК 13.00.08
Миронова Людмила Ивановна,
кандидат технических наук, доцент, почетный работник Высшего профессионального образования, член-корреспондент Академии Информатизации Образования РАО, доцент кафедры гидравлики Строительного института; Уральский Федеральный университет им. первого Президента России Б. Н.Ельцина; 620002, г. Екатеринбург, ул. Мира, 17, каб. СП-204; e-mail: mirmila@mail.ru.
Старкова Людмила Николаевна,
старший преподаватель кафедры информационно-коммуникационных технологий в образовании; Уральский государственный педагогический университет; 620017, г. Екатеринбург, пр-т Космонавтов, 26; e-mail: inform@uspu.ru.
МЕТОДИКА ОПРЕДЕЛЕНИЯ УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ НА ОСНОВЕ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ РЕЗУЛЬТАТОВ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ
КЛЮЧЕВЫЕ СЛОВА: педагогическое тестирование, однородность выборок, критерий Крускала-Уоллиса, критерий Бартлета, критерий согласия Пирсона, уровень сформированное™ компетентности.
АННОТАЦИЯ: В соответствии с Федеральным государственным образовательным стандартом высшего образования в процессе обучения студентов должен быть реализован компетентностный подход. Это значит, что необходимо уметь определять уровень сформированности компетентности студентов в той или иной предметной области. Цель статьи - описание методики определения уровней сформированности компетентности студентов в результате освоения учебной дисциплины, позволяющей оценить их, используя уровневый подход (низкий, средний, базовый, высокий). Под компетентностью студента в конкретной предметной области понимаются его теоретические знания и умения в изучаемой предметной области и практический опыт их применения. Основные этапы предлагаемой методики: входное диагностическое тестирование перед изучением курса, итоговое педагогическое тестирование после изучения курса, защита самостоятельно выполненных студентами проектов. Для оценки однородности результатов педагогического тестирования использованы критерии Крускала-Уоллиса и Бартлета, а для оценки уровня сформированности опыта студентов при разработке проекта использован критерий согласия Пирсона. Алгоритм применения методики представлен на конкретных числовых данных. Методика может использоваться при изучении дисциплин, заканчивающихся самостоятельной разработкой студентами проектов, таких как: курсовая работа, выпускная квалификационная работа, дипломный проект, магистерская диссертация и т.п.
Mironova Lyudmila Ivanovna,
Candidate of Kechnical Sciences, Associate Professor, Honored Worker of Higher Professional Education, Corresponding Member of the Academy of Informatization of Education of RAE, .Associate Professor of Hydraulic Construction Institute; Ural Federal University named after first President of Russia B. N. Yeltsin, Ekaterinburg, Russia.
Starkova Lyudmila Nikolaevna,
Senior Lecturer, Department of Information and Communication Technologies in Education, Ural State Pedagogical University, Ekaterinburg, Russia.
THE TECHNIQUE OF COMPETENCE FORMATION LEVEL DETERMINATION OF STUDENTS ON THE BASIS OF STATISTICAL PROCESSING OF PEDAGOGICAL TESTING RESULTS
KEYWORDS: pedagogical testing, the homogeneity of the samples, the Kruskal-Wallis criterion, the Bart-lett criterion, the Pearson's Chi-squared criterion, the level of competence formation.
ABSTRACT. According to the Federal State Educational Standard of Higher Education the competence-based approach should be implemented in the learning process of students. It means that it is necessary to be able to determine the level of formation of students' competence in different subject domain. The purpose of the article is to describe the methods of level determination of students' competences formation as a result of studying the discipline, allowing to assess their knowledge using a level approach (low, medium, base, high). The competence of the student in a certain subject domain is understood as their theoretical knowledge of the studied subject domain and practical experience of its application. The main stages of the proposed methodology are: the lead-in diagnostic test before studying the course, the final pedagogical testing after the course, the defense of the project which is worked out independently by the student. The criteria of Kruskal-Wallis and Bartlett were used for the assessment of the homogeneity of the results of pedagogical testing, and the Pearson's Chi-squared criterion was used for the level evaluation of students' experience in project developing. The algorythm of application of the methodology is presented in specific numerical data. The technique can be used in studying disciplines, which are concluded by independent development of students' projects, such as term paper, final qualification work, a thesis project, master's dissertation, etc.
Компетентностный подход, регла- тами высшего образования (ФГОС ВО) [3;
ментируемый Федеральными госу- 10; 14], требует поиска новых методик опре-
дарственными образовательными стандар- деления уровней сформированности компе-
© Миронова Л. И., Старкова Л. Н., 2016
тентности студентов в той или иной области. Одной из них является педагогическое тестирование. Согласно исследованиям уровней усвоения учебного материала [1; 15] для оценки компетентности студентов целесообразно применять уровневый подход, предполагающий наличие четырех уровней: репродуктивного (низкого), адаптивного (среднего), эвристического (базового) и творческого (высокого).
На низком уровне студент различает, распознает объекты познания при повторном восприятии ранее изученного материала, выполняет действия с ними, но «с подсказкой», копирует учебную информацию. На среднем уровне студент самостоятельно воспроизводит и применяет информацию в ранее рассмотренных типовых ситуациях. На базовом уровне студент использует приобретенные знания и умения в нетипичных ситуациях, получает новые знания путем действия по образцу. На высоком уровне студент действует в непредвиденных ситуациях и создает новые алгоритмы, правила, действия, то есть субъективно новую информацию.
Для большей наглядности излагаемой методики по определению уровня сформи-рованности компетентности студентов в той или иной предметной области будем рассматривать теоретическую подготовку студентов по одной из инженерных дисциплин, которая завершается защитой проекта, выполненного студентом самостоятельно.
В соответствии с компетентностным подходом в образовании [4; 5; 8], предполагающем выявление теоретических и практических аспектов учебного процесса на основе формирования совокупности знаний, умений и опыта различных видов деятельности, студент должен быть в состоянии продемонстрировать свои умения на практике. Тогда оценить уровень компетентности, достигнутый студентами в той или иной области, можно на основе раздельной оценки уровней их знаний и умений в области теоретических основ изучаемой дисциплины средствами педагогического тестирования [2; 5; 8] и уровней опыта применения этих знаний и умений при решении практических задач (например, при защите самостоятельно выполненного проекта).
Оценить уровень начальных знаний для освоения новой предметной области можно по результатам входного диагностического теста. Содержание входного диагностического теста определяется тематикой тех дисциплин, освоение которых необходимо для формирования компетентности в новой предметной области.
Поскольку в статье будет рассмотрена конкретная методика расчетов, для удобства дальнейших расчетов будем считать, что
входной диагностический тест содержит 50 основных вопросов по пройденным студентами курсам, определяемых учебным планом подготовки.
Результаты выполнения тестового задания оцениваются традиционно по дихотомической шкале: 1 - ответ правильный, 0 - ответ неправильный. Таким образом, максимально возможный балл за все правильно отвеченные вопросы входного диагностического теста равен количеству вопросов теста (в нашем случае 50 баллов). Согласно исследованиям [1] выделяют уровень начальных знаний и умений студентов в области изученных дисциплин, необходимый для освоения нового курса: от 70% до 100% от максимального количества баллов, полученных за диагностический тест (от 35 до 50 баллов), и низкий уровень, недостаточный для освоения нового курса, при количестве баллов менее 70% от максимального (от 0 до 34 баллов).
Оценить уровень теоретических знаний и умений в области конкретной инженерной дисциплины можно по результатам итогового педагогического тестирования. Объем итогового теста должен включать такое количество вопросов, которые полностью покрывают весь изученный студентами учебный материал. Предположим, что итоговый тест по изученной студентами инженерной дисциплине содержит 60 тестовых заданий, полностью охватывающих все модули инженерной дисциплины и адекватных ее тематическому планированию. Результат выполнения каждого тестового задания также оценивается по дихотомической шкале измерения [4; 8]. В нашем примере суммы возможных значений дихотомических переменных, полученных студентами по результатам итогового тестирования, будут измеряться по 60-бальной шкале, которую можно разбить на четыре непересекающихся интервала: [1; 15], [16; 30], [31; 45], [46; 60], каждый из которых отвечает соответственно низкому, среднему, базовому и высокому уровню усвоения теоретического материала.
Оценить уровень сформированности опыта реализации способов деятельности в конкретной инженерной дисциплине можно по результатам защиты студентом самостоятельно выполненного проекта. Студенческий проект также оценивает по дихотомической шкале. Наличие соответствующего опыта оценивается 1 баллом, отсутствие опыта - 0 баллов. Для оценки результатов выполнения проекта необходимо разработать таблицу, которая разбивается на четыре интервала: [0; 2], [3; 4], [5; 6], [7; 8], соответствующие низкому, среднему, базовому и высокому уровням сформированности
опыта применения полученных знаний и умений в конкретной инженерной области. Данной таблицей будут пользоваться члены комиссии, оценивающие результат защиты проекта. Содержание оценочной таблицы определяется спецификой предметной области и требует серьезной подготовительной работы преподавателя-предметника, которому необходимо детально описать все практические требования к студенческому проекту, отвечающие каждому уровню сформированности студенческого опыта.
Описываемая методика разбивается на 3 этапа.
На 1 этапе формируют группы участников, у которых будет определяться уровень сформированности компетентности. Далее проводят входное диагностическое тестирование. Пусть в качестве примера проверка уровня сформированности компетентности у студентов будет проводиться в течение 4-х учебных годов, по одной академической группе в год (группа 1 - 21 студент, группа 2 - 23 студента, группа 3-29 студентов, группа 4 - 25 студентов).
Результаты выполнения входного диагностического теста по изученным дисциплинам представлены в таблицах 1-4.
Таблица 1
Результаты выполнения студентами группы 1 входного диагностического теста
№ студента 1 2 3 4 5 6 7 8 9 10 11
Сумма баллов 50 48 47 47 46 45 44 44 43 42 41
№ студента 12 13 14 15 16 17 18 19 20 21
Сумма баллов 41 40 40 39 39 38 37 37 36 35
Таблица 2
Результаты выполнения студентами группы 2 входного диагностического теста
№ студента 1 2 3 4 5 6 7 8 9 10 11 12
Сумма баллов 50 50 47 47 46 46 45 44 44 43 42 40
№ студента 13 14 15 16 17 18 19 20 21 22 23
Сумма баллов 40 39 39 39 38 38 37 37 37 36 35
Таблица 3
Результаты выполнения студентами группы 3 входного диагностического теста
№ студента 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Сумма баллов 50 50 50 49 48 47 46 46 46 45 44 44 44 42 41
№ студента 16 17 18 19 20 21 22 23 24 25 26 27 28 29
Сумма баллов 41 41 40 40 39 39 39 38 38 38 38 37 37 37
Таблица 4
Результаты выполнения студентами группы 4 входного диагностического теста
№ студента 1 2 3 4 5 6 7 8 9 10 11 12 13
Сумма баллов 50 50 50 50 48 48 48 47 45 43 43 43 42
№ студента 14 15 16 17 18 19 20 21 22 23 24 25
Сумма баллов 42 41 41 41 40 40 40 40 39 38 38 37
На втором этапе применения рассматриваемой методики проводится теоретическое освоение новой инженерной дисциплины, которое завершается защитой проекта, выполненного студентом самостоятельно.
На третьем этапе проводится статистическая обработка результатов применения методики.
Обозначим основные шаги статистической обработки результатов:
1. Проверка на однородность выборок с результатами входного диагностического тестирования.
2. Проверка на однородность выборок с результатами итогового педагогического тестирования после освоения теоретического курса инженерной дисциплины.
3. Проверка на однородность выборок с результатами защиты студенческих проектов.
Выполним последовательно обозначенные шаги.
1. Проверка на однородность выборок, содержащих результаты входного диагностического тестирования.
Поскольку вывод об уровне сформиро-ванности компетентности в той или иной области будет делаться на основе объединения четырех групп в одну, прежде всего необходимо проверить на однородность четыре группы студентов по результатам входного диагностического тестирования.
Покажем, что выборки, содержащие результаты входного диагностического тестирования, однородны. Для этого используем критерий Крускала-Уоллиса [6].
Статистика критерия Крускала-Уоллиса для проверки гипотезы Но об отсутствии сдвига в параметрах положения сравниваемых выборок имеет вид:
Н = -
12
N (Ы +1) 1
X п к -
N +1
где Я =
N
N
объем
объединенной выборки, 1 - номер выборки, П - объем ьой выборки.
Применение статистики Крускала-Уол-лиса требует объединения четырех рассматриваемых выборок, представленных в таблицах 1, 2, 3, 4 в одну, сортировки ее элементов по возрастанию и присвоению им рангов. Алгоритм применения статистики Крускала-Уоллиса:
Шаг 1. Записать значения признака для каждой их исследуемых групп.
Шаг 2. Проранжировать общую выборку по возрастанию.
Шаг 3. Посчитать сумму Я рангов каждой выборки объемом щ.
Шаг 4. Вычислить статистику Нвыч. Шаг 5. Найти Нкр. = х2 (а, к-1) для к<4 и П)<5 по специальной таблице для малых к и п^ Шаг 5. Гипотеза Но принимается, если
Нвыч.< Нкр.
Если ^>5, то требуется аппроксимация статистики Крускала-Уоллиса.
Если есть группы повторяющихся рангов, то требуется вычисление модифицированной статистики.
Выполним последовательно все перечисленные шаги алгоритма, используя данные, представленные в таблицах 1, 2, 3, 4. Шаг 1, 2. Ранжируем совместно все
4
N = ХЩ = 21 + 23 + 29 + 25 = 98 баллы хч
,=1
(1- номер выборки). Результат этого шага представлен в таблице 5.
Таблица 5
Объединенная выборка результатов входного диагностического теста
2
Балл 35 35 36 36 37 37 37 37 37 37 37 37 38 38
Ранг 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Балл 38 38 38 38 38 38 38 38 39 39 39 39 39 39
Ранг 15 16 17 18 19 20 21 22 23 24 25 26 27 28
Балл 39 39 39 40 40 40 40 40 40 40 40 40 40 41
Ранг 29 30 31 32 33 34 35 36 37 38 39 40 41 42
Балл 41 41 41 41 41 41 41 42 42 42 42 42 43 43
Ранг 43 44 45 46 47 48 49 50 51 52 53 54 55 56
Балл 43 43 43 44 44 44 44 44 44 44 45 45 45 45
Ранг 57 58 59 6о 61 62 63 64 65 66 67 68 69 70
Балл 46 46 46 46 46 46 47 47 47 47 47 47 48 48
Ранг 71 72 73 74 75 76 77 78 79 80 81 82 83 84
Балл 48 48 48 49 50 50 50 50 50 50 50 50 50 50
Ранг 85 86 87 88 89 90 91 92 93 94 95 96 97 98
Шаг 3. Из табл. 5 составим табл. 6, в которой Яц - ранг j -го балла в 1-ой выборке. Совпадающие баллы усредним.
Значения выборочных баллов и их рангов
Таблица 6
1 хч 1 хч 1 хч 1 хч
1 35 1,5 2 39 27 2 42 52 3 46 73,5
2 35 1,5 2 39 27 3 42 52 1 47 79,3
1 36 3,5 3 39 27 4 42 52 1 47 79,3
2 36 3,5 3 39 27 4 42 52 2 47 79,3
1 37 8,5 3 39 27 1 43 57 2 47 79,3
1 37 8,5 4 39 27 2 43 57 3 47 79,3
2 37 8,5 1 40 36,5 4 43 57 4 47 79,3
2 37 8,5 1 40 36,5 4 43 57 1 48 85
2 37 8,5 2 40 36,5 4 43 57 3 48 85
3 37 8,5 2 40 36,5 1 44 63 4 48 85
3 37 8,5 3 40 36,5 1 44 63 4 48 85
4 37 8,5 3 40 36,5 2 44 63 4 48 85
1 38 17,5 4 40 36,5 2 44 63 3 49 88
2 38 17,5 4 40 36,5 3 44 63 1 50 93,5
2 38 17,5 4 40 36,5 3 44 63 2 50 93,5
3 38 17,5 4 40 36,5 3 44 63 2 50 93,5
3 38 17,5 1 41 45,5 1 45 68,5 3 50 93,5
3 38 17,5 1 41 45,5 2 45 68,5 3 50 93,5
3 38 17,5 3 41 45,5 3 45 68,5 3 50 93,5
3 38 17,5 3 41 45,5 4 45 68,5 4 50 93,5
4 38 17,5 3 41 45,5 1 46 73,5 4 50 93,5
4 38 17,5 4 41 45,5 2 46 73,5 4 50 93,5
1 39 27 4 41 45,5 2 46 73,5 4 50 93,5
1 39 27 4 41 45,5 3 46 73,5
2 39 27 1 42 52 3 46 73,5
По данным таблицы 6 подсчитаем Я и
К:
98
к=Х К >
/=1
яц=1,5+3,5+8,5+8,5+17,5+27+27+36,5+36,5+
45,5+45,5+52+57+63+63+68,5++73,5+79,5+
79,5+85+93,5=972
- 972
= 972 = 46,28 21
98
К2 = Х К2 ] ]=1
Я2:=1,5+3,5+8,5+8,5+8,5+17,5+17,5+27+27+ 27+36,5+36,5+52+57+63 +63+68,5+73,5+ 73,5+79,3+79,3+93,5+93,5=1016
Кг =-= 44,17
23
98
К3 = X К3]
]=1
Яа)=8,5+8,5+17,5+17,5+17,5+17,5+17,5+27+ 27+27+36,5+36,5+45,5+45,5+45,5+52+63+ 63+63+68,5+73,5+73,5+73,5+79,3+85+88+ 93,5+93,5+93,5=1458
Кз = 1458=50,27
29
98
К4 =Х К4 ]
]=1
^=8,5+ 17,5+ 17,5+27+36,5+36,5+36,5+36,5+ 45,5+45,5+45,5+52+52+57+57+57+68,5 + 79,3+85+85+85+50+50+50+50= 1405
п 1405 „
=-= 56,2
25
Шаг 4. Подставляем найденные значения Кг в выражение для вычисления статистики Крускала-Уоллиса: Нвыч=12/98/99 (21(46,28-49,5)2 + 23(44,17-
49,5)2+29(50,27-49,5)2+25(56,2-49,5)2)=
0,0012(217,77+653,2+17,11+1122,5)= 0,0012-2010,58=2,41
В случае применения статистики Кру-скала-Уоллиса, если п >5 (у нас П1 = 21; п = 23; П3 =29; П4=25), требуется аппроксимация.
Аппроксимация по Крускалу-Уоллису определяется следующим образом:
М = -
V = (к - 1)
N3 -X П ,=1
N • (N +1) (к - 1)(М - к +1) - V
1
МУ
V =
(М - к +1)
V = 2(к -1) -
к -1 1 2 [ 3к2 - 6к + N (2к2 - 6к +1)] 6 к 1
5N ( N +1)
6 X"1 1
5 Х П
Тогда статистика
Н (М - к +1) будет = (к -1)(М -Н) иметь Б-распределение с V! и V2 степенями свободы.
Вычислим аппроксимацию Крускала-Уоллиса:
М = (983 - (213 +233 +293 +253))/98/99 =
879750/9702 * 91
V = 2-3 - 2(3-4 - 6-4+98(2-4 -6-4+1)) /5/98/99 - 6/5(1/21+1/23+1/29/1/25) = = 6-1616/48510-0,199 * 6 ^ = 3-2-(3-88-6)/91/6=2,8
V;, = 88/3-2,8=82
Бвыч.= 2,41-88/3/93,41=0,756 Учитывая, что у нас было q=l5 групп с совпадающими рангами (Ь =2; Ъ =2; 13 =8; 14 =10; 15 =9; 16 =10; 17 =8; 18 =5; Ъ) =5; 110 =7; 1и =4; 112 =6; 113 =6; 114 =5; 115 =10), найдем модифицированную статистику Крускала-Уоллиса по формуле:
Нвыч. = Н
(
1 -
X-
т,
V
V 1=1N - N J
-1
где Tj = - tj ; 1 - размер j -ой группы одинаковых рангов, д - количество групп одинаковых рангов.
При П1 >20 (это наш случай) справедлива аппроксимация распределения статистики Н х2 - распределением с £ = к-1 степенями свободы, т.е. нулевая гипотеза отклоняется, если Н* > х2а(к-1).
Вычислим модифицированную статистику Н*.
Н*выч.= 0,756 (1-Е)-1, где
$ Т1 15 у
Е = Х т =Х т , N3 - N ^ N3 - N
Т1 = 113 - 11 = 8-2=6; Т2 = 123 - 12 = 8-2=6; Т3 =
133 - 13 = 512-8=504;
Тд
143 - 14 = 1000-10=990; Т5 = 153 - 15
93 -9=720; Т6 = 163 - 16 = 103 -10=990;
Т7 = 173 - 17 = 83 -8=504; Т8 = 183 - 18 =
53 -5=120; Т9 = 193 - 19 = 53 -5=120;
Т10 = 1103 - 110 = 73 -7=336; Т11 = 1113 - 111 =
43 -4=60; Т12 = 1123 - 112 = 63 -6=210;
13
1133 - 113
63 -6=210; Т1
; Т14
1143 - 11
14
Т1
53 -5=120; Т15 = 1153 - 115 = 103 -10=990.
Е=(6+6+504+990+720+990+504+120+120+ 336+60+210+210+120+990)/941094=6,2 10-3 Н*выч.=0,756-(1-6,2-10-3)-1=0,756/0,9938=0,76.
Шаг 5. Табличное значение х2 для уровня значимости а=0,05 при числе степеней свободы к-1=з составляет 7,82.
Шаг 6. Если Н*выч.< х2табл. (0,76 <0,82), то принимается в качестве правдоподобной нулевая гипотеза об отсутствии сдвига в исследуемых выборках, что означает, что выборки с результатами входного диагностического теста однородны.
Далее покажем, что набор дисперсий выборок, содержащих результаты входного диагностического тестирования, тоже будет однородным. Для этого используем критерий Бартлета для сравнения нескольких дисперсий выборок, имеющих разные объемы [7]. В таблице 7 представлены дисперсии исходных выборок.
Значения дисперсий исходных выборок результатов входного диагностического тестирования
Таблица 7
2
Номер выборки i Длина выборки п Дисперсия выборки D
1 21 = 18,13
2 23 Б2 = 20,58
3 29 Б3 = 18,89
4 25 Б4 = 18,32
Введем обозначения:
( к \
N * =
X П
,=1
- к
Х(п -1) А
О = -;-
N
(
V = 2,3026 -
С = 1 +
N * - 1ЕО -Х( пг -1)- О,
3-(к -1)
( к 1 1
- X——-
Х П -1 N
Вычисленное значение критерия Барт-лета определяется по формуле:
Ввыч. = V/C
1
к
Вычислим № = 98-4 = 94
0=^0-18,13+22-20,58+28-18,89+24-18,32) /94 = 18,98
У=2,3026-(94-^(18,98)-(20-^(18,14)+22-^(20,58)+28-^(18,89)+24-^ (18,32))) = 0,107
С=1+((1/20-1/94)+(1/22-1/94)+(1/28-1/94)+ (1/24-1/94))/3/3 = 1,014 Ввыч. = 0,107/1,014 = 0,105
Сравниваем вычисленное значение критерия Бартлета с критическим значением, взятым из таблицы распределения х2 в соответствии с уровнем значимости а=0,05 и числом степеней свободы V = к-1. Как было сказано выше, табличное значение х2 для уровня значимости а=0,05 при числе степеней свободы к-1=3 составляет 7,82.
Так как вычисленное значение критерия Бартлета меньше табличного (0,105<7,82), то проверяемую гипотезу о том, что дисперсии выборок с результатами входного диагностического тестирования являются однородными, можно принять за правдоподобную на уровне значимости а=0,05 и числе степеней свободы к = 3.
Таким образом, проверка на однородность исходных выборок с результатами входного диагностического тестирования и по критерию Крускала-Уолисса, и по критерию Бартлета дала идентичные результаты, что позволило принять гипотезу об однородности исходных выборок за правдоподобную на уровне значимости а = 0,05 и числе степеней свободы к =3.
2. Проверка на однородность выборок, содержащих результаты итогового педагогического тестирования после освоения теоретического курса инженерной дисциплины.
На данном шаге статистической обработки целесообразно использовать критерий согласия Пирсона х2- Критерий согласия Пирсона х2применяется для сравнения распределений объектов нескольких совокупностей по состоянию некоторого свойства на основе измерений по шкале наименований этого свойства в нескольких независимых выборках из рассматриваемой совокупности [8; 12; 13]. Суть метода заключается в проверке степени расхождения наблюдаемых и ожидаемых частот - чем больше данное расхождение, тем больше значение х2.
Алгоритм применения критерия согласия Пирсона х2 состоит в следующем:
Шаг 1. Формулируют нулевую статистическую гипотезу Но;
Шаг 2. Задают уровень значимости гипотезы, который состоит в том, что вероятность совершить ошибку первого рода, то есть принять гипотезу Но в качестве правдоподобной, в то время как она таковой не является. В педагогических исследованиях, как правило, уровень значимости выбирают 0,05. Тогда, если отклоняется нулевая статистическая гипотеза, то вероятность совершить ошибку первого рода составляет 5%, а вероятность сделать правильное заключение соответственно 95%;
Шаг 3. Определяют число степеней свободы.
Шаг 4. Вычисляют значение критерия х2 по формуле:
( к 1
П, - п,
--1
ч г=1 ]=!' ■г -V
где п - общий объем выборки (в нашем примере п=98);
к - число уровней сформированное™ знаний и умений по результатам итогового тестирования к = 4;
I - количество групп (1 = 4);
г - номер группы (1 = 1,2,3,4);
} - номер уровня 0 = 1,2,3,4);
П1 - число студентов, достигших г-го уровня сформированности знаний и умений;
П - число студентов, достигших _/-го уровня сформированности знаний и умений;
П1) - число студентов г-й группы, достигших ]-го уровня сформированности знаний и умений.
Шаг 5. Вычисленное значение критерия сравнивают с его табличным значением.
Шаг 6. Формулируют вывод о том, что если вычисленное значение критерия х2 меньше табличного, то нулевую статистическую гипотезу принимают как правдоподобную. В противном случае она отвергается и принимается альтернативная ей гипотеза.
Основываясь на том, что описываемая методика применяется на студентах, успешно справившихся с входным диагностическим тестом, выдвигается нулевая статистическая гипотеза Н0* о том, что все четыре группы по результатам итогового педагогического тестирования по изученному курсу инженерной дисциплины являются однородными, которая проверяется по критерию согласия Пирсона х2 (Хи-квадрат) на уровне значимости а = 0,05.
По результатам итогового педагогического тестирования составляем табл. 8 для расчета критерия х2.
= п
Таблица 8
Результаты итогового педагогического тестирования студентов групп 1, 2, 3 и 4 по инженерной дисциплине
Результат итогового педагогического тестиров ания
Уровень в баллах Группа 1 Группа 2 Группа 3 Группа 4 Всего по уровню
Низкий 15 3 2 2 1 8
Средний 16^ 30 4 3 4 3 14
Базовый 31^ 45 6 8 10 9 33
Высокий 46^60 8 10 13 12 43
Всего студентов 21 23 29 25 98
По данным таблицы 8 вычисляем значение критерия х2:
х2выч.=98(3 -3/21/8+2 -2/23/8+2 - 2/29/8+1 - 1/ 25/8+4-4/21/14+3 -3/23/14++4-4/29/14+3-3/ 25/14+6 - 6/21/33+8 -8/23/33+10 -10/29/33+ 9-9/25/33+8-8/21/43+10-10/23/43+13 - 13/29/ 43+12 -12/25/43 - 1) = 3,53
Вычисляем число степеней свободы ЧСС для таблицы 8. Известно, что число степеней свободы для матрицы, состоящей из т строк и п столбцов, ЧСС = (т - 1)(п -1) -1, тогда ЧСС= 3 3 -1 = 8. Табличное значение критерия х2 при 8 степенях свободы на уровне значимости 0,05 составляет 15,5.
Вычисленное значение критерия х2 Пирсона составляет 3,53. Табличное значение
критерия при ЧСС = 8 равно х2од5 = 15,5. Поскольку вычисленное значение критерия х2 меньше табличного, то гипотезу Н0* можно принять в качестве правдоподобной и объединить данные четырех выборок по результатам итогового педагогического тестирования в одну. Анализ данных общей выборки позволяет определить, сколько студентов освоили инженерную дисциплину на высоком, базовом, среднем и низком уровнях.
3. Проверка на однородность выборок, содержащих результаты защиты студенческих проектов.
В таблице 9 представлены результаты защиты студенческих проектов в группах 1, 2, 3 и 4.
Результаты защиты студенческих проектов в группах 1, 2, 3 и 4
Таблица 9
Результат защиты проектов
Уровень Группа 1 Группа 2 Группа 3 Группа 4 Всего по уровню
[0,2] низкий 0 0 1 1 1 3
2 1 1 2 1 5
[3,4] средний 3 1 2 2 2 7
4 2 4 3 1 10
[5,6] базовый 5 6 5 5 5 21
6 7 6 6 5 24
[7,8] высокий 7 2 2 7 6 17
8 2 2 3 4 11
Всего студентов 21 23 29 25 98
Основываясь на результатах проверки статистической гипотезы Н0*, выдвигается нулевая статистическая гипотеза Н0** о том, что по результатам защиты проектов четыре экспериментальные группы однородны. Для проверки ее правдоподобности вычисляем статистику критерия х2 по результатам защиты проектов, представленным в таблице 9. Поскольку каждый уровень оценки опыта представляет собой интервал, то для повышения точности расчета критерия Пирсона внутри каждого интервала выде-
лим подуровни, соответствующие нижней и верхней границе интервала, таким образом, у нас получилось восемь 8 уровней сформи-рованности опыта в разработке проекта. Матрица результатов защиты проекта состоит из 8-ми строк и 4-х столбцов. Тогда число степеней свободы для данного случая будет составлять ЧСС = 7-3 - 1 = 20. х2=98(1 -1/23/3+1 - 1/29/3+1 -1/25/3+1 -1/21/5+ 1 - 1/23/5+2 - 2/29/5+1 -1/25/5+1 - 1/21/7+2 - 2/23/ 7+2 - 2/29/7+2 - 2/25/7+2 - 2/21/10+4 - 4/23/10+
3-3/29/10+1-1/25/10+6-6/21/21+5-5/23/21+
5 -5/29/21+5 -5/25/21+7-7/21/24+6 - 6/23/24+
6 6/29/24+5 5/25/24+2 2/21/17+2 2/23/17+ 7 7/29/17+6 6/25/17+2 2/21/11+2 2/23/11+ 3 3/29/11+4 4/25/11- 1) = 9,2
Вычисленное значение критерия ^Пирсона составляет 9,2. Табличное значение критерия при ЧСС = 20 равно ^ =
31,41. Вычисленное значение критерия Пирсона меньше табличного, что позволяет
Н**
принять гипотезу 0** в качестве правдоподобной и объединить данные четырех выборок по результатам защиты проектов в одну.
Анализ объединенной выборки позволяет определить количество студентов, защитивших проекты на высоком, базовом, среднем и низком уровне.
Далее, основываясь на результатах проверки нулевых статистических гипотез Н0* и Н0**, составляется объединенная поименная выборка студентов четырех экспериментальных групп, включающая в себя данные о результатах их итогового педагогического тестирования по теоретиче-
скому курсу и защиты студенческих проектов. Анализ поименной выборки позволяет определить количество студентов, достигших в результате обучения высокого, базового, среднего и низкого уровней сформированности компетентности в области освоения инженерного курса.
Заключение
В статье рассмотрена методика, позволяющая определить количество студентов, обладающих определенным уровнем сфор-мированности компетентности в области освоения инженерной дисциплины, предполагающей формирование теоретических знаний и умений и способности продемонстрировать их на практике в процессе подготовки и защиты самостоятельно выполненного проекта. Анализ уровней сформи-рованности компетентности студентов в той или иной предметной области позволит, в случае недостаточно удовлетворительных результатов производить корректирующие педагогические воздействия, повышая тем самым качество результатов обучения.
ЛИТЕРАТУРА
1. Беспалько В. П. Опыт разработки критерия качества усвоения знаний учащимися // Методы и критерии оценки знаний, умений и навыков учащихся при программированном обучении. М. : Изд. псих-соц. ин-та, 1969. 26 с.
2. Гужвенко Е. И. Координирующая модель методической системы обучения информатике и информационным технологиям : автореф. дис. ... д-ра пед. наук. М., 2010.
3. Дахин А. Н. Моделирование компетентности участников открытого образования. М. : НИИ школьных технологий, 2009. 288 с.
4. Зимняя И. А. Педагогическая психология. М., 2005. 40 с.
5. Лапенок М. В. Научно-педагогические основания создания и использования электронных образовательных ресурсов информационной среды дистанционного обучения : автореф. дис. . д-ра пед. наук. М., 2014.
6. Левин Д. М., Стефан Д. и др. Статистика для менеджеров с использованием Microsoft Excel. М. : Вильямс, 2004. 1312 с.
7. Миронова Л. И. Элементы математической статистики. Екатеринбург : Изд-во Урал. гос. пед. унта, 1997. 76 с.
8. Насс О. В. Теоретико-методические основания формирования компетентности преподавателей в области создания электронных образовательных ресурсов : автореф. дис. ... д-ра пед. наук. М., 2013.
9. Плохинский Н. А. Биометрия. М. : Изд-во Моск. ун-та, 1970. 367 с.
10. Приказ Минобрнауки России от 19.12.2013 № 1367 «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры» (Зарегистрировано в Минюсте России 24.02.2014 № 31402). URL: http://base.consultant.ru/cons/cgi/online.cgi?req=doc; base=LAW;n=l5967l;fld=l34;dst=l000l0;rnd=0.8270874863997 (дата обращения 29.05.2016).
11. Роберт И. В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). М. : Изд-во ИИО РАО, 2008. 274 с.
12. Сердюков В. И. Сравнительная оценка результатов компьютерного тестирования знаний студентов вузов // Ученые записки ИИО РАО. 2007. № 24. С. l95-207.
13. Стариченко Б. Е. Обработка и представление данных педагогических исследований с помощью компьютера. Екатеринбург : Изд-во Урал. Гос. пед. ун-та, 2004. 2l8 с.
14. Федеральный Государственный образовательный стандарт высшего образования бакалавра по направлению подготовки «Математическое обеспечение и администрирование информационных систем». URL: http://www.fgosvpo.ru/uploadfiles/28/20ll03l52033l0.pdf (дата обращения 28.05.2016)
15. Bloom B. S., Engelhart M. D., Furst E. J., Hill W. H., & Krathwohl D. R. (Eds.). Taxonomy of Educational Objectives / The Classification of Educational Goals — Handbook 1: Cognitive Domain // London, l956. WI: Longmans, Green & Co. Ltd. 208 с.
LITERATURA
l. Bespal'ko V. P. Opyt razrabotki kriteriya kachestva usvoeniya znaniy uchashchimisya // Metody i kriterii otsenki znaniy, umeniy i navykov uchashchikhsya pri programmirovannom obuchenii. M. : Izd. psikh-sots. in-ta, l969. 26 s.
2. Guzhvenko E. I. Koordiniruyushchaya model' metodicheskoy sistemy obucheniya informatike i informatsionnym tekhnologiyam : avtoref. dis. ... d-ra ped. nauk. M., 2010.
3. Dakhin A. N. Modelirovanie kompetentnosti uchastnikov otkrytogo obrazovaniya. M. : NII shkol'nykh tekhnologiy, 2009. 288 s.
4. Zimnyaya I. A. Pedagogicheskaya psikhologiya. M., 2005. 40 s.
5. Lapenok M. V. Nauchno-pedagogicheskie osnovaniya sozdaniya i ispol'zovaniya elektronnykh obrazovatel'nykh resursov informatsionnoy sredy distantsionnogo obucheniya : avtoref. dis. ... d-ra ped. nauk. M., 2014.
6. Levin D. M., Stefan D. i dr. Statistika dlya menedzherov s ispol'zovaniem Microsoft Excel. M. : Vil'yams, 2004. 1312 s.
7. Mironova L. I. Elementy matematicheskoy statistiki. Ekaterinburg : Izd-vo Ural. gos. ped. un-ta, 1997. 76 s.
8. Nass O. V. Teoretiko-metodicheskie osnovaniya formirovaniya kompetentnosti prepodavateley v oblasti sozdaniya elektronnykh obrazovatel'nykh resursov : avtoref. dis. ... d-ra ped. nauk. M., 2013.
9. Plokhinskiy N. A. Biometriya. M. : Izd-vo Mosk. un-ta, 1970. 367 s.
10. Prikaz Minobrnauki Rossii ot 19.12.2013 № 1367 «Ob utverzhdenii Poryadka organizatsii i osushchestvleniya obrazovatel'noy deyatel'nosti po obrazovatel'nym programmam vysshego obrazovaniya -programmam bakalavriata, programmam spetsialiteta, programmam magistratury» (Zaregistrirovano v Minyuste Rossii 24.02.2014 № 31402). URL: http://base.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=159671; fld=134;dst=100010;rnd=0.8270874863997 (data obrashcheniya 29.05.2016).
11. Robert I. V. Teoriya i metodika informatizatsii obrazovaniya (psikhologo-pedagogicheskiy i tekhnologicheskiy aspekty). M. : Izd-vo IIO RAO, 2008. 274 s.
12. Serdyukov V. I. Sravnitel'naya otsenka rezul'tatov komp'yuternogo testirovaniya znaniy studentov vuzov // Uchenye zapiski IIO RAO. 2007. № 24. S. 195-207.
13. Starichenko B. E. Obrabotka i predstavlenie dannykh pedagogicheskikh issledovaniy s pomoshch'yu komp'yutera. Ekaterinburg : Izd-vo Ural. Gos. ped. un-ta, 2004. 218 s.
14. Federal'nyy Gosudarstvennyy obrazovatel'nyy standart vysshego obrazovaniya bakalavra po napravleniyu podgotovki «Matematicheskoe obespechenie i administrirovanie informatsionnykh sistem». URL: http://www.fgosvpo.ru/uploadfiles/28/20110315203310.pdf (data obrashcheniya 28.05.2016)
15. Bloom B. S., Engelhart M. D., Furst E. J., Hill W. H., & Krathwohl D. R. (Eds.). Taxonomy of Educational Objectives / The Classification of Educational Goals - Handbook 1: Cognitive Domain // London, 1956. WI: Longmans, Green & Co. Ltd. 208 s.
Статью рекомендует д-р пед. наук, проф. Б. Е. Стариченко
