CC BY
33
Educational Technology & Society 11(3) 2008
ISSN 1436-4522
Анализ результатов реализации подготовки студентов в метрическом компетентностном формате
С. Д. Старыгина, зав.лаб.,
Казанский государственный технологический университет svetacd kazan@mail.ru
Н.К. Нуриев, зав.кафедрой информатики и прикладной математики, Казанский государственный технологический университет nurievnk@mail.ru
Л.Н.Журбенко, профессор кафедры высшей математики,
Казанский государственный технологический университет nurievnk@mail.ru
АННОТАЦИЯ
На кафедре информатики и прикладной математики КГТУ проводился эксперимент по интенсификации процесса обучения при помощи внедрения модели подготовки инженеров в метрическом компетентностном формате с целью повышения качества подготовки с достижением уровня академической компетентности. Результаты эксперимента представлены в статье.
On the department of informatics and applied mathematics of KGTU an experiment on intensification of process of teaching through introduction of model of preparation of engineers was conducted in a metrical kompetentnostnom format with the purpose of upgrading of preparation with achievement of level of academic competence. The results of experiment are presented in the article.
Ключевые слова
метрический формат, компетентность, качество подготовки, статистика, экспериментальная группа;
are a metrical format, competence, quality of preparation, statistics, experimental group
По смыслу модель 1 статистического эксперимента призвана установить (не опровергнуть гипотезу Н0), насколько надежно решают проблемы измеренной сложности те инженеры у которых накоплен для этого накоплен достаточный информационно-интеллектуальный потенциал. Показатель этого потенциала комплексно выражается через уровень развития ПК способностей и объемы освоенных (интериоризованных) знаний, т.е. через упорядоченный комплекс величин <а, Ь, ^ pol, Ш> [1-4].
Модель 1 статистического эксперимента
Ситуация. Пусть по достаточно большому числу п независимых испытаний, в каждом из которых вероятность р появления события постоянна, но неизвестна, найдена относительная частота m/n. Пусть имеются основания предполагать, что неизвестная вероятность равна гипотетическому значению р0.
Задача. Требуется при заданном уровне значимости а проверить нулевую гипотезу, состоящую в том, что неизвестная вероятность р равна гипотетической вероятности р0.
Решение. Поскольку вероятность оценивается по относительной частоте, рассматриваемую задачу можно сформулировать и так: требуется установить, значимо или незначимо различаются наблюдаемая относительная частота и
гипотетическая вероятность.
В качестве критерия проверки нулевой гипотезы примем случайную величину
U=
(M / n - p0) -4n
где q0 = 1 - p0.
Величина U при справедливости нулевой гипотезы распределена приближенно нормально с параметрами M(U)=0, а(и)=1.
Пояснение. Доказано (теорема Лапласа), что при достаточно больших значениях п относительная частота имеет приближенно нормальное распределение с
математическим ожиданием р и средним квадратическим отклонением
Нормируя относительную частоту (вычитая математическое ожидание и деля на среднее квадратическое отклонение), получим
M / п — p (M / п — p)^^n
U = ■
yfpqj
n
причем M(U)=0, cг(U)=1.
В рамках модели 1 рассмотрим ситуацию: В рамках дисциплины студент со значениями параметров информационно-интеллектуального (ИИ) развития <а1, Ь1, с1, 75, 75> решит с вероятностью (надежностью) Р=0,95 любую проблему сложности <а2, Ь2, с2>, если а1>а2, Ь1>Ь2, с1>с2.
Условия эксперимента. При первом испытании взята батарея из 20 задач с
№ Формализационная (А) сложность (час. раб) Конструктивная (В) сложность (час.раб) Исполнительская (С) сложность (час.раб) Общая сложность (час.раб)
i 0,3 0,7 i
2 0,3 i 0,7
3 0,4 0,5 i,i
4 0,4 0,7 0,9
5 0,5 0,5 i
б 0,5 0,7 0,8
7 0,5 0,8 0,7
В 0,б 0,8 0,б
9 0,б 0,9 0,5
i0 0,7 0,3 i 2
ii 0,7 0,7 0,б
i2 0,7 0,8 0,5
i3 0,7 0,9 0,4
i4 0,8 0,б 0,б
i5 0,8 0,9 0,3
0,9 0,3 0,8
i7 0,9 0,4 0,7
iB 0,9 0,б 0,5
i9 i 0,5 0,5
20 i,i 0,5 0,4
Рис. 1. Данные спектра сложности задач
Взята группа студентов из 20 человек имеющих на текущий момент следующие состояния развития компетенции в рамках дисциплины (показатели величин POL (полноты) и CHL (целостности) у студентов усреднены) (рис. 2).______
POL, CHL А В С
1 79,7 i,2 i,9 2,4
2 80,7 i,i 2,3
3 78,0 0,2 i,5 2,5
4 75,5 0,7 і,6 2,3
5 79,5 1,1 1,7 2,0
6 81,2 1,1 2,0 3,0
7 77,7 0,8 1,6 2,6
8 75,3 1,3 2,0 3,0
9 80,2 1,1 1,9 2,5
10 78,2 1,3 2,0 2,4
11 82,5 1,0 1,7 2,2
12 75,2 1,0 1,8 2,3
13 76,8 1,0 1,7 2,4
14 88,8 0,8 1,7 2,6
15 78,8 1,0 1,1 1,3
16 90,5 1,2 1,9 3,0
17 83,8 1,0 1,5 2,6
18 79,7 0,6 1,2 2,1
19 78,8 1,0 1,9 2,8
20 80,8 1,1 1,9 2,1
Рис. 2. Данные ПК развития и состояния интериоризованности знаний
В течение двух часов студенты решали выпавшую им проблему, результаты этого решению приведены на рис. 3.
Номер задачи Должен решить Решил
1 1 1 1
2 4 1 1
3 18 1
4 9 1 1
5 8 1 1
6 6 1 1
7 16
8 3 1 1
9 2 1 1
10 7 1 1
11 5 1 1
12 10 1 1
13 20 1 1
14 15 1 1
15 17 1
16 11 1 1
17 12 1 1
18 19
19 13 1 1
20 14 1 1
Рис. 3. Данные по факту решения
Аналогично взята вторая группа студентов из 20 человек. В течение двух часов студенты решали выпавшую им проблему. Показатели развития компетенции, результаты решения приведены на рис. 4.________________________________________
№ РОЬ сиь А В С Номер задачи Должен решить Решил
1 87,33 1,24 2,00 3,00 5 1 1
2 76,50 1,09 1,85 2,85 3 1 1
3 89,83 1,19 1,95 2,95 8 1 1
4 76,67 1,14 1,90 2,90 10 1 1
5 87,33 1,19 1,95 2,95 2 1 1
6 63,50 0,82 1,56 2,55 15 0 1
7 92,33 0,97 1,71 2,70 4 1 1
8 97,50 1,09 1,85 2,85 18 1 1
9 76,33 1,24 2,00 3,00 17 1 1
10 85,17 1,04 1,80 2,80 14 1 1
11 75,00 0,89 1,65 2,65 4 1 1
12 81,67 0,94 1,70 2,70 6 1 1
13 75,50 1,19 1,95 2,95 20 1 1
14 68,50 1,19 1,95 2,95 14 1 1
15 76,33 0,62 1,36 2,35 18 0 0
16 76,33 0,69 1,45 2,45 9 0 0
17 80,33 0,74 1,50 2,50 2 1 1
18 96,83 1,24 2,00 3,00 16 1 1
19 86,33 1,19 1,95 2,95 7 1 1
20 77,83 1,14 1,90 2,90 6 1 1
Рис. 4. Данные ПК развития, состояния интериоризованности знаний и данные
по факту решения, причем «1» факт решения, а «0» не решения проблемы
На рис. 5 показаны показатели развития компетенции 3 группы студентов, состоящей из 23 человек и результаты решения._______________________________
№ РОЬ, сиь А В С Номер задачи Должен решить Решил
1 80,17 1,14 1,90 2,90 13 1 1
2 76,00 1,14 1,93 2,90 8 1 1
3 91,50 0,93 1,73 2,63 5 1 1
4 78,00 1,24 2,00 3,00 9 1 1
5 77,83 1,09 1,90 2,80 6 1 1
6 90,50 1,24 2,00 3,00 15 1 1
7 75,33 0,83 1,67 2,53 1 1 1
8 75,83 1,11 1,87 2,87 11 1 1
9 75,00 1,14 1,90 2,90 20 1 1
10 76,33 0,90 1,77 2,43 10 1 1
11 78,50 1,17 1,93 2,93 12 1 1
12 76,17 0,78 1,67 2,30 19 1
13 81,67 1,17 1,93 2,93 4 1 1
14 70,33 1,04 1,83 2,80 18 1 1
15 76,17 1,14 1,90 2,90 22 1 1
16 73,00 1,21 1,97 2,97 7 1 1
17 76,33 1,05 1,90 2,67 2 1 1
18 76,67 0,91 1,70 2,67 17 1 1
19 75,00 1,13 1,93 2,77 3 1 1
20 75,17 1,07 1,87 2,83 14 1 1
21 78,00 1,07 1,83 2,83 16 0 0
22 75,83 1,07 1,83 2,83 23 1 1
23 76,17 0,75 1,60 2,40 21 0 0
Рис. 5. Данные ПК развития, состояния интериоризованности знаний и данные
по факту решения, причем «1» факт решения, а «0» не решения проблемы
Для того чтобы при заданном уровне значимости проверить нулевую гипотезу Н0: р=р0 о равенстве неизвестной вероятности гипотетической вероятности при конкурирующей гипотезе Н1: р^р0, надо вычислить наблюдаемое значение критерия:
тт ^ / п - p0) -4п
по таблице функции Лапласа найти критическую точку ^рит по равенству ФОкритК^а)^. Если < Uкрит - нет оснований
набл
4ш0
отвергнуть нулевую гипотезу, если инабл \ > и крит - нулевую гипотезу отвергают.
Итак, у нас п=63, М=59,р0=0,95, д0=0,05. Найдем инабл :
и ^ = <59/63 - °-95) ^ =-0,49.
0,95 • 0,05
Найдем критическую точку Ф(икрит)=(1-0,05)/2=0,475. По таблице функции Лапласа находим икрит=1,96.
Вывод: Так как Ц^набл | < икрит нет оснований отвергнуть нулевую
гипотезу. Следовательно, наблюдаемая относительная частота незначимо отличается от гипотетической вероятности, т.е. с надежностью 95% можно утверждать, что подготовленный в метрическом формате инженер решил профессиональную проблему рассматриваемой сложности.
По смыслу модель 2 статистического эксперимента призвана установить, тот факт, что при подготовке инженеров в метрическом компетентностном формате удается провести серьезную интенсификацию процесса обучения за счет оптимального подбора характеристических параметров в технологии (оптимизировать режим подготовки в технологии) [5-8]. При этом качество подготовки в метрической шкале только улучшается, а в бальной шкале не ухудшается. В качестве регулируемых параметров в технологии подготовки в МКФ рассмотрены параметры трудность проблемы (ТП) и величина шага моментов диагностики (МД) во времени (режим мониторинга).
Пояснение. Сложность проблемы понятие объективное, хотя оценивается субъективно, а трудность проблемы понятие субъективное - зависит от подготовленности инженера к решению проблемы.
Логическая модель эксперимента состоит в следующем: в течении трех лет велась подготовка инженеров в метрическом компетентностном формате в рамках дисциплины «Проектирование информационных систем» (рис. 6). Причем проекты были одной сложности.
Год Количество Количество Количество
проектов прототипов контрольных точек
2006 1 1 1
2007 2 2 4
2008 3 4 12
Рис. 6. Режим организации учебной деятельности при подготовке инженеров в МКФ
В начале 2006 г. обучающийся получил один из трех возможных проектов сложности р (час.раб) и в конце курса этот проект сдавал. Имеются данные качества его подготовки.
В начале 2007 г. обучающийся получил 2 проекта из трех возможных, каждый из которых был разбит на 2 прототипа, и имел 4 точки контроля. Имеются данные состояния качества его подготовки в 4 точках. В начале 2008 г. обучающийся получил 3 проекта из трех возможных, каждый был разбит на 4 прототипа и имел 12 точек контроля (разумеется, это можно сделать только при наличии виртуального кабинета). Имеются данные состояния качества его подготовки.
По бальной системе оценки качества подготовки это качество осталось неизменным (по данным статистического анализа) в метрической системе качество подготовки резко улучшилось.
Модель 2 статистического (педагогического) эксперимента
Ситуации. Пусть имеется экспериментальная группа, состоящая из N человек, и контрольная группа, состоящая из М человек. Допустим, что в результате измерения одного и того же показателя с помощью одной и той же процедуры измерений были получены следующие данные: х = (х1, х2, хы) - выборка для экспериментальной группы и у = (у1, у2, ..., ум) - выборка для контрольной группы, где х, - элемент выборки - значение исследуемого показателя /-го члена экспериментальной группы, / = 1,2, .... N, а у- - значение исследуемого показателя _/-го
члена контрольной группы,] = 1, 2, М. Так как измерения производились в шкале
отношений, то {х)} и {у} - положительные, в том числе, возможно - целые, числа, для которых имеют смысл все арифметические операции. В качестве примера будем рассматривать результаты измерений уровня знаний в контрольной и экспериментальной группах до и после эксперимента (рис. 3) -количество правильно решенных задач.
Для данных, измеренных в шкале отношений, для проверки гипотезы о совпадении характеристик двух групп в педагогике целесообразно использование критерия Крамера-Уэлча [9].
Эмпирическое значение данного критерия рассчитывается на основании
информации об объемах N и М выборок х и у, выборочных средних X и у и выборочных дисперсиях Бх и Бу сравниваемых выборок по следующей формуле:
4м • N •
Т[Ш" М • Э, + N • Эу,
Алгоритм определения достоверности совпадений и различий характеристик сравниваемых выборок для экспериментальных данных, измеренных в шкале отношений, с помощью критерия Крамера-Уэлча заключается в следующем:
1. Вычислить для сравниваемых выборок Тэмп - эмпирическое значение критерия Крамера-Уэлча по формуле (3).
2. Сравнить это значение с критическим значением Т0,05= 1,96: если Тэмп <
1,96, то сделать вывод: "характеристики сравниваемых выборок совпадают на уровне значимости 0,05"; если Тэмп > 1.96, то сделать вывод "достоверность различий характеристик сравниваемых выборок составляет 95%".
Сравним группу 1 студентов с группой 2:
Для проведения эксперимента возьмем результирующие оценки первой группы (рис. 7).____________________________________________________
№ ФИО Итоговая оценка
1 Фам 1.1 5
2 Фам 1.2 4
3 Фам 1.3 3
4 Фам 1.4 4
5 Фам 1.5 4
6 Фам 1.6 5
7 Фам 1.7 4
8 Фам 1.8 5
9 Фам 1.9 5
10 Фам 1.10 5
11 Фам 1.11 4
12 Фам 1.12 4
13 Фам 1.13 4
14 Фам 1.14 4
15 Фам 1.15 3
16 Фам 1.16 5
17 Фам 1.17 4
18 Фам 1.18 3
19 Фам 1.19 5
20 Фам 1.20 5
х - у
По данным приведенным на рис 7: выборочные дисперсии Эх=0,51.
Данные второй группы приведены на
Рис. 7. Итоговые оценки первой группы
N=20, выборочные средний X =4,25,
рис.8.
№
ФИО
Итоговая оценка
1 Фам 2.1 5
2 Фам 2.2 5
3 Фам 2.3 5
4 Фам 2.4 5
5 Фам 2.5 5
6 Фам 2.6 4
7 Фам 2.7 5
8 Фам 2.8 5
9 Фам 2.9 5
10 Фам 2.10 5
11 Фам 2.11 5
12 Фам 2.12 5
13 Фам 2.13 5
14 Фам 2.14 5
15 Фам 2.15 3
16 Фам 2.16 4
17 Фам 2.17 4
18 Фам 2.18 5
19 Фам 2.19 5
20 Фам 2.20 5
Рис. 8. Итоговый оценки второй группы
По данным приведенным на рис 8 М=20, выборочные средний у =4,75,
выборочные дисперсии Ду=0,30.
Подставляя данные в формулу находим Тэмп:
л/20 • 20 • |4,25 - 4,75|
Тэмп = . 1 1 = 2,48.
д/20 • 0,51 + 20 • 0,30
Т.к. Тэмп > 1,96 следовательно достоверность различий характеристик
сравниваемых выборок составляет 95%.
Вывод: отличие по критерию Крамера-Уэлча средних значимо. Где качество подготовки лучше, где хуже сказать нельзя. Поэтому воспользуемся методом
Стьюдента, при конкурирующей гипотезе Щ( X) < М( у). Найдем критическую точку
1правост.кр.(а, к), по таблице, где а=0,05 - уровень значимости, к=М+М-2=38.
Чавост.кр.(0,05, 38) = 2,02.
Вычислим наблюдаемое значения критерия:
х - у
(п -1)^ + (т - ^у V
пт(п + т - 2)
= -0,62.
п + т
набл
( П - I) V
X
= - 2,02.
Т.к. Тнабл > 1левостр.кр - нет оснований отвергать нулевую гипотезу.
1левостр.кр - 1дравост.кр
Сравним группу 2 студентов с группой 3:
Данные второй группы объемы выборок N=20, выборочные средний X =4,75, выборочные дисперсии Дг=0,30.
Данные третьей группы приведены на рис. 9.
№ ФИО Итоговая оценка
1 Фам 3.1 5
2 Фам 3.2 5
3 Фам 3.3 5
4 Фам 3.4 5
5 Фам 3.5 5
6 Фам 3.6 5
7 Фам 3.7 4
8 Фам 3.8 5
9 Фам 3.9 5
10 Фам 3.10 5
11 Фам 3.11 5
12 Фам 3.12 4
13 Фам 3.13 5
14 Фам 3.14 5
15 Фам 3.15 5
16 Фам 3.16 5
17 Фам 3.17 5
18 Фам 3.18 5
19 Фам 3.19 5
20 Фам 3.20 5
21 Фам 3.21 5
22 Фам 3.22 5
23 Фам 3.23 4
Рис. 9. Итоговые оценки третьей группы
Из данных приведенных на рис. 9 М=23; выборочные средний у =4,87,
выборочные дисперсии _0у=0,12.
Подставляя данные в формулу находим Тэмп:
V20 • 23 • |4,75 - 4,87|
Т = . 1 ’ ’ 1 = 0,84.
д/20 • 0,30 + 23 • 0,12
Т.к. Тэмп < 1,96 следовательно характеристики сравниваемых выборок
совпадают на уровне значимости 0,05.
На рис. 10, 11, 12 показаны состояния полноты и целостности знаний студентов.
% 100
□ Модуль 6
□ Модуль 5
□ Модуль 4
□ Модуль 3
□ Модуль 2
□ Модуль 1
Рис. 10 Состояние полноты и целостности знаний у студентов первой группы
90
80
70
60
50
40
30
20
10
0
□ Модуль 6
□ Модуль 5
□ Модуль 4
□ Модуль 3
□ Модуль 2
□ Модуль 1
Рис. 11 Состояние полноты и целостности знаний у студентов второй группы
□ Модуль 6
□ Модуль 5
□ Модуль 4
□ Модуль 3
□ Модуль 2
□ Модуль 1
Рис. 12 Состояние полноты и целостности знаний у третьей группы
90
80
70
60
50
40
30
20
10
0
Литература
[Нуриев Н.К., Журбенко Л.Н., Старыгина С.Д., 2008] Модель подготовки инженера в метрическом компетентностном формате // Инноватика - 2008: Труды межд. конф. - Ульяновск: УлГУ, 2008. - С. 478-479.
[Нуриев Н.К., Журбенко Л.Н., Старыгина С.Д.,2007] Эффективность деятельности и метрики компетентности инженера // Проблемы разработки учебно-методического обеспечения перехода на двухуровневую систему в инженерном образовании: Материалы Межвузовской науч.-метод. конф. - М.: МИСиС, 2007. - С. 150-159. [Нуриев Н.К., Фатыхов Р.Х., Старыгина С.Д., 2006] Основы проектнодеятельностного образования // Educational Technology & Society - 2006 (http://ifets.ieee.org/russian/periodical /journal.html) - V.9. - N 2. - 15 c. - ISSN 14364522.
[Старыгина С.Д., Нуриев Н.К., 2008] Формирование и развитие компетенции инженера в рамках учебной дисциплины в метрическом компетентностном формате // Educational Technology & Society - 2008
(http://ifets.ieee.org/russian/periodical/journal.html) - V.11. - N 1. - 10 c. - ISSN 14364522.
[Нуриев Н.К., Старыгина С.Д., 2007] Системный анализ оценки эффективности деятельности объекта // Прикладные аспекты математики и математического образования: Сб. трудов по материалам III международной научной конференции «Математика. Образование. Культура» в четырех частях. Часть 4. - Тольятти: ТГУ, 2007. - С. 18 - 21.
[Нуриев Н.К., Старыгина С.Д., 2007] Оценка уровня развития информационноинтеллектуальных ресурсов обучающихся на базе плана конкурентоспособного специалиста // Современные проблемы фундаментального образования: Материалы VIII региональной науч.-метод. конф.. - Йошкар-Ола: МарГТУ, 2007. - С.26-30. [Нуриев Н.К., Журбенко Л.Н., Старыгина С.Д., 2007] Мониторинг качества подготовки будущего инженера (бакалавра, магистра в компетентностном формате): учебное пособие. - Казань: Изд-во Казан. гос. технол. ун-та, 2007. - 80 с.
[Нуриев Н.К., Журбенко Л.Н., Старыгина С.Д., 2007] Проектирование web -психодидактических систем // Educational Technology & Society - 2007 (http://ifets.ieee.org/russian/periodical/journal.html) - V.10. - N 3. - 23 c. - ISSN 14364522.
[Новиков Д. А., 2004] Статистические методы в педагогических исследованиях (типовые случаи). - М.: МЗ-Пресс, 2004. - 67 с.
