CC BY
41
быть включена в учебные дисциплины: зовательных технологий [1, 4]. «Социальная информатика», «Принятие Проведение учебного занятия в ситуа-управленческого решения», «Ситуацион- ционном центре с использованием данной ный тренинг», «Моделирование социаль- модели повышает качество и эффективных процессов и явлений в условиях сис- ность учебного процесса, расширяет воз-темного кризиса», «Анализ и прогнозиро- можности наглядного представления дан-вание инновационных процессов». Про- ных и результатов моделирования, позволя-должительность деловой игры - 4 акад. ча- ет организовать коллективное обсуждение са. различных вариантов управленческого ре-
Игра может быть адаптирована для шения [7]. применения в среде дистанционных обра-
Литература
1. Данчул А.Н., Данилова О.С., Навроцкая М.А., Поленова Т.М., Сафонова Т.Е. Использование ситуационного центра и телекоммуникационных технологий в учебном процессе при моделировании динамики социально-экономического развития региона// «Совершенствование подготовки 1Т-специалистов по направлению «Прикладная информатика» на основе информационных технологий и Е-Ьеагт^»: Сб. научн. тр. - М: МЭСИ, 2007.
2. Кузык Б.Н. Прогнозирование и стратегическое планирование социально-экономического развития: Учебник / Б.Н. Кузык, В.И. Кушлин, Ю.В. Яковец. - М.: Экономика, 2006. - 427 с.
3. Манушин Э.А., Митин А.И. Учебный ситуационный центр как среда обучения групповому принятию решений: Методические рекомендации для системы повышения квалификации и переподготовки управленческих кадров (Сер. «Учебно-исследовательский ситуационный центр».) - М.: Изд-во РАГС, 2007. - 46 с.
4. Междисциплинарный инновационный комплекс деловых игр «Демографический кризис в России и пути его преодоления» с применением технологий учебного ситуационного центра с включением гендерного компонента (Сер. «Социальная инноватика государственного управления») / Под ред. Ф.Д. Демидова. - М.: Проспект, 2007.
5. Навроцкая М.А., Надеев А.Т. Матричный метод оптимизации распределения средств бюджета // Системный анализ и моделирование социально-экономических и политических процессов: Сб. статей. -Вып.4. - Н.Новгород: Изд-во ВВАГС, 2004 - С.60-66.
6. Навроцкая М.А., Надеев А.Т., Халин А.А. Исследование влияния поселенческих потенциалов на развитие промышленного производства в Нижегородской губернии // Системный анализ и моделирование социально-экономических и политических процессов: Сб. статей. - Вып.3. - Н.Новгород: Изд-во ВВАГС, 2003. - С.54-60.
7. Надеев А.Т. Моделирование социально-политических и экономических процессов: Учебник -Н.Новгород: Изд-во ВВАГС, 2002. - 350 с.
8. Поленова Т.М., Сафонова Т.Е., Тарасов С.Б. Методические рекомендации к учебному занятию «Анализ стратегии социально-экономического развития и безопасности региона» (Сер. «Учебно-исследовательский ситуационный центр») / Под общ. ред. А.Н. Данчула. - М.: Изд-во РАГС, 2007. - 40 с.
К ВОПРОСУ О ПЕДАГОГИЧЕСКОМ ПРОГНОЗИРОВАНИИ
В.С. Клопченко, к.ф.-м.н., доц., проф. каф. Физики Тел.: (8634) 312-037;E-mail: [email protected] Таганрогский технологический институт Южного Федерального Университета
http://www.tsure.ru
The model for forecasting of student's learning grade is expanded with a new variable - coefficient of learning discrimination. The categorical structure of knowledge can be measured by student characteristics, difficulty of learning and various probability of success.
На основании проведенного анализа методов прогнозирования, по нашему мнению, важнейшей задачей является определение узкого круга методов прогнозирования для решения широкого спектра проблем в образова-
нии (педагогике). Установлено, что наиболее сложные задачи прогнозирования возникают в педагогике, психологии и ряде других областей. Это приводит к необходимости использования одного из методов эволюционного мо-
делирования - самоорганизации моделей на ЭВМ [1], применяемых для решения задач долгосрочного прогноза даже при неполном информационном базисе. Данные алгоритмы необходимо использовать в психолого-педагогических исследованиях при наличии минимальных статистических данных об исследуемом процессе (явлении). В случае достаточного объема статистической информации следует использовать прогнозирование на базе известных закономерностей развития необратимых процессов [1].
Как показывает практика разработки прогнозов, описание будущих состояний прогнозируемого объекта или возможных траекторий развития этого объекта в будущем может быть получено с помощью методов, которые не являются непосредственно методами прогнозирования. К таким методам можно отнести вариационное исчисление, теорию катастроф, описание развития системы с помощью дифференциальных или разностных уравнений.
Используя инструментарий педагогической диагностики (подготовленности участников тестирования), можно прогнозировать структуру знаний, определить зону ближайшего развития; получить зависимость, характеризующую процесс развития учащегося. Последнее обстоятельство дает возможность более четко формировать группы (потоки) учащихся при изучении тех или иных курсов, выбирать преподавателя, методы и организационные формы обучения.
При проведении и обработке результатов Российского государственного педагогического тестирования с недавнего времени (2000 г.) используются модели теории Item Response Theory (IRT). Основополагающим в этой теории является предположение о том, что учебные достижения учащегося в определенной области знаний можно оценивать с помощью объективного скрытого (латентного) параметра, называемого уровнем подготовленности. В свою очередь, каждое задание, решаемое учащимся, также характеризуется скрытым объективным параметром, называемым уровнем трудности задания. Скрытые параметры учащихся и заданий не поддаются непосредственному измерению, однако их значения мо-
гут быть оценены по результатам решения теста большим количеством учащихся с использованием методов статистического анализа.
Для вычисления статистических оценок скрытых параметров заданий у учащихся необходимо задаться математической моделью зависимости вероятности решения конкретного задания конкретным участником (вероятности успеха) от уровня подготовленности участника и трудности заданий (такая зависимость в ТППТ называется функцией успеха). Отличие двухпараметрической модели Бирн-баума от модели Раша состоит в добавлении еще одного параметра - коэффициента дискриминации задания а?, характеризующего способность задания измерять уровень подготовленности испытуемого, т.е., другими словами, параметр качества задания:
Р( x) =
1 + ed
(1)
При использовании модели Бирнбаума первичные баллы уже не являются достаточными статистиками, т.е. испытуемые, решившие одинаковое число заданий, получат разные тестовые баллы. Тестовый балл определяется не только количеством правильно решенных заданий, но и тем, какие именно задания решил испытуемый. При этом достаточными статистиками при определении тестовых баллов являются суммы коэффициентов дискриминации правильно решенных заданий. Таким образом, тестовый балл испытуемого определяется первичным баллом, взвешенным по качеству решенных заданий, определяемому их коэффициентами дискриминации. Хорошие задания вносят существенный вклад в тестовый балл, а плохие, некорректные и плохо сформулированные задания влияют на него слабо. С нашей точки зрения, модели Раша и Бирнбаума имеют следующие недостатки:
- трудность решенных тестовых заданий не влияет на тестовый балл;
- не учтены такие важные факторы, как внимательность испытуемых и неравномерность их подготовленности по различным разделам курса.
Эти недостатки могут быть устранены путем разработки новых моделей функции успеха, учитывающих кроме уровня подготовленности испытуемых и другие их индивидуальные качества. В частности, параметр а двухпараметрической модели Бирнбаума может быть интерпретирован не как параметр задания, а как параметр участника тестирования. Величина а (коэффициент дискриминации учащегося) измеряет способность учаще-
dx
e
гося отличать трудные задания от легких.
Если наряду с коэффициентом дискриминации учащегося в модели учитывать коэффициенты дискриминации заданий, то коэффициент ё в модели Бирнбаума приобретает смысл обобщенного коэффициента, являющегося функцией коэффициента дискриминации учащегося ёу и коэффициента дискриминации задания ёз. При этом разность между уровнем подготовленности учащегося и уровнем трудности задания будет случайной величиной, закон распределения которой является композицией законов распределения уровней подготовленности учащегося и трудности задания. Дисперсия этого распределения является суммой дисперсий названных исходных распределений. С учетом этого обобщенный параметр ё может быть определен из выражения:
ё = (ёу-2 + ё3-2)-1/2. (2)
Введение дополнительного параметра, характеризующего учащегося, позволяет учитывать при выставлении баллов не только количество, но и трудность правильно выполненных заданий.
Введение параметра «коэффициент дискриминации учащегося» позволит также выставлять учащемуся вторую оценку. По нашему мнению, это может быть оценка за способность к обучению обучаемого. Оценка уровня подготовленности, используемая в настоящее время, измеряет уровень подготовленности на уровне вероятности успеха р = 0,5. Однако, если в дальнейшей профессиональной деятельности учащийся будет правильно решать только половину поставленных задач, то это явно не может быть признано удовлетворительным. В связи с этим вызывает интерес измерение подготовленности на других, более высоких уровнях вероятности успеха. Для приведения оценок знаний и умений к единой шкале будем считать, что оценки знаний учащегося, имеющего единичный коэффициент дискриминации, совпадают на всех уровнях. Тогда оценка знаний в логитах 9р на уровне вероятности р будет определяться из выражения:
ер =е+(1-ё)\г1р-. (з)
ё 1-р
В частности, на уровне вероятности р = 0,9 учащийся, имеющий коэффициент дискриминации ё = 0,7 при уровне знаний 9 = 2 логита, будет иметь оценку умений, равную 1,058 логита, а учащийся с тем же уровнем знаний и коэффициентом дискриминации 1,5 будет иметь оценку уровня умений 2,732 логита [2]. Таким образом, введение в модель тестирования дополнительного параметра
«коэффициента дискриминации учащегося» позволяет более объективно оценивать знания учащегося.
Исследуя форму индивидуальной характеристической функции участника, М.Б. Че-лышкова [3] предлагает в зависимости от вероятности успеха разбить диапазон трудности заданий, решаемых участником, на ряд областей. Область (0,2<р<0,4) - трудные задания, самостоятельное выполнение которых затруднительно для обучаемого, но вполне ему по силам при сотрудничестве с педагогом. Такие задания, как отмечает М.Б. Челышкова, соответствуют зоне ближайшего развития обучаемого. Ширина областей зависит от параметра ё, определяемого автором как «показатель структурированности знаний», характеризующий качество знаний участника, который, в отличие от уровня подготовленности, характеризует эффективность работы преподавателей, обучавших участника. В частности, при нерегулярных знаниях и наличии пробелов в подготовке величина ё мала, а индивидуальная характеристическая функция участника -пологая. Напротив, у участника с регулярной системой знаний наблюдается более крутая индивидуальная характеристическая функция участника, при этом коэффициент ё принимает большие значения. Из модели Бирнбаума следует уменьшение ширины всех зон с ростом коэффициента ё.
Из этого факта в работе [3] делается противоречащий общепринятым взглядам [4] вывод о том, что существование широкой зоны ближайшего развития у учащегося связано с наличием большого числа пробелов в структуре знаний и свидетельствует о его низкой обучаемости. В работе также отмечается, что ширина зоны ближайшего развития (а следовательно, и величина коэффициента ё) не определяет однозначно качество обучения и в зависимости от подготовленности (высокой или низкой) может быть рассмотрена и как позитивное явление, свидетельствующее о высоких потенциальных возможностях обучаемого, и как негативное, говорящее о пробелах в знаниях и низкой динамике обучения. Отсюда можно сделать вывод, что модель Бирнбаума и вычисленный на ее основании коэффициент ё не могут использоваться для однозначной числовой оценки качества подготовленности участника.
На наш взгляд, противоречивость выводов о роли (положительной или отрицательной) зоны ближайшего развития в процессе обучения объясняется следующими причинами. Измерение подготовленности на уровне
вероятности успеха р = 0,5 является психологически непривычным по сравнению с классическим измерением по пятибалльной или десятибалльной шкалам, где оценка «отлично» соответствует знаниям на уровне вероятности успеха р = 0,9 - 0,95. В частности, в [3] отмечается, что педагогу трудно поставить оценку на экзамене, когда у студента постоянно чередуются верные и неверные ответы. В ЖТ измерение подготовленности является оптимальным именно на таком уровне знаний, а большая ширина зоны актуального развития лишь снижает точность измерений и, как следствие, при заданной точности повышает трудоемкость измерения подготовленности.
В качестве примера традиционного оценивания знаний по четырехбалльной шкале рассмотрим стандарт Таганрогского технологического института Южного Федерального Университета, в котором регламентируется выставление оценок по результатам итогового рейтингового контроля знаний:
85% - 100% - отлично;
70% - 84% - хорошо;
55% - 64% - удовлетворительно;
0% - 54% - неудовлетворительно.
Проценты вычисляются от максимально возможного балла и, в первом приближении, соответствуют вероятности успеха, взвешенной по сложности заданий. При этом оценке «отлично» соответствуют в среднем знания на уровне р=0,925, а значение р=0,5, используемое для измерения в ЖТ, соответствует оценке «неудовлетворительно».
Второй причиной вышеназванных противоречий является несовершенство модели Бирнбаума. Вывод о негативном влиянии широкой зоны ближайшего развития является следствием симметричности графика индивидуальной характеристической функции участника (ИХФУ) в модели Бирнбаума относительно точки перегиба. На самом деле ширина различных зон может не зависеть (или слабо зависеть) друг от друга; при этом форма индивидуальной характеристической функции участника может быть более сложной, в частности - асимметричной, и для ее описания требуется более сложная модель.
Анализ показывает, что для получения возможности измерения структуры подготовленности (структуры знаний) участников тестирования должны быть решены следующие задачи:
• Разработка методики измерения структуры подготовленности на основе информации, содержащейся в ИХФУ;
• Построение математической модели,
объединяющей характеристические функции заданий и участников и позволяющей описывать ИХФУ различной, в том числе и асимметричной формы;
• Разработка методики построения и сглаживания ИХФУ.
Рассмотрим типовую индивидуальную характеристическую функцию участника, которую в зависимости от значений вероятности успеха разобьем на интервалы, выделив в отличие от [3] не четыре, а пять интервалов (рис.1).
I интервал (0,8<р<1, середина интервала />1=0,9) - уровень навыков - включает в себя задания, легкие для выполнения. На этом уровне обучаемый может использовать свои знания для решения задач, решая их, не задумываясь, его умения доведены до автоматизма.
II интервал (0,6 <р < 0,8 , середина интервала р2=0,7) - уровень умений - включает в себя задания невысокой сложности. Выполняя такие задания, обучаемый показывает не только свои знания, но и умение их использовать. На этом уровне обучаемый не нуждается в помощи преподавателя; однако не все задания он выполняет безошибочно.
III интервал (0,4<р < 0,6, середина интервала р3=0,5) включает в себя задания средней сложности. Такие задания оптимальны для интегральной оценки подготовленности. Измерение подготовленности на этом уровне характеризует уровень актуальных, недавно полученных знаний. На этом уровне обучаемый освоил новый материал, но не всегда умеет правильно его использовать.
IV интервал (0,2<р<0,4, середина интервала р4=0,3) включает в себя задания, вызывающие затруднения при самостоятельном выполнении. Выполнение таких заданий вызывает необходимость помощи педагога. Такие задания являются оптимальными для их выполнения в процессе обучения.
V интервал (0 < р<0,2 середина интервала р5=0,1) содержит задания высокой сложности, ограниченно доступные для выполнения даже с помощью педагога. Однако, некоторая часть таких заданий может успешно выполнятся обучаемым благодаря изучению дополнительной литературы сверх установленной программы, занятиям научной работой, высокой общей эрудиции. Измерение подготовленности на уровне пятого интервала характеризует уровень перспективных знаний, способность к самостоятельному изучению материала, научной работе и творчеству.
Таким образом, структуру знаний можно оценить по характеристической функции участника, измеряя трудность заданий, соответствующую различным уровням вероятности успеха.
Рассмотрим несколько примеров функций структуры знаний, соответствующих различным ИХФУ. На рис. 2-3 изображены симметричные графики характеристических функций участника и функций структуры знаний, соответствующих модели Бирнбау-ма при d=0,7 (рис. 2) и d=1,5 (рис. 3). Характеристическая кривая рис. 2 является более пологой относительно модели Раша, что в диапазоне значений р>0,5 говорит о пробелах в знаниях, а в диапазоне р<0,5 - о хороших перспективах в приобретении новых знаний.
Такая кривая характерна для обучаемых, которые стремятся к получению новых знаний, хотят заниматься научной работой, однако быстро теряют интерес к уже полученным знаниям, в связи с чем их знания имеют неглубокий, поверхностный характер. Кривая рис. 3 является более крутой по сравнению с моделью Раша, что говорит о хороших, регулярных знаниях, полученных под руководством преподавателя. Однако, за пределами изученной программы знания быстро убывают. Такой обучаемый должен испытывать трудности в самостоятельной работе, может быть не готов к принятию самостоятельных решений.
Возможная форма индивидуальных характеристических функций участников не исчерпывается симметричными кривыми. На рис.4-5 изображены графики несимметричных характеристических функций и соответствующих им функций структуры знаний. Рис.4 иллюстрирует характеристическую функцию с плохой структурой знаний. В диапазоне больших вероятностей успеха наклон характеристической функции пологий, что свидетельствует о нетвердых сформировавшихся знаниях; крутой наклон кривой в области малых значений вероятности успеха говорит о недостаточной способности к самостоятельной работе.
Кривая функции структуры знаний имеет максимум в зоне актуальных знаний; это говорит о том, что обучаемый хорошо знает лишь недавно изученный материал, который затем не повторяется, а иногда и забывается. Наилучшая, на наш взгляд, структура знаний соответствует асимметричному графику характеристической функции, пример которого изображен на рис. 4.
Крутой наклон характеристической кривой в области больших значений вероятности успеха говорит о регулярной структуре сформировавшихся знаний; пологий наклон кривой в области малых значений вероятности успеха определяет хорошую обучаемость и способность к самостоятельной работе.
1
09
I 0.1
1« о:
«I
а
_4 -} 1 1 о I г » д 5 * Трудность чдлния. лат
- Характеристическаяф> нкция участника
..... Модель Рашл
а) Характеристическая функция участника
Урсаевь мрмтнмтл У^ПсКа
б) Функция структуры >НДНИИ
Рис. 5. Индивидуальная характеристическая функция и функция структуры знаний участника тестирования. Несимметричная модель с отрицательной асимметрией, в =1,5
Таким образом, структура знаний может быть описана с помощью функции, которую мы назвали функцией структуры знаний. Эта функция может быть определена из ИХФУ. Для построения ИХФУ можно использовать информацию о заданиях теста (значения их трудности и дифференцирующей способности), а также информацию, содержащуюся в матрице ответов участника.
Следует также отметить, что во многих учебниках и другой литературе определение понятия «ближайшая зона развития» в большинстве своем дополняется словами «с помощью преподавателя». Таким образом, метод нахождения «зоны ближайшего развития» включается в само определение, что является некорректным. В современных условиях определение зоны ближайшего раз-
вития может быть произведено различными методами.
Таким образом, используя результаты тестирования, возможно получение прогнозной информации об обучаемости учащегося, что позволяет оптимизировать процесс формирования групп (потоков) для изучения тех или иных предметов, выбор преподавателя и педагогической технологии.
Педагог стремится опереться на реальные возможности учащихся к обучению, которые Н.А. Менчинская, З.И.Калмыкова еще в 70-е годы назвали «обучаемостью» [5] -«способность к усвоению нового материала, характеризуемая быстротой и качеством формирования новых знаний, умений, навыков», Л.В.Занков, Д.Б. Эльконин, В.В. Давыдов, З.И. Калмыкова показали, что обучаемость предопределяет разный темп продвижения учащихся в овладении учебным материалом. В настоящее время дифференциация обучения - это дидактический принцип, используемый для оптимизации процесса обучения путем учета индивидуальных особенностей учащихся. При этом используется различные методы дифференциации процесса обучения.
В ТТИ ЮФУ (ТРТУ) на базе результатов тестирования с использованием трехпа-раметрической модели [2] определялись ИХФУ, структура знаний и исходная обучаемость будущих студентов по различным предметам. Это позволило на научный основе формировать потоки учащихся из различных групп при изучении тех или иных курсов и осуществлять подбор преподавателей. Оптимизация выбора организационных форм и методов обучения осуществлялась с помощью специальной автоматизированной системы [1].
В процессе обучения проводился контроль (диагностика) процесса обучения с целью получения информации о динамике обучаемости и текущем уровне подготовленности студентов с помощью специальных тестов и расчета на базе трехпараметри-ческой модели. Тесты содержат задания трех уровней сложности, причем задания распределены в тесте по определенному закону, что позволяет повысить точность процесса тестирования [2].
Распределение по группам, с учетом исходной обучаемости, позволило повысить уровень знаний и успеваемости с 60 до 80%.
Литература
1. Глушенко А.А., Иванцов В.В., Клово А.Г., Радомская М.В. Измерение и оценка качества образования. - М.: Изд-во «МПА-Пресс», 2003. - 237 с.
2. Клопченко В.С. Методология и теория прогнозирования в образовании. -Ч. II. - М.: Изд-во «МПА-ПРЕСС», 2006. - 175 с.
3. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). -М.: ИЦКПС, 2001. -165 с.
4. Иванова А.Я. Обучаемость как принцип оценки умственного развития детей. - М.: Изд. МГУ,
1976.
5. Менчинская Н.А. Проблемы обучения, воспитания и психического развития ребенка. - М.: МО-ДЭК, 2004. - 512 с.
ИННОВАЦИОННАЯ ТЕХНОЛОГИЧЕСКАЯ СРЕДА ОЦЕНКИ КОМПЕТЕНТНОСТИ В ОБРАЗОВАНИИ
Н.В. Комлева, к.э.н., доц., зав. каф. МОиАИС Тел.: (495)442-80-98; E-mail: [email protected] С. И. Макаров, асп. каф. МОиАИС Тел.: (926)656-55-93; E-mail: [email protected] Московский государственный университет экономики, статистики и информатики
http://www.mesi.ru
The article describes a universal technological competency assessment environment belonging to the new generation of electronic testing systems. An innovative approach to competency assessment is proposed, characterized by usage of the competency model as a basis for testing, adaptivity and combination of knowledge-based and performance-based testing methods.
