CC BY
32
21. Малиновский АА. Общие вопросы строения систем и их значение для биологии // Проблемы методологии системного исследования. - М.: Мысль, 1970.
22. Шапарь В.Б., Россоха В.Е., Шапарь О.В. Новейший психологический словарь. - Ростов н/Д.: Феникс, 2007.
23. Анохин П.К. Биология и нейрофизиология условного рефлекса. - М.: Медицина, 1968.
24. Bullock T.H. Sensory Communication / Ed. W. Rosenblith, Publ. M. I.T. - N.Y.: Press, 1961.
25. Бернштейн НА. Очерки по физиологии движений и физиологии активности. - М.: Медицина, 1966.
26. Иванов-Муромский КА. Саморегуляция головного мозга: Кибернетические аспекты теории наркоза. - Киев: Наукова думка, 1971.
27. Конопкин О.А. Психологические механизмы регуляции деятельности. - М., 1980.
28. Пейсахов Н.М. Система понятий теории психического самоуправления // Теоретические и прикладные исследования психической саморегуляции. - Казань: КГУ, 1982.
29. Платонов К.К. Краткий словарь системы психологических понятий. - М.: Высшая школа, 1984.
30. Кузьмина Н.В. и др. Рационализация самообразования, самоорганизации, самоконтроля учащихся средних профтехучилищ. - Л.: ВНИИ ПТО, 1988.
31. Губайдулина ТА. Особенности самоорганизации студентов в условиях целевого интен-сивного обучения. Дис. ... канд. пед. наук. - Л., 1989.
32. Донцов В.Н. Учебная самоорганизация студентов как фактор успеваемости (на материале динамики младших курсов): Автореф. дис. ... канд. пед. наук. - Л., 1977.
33. Копеина Н.С. Самоорганизация в системе психодиагностики. Типы самоорганизации // Вопросы практической психодиагностики и психологического консультирования в вузе. - Л.: ЛГУ, 1984.
34. Основы вузовской педагогики / Под ред. Н.В. Кузьминой, И.А. Урклина. - Л.: ЛГУ, 1972.
35. Моисеев Б.К. Дифференцированное применение психорегуляции в процессе формирования мотивов учения старших школьников // Психическая саморегуляция. Вып. 2. - Алма-Ата, 1974.
36. Саморегуляция и прогнозирование социального поведения личности / Под. ред. В.А. Ядова. -Л.: Наука, 1979.
37. Пейсахов Н.М. Проблема самоуправления и психологическая служба в вузе // Психологические резервы инженерной подготовки. - Казань, 1987. - С. 26-27.
38. Щукина Г.И. Роль деятельности в учебном процессе. - М.: Просвещение, 1986.
39. Цветкова А.Т. Технологии формирования мотивации и самоорганизации учебной деятельности у школьников и будущих учителей физики. -М.: МПУ, 1997.
40. Цветкова А.Т. Методика формирования мотивации и самоорганизации учебной деятельности в процессе обучения физике: Моногр. - М.: Прометей, 1999.
НЕКОТОРЫЕ ИСТОЧНИКИ ПОГРЕШНОСТЕЙ ИЗМЕРЕНИЯ УРОВНЯ ЗНАНИЙ В СИСТЕМЕ УПРАВЛЕНИЯ УЧЕБНЫМ ПРОЦЕССОМ
SOME SOURCES OF ERRORS IN MEASURING THE LEVEL OF KNOWLEDGE IN THE EDUCATION CONTROL SYSTEM
В.С. Ким
В статье рассмотрены такие источники погрешностей измерения уровня знаний в системе управления учением, как разная мотивация испытуемых к угадыванию правильного ответа и влияние периода и времени тестирования на его результаты. Даются рекомендации по учету этих погрешностей.
Ключевые слова: управление учебным процессом, тестирование учебных достижений, поправки на угадывание, время тестирования.
Kim V.S.
The author examines such sources of errors in measuring the level of knowledge in the education control system as different motivation of examinees for guessing the right answer and influence of the period and time of testing on its results and gives specific recommendations on how to take such errors into account.
Keywords: education control, testing learning achievements, taking guessing into account, testing time.
В условиях стремительного устаревания знаний на первый план выходит не усвоение знаний, умений и навыков, а формирование личности, ее способности к самостоятельному развитию с использованием информационных технологий. Современные педагогические технологии должны строиться с учетом достижений психологии, философии, социологии, математики, информатики, кибернетики. В частности, у кибернетики педагогика заимствует идеи управления сложными системами. В технологической цепи управления важнейшим звеном является подсистема обратной связи, которая в педагогике реализуется средствами педагогического контроля.
Попытки прямого применения кибернетических принципов теории управления в рамках педагогики были малоуспешны: система обратной связи в учебном процессе оказалась чрезвычайно сложной и трудно формализуемой. В 1960-х гг. в отечественной педагогике стали развиваться подходы, основанные на программированном обучении.
Программированное обучение предполагает использование идей управления процессом учения, заимствованных из кибернетики. Следует отметить, что обычно под управлением учебным процессом понимают систему мероприятий административного характера. Здесь же речь идет об управлении собственно процессом учения.
К сожалению, в дальнейшем под программированным обучением стали понимать любые технологии с использованием технических средств обучения, причем технические аспекты главенствовали в разрабатываемых технологиях, а педагогические и психологические вопросы обычно игнорировались.
Подобное развитие событий привело к тому, что дидактическая отдача от технологий с применением программированного обучения оказалась очень низкой, что привело к потере их популярности.
В настоящее время идеи программированного обучения стали возрождаться на новой основе. Пришло понимание того, что без учета педагогических и психологических аспектов процесса учения невозможно добиться повышения эффективности учебного процесса, даже если при этом задействованы самые передовые компьютерные технологии.
Процессы управления материальными системами изучаются в кибернетике, как науке об управлении. Однако простой перенос кибернетических идей в педагогику ведет к появлению очень грубых моделей учебного процесса, что существенно снижает дидактический потенциал педагогических технологий, основанных на подобных моделях. Более того, Н.Ф. Талызина считает, что попытки применить имеющиеся кибернетические подходы к педагогическим системам, являющимися крайне сложными и многоплановыми, неизбежно приведут к неудаче [1]. Для адекватного описания процессов в педагогических системах кибернетике, возможно, придется измениться самой. Иными словами современная кибернетика «слишком проста» для того, чтобы на приемлемом уровне описать процессы управления в педагогических системах.
Процесс обучения, согласно Н.Ф. Талызиной, как один из видов управления требует циклического (замкнутого) управления, осуществляемого по принципу «белого ящика». Замкнутость системы управления обусловлена наличием цепи обратной связи. Н.Ф. Талызина рассматривает коррекцию процесса усвоения за счет действия обратной связи как самостоятельный и важный этап управления.
Коррекция возможна, если есть возможность получения достоверной, объективной информации о состоянии системы, в том числе педагогической. В этой связи необходимо отметить важность диагностично-сти целей и задач, решаемых системой. Только наличие диагностичных целей позволяет контролировать состояние процесса обучения, а следовательно, его коррекцию и оптимизацию.
Согласно В.П. Беспалько, вариативными характеристиками, определяющими качество обучения являются уровень усвоения деятельности и степень усвоения (автоматизации) деятельности [2].
Эти величины можно контролировать, то есть достижение высокого качества обучения является диагно-стичной целью. Наличие диагностичных целей позволяет организовать реально действующий процесс управления обучением. Для эффективного процесса управления необходимы:
1) управляющий объект,
2) объект управления,
3) диагностичные цели,
4) контроль достижения цели,
5) коррекция процесса обучения.
Согласно С.Е. Шишову и В.А. Кальней, схематически можно представить технологическое построение учебного процесса следующим образом:
«Обобщенные цели и содержание обучения» - «Конкретные учебные цели» - «Обучение» - «Диагностика» -«Коррекция обучения и/или конкретной учебной цели» [3].
Эта схема демонстрирует процесс достижения поставленной цели благодаря действию цепей обратной связи, реализуемой с помощью диагностики. Именно диагностика позволяет производить коррекцию учебного процесса.
Достижение высокого качества обучения возможно только при наличии объективных методов диагностики. К сожалению, традиционная форма оценивания уровня знаний в форме опроса, экзамена, проводимого человеком, весьма субъективна.
По мнению К. Ингенкампа, при использовании пятибалльной шкалы преподаватель выставляет оценки с разбросом ±1 балл, то есть с точностью 20% [4]. Из этого следует, что за одни и те же знания испытуемый может быть оценен разными экзаменаторами на «2», на «3» и на «4». Более того, К. Ингенкамп указывает, что один и тот же экзаменатор в разные моменты времени, например с интервалом в 1 месяц, также по-разному оценивает один и тот же ответ (в экспериментах использовались видеозаписи ответов испытуемых).
#
Ясно, что столь неточный «измерительный прибор», каковым является человек, существенно снижает эффективность диагностики учебного процесса. По этой причине в качестве контрольно-измерительного мероприятия выбирается тестирование. Сам процесс диагностики разбивается на три этапа: 1) разработка теста; 2) процедура тестирования; 3) обработка и интерпретация результатов тестирования.
Как указано выше, наиболее объективным и технологичным методом осуществления контроля знаний является педагогическое тестирование. Термин «педагогическое тестирование» вводится для отсечения психологических тестов, имеющих свою специфику как с точки зрения дизайна, так и с точки зрения процедуры тестирования.
Если исходить из того, что педагогика содержит такие отрасли, как дидактика и воспитание, точнее следует говорить о дидактическом тестировании. Это связано с тем, что тестирование лишь косвенно влияет на воспитание человека. (Тем не менее, в литературе эти термины часто не различаются. Например, Е.А. Михайлычев использует в равной степени оба термина [5].)
Таким образом, под педагогическим тестированием мы будем понимать именно дидактическое тестирование.
Педагогическое тестирование осуществляется с помощью педагогических тестов. В литературе встречается много различных определений педагогического теста, рассмотрим некоторые из них.
В.С. Аванесов считает, что тест - это система параллельных заданий равномерно возрастающей трудности, позволяющая качественно оценить структуру и измерить уровень подготовленности испытуемых [6].
А.Н. Майоров отмечает, что существует множество определений теста, незначительно отличающихся друг от друга и дает следующее определение: «Тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения» [7].
М.Б. Челышкова считает, что итоговый нормативно-ориентированный тест - это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обеспечивающих информативность оценок уровня и качества подготовки испытуемых. У М.Б. Челыш-ковой дано и определение педагогического измерения. Педагогическое измерение - это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда [8].
Соглашаясь с мнением А.Н. Майорова относительно множества различных определений теста, мы остановимся на определении, данном В.С. Аванесовым. Определение теста у Аванесова В.С. неявно предполагает, что речь идет о нормативно-ориентированном тесте, а у М.Б. Че-
лышковой это указывается явно. В определении А.Н. Майорова не говорится, о каких тестах идет речь, то есть не делаются различия между нормативно-ориентированными и критериально-ориентированными тестами.
В результате анализа приведенных определений теста мы склоняемся к выводу, что наиболее приемлемым может оказаться следующее определение:
«ПЕДАГОГИЧЕСКИЙ ТЕСТ - это система тестовых заданий различной трудности, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых» [9].
При проведении тестирования необходимо отчетливо представлять себе его цели, поскольку от этого зависит выбор типа теста - нормативно-ориентированного или критериально-ориентированного. Это совершенно разные тесты, с различными спецификациями и разными свойствами.
Нормативно-ориентированные тесты имеют высокую дифференцирующую способность и используются в целях ранжирования испытуемых. Такие тесты целесообразно применять в модульно-рейтинговой системе оценивания, для абитуриентского тестирования.
Критериально-ориентированные тесты, в отличие от нормативно-ориентированных, имеют низкую разрешающую способность. Их главной задачей является не ранжирование испытуемых, а проверка успешности усвоения базового учебного материала. Если все испытуемые хорошо знают базовый учебный материал, то они все получат высокие тестовые баллы (все ответили на все задания). Подобная ситуация, совершенно недопустимая для нормативно-ориентированного теста, свидетельствует об успешности критериально-ориентированного тестирования - учебная группа освоила заданный объем знаний и готова к изучению следующего.
Для обеспечения объективности результатов тестирования необходимо, чтобы тест был надежным и валидным. Подчеркнем, что тест, имеющий высокий коэффициент надежности, необязательно является валидным.
На валидность может повлиять собственно процедура тестирования. Рассмотрим этот вопрос более детально, обратив внимание на два обстоятельства - попытки испытуемых угадать правильный ответ и выбор оптимального времени тестирования.
Тестовые задания часто создаются в так называемой закрытой форме. В закрытых заданиях предлагается список ответов, из которых, как правило, один ответ верный, а остальные - неверные (неверные ответы называются дистракторами). Слабый испытуемый, не зная правильного ответа, будет пытаться его угадать. Можно просто наугад выбрать ответ, тогда вероятность успеха, при хороших дистракторах, будет приблизительно обратно пропорциональна количеству ответов в списке. Вероятность угадывания резко повышается, если дистракторы сформулированы неудачно и сразу отбрасываются испытуемым. Кроме того, возможны различные стратегии угадывания - по самому длинному или самому короткому ответу или по другим, специальным признаками. В тестах по физике
весьма эффективным приемом угадывания является анализ размерностей.
Рассмотрим пример:
Путь при равноускоренном движении определяется формулой:
1.
2 аГ
5 - упГ +-
0 2
5 = УЛ Л--
0 2
5 = +
аг 2
Рассуждать будем следующим образом. Размерность пути - [м], следовательно, правая часть равенства, а также все слагаемые в нем должны иметь такую же размерность.
Начнем с первого ответа. Первое слагаемое имеет размерность
т 2 — с с
= [ти-с] .
Размерность этого слагаемого не соответствует требуемой. Следовательно, второе слагаемое уже можно не анализировать: весь первый ответ - неверный.
Теперь перейдем ко второму ответу. Первое слагаемое имеет размерность
т
— с с
= [т] .
Первое слагаемое второго ответа имеет правильную размерность. Перейдем к рассмотрению второго слагаемого второго ответа:
Легко видеть, что размерность второго слагаемого не совпадает с размерностью левой части уравнения. Следовательно, второй ответ - неверный. Последний, оставшийся ответ можно не анализировать - он должен быть верным:
т т
— —
с с
Таким образом, трижды применив анализ размерности, мы безошибочно определили верный ответ, совершенно не вникая в существо формул. Разумеется, возможно, что несколько ответов будут иметь верную размерность, но и в этом случае список ответов, среди которых нужно угадать верный, будет меньше исходного списка. Это вызовет повышение вероятности угадывания верного ответа.
Приведенный пример показывает, что при составлении тестовых заданий по физике необходимо добиваться
правильной размерности у всех дистракторов, чтобы исключить возможность использовать описанный метод угадывания верного ответа.
Ясно, что угадывание верного ответа искажает результаты тестирования, и мы получаем неверные данные об уровне подготовленности испытуемых. Для ослабления, если не исключения, этого эффекта, применяются различные способы коррекции тестового балла испытуемых.
Ранее нами была получена формула для ввода поправок на угадывание в исходный тестовый балл испытуемого [10] ,
\( 1щ
У =
\и
N°
(1)
\ 4 х у где У - исправленный исходный тестовый балл испытуемого,
р - доля верных ответов, ц = 1 - р - доля неверных ответов, п - параметр, характеризующий тип поправки на угадывание.
При п = 1 из формулы (1) получаем „ \
7= р-
к-1
N .
Это выражение можно переписать в следующем виде: цг
У = Х--, (2)
к-1
где X = рЫ - исходный тестовый балл,
№ = цЫ - количество неверных ответов испытуемого, к - количество ответов в тестовом задании (к-1 - количество дистракторов), N - число заданий теста.
Формула (2), позволяющая вводить поправку на угадывание, хорошо известна и часто используется в практике тестирования.
При п > 1 получаются поправки, более жестко разграничивающие сильных и слабых испытуемых.
Другим фактором, влияющим на результаты, является время тестирования. Здесь имеется в виду как общая продолжительность тестирования, так и момент его проведения. Неверно выбранное время тестирования не позволяет тестовым заданиям достичь своей цели - проверить, знает ли испытуемый проверяемую дидактическую единицу или ее составную часть.
В.В. Черненко отмечает, что источником систематической погрешности может стать и пренебрежение суточным и недельным распределением момента начала тестирования [11]. По данным А. Анастази и С. Урбиной результаты тестирования интеллекта для одного и того же испытуемого в начале недели могут дать показатель равный 110, а в конце недели - 80 [12].
При определении времени тестирования необходимо учитывать следующие рекомендации [13]:
1) время тестирования определяется по расположению максимума дисперсии тестовых результатов и не должно превышать 60 минут;
2
3.
2) число заданий теста не должна превышать 60, в предположении, что на выполнение одного задания требуется не более одной минуты;
3) тестирование необходимо проводить в первой половине дня;
4) тестирование желательно проводить не позднее середины недели.
Таким образом, повышение эффективности современного учебного процесса обеспечивается наличием системы управления, цепь обратной связи которой содержит валидную подсистему тестирования, учитывающую процедурные и организационные погрешности.
СПИСОК ЛИТЕРАТУРЫ
1. Талызина Н.Ф. Управление процессом усвоения знаний. - М.:МГУ, 1975.
2. Беспалько В.П. Программированное обучение: Дидактические основы. - М., 1970.
3. Шишов С.Е., Кальней ВА. Мониторинг качества образования в школе. - М., 1998.
4. Ингенкамп К. Педагогическая диагностика. -М.: Педагогика, 1991.
5. Михайлычев ЕА. Дидактическая тестология. -М.: Народное образование, 2001.
6. Аванесов В.С. Применение тестовых форм в Rasch Measurement // Педагогические измерения. -2005. -№ 4.
7. Майоров А.Н. Теория и практика создания тестов для системы образования. - М.: «Интеллект-центр», 2001.
8. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. - М.: Логос, 2002.
9. Ким В.С. Тестирование учебных достижений: Моногр. - Уссурийск: Изд-во УГПИ, 2007.
10. Ким В.С. Коррекция тестовых баллов на угадывание // Педагогические измерения. - 2006. -№4.
11. Черненко В .В., Котенкова НА, Лобанова И.В., Пряженникова ОА. О механизме возникновения систематической погрешности при тестировании уровня интеллектуальных способностей // Матер. Всерос. НТК «Военно-исторические, военно-педагогические, гуманитарные и социально-экономические вопросы». ТОВМИ им С.О. Макарова. - Владивосток, 2000.
12. Анастази А., Урбина С. Психологическое тестирование. - Спб.: Питер, 2006.
13. Ким В.С. Выбор оптимального времени тестирования // Педагогические измерения. - 2008. -№ 2.
ПРОЕКТИРОВАНИЕ ТЬЮТОРСКОЙ МОДЕЛИ ПЕДАГОГИЧЕСКОЙ ПРАКТИКИ СТУДЕНТОВ
PLANNING THE TUTORIAL MODEL OF STUDENT TEACHING PRACTICE
Н.Ю. Грачева
В статье рассматривается проблема совершенствования организации педагогической практики студентов с целью повышения эффективности формирования у выпускников педагогических вузов мотивации и готовности к педагогической деятельности в различных образовательных учреждениях. Предлагается новая тьюторская модель педагогической практики, целью которой является реализация принципа индивидуализации при освоении студентами педагогических вузов основных видов профессионально-педагогической деятельности.
Gracheva N.Yu.
The article is devoted to improving student teaching practice in order to increase its efficiency in developing teacher training graduates' motivation and willingness to teach. The authors suggest a new tutorial model of student teaching practice which aims at putting into practice the principle of individualiza-tion in students' teacher training.
Ключевые слова: педагогическая практика студентов, индивидуализация, открытое образовательное пространство, тьюторство, тьюторское сопровождение, тьюторская модель, тьютор, содержание педагогической деятельности, квалификационные умения студентов.
Keywords: student teaching practice, individualiza-tion, open educational space, tutor teaching, tutorial assistence, tutorial model, tutor, contents of teaching, professional skills of students.
