CC BY
30
ОРИГИНАЛЬНЫЕ СТАТЬИ
УДК 159.9+372.8
ПРОГНОСТИЧЕСКАЯ ВАЛИДНОСТЬ СДАЧИ ЕГЭ Н.А. АМИНОВ*, З.З. ЖАМБЕЕВА, И.И. ОСАДЧЕВА
ФГБНУ «Психологический институт РАО», Москва
В статье изложены результаты статистической проверки прогностической валидности результатов тестирования при сдаче ЕГЭ, ГИА и промежуточной аттестации как объективные, надежные и валидные меры обученности выпускников школы (а также школьников 4- и 9-х классов). Согласно гипотезе, уровень обученности является результатом влияния генетически заданных способностей и средовых факторов. Для проверки гипотезы использовали метод регрессионного анализа. Как показали результаты, наша гипотеза не подтвердилась. Наибольший «вклад» в результаты тестирования при сдаче ЕГЭ оказали средовые факторы (в первую очередь, представления учителя о способностях своих подопечных, то есть оценка успеваемости учителями). Однако из результатов регрессионного анализа на разных образовательных ступенях следует, что величина коэффициентов уравнения регрессии по ЕГЭ, ГИА и промежуточной аттестации может отражать уровень педагогических способностей учителей или служить мерой объективности, надежности и валидности их труда.
Ключевые слова: ЕГЭ, ГИА, промежуточная аттестация, прогностическая валидность, уровень интеллектуальной одаренности, оценки успеваемости, регрессионный анализ.
Введение
Принятие Федерального закона «Об образовании в РФ» 1 сентября 2013 г. и введение ЕГЭ - обязательного для всех выпускников средней школы [11] вызвали неоднозначную реакцию педагогической общественности (учителей, родителей и т.д.). Вопреки здравому смыслу, сам закон и введенная мера обученности школьников отвечали духу времени и требовали серьезных структурных изменений в системе российского образования.
Этот закон впервые в истории российского образования обосновал необходимость использования постоянного контроля за психическим развитием школьника или студента. В связи с этим в работах педагогов подчеркивается важность текущего и итого-
© Аминов Н.А., Жамбеева З.З., Осадчева И.И., 2016.
* Для корреспонденции:
Аминов Николай Александрович канд. психол. наук, ведущий сотрудник лаборатории дифференциальной психологии и психофизиологии Психологического института РАО E-mail: aminov.pirao@yandex.ru
вого тестирования, позволяющего оценивать эффективность обучения, корректирования учебных программ и уточнения дидактических целей в процессе обучения [8, 12].
Оценка в настоящее время рассматривается как неотъемлемая часть всего учебного процесса, особенно при переходе школьника или студента с одной образовательной ступени на другую.
Согласно концепции Н. Гренлунда [12], оценивание включает в себя три фундаментальных принципа, которыми надо руководствоваться в практике работы школы:
1. Идентификацию и описание планируемых учебных результатов.
2. Конструирование или отбор тестов и других измерительных инструментов.
3. Использование результатов для совершенствования обучения и преподавания в школе или вузе.
Поэтому сейчас все большее признание получают новые виды тестов: критериально-ориентированные (для описания учебных задач) и профессиональные тесты (для оценки знаний и уровня сформированно-сти учебных умений) [4, 7, 10].
И, как следствие этого, можно ожидать резкое улучшение качества образования учащихся (школьников и студентов) средней и высшей школы.
В соответствии с Федеральным законом «Об образовании в РФ», под школьной успеваемостью (обученностью выпускников средней школы) понимается учебный процесс и результаты сдачи ЕГЭ, планируемые при усвоении программы базовых дисциплин [11].
Внешняя валидность результатов тестирования при сдаче ЕГЭ в официальной (отечественной) прессе не были опубликованы. Таким образом, внешняя валидность результатов тестирования как объективная, надежная и обоснованная мера (критерий) обученности остается открытой.
Немецкий психолог К. Ингенкамп еще в 1990-х годах провел сравнительный анализ различных методов проверки знаний школьников и их прогностическую валид-ность. Его интересовало, в первую очередь, насколько используемый метод проверки знаний предсказывает школьную успешность в будущем: особенно успешность сдачи экзаменов в выпускных классах школы. Используя статистические процедуры, он сравнивал по внешнему критерию традиционную систему методов проверки знаний (то есть оценки учителей при письменных и устных формах проверки знаний) с результатами тестирования знаний с помощью педагогических тестов и с баллами, полученными школьниками при диагностике уровня интеллектуального развития. По степени объективности, надежности и валидности, по данным сравнительного анализа, методы оценки академической успешности учителями оказались менее объективными, надежными и валидными при сравнении с педагогическими и психологическими тестами. Объясняя данный парадоксальный факт сравнительного анализа, К. Ингенкамп был вынужден признать, что полученная учеником оценка зависит не столько от фактического уровня его знаний, сколько от случайной принад-
лежности к тому или иному классу, то есть от соотносительного (субьективного) масштаба, действующего внутри класса, школы и т.д. Сходные данные были получены и другими исследователями [6, 9. 10], но не получившими должного внимания и анализа в другом контексте (или парадигме).
ЕГЭ относится к классу типичных для педагогических тестов стандартизированных процедур и обновляемых каждый год для оценки уровня знаний по профилирующим (базовым) учебным материалам и сформированности учебных умений каждый год.
На результаты тестирования при сдаче ЕГЭ и других тестовых (официальных) процедур могут влиять и как факторы интеллектуальной одаренности, так и факторы «специального» обучения школьников.
В нашем исследовании была предпринята попытка оценить степень «вклада» уровня развития интеллекта детей и подростков и ситуативных (средовых) факторов (стиль преподавания, программы и т.д.) на результаты тестирования при сдаче ЕГЭ, ГИА и промежуточной аттестации.
Методика
Используемая двухфакторная модель эксперимента была выбрана неслучайно. Именно она могла выявить наиболее ярко «вклад» каждого класса переменных: стабильности (одаренности детей) или нестабильных усилий, везения или случайности на исход тестирования по внешним критериям.
В эксперименте участвовали школьники двух параллельных (А и Б) классов (4-, 9- и 11-х) одной из московских школ с гуманитарным уклоном. Всего обследовано 125 человек. Обследование школьников проводилось в 2013-2014 годах.
Методы исследования школьников включали в себя три класса переменных:
1. Общая одаренность по профилирующим предметам (русскому языку и литературе, алгебре):
1.1. Интегральная оценка по русскому языку.
1.2. Интегральная оценка по литературе.
1.3. Интегральная годовая оценка по алгебре.
2. Уровень интеллектуального развития по тестам Амтхауэра и ГИТ:
2.1. Уровень развития вербального интеллекта для школьников 9- и 11-х классов.
2.2. Уровень развития логико-математического интеллекта для школьников 9- и 11-х классов.
2.3. Уровень развития общего интеллекта для школьников.
2.4. Уровень развития интеллекта младших школьников (ГИТ: использование инструкции и арифметические задачи).
2.5. Степень выраженности лабильности ЦНС по субтесту В. Козловой для младших школьников.
3. Оценки успеваемости по внешним критериям:
3.1. Баллы по ЕГЭ для выпускников школы за 2013 год.
3.2. Баллы по ГИА для школьников 9-х классов.
3.3. Баллы по промежуточной аттестации для школьников 4-х классов.
Для статистической оценки «вклада» в результаты тестирования по внешним критериям (3.1., 3.2., 3.3.) факторов научения (1.1., 1.2., 1.3.) и факторов интеллектуального развития (2.1., 2.2., 2.3., 2.4., 2.5.) был использован регрессионный анализ ^аНэНоа 10) (в круглых скобках приведены значимые коэффициенты уравнения регрессии при р<0,01, для классов «А» и «Б», по профилирующим предметам русскому языку и математике).
Результаты
Результаты регрессионного анализа величины «вклада» в проходные баллы при сдаче ЕГЭ показали, что только оценка по русскому языку статистически значимо влияет на величину баллов при сдаче ЕГЭ [русский язык (78,9)]. Оценка по математике статистически значимо влияла на ве-
личину баллов по уровню развития интеллекта [математика (10,9)].
Результаты регрессионного анализа величины «вклада» в величину баллов по ГИА в 9-х классах показали, что оценки по русскому языку и математике статистически значимо влияли на величину баллов только в классе «А» [русский язык (26,3)], [математика (9,2)] и в классе «Б» [русский язык (23,4)].
Сходная картина коэффициента уравнения регрессии была обнаружена у школьников 4-го класса. Статистически значимый «вклад» на величину баллов по промежуточной аттестации обнаружен и для оценок по русскому языку и математике в классе «А» [русский язык (48,8)], [математика (40,4)]; в классе «Б» статистически значимых коэффициентов не обнаружено ни по русскому языку, ни по математике. Кроме того, установлено статистически значимое влияние оценок по русскому языку и математике на «лабильность» ЦНС по субтесту В. Козловой, в классе «А» [русский язык (10,8)], [математика (10,2)], в классе «Б» [русский язык (20,5)], [математика (27,1)].
Таким образом, наше предположение о двухфакторном влиянии (генетически заданных - одаренности - и средовых - научения - факторов) не подтвердилось. На разных образовательных ступенях средней школы на величину баллов при сдаче ЕГЭ, ГИА и промежуточной аттестации влияют только средовые факторы (представление учителя о резервных возможностях или одаренности школьников).
Обсуждение
Если сравнивать данные регрессионного анализа в 4-, 9- и 11-х классов по величине коэффициентов уравнения регрессии, то обнаруживаются три статистических значимых факта:
1. Влияние оценок по русскому языку на величину проходных баллов при сдаче ЕГЭ и отсутствие этого влияния оценок по математике. Иначе говоря (как это было показано при сравнительном анализе рос-
сийских и американских школьников - неопубликованные данные), высокие баллы получали только те выпускники, которые специально обучались отвечать на вопросы теста по русскому (английскому) языку предшествующего года в ущерб другим дисциплинам в течение года до сдачи ЕГЭ.
2. Влияние оценок по русскому языку и математике на баллы ГИА статистически значимы только в 9-х классах («А») и незначимы - в классе («Б»), хотя школьники класса «Б» были успешны по русскому языку. Этот факт отражает традиционную практику школы «деления» параллельных классов на более успешных (одаренных) школьников и менее успешных и, следовательно, разные требования к школьникам в зависимости от относительного масштаба (стандартов) представлений учителя об уровне одаренности своих подопечных.
3. В младших классах выявлено влияние оценок по русскому языку и математике на баллы промежуточной аттестации в одном классе и отсутствие этого влияния - в другом. То есть, высокие баллы по результатам промежуточной аттестации получили те школьники, которые обучались у педагогов высокой квалификации, умеющих «ладить» с детьми этого возраста и усиливать учебную мотивацию (интерес) к изучаемым предметам. В пользу этого говорит обнаруженная статистически значимая связь академической успешности и лабильности ЦНС как фактора ЦНС, влияющего на степень переключения и мобилизацию внимания учащихся в младших классах в процессе уроков.
Эти данные хорошо согласуются с идеей Р. Бернса о развитии «Я-концепции» [5] и воспитания школьников и концепцией М.К. Кабардова о благоприятном соответствии обучающихся систем и субъектов обучения. Из последней концепции, названной автором «Учитель-метод-ученик», следует, что на каждой образовательной ступени (младшей, средней предметной и высшей) преобладают разные дидактические цели [1, 8]:
1. Для младшей ступени - развитие мотивации к учебе.
2. Для средней (предметной) школы -методы обучения, влияющие на усвоение знаний и формирование учебных умений.
3. Для высшей ступени - набор преподавателей высшей категории, способных развивать конвергентное мышление и репродуктивную память у выпускников средней школы при подготовке к сдаче ЕГЭ и для успешного прохождения собеседования при поиске работы.
Заключение
Таким образом, результаты регрессионного анализа не дают основания считать ЕГЭ, ГИА и промежуточную аттестацию мерами обученности школьников: скорее, эти статистические процедуры являются объективными, независимыми и валидными для оценки педагогических способностей преподавателей к обучению школьников на разных образовательных ступенях средней школы.
Литература
1. Аминов Н.А. Психодиагностика специальных способностей у преподавателей средней и высшей школы. - М.:Изд-во МГОУ, 2013. - 165 с.
2. Аминов Н.А., Осадчева И.И. Реформа современного образования как основа трудового воспитания // В сб.: Культура. Духовность. Общество / Под общ. ред. С.С. Чернова. - Новосибирск: Изд-во УРНС, 2014.
- С. 103-109.
3. Анастази А. Дифференциальная психология. - М.: Апрель Пресс, Изд-во ЭКС-МО-Пресс, 2001. - 752 с.
4. Гордеева Т.О. Психология мотивации достижений. - М.: Смысл. Издательский центр «Академия», 2006. - 336 с.
5. Бернс Р. Развитие Я-концепции и воспитание. - М., «Прогресс», 1986.
6. Егорова М.С. Психология индивидуальных различий. - М.: Планета детей, 1997.
7. Ингенкамп К. Педагогическая диагностика.
- М.: Педагогика, 1991.
8. Кабардов М.К. «Учитель-метод-ученик»: благоприятное соответствие // Психология в вузе. - 2012. - № 2. - С. 23-27.
9. Основы психодиагностики. Учебное пособие для студентов педвузов / Под общ. редакцией А.Г. Шмелева. - Москва, Ростов-на-Дону: «Феникс», 1996. - 544 с.
10. Психодиагностика. Теория и практика: учебник для бакалавров / Под ред. М.К. Акимовой. - М.: Изд-во Юрайт, 2014. - 631 с.
11. Федеральный закон от 29 декабря 2012 г. № 273-Ф3 «Об образовании в Российской Федерации» (вступил в силу 1 сентября 2013 г.).
12. Gronlund N.E. Measurement and evaluation in teaching. - New York. L., 1976.
References
1. Aminov NA. Psikhodiagnostika spetsial'nykh sposobnostey u prepodavateley sredney i vyss-hey shkoly. Moscow: Izd-vo MGOU 2013: 165 (in Russian).
2. Aminov NA, Osadcheva II. Reforma sovremen-nogo obrazovaniya kak osnova trudovogo vos-pitaniya. V sb.: Kul'tura. Dukhovnost'. Obsh-chestvo. Pod obshch. red. SS Chernova. Novosibirsk: Izd-vo URNS 2014: 103-109 (in Russian).
3. Anastazi A. Differentsial'naya psikhologiya. Moscow: Aprel' Press, Izd-vo EKSMO-Press 2001: 752 (in Russian).
4. Gordeyeva TO. Psikhologiya motivatsii dos-tizheniy. Moscow: Smysl. Izdatel'skiy tsentr «Akademiya» 2006: 336 (in Russian).
5. Berns R. Razvitiye YA-kontseptsii i vospitani-ye. Moscow: «Progress» 1986 (in Russian).
6. Yegorova MS. Psikhologiya individual'nykh razlichiy. Moscow: Planeta detey 1997 (in Russian).
7. Ingenkamp K. Pedagogicheskaya diagnostika. Moscow: Pedagogika 1991 (in Russian).
8. Kabardov MK. «Uchitel'-metod-uchenik»: blagopriyatnoye sootvetstviye. Psikhologiya v vuze 2012; 2:23-27 (in Russian).
9. Osnovy psikhodiagnostiki. Uchebnoye poso-biye dlya studentov pedvuzov. Pod obshch. redaktsiyey AG Shmeleva. Moscow, Ros-tov-na-Donu: «Feniks» 1996: 544 (in Russian).
10. Psikhodiagnostika. Teoriya i praktika: ucheb-nik dlya bakalavrov. Pod red. MK Akimovoy. Moscow: Izd-vo Yurayt 2014: 631 (in Russian).
11. Federal'nyy zakon ot 29 dekabrya 2012 g. № 273-FZ «Ob obrazovanii v Rossiyskoy Feder-atsii» (vstupil v silu 1 sentyabrya 2013 g.) (in Russian).
12. Gronlund NE. Measurement and evaluation in teaching. New York L 1976.
THE PREDICTIVE VALIDITY OF THE UNIFIED STATE EXAM O.N. AMINOV, Z.Z. ZHAMBEEVA, I.I. OSADCHEVA
Psychological Institute RAE, Moscow
The article presents the results of a statistical test of the validity of the results on the Unified State Exam (USE), the State final attestation (SFA) and the intermediate assessment as objective, reliable and valid measures of high school graduates' knowledge (as well as students' of 4th and 9th grades). According to the hypothesis, the level of knowledge is the result of genetically defined abilities and environmental factors. To test this hypothesis we used regression analysis. The results showed that our hypothesis was not confirmed. The contribution was largely environmental (first of all, teacher's opinion about the abilities of his students, that is, teacher-rated performance). However, from the results of the regression analysis on different educational levels, the magnitude of the regression coefficients for USE, SFA and intermediate assessment may reflect the level of pedagogical skills of teachers or be a measure of objectivity, reliability and validity of their work.
Keywords: USE, SFA, intermediate certification, predictive validity, level of intellectual giftedness, learning assessment, regression analysis.
Address:
Aminov Nikolai, Ph.D., Senior Fellow,
9-4 Mokhovaya str., Moscow, 125009, Russia,
E-mail: aminov.pirao@yandex.ru
