Научная статья на тему 'ПРОБЛЕМЫ АНАЛИЗА СВЯЗЕЙ КОНТЕКСТА ОБУЧЕНИЯ И РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ TIMSS'

ПРОБЛЕМЫ АНАЛИЗА СВЯЗЕЙ КОНТЕКСТА ОБУЧЕНИЯ И РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ TIMSS Текст научной статьи по специальности «Науки об образовании»

CC BY
86
9
Читать
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Образование и наука
Scopus
ВАК
ESCI
Область наук
Ключевые слова
TIMSS / ТЕСТИРОВАНИЕ / МАТЕМАТИКА / КОНТЕКСТ ОБУЧЕНИЯ / СИСТЕМА ОЦЕНИВАНИЯ / ПРАВДОПОДОБНЫЕ ЗНАЧЕНИЯ / МАССОВЫЕ СОЦИОЛОГИЧЕСКИЕ ОПРОСЫ ШКОЛЬНИКОВ

Аннотация научной статьи по наукам об образовании, автор научной работы — Нуриева Л. М., Киселев С. Г.

Введение. Уже более двух десятков лет Организация экономического сотрудничества и развития организует проведение ряд сопоставительных исследований качества образования разных стран. Одним из них является исследование математического и естественнонаучного образования TIMSS (Trends in International Mathematics and Science Study), которое проводится совместно с Международной ассоциацией по оценке образовательных достижений (IEA). Последний, седьмой по счету, цикл исследования был проведен в 2019 г. Статистика TIMSS регулярно размещается в открытом доступе на сайте IEA с тем, чтобы специалисты могли самостоятельно провести изыскания в любом интересующем их аспекте. Одним из направлений анализа при этом традиционно является поиск причин тех или иных результатов тестирования, которые определяются особенностями организации образовательного процесса и контекстом обучения в разных странах. Вместе с тем изучение профессиональной литературы показало, что из факторов социального и школьного контекста, анализ которых предусматривает инструментарий исследования, непосредственно с баллами TIMSS оказался статистически связан лишь крайне ограниченный их круг. Специалисты систематически сталкиваются с труднообъяснимым отсутствием или низкими значениями корреляции тестовых баллов TIMSS и показателей контекста. Основной причиной таких затруднений, на наш взгляд, является невнимание к особенностям индикаторов, применяемых в расчетах мер статистических связей.Цель настоящего исследования - выявление статистической связи результатов тестирования и показателей контекста обучения школьников, а также влияния системы сбора и обработки информации TIMSS на продуктивность анализа итогов данного исследования.Методология и методика исследования. Методологической основой работы является системный подход, в основе которого лежит рассмотрение результатов международного исследования TIMSS как целого, то есть комплекса взаимосвязанных элементов (организации, инструментария, индикаторов оценки, системы подсчета баллов). Работа проведена на основе процедур прикладного исследования (наблюдение, описание, сравнение, измерение и т. д.), в рамках которого использовались также общенаучные (сравнительный анализ, систематизация, обобщение) и статистические методы исследования (статистический и корреляционный анализ и др.). Источником информации послужила Международная база данных электронного тестирования TIMSS-2019, размещенная на репозитории IEA. Наборы данных TIMSS были проанализированы с использованием подключаемого к программе SPSS модуля-анализатора Международной базы данных (IDB) IEA (версия 4.0).Результаты. Исследование обнаружило по большинству показателей социального и ученического контекста обучения отсутствие или низкое значение статистических связей с баллами TIMSS. Из предусмотренных организаторами индикаторов социального благополучия и домашних условий обучения с баллами TIMSS оказались статистически связаны лишь количество книг в доме и образование родителей, из показателей условий обучения в школе - частота самостоятельной работы на уроках, из мотивационных факторов - планы продолжить образование и самооценка учащимися уровня своих математических знаний. При этом даже названные связи оказались слабыми. Как выяснилось, сложности обнаружения корреляции баллов TIMSS и условий обучения вызваны самой сущностью анализируемых переменных: 1) приблизительный характер индивидуальных оценок школьников, применяемый в TIMSS; 2) низкая дифференциация учащихся по ряду индикаторов контекста обучения; 3) невысокая достоверность сведений, получаемых при социологических опросах школьников.Практическая значимость. Авторы полагают, что для повышения качества аналитических работ соответствующей тематики необходимо уделять самое пристальное внимание содержательной стороне используемых в статистических расчетах переменных. В свою очередь организаторам TIMSS необходимо продолжить совершенствование измерительных процедур и инструментария исследования путем введения дополнительных критериев успешности, отражающих индивидуальные и сопоставимые между собой результаты учащихся в текущем цикле TIMSS, а также индикаторов достоверности контекстной информации, получаемой социологическим путем.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Нуриева Л. М., Киселев С. Г.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
Предварительный просмотр
i Надоели баннеры? Вы всегда можете отключить рекламу.

PROBLEMS OF ANALYSIS OF THE RELATIONSHIP BETWEEN THE LEARNING CONTEXT AND TIMSS TESTING RESULTS

Introduction. For more than two decades, the Organisation for Economic Cooperation and Development has been organising a number of comparative studies of the quality of education in different countries. One of them is the study of mathematics and science education TIMSS (Trends in International Mathematics and Science Study), which is conducted jointly with the International Association for the Evaluation of Educational Achievements (IEA). The last, seventh, cycle of the study was conducted in 2019. TIMSS statistics is regularly posted in the public domain on the IEA website so that specialists can independently conduct research in any aspect of their interest. One of the areas of analysis in this case is traditionally the search for the causes of certain test results, which are determined by the peculiarities of the organisation of the educational process and the context of learning in different countries. At the same time, a study of professional literature showed that among the factors of the social and school context, the analysis of which is provided by the research tools, only an extremely limited range of them turned out to be statistically directly related to TIMSS scores. Specialists systematically encounter inexplicable absence or low correlation values of TIMSS test scores and context indicators. The authors think that the main reason for such difficulties is inattention to the peculiarities of the indicators used in the calculation of measures of statistical relationships. Aim. The present research aims to identify a statistical relationship between test results and indicators of the context of schoolchildren’s learning, as well as the influence of the TIMSS information collection and processing system on the productivity of analysing the research results.Methodology and research methodology. The methodological basis of the work is a systematic approach, which is based on the consideration of the results of the international TIMSS study as a whole: i.e. a complex of interrelated elements (organisations, tools, assessment indicators, scoring systems). The work was carried out on the basis of applied research procedures (observation, description, comparison, measurement, etc.), within which general scientific (comparative analysis, systematisation, generalisation) and statistical research methods (statistical and correlation analysis, etc.) were also used. The source of information was the International Database of Electronic Testing TIMSS-2019, hosted in the IEA repository. The TIMSS datasets were analysed using the IEA International Database (IDB) parser plug-in for SPSS (version 4.0).Results. For most indicators of the social and student context of learning, the authors found the absence or low value of statistical relationships with TIMSS scores. The number of books at home and parents’ education turned out to be statistically related to TIMSS scores concerning the indicators of social well-being and home learning conditions envisaged by the organisers. The indicators of learning conditions at school included the frequency of independent work in class; motivational factors included plans to continue education and self-evaluation of students’ math proficiency. Evidently, even these relationships turned out to be weak. It was revealed that the difficulties in detecting a correlation between TIMSS scores and learning conditions are caused by the very nature of the analysed variables: 1. the approximate nature of individual student assessments used in TIMSS; 2. low differentiation of students according to a number of indicators of the learning context; 3. insufficient reliability of information obtained from sociological surveys of schoolchildren.Practical significance. The authors believe that in order to improve the quality of analytical work on relevant topics, it is necessary to pay close attention to the essence behind the variables used in statistical calculations. In turn, the TIMSS organisers need to continue improving the measurement procedures and research tools by introducing additional success criteria that reflect the individual and comparable results of students in the current TIMSS cycle, as well as indicators of the reliability of contextual information obtained by sociological means.

Текст научной работы на тему «ПРОБЛЕМЫ АНАЛИЗА СВЯЗЕЙ КОНТЕКСТА ОБУЧЕНИЯ И РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ TIMSS»

ОБЩИЕ ВОПРОСЫ ОБРАЗОВАНИЯ

УДК 373.1 DOI: 10.17853/1994-5639-2023-1-108-141

ПРОБЛЕМЫ АНАЛИЗА СВЯЗЕЙ КОНТЕКСТА ОБУЧЕНИЯ И РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ TIMSS

Л. М. Нуриева1, С. Г. Киселев2

Омский государственный педагогический университет, Омск, Россия.

E-mail: 1 Uutsiya59@mail ru; 2ksg_sd@mail.ru

Аннотация. Введение. Уже более двух десятков лет Организация экономического сотрудничества и развития организует проведение ряд сопоставительных исследований качества образования разных стран. Одним из них является исследование математического и естественнонаучного образования TIMSS (Trends in Internationa! Mathematics and Science Study), которое проводится совместно с Международной ассоциацией по оценке образовательных достижений (IEA). Последний, седьмой по счету, цикл исследования был проведен в 2019 г.

Статистика TIMSS регулярно размещается в открытом доступе на сайте IEA с тем, чтобы специалисты могли самостоятельно провести изыскания в любом интересующем их аспекте. Одним из направлений анализа при этом традиционно является поиск причин тех или иных результатов тестирования, которые определяются особенностями организации образовательного процесса и контекстом обучения в разных странах.

Вместе с тем изучение профессиональной литературы показало, что из факторов социального и школьного контекста, анализ которых предусматривает инструментарий исследования, непосредственно с баллами TIMSS оказался статистически связан лишь крайне ограниченный их круг. Специалисты систематически сталкиваются с труднообъяснимым отсутствием или низкими значениями корреляции тестовых баллов TIMSS и показателей контекста. Основной причиной таких затруднений, на наш взгляд, является невнимание к особенностям индикаторов, применяемых в расчетах мер статистических связей.

Цель настоящего исследования - выявление статистической связи результатов тестирования и показателей контекста обучения школьников, а также влияния системы сбора и обработки информации TIMSS на продуктивность анализа итогов данного исследования.

Методология и методика исследования. Методологической основой работы является системный подход, в основе которого лежит рассмотрение результатов международного исследования TIMSS как целого, то есть комплекса взаимосвязанных элементов (организации, инструментария, индикаторов оценки, системы подсчета баллов). Работа проведена на основе процедур прикладного исследования (наблюдение, описание, сравнение,

измерение и т. д.), в рамках которого использовались также общенаучные (сравнительный анализ, систематизация, обобщение) и статистические методы исследования (статистический и корреляционный анализ и др.). Источником информации послужила Международная база данных электронного тестирования TIMSS-2019, размещенная на репозитории IEA. Наборы данных TIMSS были проанализированы с использованием подключаемого к программе SPSS модуля-анализатора Международной базы данных (IDB) IEA (версия 4.0).

Результаты. Исследование обнаружило по большинству показателей социального и ученического контекста обучения отсутствие или низкое значение статистических связей с баллами TIMSS. Из предусмотренных организаторами индикаторов социального благополучия и домашних условий обучения с баллами TIMSS оказались статистически связаны лишь количество книг в доме и образование родителей, из показателей условий обучения в школе - частота самостоятельной работы на уроках, из мотивационных факторов - планы продолжить образование и самооценка учащимися уровня своих математических знаний. При этом даже названные связи оказались слабыми. Как выяснилось, сложности обнаружения корреляции баллов TIMSS и условий обучения вызваны самой сущностью анализируемых переменных: 1) приблизительный характер индивидуальных оценок школьников, применяемый в TIMSS; 2) низкая дифференциация учащихся по ряду индикаторов контекста обучения; 3) невысокая достоверность сведений, получаемых при социологических опросах школьников.

Практическая значимость. Авторы полагают, что для повышения качества аналитических работ соответствующей тематики необходимо уделять самое пристальное внимание содержательной стороне используемых в статистических расчетах переменных. В свою очередь организаторам TIMSS необходимо продолжить совершенствование измерительных процедур и инструментария исследования путем введения дополнительных критериев успешности, отражающих индивидуальные и сопоставимые между собой результаты учащихся в текущем цикле TIMSS, а также индикаторов достоверности контекстной информации, получаемой социологическим путем.

Ключевые слова: TIMSS, тестирование, математика, контекст обучения, система оценивания, правдоподобные значения, массовые социологические опросы школьников.

Благодарности. Авторы выражают признательность рецензентам и редакции журнала «Образование и наука» за ценные замечания, позволившие значительно улучшить текст настоящей статьи.

Для цитирования: Нуриева Л. М., Киселев С. Г. Проблемы анализа связей контекста обучения и результатов тестирования TIMSS // Образование и наука. 2023. Т. 25, № 1. С. 104-137. DOI: 10.17853/1994-5639-2023-1-108-141

PROBLEMS OF ANALYSIS OF THE RELATIONSHIP BETWEEN THE LEARNING CONTEXT AND TIMSS TESTING RESULTS

L. M. Nurieva1, S. G. Kiselev2

Omsk State Pedagogical University, Omsk, Russia.

Email: 1 liutsiya59@mail.ru; 2ksg_sd@mail.ru

Abstract. Introduction. For more than two decades, the Organisation for Economic Cooperation and Development has been organising a number of comparative studies of the quality of education in different countries. One of them is the study of mathematics and science education TIMSS (Trends in International Mathematics and Science Study), which is conducted jointly with the International Association for the Evaluation of Educational Achievements (IEA). The last, seventh, cycle of the study was conducted in 2019.

TIMSS statistics is regularly posted in the public domain on the IEA website so that specialists can independently conduct research in any aspect of their interest. One of the areas of analysis in this case is traditionally the search for the causes of certain test results, which are determined by the peculiarities of the organisation of the educational process and the context of learning in different countries.

At the same time, a study of professional literature showed that among the factors of the social and school context, the analysis of which is provided by the research tools, only an extremely limited range of them turned out to be statistically directly related to TIMSS scores. Specialists systematically encounter inexplicable absence or low correlation values of TIMSS test scores and context indicators. The authors think that the main reason for such difficulties is inattention to the peculiarities of the indicators used in the calculation of measures of statistical relationships.

Aim. The present research aims to identify a statistical relationship between test results and indicators of the context of schoolchildren's learning, as well as the influence of the TIMSS information collection and processing system on the productivity of analysing the research results.

Methodology and research methodology. The methodological basis of the work is a systematic approach, which is based on the consideration of the results of the international TIMSS study as a whole: i.e. a complex of interrelated elements (organisations, tools, assessment indicators, scoring systems). The work was carried out on the basis of applied research procedures (observation, description, comparison, measurement, etc.), within which general scientific (comparative analysis, systematisation, generalisation) and statistical research methods (statistical and correlation analysis, etc.) were also used. The source of information was the International Database of Electronic Testing TIMSS-2019, hosted in the IEA repository. The TIMSS datasets were analysed using the IEA International Database (IDB) parser plug-in for SPSS (version 4.0).

Results. For most indicators of the social and student context of learning, the authors found the absence or low value of statistical relationships with TIMSS scores. The number of books at home and parents' education turned out to be statistically related to TIMSS scores concerning the indicators of social well-being and home learning conditions envisaged by the organisers. The indicators of learning conditions at school included the frequency of independent work in class; motivational factors included plans to continue education and self-evaluation of students' math proficiency. Evidently, even these relationships turned out to be weak. It was revealed that the difficulties in detecting a correlation between TIMSS scores and learning

conditions are caused by the very nature of the analysed variables: 1. the approximate nature of individual student assessments used in TIMSS; 2. low differentiation of students according to a number of indicators of the learning context; 3. insufficient reliability of information obtained from sociological surveys of schoolchildren.

Practical significance. The authors believe that in order to improve the quality of analytical work on relevant topics, it is necessary to pay close attention to the essence behind the variables used in statistical calculations. In turn, the TIMSS organisers need to continue improving the measurement procedures and research tools by introducing additional success criteria that reflect the individual and comparable results of students in the current TIMSS cycle, as well as indicators of the reliability of contextual information obtained by sociological means.

Keywords: TIMSS, testing, mathematics, learning context, assessment system, plausible values, mass sociological surveys of schoolchildren.

Acknowledgements. The authors express their gratitude to the reviewers and the editors of the Education and Science Journal for valuable comments, which made it possible to significantly improve the text of this article.

For citation: Nurieva L. M., Kiselev S. G. Problems of analysis of the relationship between the learning context and TIMSS testing results. The Education and Science Journal. 2023; 25 (1): 104-137. DOI: 10.17853/1994-5639-2023-1-108-141

PROBLEMAS DEL ANÁLISIS DE LA RELACIÓN DEL CONTEXTO DEL APRENDIZAJE Y LOS RESULTADOS DE LAS PRUEBAS TIMSS

L. M. Nurieva1, S. G. Kisilev2

Universidad Pedagógica Estatal de Omsk, Omsk, Rusia.

E-mail: 1 tíutsiya59@mail ru; 2ksg_sd@mail.ru

Abstracto. Introducción. Durante más de dos décadas, la Organización para la Cooperación y el Desarrollo Económico viene organizando una serie de estudios comparativos respecto a la calidad de la educación en diferentes países. Uno de ellos es el estudio de las tendencias en matemáticas y ciencias TIMSS (Trends in International Mathematics and Science Study), que se lleva a cabo en conjunto con la Asociación Internacional para la Evaluación del Rendimieto Educativo (IEA). El último, séptimo de la lista, ciclo de investigación efectuado en el año 2019.

La estadística de las TIMSS se pública regularmente con libre acceso en la página de la IEA para que los especialistas puedan realizar sus investigaciones de manera autónoma en cualquier aspecto que sea de su interés. Una de las áreas de análisis en este caso, lo constituye tradicionalmente la búsqueda de causas de determinados resultados de las pruebas, que están definidas por las particularidades de la organización del proceso de aprendizaje y el contexto de la educación en diferentes países.

A la vez, un estudio de la literatura profesional mostró, que uno de los factores del contexto social y escolar, cuyo análisis proporcionan los instrumentos de la investigación, solo una gama sumamente limitada de ellos resultó ser estadísticamente y demanera directa, relacionada con la puntuación de las TIMSS. Los especialistas sistemáticamente, se enfrentan a

una ausencia inexplicable o a valores bajos de correlación de las puntuaciones de las pruebas TIMSS y los indicadores de contexto. La causa fundamental de tales dificultades, según nuestro punto de vista, es la falta de atención a las particularidades de los indicadores aplicados en el cálculo de medidas de relaciones estadísticas.

Objetivo de la investigación. Identificación de la relación estadística entre los resultados de las pruebas e indicadores del contexto de aprendizaje de los escolares, así como la influencia del sistema de recolección y procesamiento de información de las TIMSS en la productividad del análisis de los resultados del presente estudio.

Metodología, métodos y procesos de investigación. La base metodológica del trabajo es el enfoque sistemático, basado en la consideración de los resultados del estudio internacional de las TIMSS en su conjunto, es decir, un conjunto de elementos interrelacionados (organizaciones, herramientas, indicadores de evaluación, sistemas de puntuación). El trabajo se llevó a cabo sobre la base de procedimientos de investigación aplicada (observación, descripción, comparación, medición, etc.), dentro de los cuales se utilizaron también, métodos de investigación científica general (análisis comparativo, sistematización, generalización) y métodos de estudios estadísticos (análisis estadístico y de correlación, etc.). La fuente de información fue la base de datos internacional de pruebas electrónicas TIMSS-2019, dispuesta en el repositorio de la IEA. Los conjuntos de datos de las TIMSS se analizaron utilizando el complemento de analizador IEA International Database (IDB) para SPSS (versión 4.0).

Resultados. Para la mayoría de los indicadores del contexto social y estudiantil de aprendizaje, la investigación encontró ausencia o bajo valor de las relaciones estadísticas con las puntuaciones de las TIMSS. De los indicadores de bienestar social y condiciones de aprendizaje en el hogar previstos por los organizadores, solo la cantidad de libros en el hogar y la educación de los padres resultaron estar estadísticamente relacionados con los puntajes de las TIMSS, a partir de los indicadores de condiciones de aprendizaje en la escuela: La frecuencia de actividades independientes en el aula; a partir de factores motivacionales: Planes para continuar la educación y autoevaluación de los estudiantes sobre sus conocimientos matemáticos. Al mismo tiempo, incluso estos lazos resultaron ser débiles. Al final resultó que, las dificultades para detectar una correlación entre las puntuaciones de las TIMSS y las condiciones de aprendizaje se deben a la naturaleza misma de las variables analizadas: 1) La naturaleza aproximada de las evaluaciones individuales de los estudiantes utilizadas en las TIMSS; 2) Baja diferenciación de los estudiantes según una serie de indicadores del contexto de aprendizaje; 3) La baja confiabilidad de la información obtenida de encuestas sociológicas hechas a los escolares.

Significado práctico. Los autores suponen que para mejorar la calidad del trabajo analítico sobre temas relevantes, es necesario prestar mucha atención a la parte que contiene las variables utilizadas en los cálculos estadísticos. A su vez, los organizadores de las TIMSS deben continuar mejorando los procedimientos de medición y los instrumentos de investigación mediante la introducción de criterios de éxito adicionales que reflejen los resultados individuales y comparables de los estudiantes en el ciclo de las TIMSS actual, así como indicadores de con-fiabilidad de la información contextual obtenida a través de medios sociológicos.

Palabras claves: TIMSS, pruebas, matemáticas, contexto de aprendizaje, sistema de evaluación, valores plausibles, encuestas sociológicas masivas para escolares.

Agradecimientos. Los autores expresan sus agradecimientos a los revisores y editores de la revista Educación y Ciencia por sus valiosos comentarios, que permitieron mejorar significativamente el texto de este artículo.

Para citas: Nurieva L. M., Kiselev S. G. Problemas del análisis de la relación del contexto del aprendizaje y los resultados de las pruebas TIMSS. Obrazovanie i nauka = Educación y Ciencia.. 2023; 25 (1): 104-137. DOI: 10.17853/1994-5639-2023-1-108-141

Введение

Международное исследование качества математического и естественнонаучного образования TIMSS (TIMSS - Trends in Mathematics and Science Study)1 является важным мониторинговым исследованием в области общего образования. Его целью является сравнительная оценка подготовки школьников 4-х и 8-х классов по математике и предметам естественнонаучного цикла и выявление особенностей национальных образовательных систем, определяющих уровни достижений учащихся. Исследование проводится Международной ассоциацией по оценке образовательных достижений (IEA - International Association for the Evaluation of Educational Achievement2).

Исследование TIMSS позволило в течение четверти века создать обширные наборы данных, охватывающие достижения учащихся, а также собрать внушительные массивы информации о контексте обучения, обладающие значительным аналитическим ресурсом. Применительно к системе образования Г. А. Ястребов, М. А. Пинская и С. Г. Косарецкий определяют данный контекст как обстоятельства, в которых протекает образовательный процесс и оказывающие на него существенное влияние. По существу, речь идет о наборе факторов, которые нельзя игнорировать, оценивая результаты этого процесса [1].

Анализ профессиональной литературы показал, что в экспертном сообществе разных стран при изучении итогов TIMSS контекст обучения рассматривается нечасто. При этом специалисты обращаются лишь к отдельным, довольно узким его аспектам. Более того в поисках факторов, определяющих эффективность национальных образовательных систем, исследователи приходят к парадоксальным результатам, в объяснении которых зачастую затрудняются. Отчасти это происходит по причине многоплановости и сложности задачи оценки влияния социальной и школьной среды на результаты обучения. Одной из причин таких затруднений, на наш взгляд, является невнимание к особенностям статистики о результатах тестирования и опросов школьников. В результате огромные массивы информации об итогах TIMSS остаются изученными лишь фрагментарно, а выводы по итогам TIMSS зачастую являются неоднозначными.

Цель работы - на примере электронного варианта тестирования TIMSS-2019 установить статистические связи итогов тестирования и кон-

1 https://www.iea.nl/studies/iea/timss

2 https://www.iea.nl/

текста обучения школьников в странах участниках, а также выявить влияние системы сбора и обработки информации TIMSS на продуктивность анализа результатов данного исследования.

Для реализации поставленной цели потребуется осветить следующие исследовательские вопросы:

- каковы результаты электронного варианта тестирования TIMSS-2019 по математике в странах-участниках?

- каковы теснота и причины статистических связей показателей контекста обучения с баллами TIMSS?

- в чем заключаются особенности инструментария TIMSS и как они сказываются на содержании ключевых переменных и выводов исследования?

Предварительный анализ проблемы позволил выдвинуть следующую гипотезу: между результатами тестирования и показателями контекста обучения существуют статистические связи, величина и направление которых в значительной мере зависят от корректности подходов в использовании переменных TIMSS.

Выполненная работа носит прикладной характер и имеет ряд ограничений. Во-первых, критика теоретических основ тестирования вообще и TIMSS в частности не входит в ее задачи. Мы воздержались от обзора концепций теорий тестирования и обратились лишь к эмпирическим исследованиям, связанным непосредственно с проведением и анализом результатов TIMSS. Во-вторых, нами рассмотрены результаты только электронного тестирования школьников 8-х классов, в то время как в исследовании принимали участие ученики 4-х классов. Надо иметь в виду и то обстоятельство, что школьники почти половины стран в 2019 г. выполняли работу в бумажном варианте. В-третьих, национальные версии анкеты школьника -основного измерителя условий обучения, несколько отличались друг от друга, что отчасти затрудняет межстрановые сопоставления.

Однако, несмотря на эти ограничения, данное исследование, на наш взгляд, позволяет лучше понять картину взаимосвязи результатов тестирования и показателей, характеризующих образовательный процесс и факторов ему сопутствующих, а также скорректировать подходы к анализу международных исследований качества математического образования.

Обзор литературы

По результатам TIMSS национальные органы управления образованием и исследовательские центры регулярно публикуют отчеты, где содержатся рейтинги достижений разных стран, осуществляется разбор затруд-

нений в выполнении работ, изучается влияние образовательной политики государств на итоги испытаний. Как пример можно привести отчеты Федерального института оценки качества образования Российской академии образования1, Национального центра образовательной статистики США2, Департамента образования Великобритании3 и т. д. Публикуются также статьи исследовательских команд и отдельных специалистов, посвященные межстрановым сопоставлениям успешности участия в TIMSS (например, A. Lessani (Сингапур) [2], N. Tajudin и M. Chinnappan (Малайзия) [3], F. Lin (Тайбей) (КНР) [4], Г. С. Ковалева и др. (Россия) [5]), тенденциям развития образовательных систем (T. Neidorf, A. Arora, E. Erberber и др.) [6], сопоставлениям результатов национальных обследований с международными (C. Tallberg и M. Axelsson) [7] и других проблем образования.

Над изучением взаимосвязей условий обучения и качества образования экспертное сообщество работает давно. По данной проблематике сформировался достаточно обширный корпус литературы, обзор которой приведен в работе Г. А. Ястребова c соавторами [1]. Однако работ, посвященных взаимосвязи контекста и результатов обучения с опорой именно на базы данных TIMSS, оказалось немного. При этом изучение взаимосвязей баллов TIMSS и показателей условий обучения носит, как правило, фрагментарный характер: специалисты берутся рассматривать лишь один узкий спектр контекста. Так, например, гендерным отличиям в результатах TIMSS посвящена работа Ja. Naidoo и D. Sibanda [8], исследованию корреляций отношений учащихся к учителям и чувством принадлежности к школе - работа F. Arends и M. Visser [9], связи успеваемости и распространенности бул-линга - L. Winnaar, F. Arends и U. Beku [10], успеваемости и характеристик школы - O. Albayrakoglu и S. Yildirim[11], баллов TIMSS по математике и естественным наукам - P. Mirazchiyski [12], J. Sanchez и M. Ponce [13] и т. д.

Практически общим местом в профессиональной литературе стала констатация неустойчивости и слабой корреляции баллов TIMSS со многими показателями, сопровождающими процесс обучения. Так, например, M. Michaelides констатирует, что исследования соотношения мотивации и результатов обучения не новы и ясно, что между ними существуют поло-

1 Результаты исследования TIMSS-2019. Режим доступа: https://fioco.ru/Media/ Default/Documents/МСИ/ Результаты TIMSS 2019.pdf (дата обращения: 01.06.2022).

2 TIMSS 2019 U.S. Results National Center for Education Statistics. Режим доступа: https://www.iea.n1/sites/default/files/2021-02/TIMSS%202019%20U.S.%20Results.pdf (дата обращения: 01.06.2022).

3 Trends in International Mathematics and Science Study (TIMSS) 2019: National Report for England. Research Report. Режим доступа: https://assets.publishing.service.gov.uk/ government/uploads/system/uploads/attachment_data/file/941351/TIMSS_2019_National_ Report.pdf (дата обращения: 01.06.2022).

жительные связи. Однако, как правило, эти связи оказываются слабыми и плохо понятыми [14].

Корреляции баллов TIMSS с показателями условий обучения, обнаруженные в одних странах, иногда не находят своего подтверждения в других (см., например, J. Lee и M. Chen [15]). Более того, довольно часто специалисты приходят к парадоксальным результатам. Так, например, выяснилось, что отношение учащихся к математике в Турции лучше, в то время как показатели успеваемости хуже, чем, например, в Южной Корее и США (R. Geesa, B. Izci, H. Song, S. Chen [16]), а успевающие ученики проявляют меньшее чувство принадлежности к школе, чем неуспевающие, чего не найдено в других странах (I. Koyuncu [17]). Малазийские специалисты столкнулись с другим противоречием: оказалось, что уверенность в своих знаниях и доступ в интернет негативно влияют на достижения школьников (H. Awang [18]). В свою очередь эстонские исследователи, пытаясь с опорой на данные TIMSS определить величину эффекта от выполнения домашних заданий, пришли к выводу, что результаты TIMSS не имели статистически значимой корреляции с тем, какое внимание учителя уделяли домашнему заданию по математике или сколько времени учащиеся потратили на его выполнение (J. Mikk [19]).

В отечественной литературе также оказалось не много работ, где рассматривается связь баллов TIMSS с показателями контекста обучения. В частности, в одной из них результаты тестирования сопоставляются с социально-экономическим положением семей (Т. Е. Хавенсон и Ю. Д. Керша [20]). При этом авторы получили парадоксальный результат: российские школьники с высоким уровнем обеспеченности академическими ресурсами стабильно получают низкие баллы по математике по сравнению со своими сверстниками из других стран. В другой работе (Ю. А. Тюменева и Т. Е. Ха-венсон [21]) делается попытка оценить связь учительских характеристик с достижениями школьников по данным TIMSS-2007, где тоже получены неоднозначные результаты, которые авторы интуитивно связали с особенностями статистики, принятой в TIMSS.

Очевидно, сложность интерпретации столь алогичных результатов не стимулирует аналитиков, чем объясняется ограниченность корпуса литературы данной проблематики. Не обнаружив влияния контекста на результаты тестирования и оказавшись в тупике, специалисты зачастую оставляют работу, в то время как необходимо детально разобраться в реальном содержании вовлекаемых в анализ данных.

Методология, материалы и методы

Методологической основой работы является системный подход, требующий рассмотрения результатов TIMSS как целого, т. е. как комплекса взаимосвязанных элементов (организации, инструментария, индикаторов оценки, системы подсчета баллов). Работа проведена на основе процедур прикладного исследования (наблюдение, описание, сравнение, измерение и т. д.), в рамках которого использовались также общенаучные (сравнительный анализ, систематизация, обобщение) и статистические (статистический и корреляционный анализ и др.) методы исследования.

Для подбора литературы соответствующей проблематики мы воспользовались поисковыми сервисами Российской научной электронной библиотеки, интегрированной с Российским индексом научного цитирования elibrary1, Российской научной электронной библиотеки cyberleninka2, международной цифровой библиотеки научных исследований в области образования ERIC (Education Resources Information Center)3 и системы поиска научных публикаций Google Scholar4. Поиск литературы производился по ключевым словам: TIMSS, тест (test), тестирование (testing), контекст обучения (learning context), в ходе которого было просмотрено около ста публикаций. Основное внимание при этом уделялось эмпирическим исследованиям.

Источником информации послужила Международная база данных о результатах электронного тестирования TIMSS-2019, размещенная на ре-позитории IEA5, содержащая следующие сведения по каждому школьнику-участнику испытаний: индивидуальный номер, страна проживания, номер школы, класса, варианта работы, характер каждого задания и итог его выполнения, тестовые баллы, расчетные показатели для отнесения школьника к той или иной группе успешности, ответы на вопросы социологической анкеты.

Наборы данных TIMSS были проанализированы с использованием подключаемого к программе SPSS модуля-анализатора Международной базы данных (IDB) IEA (версия 4.0) 6. В ходе анализа осуществлялся расчет коэффициентов корреляции между изучаемыми переменными.

1 https://elibrary.ru/

2 https://cyberleninka.ru/

3 https://eric.ed.gov

4 https://scholar.google.ru

5 https:// TIMSS-2019.org/international-database

6 https://www.iea.nl/data-tools/tools#section-308

Результаты исследования

Общая характеристика контрольной работы TIMSS-2019 В 2019 г. в контрольной работе для восьмиклассников использовались 322 задачи, которые были распределены по 16 вариантам. Каждый вариант создавался путем частичного смешивания заданий из двух соседних. Между собой варианты отличались как по числу заданий, так и уровню их сложности и решаемости. Так, например, вариант № 4 содержал 50 задач, а вариант № 11 - 33. В то же время решаемость варианта № 4 составила 50 %, а № 11 - 40 %. Особняком представлены варианты № 15 и 16, которые оказались идентичны по содержанию (по крайней мере, исходя из спецификации, невозможно выявить какие-либо отличия между ними). Их особенностью было почти полное отсутствие закрытых вопросов, а содержание заданий было направлено не на решение задач, а на решения проблем и исследования. Соответственно успешность выполнения этих вариантов была самой низкой. Причем трудно сказать, было ли это следствием сложности содержания или открытой формы этих заданий (см. табл.1).

Таблица 1

Характеристика контрольной работы по математике TIMSS-2019

Table 1

Characteristics of the test in mathematics TIMSS-2019

Вариант Booklet Число заданий Number of jobs Число закрытых вопросов Number of closed questions Число открытых вопросов Number of open questions % выполнения работы % work completed % выполнения закрытых вопросов % completion of closed questions % выполнения открытых вопросов % completion of open questions

1 44 26 18 47,1 53,4 38

2 45 23 22 47,7 54,6 40,5

3 48 26 22 47,2 56,4 36,4

4 50 27 23 50,3 61,3 37,4

5 34 16 18 45,7 52,6 39,6

6 32 16 16 41,8 49,2 34,4

7 39 20 19 44,6 54,1 34,5

8 42 17 25 41,8 52,9 34,3

9 41 14 27 41,2 52,8 35,2

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

10 36 15 21 46,3 58,4 37,7

11 33 13 20 40 51,3 32,8

12 32 12 20 40,2 49,9 34,5

13 42 21 21 49,7 60,9 38,4

14 43 26 17 49,8 57,7 37,6

15 30 2 28 34,5 43 33,9

16 30 2 28 35,4 45,1 34,7

Среднее Average 38 17 21 43,9 53,3 36,2

Следует отметить, что проблема разработки тестов, учитывающих особенности учебных программ всех стран-участниц, к 2019 г. осталась до конца нерешенной. Так, по оценке специалистов Центра оценки качества образования Института стратегии развития образования Российской академии образования (ФИОКО РАО), структура теста по математике 8 класса отличалась от программы российской основной школы. В Примерной программе 7-9 классов российской школы, основное внимание уделяется курсу алгебры, несколько меньше курсу геометрии и почти не уделяется материалу раздела «Числа» (в российской школе его относят к курсу арифметики). В то же время на международном уровне овладению материалом курса арифметики, который имеет большую практическую значимость, уделяется столько же внимания, как овладению выделенным материалом курса алгебры1.

Система оценки в TIMSS-2019 по математике для 8 класса была основана на компромиссе, согласованном странами-участницами для отражения целей их учебных программ. Она включала четыре содержательных области: числа (30 %), алгебру (30 %), геометрию (20 %) и анализ данных и вероятность (20 %)2.

С демовариантом теста TIMSS-2019 по математике и естественным наукам можно ознакомиться на сайте ФИОКО РАО по ссылке http://etimss. testoko.ru/test/.

Результаты тестирования

В 2019 г. в электронном тестировании TIMSS участвовали 158 тыс. учащихся в возрасте 14 лет из 27 стран и отдельных территорий. При подведении итогов организаторы вывели за рамки анализа территории, входящие в состав отдельных государств (провинции Квебек и Онтарио (Канада),

1 Краткая информационная справка об исследовании TIMSS. Режим доступа: https://fioco.ru/Media/Defau1t/Documents/МСИ/Краткая справка TIMSS.pdf (дата обращения: 01.06.2022).

2 TIMSS 2019 User Guide for the International Database. Режим доступа: https:// TIMSS-2019.org/international-database/downloads/TIMSS-2019-User-Guide-for-the-InternationaI-Database-2nd-Ed.pdf (дата обращения: 01.06.2022).

эмираты Абу-даби и Дубай (ОАЭ), город Москва (Россия)). В нашей работе мы также исключили из рассмотрения эти образования, в результате чего изучению подверглись итоги тестирования свыше 130 тыс. учащихся из 22 стран1.

Средний балл выполнения контрольной работы в электронной версии TIMSS по математике составил 509 баллов по 1000 балльной шкале. Самые высокие достижения продемонстрировали страны Восточной Азии (Сингапур, Тайбэй (КНР), Корея), показав результаты, различия в которых незначимы статистически. Несколько ниже в рейтинге успешности заняли свои места Гонконг, Россия и Венгрия, где различия в баллах оказались статистически значимы. В группу стран с превышающими средний уровень подготовки и равными баллами также вошли Литва, Англия, США и Израиль. Нижние позиции рейтинга заняли Катар, Чили, Грузия и Объединенные Арабские Эмираты.

В целом по степени успешности и баллам участники электронной версии TIMSS расположились следующим образом: Сингапур - 610, Тайбей (КНР) - 606, Корея - 602, Гонконг (КНР) - 577, Россия - 545, Венгрия - 530, Литва -517, Англия -516, США - 516, Израиль - 515, Финляндия - 510, Норвегия -507, Швеция - 507, Португалия - 504, Италия - 498, Турция - 490, Малайзия -488, Франция - 488, ОАЭ - 466, Грузия - 462, Чили - 449, Катар - 447.

Переменные TIMSS

В настоящем исследовании использовались такие переменные TIMSS как тестовые баллы учащихся и показатели контекста обучения. Первые представляют собой оценки, выставляемые школьникам по результатам выполнения работы в двух видах: в баллах по 1000 балльной шкале и в соответствующих им интервалах: низкий (ниже 400), ниже среднего (от 400 до 475), средний (от 475 до 550), выше среднего (от 550 до 625), высокий (выше 625). Вторые - ответы учащихся на вопросы социологической анкеты, касающиеся контекста обучения. Организаторы TIMSS предусмотрели изучение следующих факторов контекста:

1. Домашние условия (образовательный и культурный уровень семьи, число домашних удобств, техническая оснащенность домашней работы).

2. Уровень социального комфорта в процессе обучения (факты усталости и голода в школе, частота проявлений недружественных действий со стороны других учащихся, чувство принадлежности к школе).

3. Условия обучения непосредственно на уроках (ясность изложения учителем материала, частота самостоятельной работы на уроках, состояние дисциплины на уроках).

1 Участие наравне с другими странами отдельных провинций Китая (Тайбей, Гонконг) объясняется исторически сложившейся практикой проведения TIMSS.

4. Отношение учащихся к математике как науке (учащимся нравятся уроки математики, проявление уверенности в своих знаниях, осознание полезности математических знаний в жизни).

5. Собственные учебные усилия школьников (временные затраты на выполнение домашнего задания, прогулы уроков, посещение дополнительных занятий по математике).

6. Образовательные амбиции школьников (намерение продолжать образование, цели дополнительных занятий).

Для представления одним унифицированным индикатором различных факторов контекста организаторами тестирования предусмотрен расчет интегральных коэффициентов таких как «ясность обучения», «состояние дисциплины» и ряда других1. Измерение производилось в двух видах шкал: количественной, где переменные по выраженности признаков принимали значение от 0 до 20, и интервальной, разделенной на три позиции: высокая, средняя и низкая выраженность каждой переменной.

Некоторые коэффициенты рассчитывались нами самостоятельно. Например, коэффициент прогулов формировался на основе ответов на вопрос № 10 «Как часто Вы отсутствуете в школе?». Число школьников, не прогуливающих школу, умножалось на 0, прогуливающих один раз в два месяца - на 1, раз в месяц - на 2, раз в две недели - на 3, раз в неделю - на 4. Коэффициент определялся как сумма полученных значений, деленная на число ответов. Аналогично вычислялись такие коэффициенты как «образование родителей», «количество книг в доме», «усталость и голод в школе», «частота самостоятельной работы на уроках», «посещение дополнительных занятий».

Связь показателей контекста с результатами тестирования

Корреляционный анализ выявил связь результатов выполнения теста лишь с небольшим числом показателей контекста. Во всех странах она обнаруживается только с такими индикаторами как: «образование родителей», «количество книг в доме», «уверенность школьников в своих знаниях», «планы школьников продолжить образование», «частота самостоятельной работы на уроках».

Существование этих корреляций вполне объяснимо. Так, образование родителей и количество книг в доме характеризует социальный и материальный статус семей и их возможности дать своим детям хорошее образование. Уверенность в своих знаниях и итог тестирования отражают одну

1TIMSS 2019 User Guide for the International Database. Режим доступа: https:// TIMSS-2019.org/international-database/downloads/TIMSS-2019-User-Guide-for-the-International-Database-2nd-Ed.pdf

и ту же характеристику школьников: уровень их подготовки. Намерение продолжить образование также является индикатором академической успешности учащихся и, следовательно, способности справиться с предложенными заданиями. Частота самостоятельной работы на уроках свидетельствует об уровне готовности школьников решать задачи без помощи учителя (см. табл. 2).

Таблица 2

Коэффициенты корреляции между контекстом и баллами TIMSS при p < ,05000

Table 2

Correlation coefficients between context and TIMSS scores at p < .05000

Страна Книг Обра- Уверен- Планы Решают Нра- Ясность Дисци- Отно-

(рейтинг в доме зова- ность в продол- задачи вятся обу- плина на шение к

по баллам Books ние своих жить самосто- уроки чения уроках матема-

TIMMS) in the родите- знаниях образо- ятельно матема- Clarity Disci- тике

Country house лей Confi- вание Solve тики of learn- pline in Relation

(ranking Paren- dence Plans to problems Like ing the class- to mathe-

by TIMMS tal edu- in your continue on their math room matics

points) cation knowledge education own lessons

Англия England (8) 0,4 0,3 0,4 0,4 0,4 0,2 0,1 0,2 0,1

Венгрия Hungary (6) 0,5 0,5 0,6 0,6 0,4 0,4 0,2 0,2 0,3

Гонконг

Hong Kong 0,3 0,3 0,3 0,4 0,4 0,3 0,2 0 0,2

(4)

Грузия Georgia (20) 0,3 0,3 0,5 0,4 0,3 0,3 0,1 0,1 0,1

Израиль Israel (10) 0,3 0,4 0,4 0,4 0,4 0,1 0,1 0,2 0,1

Италия Italy (15) 0,4 0,3 0,5 0,4 0,4 0,4 0,1 0,1 0,2

Катар Qatar (22) 0,3 0,4 0,3 0,3 0,3 0,2 0,1 0,2 0,2

Корея Korea (3) 0,3 0,3 0,5 0,4 0,5 0,4 0,3 -0,1 0,4

Литва Lithuania (7) 0,4 0,4 0,5 0,5 0,3 0,2 0,2 0,1 0,1

Малайзия Malaysia (17) 0,4 0,4 0,3 0,4 0,4 0,2 0,1 0,3 0,2

Норвегия Norway (12) 0,4 0,3 0,6 0,3 0,5 0,4 0,2 0 0,2

ОАЭ UAE (19) 0,2 0,4 0,3 0,3 0,3 0,2 0,2 0,2 0,2

Португалия Portugal (14) 0,4 0,4 0,5 0,4 0,5 0,4 0,1 0,1 0,3

Россия Russia (5) 0,3 0,3 0,4 0,4 0,4 0,3 0,2 0,1 0,2

Сингапур Singapore (1)1 0,4 0,3 0,4 0,4 0,4 0,3 0,2 0,1

США USA (9) 0,4 0,4 0,4 0,4 0,3 0,2 0,2 0,3 0,1

Тайбей Taipei (2) 0,4 0,4 0,5 0,5 0,6 0,4 0,3 0 0,4

Турция Turkey (16) 0,4 0,3 0,5 0,5 0,5 0,3 0,2 0,1 0,2

Финляндия Finland (11) 0,3 0,3 0,5 0,4 0,3 0,4 0,2 0 0,3

Франция France (18) 0,5 0,4 0,6 0,3 0,2 0,3 0,1 0,1 0,2

Чили Chile (21) 0,4 0,4 0,4 0,4 0,2 0,2 0,1 0,1 0,1

Швеция Sweden (13) 0,4 0,3 0,6 0,3 0,3 0,3 0,1 0 0,1

Корреляция баллов TIMSS с другими индикаторами зачастую оказывалась значимой в одних странах и незначимой в других. Более того, не обнаружилась устойчивая связь с результатами тестирования таких, казалось бы, очевидных условий обучения как ясность изложения материала, дисциплина на уроках и отношение учащихся к математике, как науке. В табл. 3 приведены показатели контекста, которые оказались статистически связаны с результатами тестирования в различных странах участниках.

Итак, из 90 предусмотренных инструментарием показателей контекста обучения (как заложенных в анкете, так и расчетных), почти половина (46 %) не обнаружила связи с баллами TIMSS ни в одной стране. Еще в 30 % случаев такие связи обнаруживаются лишь в отдельных странах. И лишь индикаторы, связанные с самооценкой собственных знаний (вопрос № 19), планов продолжить образование (вопрос № 7), образовательным уровнем родителей (вопрос № 6) и частотой самостоятельной работы на уроках (вопрос № 15), проявили связь с результатами тестирования почти повсеместно (см. приложение 2).

1 В анкете для сингапурских школьников вопрос о дисциплине на уроках отсутствовал.

Таблица 3

Рейтинг стран по степени успешности участия в электронной версии TIMSS-2019 и показатели контекста, статистически связанные с баллами

TIMSS1

Table 3

Rating of countries according to the degree of success of participation in the electronic version of TIMSS-2019 and context indicators, statistically related to

TIMSS scores

Место Страна Число Показатели контекста, статистически связанные с

в рей- Country участников баллами TIMSS

тинге Number of Context indicators statistically related to TIMSS scores

Place participants

in the

rank-

ing

1 Сингапур Singapore 5546 Процент репетиторства. Нравятся уроки математики Percentage of tutoring. Like math lessons

2 Тайбей (КНР) Taipei (PRC) 5610 Процент репетиторства. Нравятся уроки математики. Ясность обучения. Осознание практической важности математики Percentage of tutoring. Love the math lessons. Clarity of learning. Awareness of the practical importance of mathematics

3 Корея Korea 4409 Процент репетиторства. Ясность обучения. Нравятся уроки математики. Осознание практической важности математики Percentage of tutoring. Clarity of learning. I like math lessons. Awareness of the practical importance of mathematics

4 Гонконг (КНР) Hong Kong (PRC) 3730 Процент репетиторства. Нравятся уроки математики Percentage of tutoring. Love the math lessons

5 Россия Russia 4456 Обязательная домашняя работа. Нравятся уроки математики Mandatory homework. Love the math lessons

6 Венгрия Hungary 5219 Ясность обучения. Нравятся уроки математики. Осознание практической важности математики Clarity of learning. Love the math lessons. Awareness of the practical importance of mathematics

1 В перечне не указываются выявленные во всех странах факторы успешности: «образование родителей», «количество книг в доме», «уверенность в своих знаниях», «планы продолжить образование», «самостоятельная работа школьников».

7 Литва Lithuania 4366

8 Англия England 3858

9 США USA 9944 Дисциплина на уроках Discipline in the classroom

10 Израиль Israel 4268

11 Финляндия Finland 5570 Нравятся уроки математики. Осознание практической важности математики Love the math lessons. Awareness of the practical importance of mathematics

12 Норвегия Norway 5215 Нравятся уроки математики Love the math lessons

13 Швеция Sweden 4565 Нравятся уроки математики Love the math lessons

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

14 Португалия Portugal 3867 Нравятся уроки математики. Осознание практической важности математики Love the math lessons. Awareness of the practical importance of mathematics

15 Италия Italy 4138 Нравятся уроки математики Love the math lessons

16 Турция Turkey 4662 Процент соответствия языка тестирования домашнему. Доля детей обеспеченных компьютерами. Доля школьников, не имеющих дома своего рабочего места. Прогулы уроков. Нравятся уроки математики Percentage of compliance of the testing language with the home language. Percentage of children provided with computers. Percentage of schoolchildren who do not have their own workplace at home. Class truancy. Like math lessons

17 Малайзия Malaysia 8077 Доля детей обеспеченных компьютерами. Дисциплина на уроках. Прогулы уроков Percentage of children provided with computers. Discipline in the classroom. Class truancy

18 Франция France 4426 Процент репетиторства. Нравятся уроки математики Percentage of tutoring. Love the math lessons

19 ОАЭ UAE 25539 Прогулы уроков Class truancy

20 Грузия Georgia 3789 Прогулы уроков. Нравятся уроки математики Class truancy. Like math lessons

21 Чили Chile 4697

22 Катар Qatar 4436 Прогулы уроков Class truancy

Итого Total 130387

Обсуждение результатов

Таким образом, согласно статистике TIMSS влияние условий обучения на его результаты выглядят как незначительные. Но так ли это на самом деле? Для ответа на этот вопрос обратим внимание на содержание переменных TIMSS.

Особенности тестовъх баллов

Как уже говорилось, варианты контрольной работы TIMSS существенно различались по сложности. Для того чтобы результаты можно было корректно сопоставлять в технологии TIMSS предусмотрена возможность с помощью общих (т. н. якорных) заданий осуществлять корректировку баллов, позволяющую устранить эти различия. Таким образом, количество решенных задач переводится в первичный балл - балл, сформированный не только с учетом сложности варианта, но и работ проводимых в разные годы. Следует сказать, что такие преобразования не всегда проходят гладко. Так, B. Özdemir обнаружил, что сопоставимость результатов TIMSS-2007 и TIMSS-2011 по математике не безупречна из-за погрешностей в привязке якорных (общих) заданий в работах разных лет [22].

Следующим шагом на пути получения баллов TIMSS является перевод первичного балла в тестовый. Для оценки академических достижений учащихся в обследовании TIMSS используется теория тестовых заданий (Item response theory - IRT), которая позволяет определить вероятность выполнения каждым участником всех задач из международного банка заданий на основе выполнения ограниченного их числа. Теория исходит из посылки, что оценка школьника небольшим числом заданий (контрольная работа не может быть большой) ведет к тому, что в оценке содержится некоторая неопределенность или т. н. ошибка измерения. Один из способов снижения этой неопределенности состоит в том, чтобы выставить сразу несколько баллов для каждого школьника, чтобы отразить величину ошибки индивидуальной оценки. Эти множественные оценки для одного человека, называются множественными вменениями или правдоподобными значениями (plausible value - PV-значе-ния). Таким образом, вместо прямой оценки способностей учащегося, оценивается распределение вероятностей для этих способностей и вместо получения точечной оценки способностей оценивается диапазон возможных значений способностей с соответствующей вероятностью для каждого из этих значений. Правдоподобные значения представляют собой диапазон способностей, которыми, учитывая ответы ученика, он мог бы обладать.

Теория правдоподобных значений была разработана в США и стала применяться с 1983 г. для анализа данных Национальной оценки прогрес-

са в образовании (National Assessment of Educational Progress - NAEP). С 2003 г. правдоподобные значения стали также применяться в исследованиях TIMSS. Результатом тестирования становится не процент правильно решенных заданий или преобразованные на их основе первичные баллы, а присваиваемые ученикам псевдослучайные значения, которые находятся в нормально распределенном диапазоне значений с математическим ожиданием, соответствующим полученному первичному баллу. В базе результатов TIMSS для каждого школьника содержатся PV-значения (или тестовые баллы TIMSS), которые присваиваются специально разработанной для этого компьютерной программой по 1000-балльной шкале.

Для иллюстрации того, как соотносятся первичные баллы и PV-зна-чения, приведем график для ряда баллов, выраженных в процентах от выполнения работы (25 %, 50 %, 75 %), где хорошо видно, как одни и те же PV-значения соответствуют разным первичным баллам и имеют нормальное распределение внутри первичных (см. рис.1).

2000

130 0

1500

- £ 1400 | и

i- = 1200 Г* ■■

"3 1000

§ I аоо £ =

= 600 400

200

Тестовый балл TIMSS (PV-значения]' TIMSS test score (PV-values)

Рис. 1. Распределение тестовых баллов TIMMS (PV-значений) на 1000-бальной шкале в зависимости от процента выполнения работы

Fig. 1. Distribution of TIMMS test scores (PV-values) on a 1000 point scale depending on the percentage of work completed

Применение данной технологии приводит к тому, что учащиеся, одинаково выполнившие работу, могут получить разный тестовый балл. Даже за меньшее число решенных задач школьник может получить лучшую оценку, чем его более знающий товарищ. Например, баллы в диапазоне от 500 до 600 могут получить школьники, решившие как 25 %, так и 75 % работы

(на рисунке 1 обведено кружком). Более того, при электронном тестировании баллы автоматически начисляются в случае, если школьник ничего не решал. Так из одной тысячи участников, не решивших (или не решавших) ни одной задачи электронной версии TIMSS - 2019 (первичный балл - 0), минимальный уровень подготовки (менее 400 баллов) установлен для 633 чел., от 400 до 475 баллов - 256 чел., от 475 до 550 баллов - 75 чел., от 550 до 625 баллов - 26 чел., свыше 625 баллов (высшая оценка!) - 10 чел. Между тем появление в международной базе участников с нулевым результатом могло быть следствием элементарного ознакомительного запуска программы тестирования, в т. ч. техническими работниками на местах (при онлайн-те-стировании и анкетировании такие случаи не редкость). Так, в базах TIMSS оказались пустые записи по всем позициям измерений, которым, однако, автоматически начислялись баллы за якобы «выполненную» работу.

О том, что баллы TIMSS плохо подходят для решения ряда задач свидетельствует, например, исследование H. Lim., S. Sireci, где авторы для связи результатов исследований TIMSS и NAEP использовали расчет успешности выполнения работы с помощью не PV-значений, а равнопроцентных уравнений [23]. О нарушении правил множественного вменения в ряде циклов TIMSS сообщают J. Wang, X. Ma [24]. Разработчики указывают, что PV-зна-чения предназначены для измерений на уровне популяций и признают, что они не подходят для сопоставлений индивидуальных результатов (M. Wu [25], M. Davier [26]), однако других мер успешности выполнения работы не предлагают. Это крайне осложняет задачу анализа влияния контекста обучения на качество подготовки учащихся. Ведь конкретные показатели контекста приходится сопоставлять не с фактической академической успешностью школьника, а с огрубленным приближением в виде вероятностного, предположительного ее значения.

Особенности переменных контекста обучения

Переменные контекста обучения представлены в TIMSS ответами на вопросы анкеты об отдельных сторонах внутришкольной и домашней обстановки, сопровождающих процесс обучения (см. приложение № 1 на сайте www.edscience.ru). Условно вопросы анкеты можно разделить на фактологические (пол, возраст, наличие домашних удобств и проч.) и оценочные (насколько ясно учитель объясняет материал, насколько школьникам нравятся уроки математики и т. д.). В свою очередь многие оценочные вопросы оказались связаны с выявлением социально одобряемых или неодобряемых фактов внутришкольной и домашней обстановки, а также личных поступков школьников.

Из прикладной социологии хорошо известно, что качество социологических исследований определяется качеством опроса и прежде всего

точностью ответов респондентов [27]. Участники опросов должны быть заинтересованы в нем и не заинтересованы в сообщении ложных сведений. Формулировки вопросов должны соответствовать уровню культуры анкетируемых, не иметь оскорбительного смысла, а количество вопросов не переутомлять опрашиваемых.

Соблюдены ли эти требования в исследовании TIMSS? По ряду признаков можно судить, что нет. Обратимся к истории.

С 1927 по 1936 год на заводе «Вестерн электрик» в городе Хоторн (США) психологи изучали влияние объективных условий труда (освещение, режим работы, перерывы) на производительность работников. В ходе эксперимента, получившего название Хоторнского и ставшего впоследствии знаменитым, выяснилось, что производительность труда в значительной мере зависит от социальных факторов, а именно от интереса к процессу труда рабочих со стороны руководителей предприятия1. Работники, выделенные в экспериментальную группу, почувствовали повышенное внимание к себе со стороны администрации и стали ощущать себя особенными, выделенными из массы остальных. Перемены в условиях труда (например, улучшение или ухудшение освещения) они стали воспринимать как заботу о себе, отвечая повышением производительности труда на любые изменения. Участники эксперимента работали усерднее, чем обычно, благодаря одному только сознанию, что они причастны к эксперименту. Дж. Гудвин выяснил, что большинство людей, участвующих в исследованиях хотят, чтобы их воспринимали как знающих, творческих людей, хотят, чтобы их оценили положительно и поэтому начинают вести себя так, как, по их мнению, это должен делать идеальный человек [28]. Новизна, интерес к эксперименту и повышенное внимание приводит к искаженному, слишком благоприятному результату.

Аналогичная ситуация складывается при организации международного тестирования школьников. Само участие в исследовании стимулирует учащихся показать высокий результат. Но если для получения высоких баллов одного желания мало, нужны знания, то в завышении оценок школьной жизни участников социологических опросов никто не ограничивает.

Как, например, должно выглядеть распределение учителей по такому критерию как ясность обучения? Очевидно, это нормальное распределение аналогичное тому, которое мы видим при распределении школьников по уровню знаний: немногие учителя очень хорошо излагают материал, также как немногие - очень плохо. На шкале «Ясность обучения» большинство учителей должны группироваться где-то в середине. Однако на самом деле это распределение выглядит так (см. рис.2):

1 https://psikhoanaliz.ru/psikhologiya/psikhologicheskie_eksperimenty/khotornskiy-eksperiment/

Рис. 2. Распределение оценок качества работы учителей по критерию «Ясность обучения»

Fig. 2. Distribution of assessments of the quality of teachers' work according to the

criterion "Clarity of learning"

Помимо нормального распределения на графике присутствует всплеск максимальных баллов. Почти пятая часть респондентов ставили максимальные баллы по всем семи утверждениям вопроса № 17. При этом выясняется, что ясность обучения одинаково удовлетворяет как сильных, так и слабых учащихся. Таким образом, получен невероятный результат: статистической связи между ясностью обучения и успеваемостью нет или от качества работы учителей уровень подготовки учащихся не зависит. Объяснить этот феномен можно только тем, что значительная часть школьников систематически завышала оценки педагогов, выставляя максимальные баллы по всем позициям оценивания. Таким образом, напрашивается вывод, что требование объективности респондентов в обследовании TIMSS не соблюдено.

Кроме того, по мнению D. M. Ilgun, недифференцированный стиль ответа, который представляет собой систематическую тенденцию отвечать на вопросы независимо от их содержания (все ответы «плохо», или все - «средне», или все - «хорошо»), ставит под сомнение корректность сопоставлений данных, основанных на шкалах Ликерта, поскольку отражает не столько выраженность оцениваемых качеств, сколько общее эмоциональное отношение респондентов к объекту оценки и проводимому опросу [29].

Еще одним недостатком инструментария TIMSS является наличие вопросов о социально неодобряемых действиях учащихся и условиях школьной среды. Так вопрос № 14 о проявлении недружественных поступков со стороны одноклассников не носил нейтрального характера, т. к. частота утвердительных ответов вела к осознанию школьниками своего перехода в статус неудачника. Неудивительно, что распределение по частоте проявлений буллинга тоже не имеет нормальный вид (см. рис.3).

зоооо

25000

_ 20000

I -

е ~

S- =>

5, 1БООО

i

± Е

~ ß 10000

5000

о

0-4 5-9 10-14 15-19 20-24 25-2Э 30-34 35-39 40-44 45-49 50-54 55-59

Частота проявлений буллинга Bullying frequency

Рис. 3. Частота проявлений буллинга среди учащихся Fig. 3. Frequency of bullying among students

Не соблюдено в обследовании TIMSS и требование к нагрузке респондентов. Несмотря на кажущуюся узость исследования, анкета школьника оказалась довольно большой - более 40 вопросов. Это произошло потому, что помимо математики учащиеся одновременно опрашивались по аналогичным позициям по физике, химии, биологии, географии (вопросы № 21-41). Чтобы ответить на все вопросы, многие из которых имели табличную форму, детям нужно осмысленно и прицельно кликнуть мышкой по монитору около 300 раз. Так, 20 % респондентов не ответили на вопрос, посещают ли они дополнительные занятия (вопрос № 43). Почему? Ответ прост: вопрос находился в конце анкеты и учащиеся уже устали. Для сравнения укажем, что на вопрос № 3 «Как часто Вы говорите дома на <языке тестирования>?» не ответили только 2 % учащихся. То же самое можно сказать и о сложном, требующем оценки, вопросе № 4 «Примерно, сколько книг в Вашем доме?», где доля пропусков также составила 2 %. Еще одной причиной является

то обстоятельство, что школьники, быстро заполнившие анкеты, невольно стимулировали отстающих одноклассников досрочно оставлять эту работу1.

Кроме того, табличная форма вопросов вызывала формальное заполнение анкет и рост доли недифференцированных ответов и пропусков, что не могло не отразиться на качестве измерений показателей контекста и степени их корреляции с результатами тестирования.

Заключение

Данная работа в целом подтвердила результаты изысканий других авторов, где отмечается неустойчивость корреляционных связей большинства показателей контекста и итогов тестирования во всех странах - участниках TIMSS. Вместе с тем в ней показано, что сложности нахождения таких связей не случайны и вызваны самой природой переменных TIMSS, что выражается:

1) в приблизительном, вероятностном, огрубленном характере индивидуальных оценок школьников;

2) в низкой дифференциации учащихся по ряду индикаторов контекста обучения (так, например, практически все опрошенные имеют мобильный телефон, и его наличие не может быть статистически связано ни с одним показателем);

3) в несоблюдении при анкетировании школьников требований к проведению социологических опросов:

- заинтересованности учащихся в предоставлении более благоприятной информации, чем есть на самом деле, что ведет к предвзятости оценок;

- присутствии в анкете вопросов о социально одобряемых или неодо-бряемых фактах внутришкольной и домашней обстановки, а также личных поступков школьников и как следствие невысокой достоверности ответов;

- перегрузке респондентов, вызывающей формальное заполнение анкет и досрочное завершение опроса.

Восьмой цикл TIMSS, который намечен на 2023 г., ознаменует собой переход к полностью цифровому оцениванию, что, по мнению организаторов, повысит эффективность сбора данных о состоянии математического образования и сделает их более полезными. Согласно I. Mullis, M. Martin и

1 Из руководства по проведению компьютерного тестирования TIMSS-2019 осталось неясным устанавливались ли организаторами временные ограничения на заполнение анкет. С одной стороны, указывается, что «в отличие от времени на выполнение теста, время на анкетирование не ограничивается. Важно, чтобы каждый учащийся ответил на все вопросы анкеты», с другой - там же говорится, что на заполнение анкеты дается 30 минут (см. Руководство по проведению компьютерного тестирования (8 класс).скачать (zip, 2572 КБ) [Электрон. ресурс]. Режим доступа: http://centeroko.ru/timss19/ TIMSS-2019_gr8. html) (дата обращения: 01.06.2022).

M. Davier будут также предприняты шаги по повышению степени автоматизации и точности подсчета результатов и улучшения их сопоставимости между странами [30].

На наш взгляд, планы по совершенствованию инструментария и организации TIMSS должны учитывать проблемы, проявившиеся по итогам первого электронного обследования в 2019 г. В наборах данных имеются признаки невнимания организаторов к пробным запускам электронной системы тестирования, ведущих к появлению пустых записей, которым, однако, автоматически начисляются тестовые баллы. В системе оценки достижений отсутствует индикатор сравнения успешности выполнения работы отдельными учащимися в текущем цикле TIMSS. Анкета школьника перегружена табличными формами, стимулирующими однотипные ответы по большинству позиций контекста обучения. Кроме того, она содержит вопросы, слабо дифференцирующие респондентов по ряду признаков и побуждающие говорить неправду, и не имеет защитных механизмов, позволяющих выбраковывать недостоверные данные, что в значительной мере обесценивает получаемую информацию.

Для совершенствования организации и инструментария исследования TIMSS необходимо:

1) предусмотреть критерий уровня подготовки школьника - процент выполнения работы с учетом сложности варианта в текущем цикле TIMSS;

2) исключить из анкеты школьников недифференцирующие вопросы (например, о наличии мобильного телефона) и вопросы, побуждающие респондентов говорить неправду;

3) сократить число вопросов табличного вида и облегчить анкету;

4) ввести индикаторы добросовестности респондентов при работе над анкетой (например, осуществлять фиксацию времени отклика на вопросы, измерять склонность респондентов к однотипным ответам, контролировать их непротиворечивость и т.д.), что позволит выбраковывать сомнительные данные, прежде чем они попадут в статистическую обработку;

5) перед размещением в отрытом доступе наборов данных удалять из базы результатов пустые и недостоверные записи либо выводить их на отдельный ресурс.

Мы полагаем, что решение названных проблем придаст дополнительный импульс изучению связи качества математического образования и контекста обучения в разных странах, позволит скорректировать подходы к анализу данных других международных исследований эффективности образовательных систем.

Перспективным направлением анализа результатов TIMSS, на наш взгляд, представляется изучение несвязанных непосредственно с органи-

зацией учебного процесса, но влияющих на расположение в рейтинге качества образования конкурентных преимуществ отдельных стран (уровень социально-экономического развития, демография, культура и менталитет населения и т.д.). Кроме того, продуктивным может оказаться детальное исследование особенностей национальных выборок, использованных в TIMSS, их связи с контекстом обучения и воздействия на результаты тестирования.

Список использованных источников

1. Ястребов Г. А., Пинская М. А., Косарецкий С. Г. Использование контекстных данных в системе оценки качества образования: опыт разработки и апробация инструментария // Вопросы образования. 2014. № 4. С. 58-95. DOI: 10.17323/1814-9545-2014-4-58-95

2. Lessani A., Yunus A., Tarmiz R., Mahmud R. Why Singaporean 8-th Grade Students Gain Highest Mathematics Ranking in TIMSS (1999-2011) // International Education Studies. 2014. Vol. 7, № 11 P. 173-181. Available from: https://web.archive.org/web/20170814020957id_/ http://files.eric.ed.gov/fulltext/EJ1071031.pdf (date of access: 15.05.2022).

3. Tajudin N., Chinnappan M. The Link between Higher Order Thinking Skills, Representation and Concepts in Enhancing TIMSS Tasks // International Journal of Instruction. 2016. Vol. 9, № 2, P. 199-214. Available from: https://www.e-iji.net/dosyalar/ iji_2016_2_14.pdf (date of access: 15.05.2022).

4. Lin F. The Data Makes the Difference: How Chinese Taipei Used TIMSS Data to Reform Mathematics Education // International Association for the Evaluation of Educational Achievement Compass Briefs in Education. 2018. № 2. Available from: https://web.archive. org/web/20170814020957id_/http://files.eric.ed.gov/fulltext/ED588381.pdf (date of access: 15.05.2022).

5. Ковалева Г. С., Краснянская К. А., Пентин А. Ю., Садовщикова О. И. Какие новые результаты получены в рамках международного исследования TIMSS-2019 [Электрон. ресурс] // Отечественная и зарубежная педагогика. 2021. Т. 2, № 5 (79). С. 98-123. Режим доступа: https://www.elibrary.ru/download/elibrary_47228467_81809060.pdf (дата обращения: 17.08.2022).

6. Neidorf T., Arora A., Erberber E., Tsokodayi Y., Mai T. Student Misconceptions and Errors in Physics and Mathematics Exploring Data from TIMSS and TIMSS Advanced // IEA Research for Education. 2020 Vol. 9. Available from: https://web.archive.org/ web/20200326 175114id_/https://link.springer.com/content/pdf/ 10.1007/978-3-030-30188-0.pdf (date of access: 15.05.2022).

7. Tallberg C., Axelsson M. Exploring Coherence between Swedish Grades and TIMSS 2015 // IEA Compass: Briefs in Education. 2021. № 14. Available from: https://files.eric. ed.gov/fulltext/ED615156.pdf (date of access: 15.05.2022).

8. Naidoo Ja., Sibanda D. Examining Science Performance of South African Grade 9 Learners in TIMSS 2015 through a Gender Lens // South African Journal of Education. 2020. Vol. 40, № 12. article number 1717. Available from: https://pdfs.semanticscholar.org/b9ef/3 a07ffa77c049c8ffe24dcfb85114cb66cc6.pdf (date of access: 15.05.2022).

9. Arends F., Visser M. The Contribution of South African Teachers to Students' Sense of Belonging and Mathematics Achievement: Students' Perspective from the 2015 Trends in International Mathematics and Science Study // South African Journal of Childhood

Education. 2019. Vol. 9, № 1. article number 697. Available from: https://www.researchgate. net/profile/Mariette_Visser/publication/335609948_The_contribution_of_South_African_ teachers_to_students'_sense_of_belonging_and_mathematics_achievement_Students'_ perspective_from_the_2015_Trends_in_International_Mathematics_and_Science_Study/ Hnks/5d81dc2a458515fca1712977/The-conMbution-of-Souto-African-teachers-to-students-sense-of-belonging-and-mathematics-achievement-Students-perspective-from-the-2015-Trends-in-International-Mathematics-and-Science-Study.pdf (date of access: 15.05.2022).

10. Winnaar L., Arends F., Beku U. Reducing Bullying in Schools by Focusing on SchoolClimate and School Socio-Economic Status // South African Journal of Education. 2018. Vol. 38, № 10. article number 1596. Available from: https://www.timss-sa.org/wp-content/uploads/2021/07/Reducing-bullying-m-schools_-Wmnaar-et-aL2018.pdf (date of access: 15.05.2022).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

11. Albayrakoglu O., Yildirim S. School Characteristics Mediating the Relationship between School Socioeconomic Status and Mathematics Achievement // International Journal of Assessment Tools in Education. 2022. Vol. 9, № 1. P. 98-117. Available from: https:// dergipark.org.tr/en/download/article-file/1308733 (date of access: 15.05.2022).

12. Mirazchiyski P. Response to «An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study» // Athens Journal of Education. 2019, Vol. 6, № 2. P. 145-158. Available from: https://www.athensjournals.gr/education/2019-6-2-4-Mirazchiyski.pdf (date of access: 15.05.2022).

13. Sanchez J., Ponce M. Physics-Mathematics Associations: Evidence from TIMSS Student Achievements // Science Education International. 2020. Vol. 31, № 9. P. 229-236. Available from: https://www.researchgate.net/profile/Joje-Mar-Sanchez/ publication/344032111_Physics-Mathematics_Associations_Evidence_from_TIMSS_Student_ Achievements/links/5f4ec37c299bf13a3196f335/Physics-Mathematics-Associations-Evidence-from-TIMSS-Student-Achievements.pdf (date of access: 15.05.2022).

14. Michaelides M., Brown G., Eklof H., Papanastasiou E. Motivational Profiles in TIMSS Mathematics: Exploring Student Clusters across Countries and Time // International Association for the Evaluation of Educational Achievement IEA Research for Education. IEA Research for Education. 2017. Vol. 7. Available from: https://library.oapen.org/bitstream/ha ndle/20.500.12657/22955/1007205.pdf?sequence=1 (date of access: 15.05.2022).

15. Lee J., Chen M. Cross Country Predictive Validities of Non Cognitive Variables for Mathematics Achievement: Evidence Based on TIMSS 2015 // EURASIA Journal of Mathematics, Science and Technology Education. 2019. Vol. 15, № 8. article number: em1725. Available from: https://www.ejmste.com/download/cross-country-predictive-validities-of-non-cognitive-variables-for-mathematics-achievement-evidence-7685.pdf (date of access: 15.05.2022).

16. Geesa R., Izci B., Song H., Chen S. Exploring Factors of Home Resources and Attitudes towards Mathematics in Mathematics Achievement in South Korea, Turkey, and the United States // EURASIA Journal of Mathematics, Science and Technology Education. 2019. Vol. 15, № 9. article number: em1751. Available from: https://www.ejmste.com/download/ exploring-factors-of-home-resources-and-attitudes-towards-mathematics-in-mathematics-achievement-in-7708.pdf (date of access: 15.05.2022).

17. Koyuncu I. TIMSS International Benchmarks of Eighth Graders in Mathematics: A Correspondence Analysis Study // International Electronic Journal of Elementary Education. 2021. Vol. 14, № 2. P. 179-194. Available from: https://www.iejee.com/index.php/IEJEE/ article/view/1701/563 (date of access: 15.05.2022).

18. Awang H., Hashim F., Salleh A., Tan L. The Influence of Mathematics Score and Student Factors on Science Achievement Using TIMSS Data // EURASIA Journal of Mathematics, Science and Technology Education. 2021. Vol. 17, № 6. article number: em1976. Available from: https://web.archive.org/web/20210528063623id_/https://www.ejmste.com/ download/the-influence-of-mathematics-score-and-student-factors-on-science-achievement-using-timss-data-10931.pdf (date of access: 15.05.2022).

19. Mikk J. Students' Homework and TIMSS 2003 Mathematics Results // International Conference Teaching Mathematics: Retrospective and Perspectives (7th, Tartu, Estonia, May 12-13, 2006). Tartu, 2006. Available from: https://web.archive.org/web/20200711224453id_/ https://files.eric.ed.gov/fulltext/ED491866.pdf (date of access: 15.05.2022).

20. Хавенсон Т. Е., Керша Ю. Д. Сравнительный анализ результатов тестов PISA и TIMSS в России и странах Европы [Электрон. ресурс] // Современная аналитика образования. № 1 (9) М.: НИУ ВШЭ, 2017. 32 с. Режим доступа: https://publications.hse. ru/pubs/share/folder/v01bj4pmvg/202102381.pdf (дата обращения: 17.08.2022).

21. Тюменева Ю. А., Хавенсон Т. Е. Характеристики учителей и достижения школьников. Применение метода first difference к данным TIMSS-2007 // Вопросы образования. 2012. № 3. С. 113-140 Режим доступа: https://publications.hse.ru/mirror/ pubs/share/folder/hlfj5yukmf/direct/68454465 (дата обращения: 17.08.2022).

22. Ozdemir B. Equating TIMSS Mathematics Subtests with Nonlinear Equating Methods Using NEAT Design: Circle Arc Equating Approaches // International Journal of Progressive Education. 2017. Vol. 13, № 2. P. 116-132. Available from: https://ijpe.inased.org/files/2/ manuscript/manuscript_241/ijpe-241-manuscript-111607.pdf (date of access: 05.05.2022).

23. Lim H., Sireci S. Linking TIMSS and NAEP Assessments to Evaluate International Trends in Achievement // Education Policy Analysis Archives. 2017. Vol. 25, № 11. P. 1-25 Available from: https://www.redalyc.org/pdf/2750/275050047011.pdf (date of access: 15.05.2022).

24. Wang Ji., Ma X. Rejoinder: Response To An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study // Athens Journal of Education. 2019. № 5. P.160-169. Available from: https://www.researchgate.net/profile/ Jianjun-Wang- 11/publication/330636150_Rejoinder_Response_to_An_Examination_ of_Plausible_Score_Correlation_from_the_Trend_in_Mathematics_and_Science_Study/ links/5e891ad3a6fdcca789f4945d/Rejoinder-Response-to-An-Examination-of-Plausible-Score-Correlation-from-the-Trend-in-Mathematics-and-Science-Study.pdf (date of access: 15.05.2022).

25.Wu M. The role of plausible values in large scale surveys // Studies in Educational Evaluation. 2005. № 31 P. 114-128. Available from: https://www.acer.org/files/ plausiblevaluesinsee.pdf (date of access: 05.05.2022).

26. Davier M., Gonzalez E., Mislevy R. What are plausible values and why are they useful? // IERI Monograph series; Issues and Methodologies in large-scale Assessments. 2009. Vol. 2. P. 9-36 Available from: https://www.ierinstitute.org/fileadmin/Documents/ IERI_Monograph/IERI_Monograph_Volume_02_Chapter_01.pdf (date of access: 05.05.2022).

27. Горшков М. К., Шереги Ф. Э. Прикладная социология: методология и методы. М.: Альфа? 2009. 416 с. Режим доступа: https://www.isras.ru/files/File/Prikl_Soc_full.pdf (дата обращения: 17.08.2022).

28. Гудвин Дж. Исследование в психологии: методы и планирование. СПб.: Питер, 2004. 558 с. Режим доступа: https://www.studmed.ru/view/gudvin-dzh-issledovanie-v-psi-hologii-metody-i-planirovanie_2fc857e1293.html (дата обращения: 17.08.2022).

29. Ilgun D. M. Effect of Extreme and Acquiescence Response Style in TIMSS 2015 // Eurasian Journal of Educational Research. 2020. № 87. P. 199-219. Available from: https://web.archive.org/web/2020072 1104047id_/http://ejer.com.tr/public/assets/ catalogs/0206512001591274575.pdf (date of access: 15.05.2022).

30. Mullis I., Martin M., Davier M. TIMSS 2023 Assessment Frameworks // International Association for the Evaluation of Educational Achievement 2021. TIMSS & PIRLS International Study Center. 2021. 97 p. Available from: https://timss.bc.edu/timss2023/frameworks/pdf/ T23_Frameworks.pdf (дата обращения: 01.05.2022).

References

1. Yastrebov G. A., Pinskaya M. A., Kosaretsky S. G. using contextual data for education quality assessment: The experience of tools development and testing. Voprosy obrazovaniya = Educational Studies Moscow. 2014; 4: 58-95. DOI: 10.17323/1814-9545-2014-4-58-95 (In Russ.)

2. Lessani A., Yunus A., Tarmiz R., Mahmud R. Why Singaporean 8-th grade students gain highest mathematics ranking in TIMSS (1999-2011). International Education Studies [Internet] 2014 [cited 2022 May 15]; 11 (7): 173-181. Available from: https://web.archive.org/ web/20170814020957id_/http://files.eric.ed.gov/fulltext/EJ1071031.pdf

3. Tajudin N., Chinnappan M. The link between higher order thinking skills, representation and concepts in enhancing TIMSS tasks. International Journal of Instruction [Internet]. 2016 [cited 2022 May 15]; 2 (9): 199-214. Available from: https://www.e-iji.net/ dosyalar/iji_2016_2_14.pdf

4. Lin F. The data makes the difference: How Chinese Taipei used TIMSS data to reform mathematics education. IEA Compass: Briefs in Education series [Internet]. № 2. Amsterdam: International Association for the Evaluation of Educational Achievement (IEA); 2018 [cited 2022 May 15]. 7 p. Available from: https://web.archive.org/web/20170814020957id_/http:// files.eric.ed.gov/fulltext/ED588381.pdf

5. Kovaleva G. S., Krasnyanskaya K. A., Pentin A. Yu., Sadovshchikova O. I. What new results were obtained in the framework of the international study TIMSS-2019. Otechestvennaya i zarubezhnaya pedagogika = Domestic and Foreign Pedagogy [Internet]. 2021 [cited 2022 Aug 17]; 5 (79): 98-123. Available from: https://www.elibrary.ru/download/ elibrary_47228467_81809060.pdf (In Russ.)

6. Neidorf T., Arora A., Erberber E., Tsokodayi Y., Mai T. Student misconceptions and errors in physics and mathematics exploring data from TIMSS and TIMSS advanced [Internet]. IEA Research for Education; 2020 [cited 2022 May 15]. 173 p. Available from: https://web. archive.org/web/20200326175114id_/https://link.springer.com/content/pdf/10.1007/978-3-030-30188-0.pdf

7. Tallberg C., Axelsson M. Exploring coherence between Swedish grades and TIMSS 2015. IEA Compass: Briefs in Education series [Internet]. Amsterdam: International Association for the Evaluation of Educational Achievement (IEA); 2021 [cited 2022 May 15]. 14 p. Available from: https://files.eric.ed.gov/fulltext/ED615156.pdf

8. Naidoo Ja., Sibanda D. Examining science performance of South African grade 9 learners in TIMSS 2015 through a gender lens. South African Journal of Education [Internet]. 2020 [cited 2022 May 15]; 12 (40): S1-S10. Available from: https://pdfs.semanticscholar.org/ b9ef/3a07ffa77c049c8ffe24dcfb85114cb66cc6.pdf

9. Arends F., Visser M. The contribution of South African teachers to students' sense of belonging and mathematics achievement: Students' perspective from the 2015 trends in international mathematics and science study. South African Journal of Childhood Education [Internet]. 2019 [cited 2022 May 15]; 1 (9). Available from: https://www.researchgate. net/profile/Mariette_Visser/publication/335609948_The_contribution_of_South_African_ teachers_to_students'_sense_of_belonging_and_mathematics_achievement_Students'_ perspective_from_the_2015_Trends_in_International_Mathematics_and_Science_Study/ links/5d81dc2a458515fca1712977/The-contribution-of-South-African-teachers-to-students-sense-of-belonging-and-mathematics-achievement-Students-perspective-from-the-2015-Trends-in-International-Mathematics-and-Science-Study.pdf

10. Winnaar L., Arends F., Beku U. Reducing bullying in schools by focusing on school climate and school socio-economic status. South African Journal of Education [Internet]. 2018 [cited 2022 May 15]; 10 (38): S1-S10. Available from: https://www.timss-sa.org/wp-content/ uploads/2021/07/Reducing-bullying-in-schools_-Winnaar-et-al_2018.pdf

11. Albayrakoglu O., Yildirim S. School characteristics mediating the relationship between school socioeconomic status and mathematics achievement. International Journal of Assessment Tools in Education [Internet]. 2022 [cited 2022 May 15]; 1 (9): 98-117. Available from: https://dergipark.org.tr/en/download/article-file/1308733

12. Mirazchiyski P. Response to «An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study». Athens Journal of Education [Internet]. 2019 [cited 2022 May 15]; 6 (2): 145-158. Available from: https://www.athensjournals.gr/ education/2019-6-2-4-Mirazchiyski.pdf.

13. Sanchez J. Ponce M. Physics-mathematics associations: Evidence from TIMSS student achievements. Science Education International [Internet]. 2020 [cited 2022 May 15]; 9 (31): 229-236. Available from: https://www.researchgate.net/profile/Joje-Mar-Sanchez/ publication/344032111_Physics-Mathematics_Associations_Evidence_from_TIMSS_Student_ Achievements/links/5f4ec37c299bf13a3196f335/Physics-Mathematics-Associations-Evidence-from-TIMSS-Student-Achievements.pdf

14. Michaelides M., Brown G., Eklof H., Papanastasiou E. Motivational profiles in TIMSS mathematics: Exploring student clusters across countries and time [Internet]. International Association for the Evaluation of Educational Achievement IEA Research for Education; 2017 [cited 2022 May 15]; 149 p. Available from: https://library.oapen.org/bitstream/hand le/20.500.12657/22955/1007205.pdf?sequence=1

15. Lee J., Chen M. Cross country predictive validities of non cognitive variables for mathematics achievement: Evidence based on TIMSS 2015. EURASIA Journal of Mathematics, Science and Technology Education [Internet]. 2019 [cited 2022 May 15]; 15 (8). Available from: https: //www.ejmste.com/download/cross-country-predictive-validities-of-non-cognitive-variables-for-mathematics-achievement-evidence-7685.pdf

16. Geesa R., Izci B., Song H., Chen S. Exploring factors of home resources and attitudes towards mathematics in mathematics achievement in South Korea, Turkey, and the United States. EURASIA Journal of Mathematics, Science and Technology Education [Internet]. 2019 [cited 2022 May 15]; 15 (9): 1-18. Available from: https://www.ejmste.com/download/ exploring-factors-of-home-resources-and-attitudes-towards-mathematics-in-mathematics-achievement-in-7708.pdf

17. Koyuncu I. TIMSS international benchmarks of eighth graders in mathematics: A correspondence analysis study. International Electronic Journal of Elementary Education

[Internet]. 2021 [cited 2022 May 15]; 14 (2): 179-194. Available from: https://www.iejee.com/ index.php/IEJEE/article/view/1701/563

18. Awang H., Hashim F., Salleh A., Tan L. The influence of mathematics score and student factors on science achievement using TIMSS data. EURASIA Journal of Mathematics, Science and Technology Education [Internet]. 2021 [cited 2022 May 15]; 17 (6): em1976. Available from: https://web.archive.org/web/20210528063623id_/https://www.ejmste.com/ download/the-influence-of-mathematics-score-and-student-factors-on-science-achievement-using-timss-data-10931.pdf

19. Mikk J. Students' homework and TIMSS 2003 mathematics results. In: 7th International Conference Teaching Mathematics: Retrospective and Perspectives [Internet]; 2006 May 12-13; Tartu, Estonia. Tartu, Estonia; 2006 [cited 2022 May 15]; 8 p. Available from: https://web. archive.org/web/20200711224453id_/https://files.eric.ed.gov/fulltext/ED491866.pdf

20. Khavenson T., Kersha Yu. Comparative analysis of PISA and TIMSS test results in Russia and European countries. Sovremennaja analitika obrazovanija = Modern Analytics of Education [Internet]. 2017 [cited 2022 Aug 17]; 1 (9): 1-32. Available from: https://publications. hse.ru/pubs/share/folder/v01bj4pmvg/202102381.pdf (In Russ.)

21. Tyumeneva Yu. A., Khavenson T. E. Characteristics of teachers and achievements of schoolchildren. Application of the first difference method to TIMSS-2007 data. Voprosy obrazovaniya = Educational Studies Moscow [Internet]. 2012. [cited 2022 Aug 17]; 3: 113140. Available from: https://publications.hse.ru/mirror/pubs/share/folder/hlfj5yukmf/ direct/68454465

22. Ozdemir B. Equating TIMSS mathematics subtests with nonlinear equating methods using NEAT design: CircleArc equating approaches. International Journal of Progressive Education [Internet]. 2017 [cited 2022 May 05]; 13 (2): 116-132. Available from: https://ijpe.inased. org/files/2/manuscript/manuscript_241/ijpe-241-manuscript-111607.pdf

23. Lim H., Sireci S. Linking TIMSS and NAEP assessments to evaluate international trends in achievement. Education Policy Analysis Archives [Internet]. 2017 [cited 2021 May 05]; 25 (11). Available from: https://www.redalyc.org/pdf/2750/275050047011.pdf

24. Wang Ji., Ma X. Rejoinder: Response to an examination of plausible score correlation from the trend in mathematics and science study. Athens Journal of Education [Internet]. 2019 [cited 2021 May 05]; 5: 160-169. Available from: https://www.researchgate.net/ profile/Jianjun-Wang-11/publication/330636150_Rejoinder_Response_to_An_Examination_ of_Plausible_Score_Correlation_from_the_Trend_in_Mathematics_and_Science_Study/ links/5e891ad3a6fdcca789f4945d/Rejoinder-Response-to-An-Examination-of-Plausible-Score-Correlation-from-the-Trend-in-Mathematics-and-Science-Study.pdf

25. Wu M. The role of plausible values in large scale surveys. Studies in Educational Evaluation [Internet]. 2005 [cited 2022 May 05]; 31: 114-128. Available from: https://www. acer.org/files/plausiblevaluesinsee.pdf

26. Davier M., Gonzalez E., Mislevy R. What are plausible values and why are they useful? IERI Monograph Series [Internet]. 2009 [cited 2022 May 05]; 2: 9-36. Available from: https://www.ierinstitute.org/fileadmin/Documents/IERI_Monograph/IERI_Monograph_ Volume_02_Chapter_01.pdf

27. Gorshkov M. K., Sheregi F. E. Prikladnaya sotsiologiya: metodologiya i metody = Applied sociology: Methodology and methods [Internet]. Moscow: Publishing House Alfa; 2009 [cited 2022 Aug 17]. 416 p. Available from: https://www.isras.ru/files/File/Prikl_Soc_full.pdf (In Russ.)

28. Goodwin J. Issledovaniye v psikhologii: metody i planirovaniye = Research in psychology: Methods and planning [Internet]. St. Petersburg: Publishing House Piter: 2004 [cited 2022 Aug 17]. 558 p. Available from: https://www.studmed.ru/view/gudvin-dzh-issledovanie-v-psihologii-metody-i-planirovanie_2fc857e1293.html (In Russ.)

29. Ilgun Derek M. Effect of extreme and acquiescence response style in TIMSS 2015. Eurasian Journal of Educational Research [Internet]. 2020 [cited 2022 May 15]; 87: 199-219. Available from: https://web.archive.org/web/20200721104047id_/http://ejer.com.tr/public/ assets/catalogs/0206512001591274575.pdf

30. Mullis I., Martin M., Davier M. TIMSS 2023 assessment frameworks [Internet]. International Association for the Evaluation of Educational Achievement 2021; 2021 [cited 2022 May 01]. p. 1-97. Available from: https://timss.bc.edu/timss2023/frameworks/pdf/ T23_Frameworks.pdf

Информация об авторах:

Нуриева Люция Мухаметовна - кандидат педагогических наук, доцент кафедры математики и методики обучения математике Омского государственного педагогического университета; ORCID 0000-0001-9231-5445, Scopus Author ID 57207467838; Омск, Россия. E-mail: liutsiya59@mail.ru

Киселев Сергей Георгиевич - социолог Центра адаптации и трудоустройства студентов и выпускников Омского государственного педагогического университета; ORCID 0000-0002-1540-7570, Scopus Author ID 57207457781; Омск, Россия. E-mail: ksg_sd@mail.ru

Вклад соавторов. Соавторы внесли равный вклад в подготовку статьи.

Информация о конфликте интересов. Авторы заявляют об отсутствии конфликта интересов.

Статья поступила в редакцию 18.07.2022; поступила после рецензирования 29.11.2022; принята к публикации 07.12.2022.

Авторы прочитали и одобрили окончательный вариант рукописи.

Information about the authors:

Liutsiya M. Nurieva - Cand. Sci. (Education), Associate Professor, Department of Mathematics and Methods of Mathematics Teaching, Omsk State Pedagogical University; ORCID 0000-0001-9231-5445, Scopus Author ID 57207467838; Omsk, Russia. E-mail: liutsiya59@mail.ru

Sergey G. Kiselev - Sociologist, Centre for the Adaptation and Employment of Students and Graduates, Omsk State Pedagogical University; ORCID 0000-0002-1540-7570, Scopus Author ID 57207457781; Omsk, Russia. E-mail: ksg_sd@mail.ru

Contribution of the authors. The authors equally contributed to the preparation of the article.

Conflict of interest statement. The authors declare that there is no conflict of interest.

Received 18.07.2022; revised 29.11.2022; accepted for publication 07.12.2022.

The authors have read and approved the final manuscript.

Información sobre los autores:

Nurieva Liutsiya Mujamétovna: Candidata a Ciencias Pedagógicas, Profesora del Departamento de Matemáticas y Metodológia de la Enseñanza de las Matemáticas de la Universidad Pedagógica Estatal de Omsk; ORCID 0000-0001-9231-5445, Scopus Author ID 57207467838; Omsk, Rusia. Correo electrónico: liutsiya59@mail.ru

Kisilev Serguey Gueorguiévich: Sociólogo del Centro de Adaptación y Empleo para estudiantes y egresados de la Universidad Pedagógica Estatal de Omsk; ORCID 0000-0002-15407570, Scopus Author ID 57207457781; Omsk, Rusia. Correo electrónico: ksg_sd@mail.ru

Contribución de coautoría. Los autores han hecho su constribución de manera igualitaria en la elaboración de este artículo

Información sobre conflicto de intereses. Los autores declaran no tener conflictos de intereses.

El artículo fue recibido por los editores el 18/07/2022; recepción efectuada después de la revisión por los pares actuantes el 29/11/2022; aceptado para su publicación el 07/12/2022.

Los autores leyeron y aprobaron la versión final del manuscrito.

i Надоели баннеры? Вы всегда можете отключить рекламу.