CC BY
89
Перспективы Науки и Образования
Международный электронный научный журнал ISSN 2307-2334 (Онлайн)
Адрес выпуска: pnojournal.wordpress.com/archive19/19-05/ Дата публикации: 31.10.2019 УДК 371.261
А. О. КЕЛДИБЕКОВА
О подходах к оценке решения задач математических олимпиад школьников
Введение. Актуальность исследования детерминирована необходимостью усовершенствования процедуры оценивания знаний участников олимпиад по математике. Проблема исследования заключается в отсутствии объективности при оценивании олимпиадных работ учащихся, и, с учётом разнообразия оценочных систем, эта проблема приобретает масштабный характер.
Материалы и методы. Для решения этой проблемы применялся анализ психолого-педагогической, методической литературы по теории и практике педагогических измерений, программных документов, протоколов олимпиад; изучен и обобщен опыт жюри олимпиад по оцениванию; проведено наблюдение за процедурой проверки олимпиадных работ.
Результаты исследования. В практике критериального оценивания выявлено три подхода к оценке решения олимпиадной задачи, в основе которых лежит уровень сложности заданий. Проверка решения олимпиадных задач предусматривает применение двух видов оценочных шкал: количественной и качественной. Так, в республиканских олимпиадах по математике Кыргызстана и России традиционно применяются 7-, 10-балльные системы оценки решения задач, встречается оценка сложности задачи по 30-балльной системе. В Московских математических олимпиадах практикуется проверка работ с применением символов +, +., -, -., +/2, \рт, \р, !, 0. В открытых математических олимпиадах школьников Латвии для оценки уровней математических компетенций применяется специальная система, включающая коды для каждого шага решения ат12, ар12 и др. В олимпиадах Казахстана применяют буквенные обозначения А, В, С. Дескрипторы критериев оценки характеризуют степень продвижения участника олимпиады в решении задачи.
Заключение. Критериальное оценивание заданий математических олимпиад основано на экспертной оценке, отражающей 6 уровней владения математическими компетенциями. Критериальное оценивание олимпиадных работ должно соответствовать программе обучения школы олимпийского резерва по математике; форме развернутого контроля, выявляющей способности школьника решать комплексные задачи; его индивидуальные психолого-педагогические особенности и математические способности. Это позволит определять и фиксировать уровень усвоения содержания учебной программы олимпийского резерва по математике за определенный период. Конкретность и точность формулировки критериев оценки заданий, определение баллов за каждый этап решения задач олимпиады способствует объективному оцениванию математических способностей ее участников, обеспечивая более качественный отбор победителей заключительного этапа.
Перспективы. С появлением новых форм олимпиад и интеллектуальных конкурсов, задания которых наименее поддаются формализации, проблема разработки критериев объективной оценки их решения, остается актуальной.
Ключевые слова: республиканская олимпиада, заключительный этап, математика, задача, решение, критерии оценивания, подходы, оценочные шкалы, дескрипторы, баллы
Ссылка для цитирования:
Келдибекова А. О. О подходах к оценке решения задач математических олимпиад школьников // Перспективы науки и образования. 2019. № 5 (41). С. 324-344. сЬк 10.32744/р$е.2019.5.23
Perspectives of Science & Education
International Scientific Electronic Journal ISSN 2307-2334 (Online)
Available: psejournal.wordpress.com/archive19/19-05/ Accepted: 24 August 2019 Published: 31 October 2019
A. O. Keldibekova
On approaches to assessing the solution of problems in mathematical olympiads for schoolchildren
Introduction. The relevance of the study is determined by the need to improve the procedure for assessing the knowledge of participants in mathematics competitions. The research problem is the lack of objectivity in the assessment of schoolchildren's olympiad work, and, given the variety of assessment systems, this problem becomes widespread.
Materials and methods. The analysis of psychological, pedagogical and methodological literature on the theory and practice of pedagogical measurements, program documents; protocols of the olympiads; the study and generalization of the experience of the olympiad juries in evaluating, monitoring the procedure for checking the olympiad result papers have been used.
Results. In the practice of criteria-based assessment, three approaches to assessing the solution of the olympiad problem have been identified, which are based on the level of difficulty of the tasks. Testing the solution of the olympiad problems involves the use two types of rating scales: quantitative and qualitative. So, in the republican olympiads of Kyrgyzstan and Russia in mathematics, 7-, 10-point systems for assessing problem solving are traditionally used, there is an estimate of the complexity of the problem according to a 30-point system. In the Moscow Mathematical Olympiads (MMO), the practice of using the characters +, +., -, -., +/2, \pm, \mp, !, 0 for controlling checking the papers. In the open mathematical olympiads of Latvia to assess the levels of mathematical competencies of students a special system is used, including codes for each step of solving am12, ap10, etc. In Kazakhstan olympiads, the A, B, C letter designations are used. In all approaches, descriptor criteria express the degree of advancement of the olympiad participant in solving the problem.
Discussion and conclusions. Criteria assessment of tasks of mathematical olympiads is based on expert assessment, reflecting 6 levels of knowledge of mathematical competencies. Criteria assessment of the olympiad works should correspond to the training program of the school of the olympic reserve in mathematics, the form of detailed control, revealing the student's ability to solve complex problems, their individual psychological and pedagogical features and mathematical abilities. This will allow determining and fixing the level of mastering the content of the curriculum of the olympic reserve in mathematics for a certain period. The concreteness and accuracy of the wording of the criteria for assessing tasks, determining points for each stage of solving the problems of the olympiad contributes to an objective assessment of the mathematical abilities of its participants, providing a better selection of the winners of the final stage. With the advent of new forms of olympiads and intellectual competitions, tasks that are the least formalizable, the problem of developing criteria for an objective assessment of their solution remains relevant.
Key words: republican olympiad, final stage, mathematics, problem, solution, assessment criteria, approaches, rating scales, descriptors, points
For Reference:
Keldibekova, A. O. (2019). On approaches to assessing the solution of problems in mathematical olympiads for schoolchildren. Perspektivy nauki i obrazovania - Perspectives of Science and Education, 41 (5), 324-344. doi: 10.32744/pse.2019.5.23
_Введение
редметная олимпиада школьников выполняет более 22 различных функций, в числе которых обучающая, контролирующая и мотивирующая учебную деятельность. Эти функции в той или иной степени затрагивают проблему оценивания олимпиадных работ ее участников. Основным документом, регламентирующим процедуру управления процессом проведения олимпиады, в котором утверждены правила подведения итогов олимпиады на основании рейтинга баллов, командного первенства и проведения оценивания и апелляции, проводимой на основании критериев оценки олимпиадных заданий, выступает Положение об олимпиаде школьников.
г-ч
В организации олимпиадного движения, каждый последующий этап олимпиады представлен более сложным уровнем заданий. Во всех странах заключительный этап олимпиады школьников по математике характеризуется, как: «вбирающий в себя самые сложные, самые разнообразные как по типу, так и по алгоритму выполнения задания» [1, с. 133]. Решение задач этого уровня требует умения применять методы из различных разделов математики: «На заключительных этапах участник должен владеть «техникой доказательства»: умение находить для решения задачи несколько логических шагов. При этом каждый шаг может быть технически достаточно сложным» [2, с. 92].
Трудность оценивания олимпиадных заданий состоит в том, что не существует единого метода решения таких задач. Стоит учесть, что в решениях олимпиадных заданий возможен широкий диапазон ответов, формулировка нескольких гипотез, различная аргументация и другие возможности проявления учащимися творческого подхода. По причине того, что формализацию решения олимпиадных задач по математике выполнить крайне трудно, а то и невозможно, этап проверки олимпиадных работ участников, по праву, считается одной из самых сложных и ответственных моментов в проведении математических олимпиад.
Исследуя проблему критериальной оценки решения олимпиадных задач, будем различать понятия «оценка сложности задачи» и «оценка решения задачи», хотя и существует взаимосвязь между ними: «адекватное соотношение баллов и трудности решения задач способствует справедливому ранжированию участников по уровню их знаний и умений» [3, с. 422]. Под первым понятием будем подразумевать решаемость олимпиадной задачи, так называемую «директивную» трудность задачи, т.е. присваивание определенного балла за ее полное обоснованное решение. Под вторым - оценку предметных знаний ученика.
На первостепенную важность определения четко поставленных критериев оценивания решения заданий при определении победителей олимпиады, указывают следующие факты: «Правильное, грамотное определение критериев оценки (оценивающих факторов), показателей (признаков, по которым производится однозначная оценка), использование адекватных им измерителей (инструментов, с помощью которых производится оценка) - залог верного оценивания любой деятельности, метода» [4], посредством критериального оценивания разрешаются споры относительно полученных отметок [5].
Изучение научных исследований в этом направлении, ознакомление с отечественным и зарубежным опытом, наблюдение за процессом проведения олимпиад городского, областного, республиканского этапов, личный опыт работы в жюри олимпиад, позволили выявить противоречие между потребностью системы олимпиадного дви-
жения, ее участников в объективной системе оценивания олимпиадных работ и недостаточной разработанностью критериев оценки решения олимпиадных задач по математике. Учитывая значение оценки в системе олимпиадного движения, ее роль в определении интеллектуального потенциала государства, цель исследования состоит в обобщении опыта критериального оценивания решения математических олимпиадных задач, в выявлении существующих подходов в оценке олимпиадных работ школьников и степени их практической реализации.
_Обзор литературы
В ходе анализа диссертационных исследований, начиная с 2010 года, выявлены работы Г.И. Алексеевой, Н.А. Белан, Д.В. Подлесного, А.С. Станкевич, посвященные методике подготовки и организационным вопросам проведения олимпиад по разным дисциплинам. Проблеме формирования учебно-познавательных, исследовательских телекоммуникативных компетенций в условиях олимпиады посвящены работы С.В. Ильинского, Т.Н. Лубинской, Ю.В. Скрипкиной. Функциям олимпиад посвящено исследование Вышнепольского [6]. В ряде статей обосновывается позиция автора данной статьи, что компетентностный подход возможно реализовать как при участии школьников в олимпиадах, так и при их обучении решению олимпиадных задач [7-10]. Особенности организации республиканской олимпиады школьников по математике в Кыргызской Республике освещены нами в работах [11; 12; 46].
Исследования посвящены проблеме разработки заданий заключительного этапа всероссийских олимпиад по географии [1], принципам формирования олимпиадных заданий по истории [13], по литературе [14], методам составления олимпиадных задач по информатике [15]; [16]. Отдельный ряд исследований предпринят в связи с необходимостью точного оценивания заданий предметных олимпиад для более объективного выявления победителей. Это работы, посвященные математической оценке относительной трудности и дифференцирующей способности олимпиадных задач [3], оценке решения олимпиадных задач по математике [5], проблеме оценивания олимпиадных заданий по обществознанию [17], критериям оценки предметных компетент-ностей участников дистанционных эвристических олимпиад, оценке образовательных результатов участников дистанционных эвристических олимпиад [18], оценке идей конкурсных технических проектов учащихся [19], разработке алгоритмов проверки олимпиадных заданий по программированию [20], системам проверки олимпиадных задач по информатике [21].
Измерению образовательных достижений учащихся посвятили свои исследования зарубежные ученые L.W. Anderson, D.R. Krathwohl, B.S. Bloom [47]; [48], R.L. Ebel [49]. Оценивание решения задач с позиции творческого подхода рассматривались в работах зарубежных исследователей R.A. Harris [50]; M. Kattou, K. Kontoyianni, D. Pitta-Pantazi, C. Christou [51]. В работе авторов W. Szetela, C. Nicol изучается процедура оценки решения задач по математике [52]. В исследовании I. Veilande, L. Ramana, S. Krauze [53] дается описание специальной системы кодирования работ учащихся и инструмент оценки уровней компетенции каждого из учащихся в решении задач.
Исследований, посвящённых оценочной деятельности учащихся в системе республиканских математических олимпиад, за исключением небольшого описания критериев в сборниках олимпиадных задач [22, с. 84], [23, с. 14-18], [2, с. 92] не обнаружено.
_Материалы и методы
В ходе исследования изучалось содержание трех кластеров материалов:
1) нормативные и программные документы, обуславливающие организацию и проведение республиканской олимпиады школьников [Государственный образовательный стандарт школьного общего образования Кыргызской Республики, Предметный стандарт «Математика» для 10-11 классов общеобразовательных организаций Кыргызской Республики, Положение о республиканской олимпиаде школьников];
2) дидактическое и методическое обеспечение подготовки школьников к олимпиадам (учебные пособия, сборники олимпиадных задач по математике, комплекты олимпиадных заданий по математике реальной олимпиады, методические рекомендации по проверке олимпиадных задач);
3) протоколы областного, городского, заключительного этапов республиканских олимпиад школьников 2015-2019 гг. в Кыргызстане.
Применялись методы исследования:
1) теоретический анализ и сопоставление выявленных подходов к изучению критериев оценивания олимпиадных задач по математике в России, в Кыргызстане, Казахстане, в исследованиях зарубежных авторов;
2) анализ итогов проведения областного, городского и республиканского этапов математической олимпиады школьников 2015-2019 гг. в Кыргызстане;
3) изучение и обобщение педагогического и методического опыта по организации предметных олимпиад школьников, наблюдение за процессом их проведения; в том числе 25-летнего опыта личного участия в жюри олимпиад по математике на городских и областных этапах республиканских олимпиад в г. Ош.
_Результаты исследования
Исследователи отмечают, что высокие показатели в учебе не гарантируют успеха: «На олимпиадах совсем не обязательно побеждают отличники, особенно школьные, ведь школьные оценки часто, мягко говоря, субъективны» [6], «...no necesariamente habría coincidencia entre altos desempeños y alta autoeficacia» [54]. Авторами отмечается роль таких характеристик задачи, как полезность, важность, интерес и «вес», детерминирующих ее ценность, в формировании желания и способности ученика решать задачи: «no basta con sentirse competente, hay que querer efectivamente realizar la tarea. Este querer depende del Valor asignado a esta. El valor de la tarea estaría compuesto por cuatro componentes fundamentales: utilidad, importancia, interés y costo» [55]. Для конкретного состава участников олимпиады, «вес» задачи определяется уровнем ее сложности.
1. Общие положения системы критериального оценивания
Проблемы педагогического измерения исследованы в трудах В.С. Аванесова [24]. М.Б. Челышковой [25], С.К. Калдыбаева [26]. Теоретическую базу технологии критериального обучения составляют исследования Б. Блума, Л. Андерсона, В.П. Беспалько.
Проблема отсутствия критериев для оценки эффективности дидактического процесса поднималась В.П. Беспалько еще в 1989 году, считая возможным охарактеризо-
вать успеваемость учащегося коэффициентами полноты предмета, демонстрирующим степень обобщенности знаний учащихся; научности; осознанности; автоматизации [27, с. 174] и обосновывает четыре уровня усвоения: знакомства, воспроизведения, умений и навыков, трансформации [27, с. 47-48]. По определению: «Критерий - мерило оценки, признак, правило, на основании которого производится выбор после измерения, оценка научной и практической деятельности [28, с. 158]. Следовательно, критериальное оценивание внедряется для объективной оценки учебных успехов учащихся, и должно служить основой точного измерения уровня качества знаний обучаемых [29, с. 58]. И, как любая технология, обладает рядом функций, основывается на дидактических принципах и требованиях [30, с. 14-15; с. 19]. В работах М.В. Золотовой, А.Н. Майорова, В.М. Полонского, Д.В. Чернилевского, критерий оценивания рассматривается «как некоторый эталон, показатель уровня владения учебным материалом, имеющий значение стимула для повышения учебных достижений учащихся» [31].
Несмотря на проблемы критериального оценивания: субъективизм балльной отметки, отсутствие эталона для объективной оценки знаний учащихся, нечеткость критериев, приводящих к расплывчатости формулировок, трудность ранжирования результатов, выявленные в исследованиях А.А. Красноборовой [31], С.К. Калдыбаева [32], отсутствие кодификации универсальных учебных действий, стандартизированных заданий, приводящих к преобладанию экспертных оценок над формализованными в олимпиадной форме контроля знаний [17, с. 218], ее применение в процедуре проверки олимпиадных задач вполне оправдано. Так, труды европейских исследователей Келлехера, Фреда, П. Блека, Д. Уильяма, Махера, Фонтана, Фернандеса свидельствуют о том, что: «Критериальная оценка способствует снижению волнения, напряжённости и психической релаксации, повышает интерес к обучению и качества преподавания, даёт положительный эффект на производительность самооценки и экспертную оценку достижению учащихся» [33]. Следовательно, снижение психологической напряженности, возникающей при апелляции на олимпиадах, возможно при применении критериального оценивания. Также, сторонники балльной системы считают, что баллы - самое доступное средство оценивания знаний, побуждающее к систематической учебной деятельности, к соревновательности в обучении [34], что важно в олимпиадной деятельности.
2. Применение системы критериального оценивания в процедуре проверки олимпиадных работ
Оценивание в условиях олимпиады имеет отличие от педагогического оценивания в учебном процессе. Так, в учебном процессе «сущность оценочных процедур заключается исключительно, как проверка знаний учащихся» [32]. В олимпиадах же мы имеем дело с развернутой формой контроля, проводимой для определения уровня сформированности предметных компетенций, выраженной в баллах, считают авторы [17, с. 217]. Точность и объективность оценки учебных достижений учащихся, предоставляемых педагогическими измерениями, возможно в предметной олимпиаде, как одной из форм контроля, считает С.К. Калдыбаев [56]. Оценка личных достижений школьника осуществляется посредством технологии портфолио, также представляющей собой сумму баллов, ранжированных по степени значимости достижений в олимпиадах различных уровней.
В исследовании Х. Эрфонфара [33] выделены традиционные параметры оценки результатов образования личности ученика: предметная компетентность, уровень
воспитанности, степень развитости, включая интеллектуальный, эмоциональный, во-
W W " Г-»
левой, мотивационный, познавательный уровни. В зависимости от статуса олимпиады, возраста ее участников, повышается сложность заданий каждого последующего этапа, соответственно ужесточаются требования к выполнению олимпиадной работы. Оценивается сформированность учебных навыков участников олимпиады в определенной научной области, их умение применять знания в новых условиях, анализировать, оценивать различные подходы к решению задачи, находить нестандартное и новое решение, умение аргументированно формулировать свою точку зрения, применяя доказательную базу.
Анализируя работы учеников, участвовавших, в трех открытых математических олимпиадах Латвии (ЛОМО) в 6, 8 и 9 классе, исследователи пришли к выводу, что внедрение специальной системы кодирования для олимпиадных работ и инструмента для оценки уровней компетенции каждого из учащихся в решении задач позволяют сравнивать не только успехи учащихся в разных классах, но и особенности решений, представленных группой учеников: «developed a special coding system for students' works and elaborated an assessment tool for assessing each individual student's levels of problem-solving competence. The implementation of this tool enables comparing the student's problem-solving success in different grades, and it enables comparing the specific properties of the solutions presented by the group of students as well» [53]. Также, в более ранних исследованиях мы обосновали, что: «в критериях оценки олимпиадной деятельности школьников выделены исследовательские компетенции: «оценка собственных достижений; эрудиция ученика в области олимпиадной математики; защита результатов олимпиадной работы» [8]. Вышеперечисленное подтверждает, что система критериального оценивания применима при контроле знаний в условиях олимпиады.
Критериальное оценивание в условиях олимпиады основано на уровневом подходе к оценке качества знаний и применяется как инструмент для оценки компетентности учеников по 6 уровням, охватывая все стадии познавательного процесса в оригинальной таксономии Блума, на вершине которой находится оценка (включающая в себя проверку и критику). Так, в комплекс критериев анализа тестового ответа в экспертных системах оценки знаний по дисциплинам социально-гуманитарного цикла, авторы включили: предметность, грамотность, сложность, сопровождение ответа примерами, логические связи между предложениями [35].
Р. Harris подчеркивает важность оценки в реализации творческого решения задач, считая, что ценность идеи (или решения задачи) может быть обнаружена по степени, в которой она соответствует некоторым или всем из следующих критериев решения: успешное, эффективное, новизна решения, последовательное. Каждому из 4-х выделенных им основных критериев оценки творческого решения соответствуют общеупо-требимые индикаторы: «Some idea of the value or merit of an idea (or a solution to a problem) can be discovered by the degree to which it fulfills some or all of the following criteria, as appropriate. As an aid to help evaluate the solution's match to each criterion, some common expressions that indicate a match are included» [50].
Зарубежные исследователи W. Szetela, C. Nicol рассматривают решение задачи, как ситуацию, в которой индивид, изначально не зная ни одного алгоритма, гарантирующего ее решение, изучает все возможные стратегии достижения цели: «Problem solving is the process of confronting a novel situation, formu lating connections between given facts, identifying the goal, and exploring possible strategies for reaching the goal. A problem, then, is a situation in which the individual initially does not know any algorithm or
procedure that will guarantee solu tion of the problem, but the individual desires to solve it» [52]. I. Veilande, L. Ramana, S. Krauze поясняют, что применяемые в решении олим-пиадных задач навыки, представляют собой такие эвристические стратегии, как метод проб и ошибок, визуализация процесса, систематическое исследование, обнаружение соответствующих свойств процесса, здесь объяснения и рассуждения кодируются как навыки аргументации; создание алгебраической формулы, обосновывающей инвариантность процесса [53, 2018]. Умение «выделять главное отношение в задаче; существенные признаки понятия; вычленять ведущие закономерные отношения явлений» [36, с. 16] А.В. Фарков также относит к характеристике глубины ума. При выполнении творческих заданий учащиеся генерируют, планируют и производят. Поэтому в новой версии, называемой уточненной таксономией Андерсона и Кратвола, наивысшим компонентом является творчество, процесс, не включенный в таксономию Блума, сместив оценку на предыдущий уровень, рис. 1:
1956 г. 2001 г.
Рисунок 1 Цели таксономии Блума и уточненной таксономии Андерсона & Кратвола [57]
В исследовании М. КаИои, К. Kontoyianni, D. Pitta-Pantazi, С. ^^ои [51] математическая способность рассматривается как многомерная конструкция, включающая в себя количественную способность, способность исследовать причинно-следственные связи, пространственную способность, качественную способность выявлять сходство и разность отношений, и индуктивной/дедуктивной способности. Математическая креативность была определена как предметно-ориентированная характеристика, проявляющаяся беглостью, гибкостью и оригинальностью мышления в области математики. Авторы пришли к выводу, что существует положительная корреляция между математическим творчеством и математическими способностями, определив, что математическое творчество является подкомпонентом математических способностей.
В исследовании ученых Г.В. Лаврентьева, Н.Б. Лаврентьевой, Н.А. Неудахиной, творческий уровень также представляет высшую ступень в иерархии уровней усвоения, определяемый как: «продуктивное действие, в процессе которого учащиеся до-
бывают или субъективно новую информацию (новую только для себя), т.е. осуществляют эвристическую деятельность, или объективно новую, когда они действуют "без правил", но в известной им области, создавая иные правила действия, т.е. исследовательскую деятельность» [37, с. 62].
В иерархии уровней математической культуры личности Г.В. Томского [38, с.18-19], способность создавать новое знание также занимает самую верхнюю ступень, рис. 2:
Рисунок 2 Уровни математической культуры личности
Критерии решения: рациональность, оригинальность, изящество, идеальность, характеризуют безупречно решенную олимпиадную задачу. К примеру, награждение специальными премиями участников за нестандартное, единственное в параллели, решение предусмотрено в Московских математических олимпиадах [39]. Отбор участников Международной математической олимпиады осуществляется из победителей Всесоюзной олимпиады, проявивших креативный подход к решению задач. Следовательно, олимпиадные задачи, решение которых требует от учеников творческого, нестандартного подхода, способствуют продвижению мыслительных процессов учащихся на более высокие уровни синтеза и оценки, формируя мышление высокого уровня. Таким образом, противоречие между творческим характером олимпиадных заданий и необходимостью единых критериев оценивания их выполнения, отмеченное в исследовании О.Ю. Бойцовой, Д.М. Носова, В.В. Тороп [17], на наш взгляд, разрешается посредством уточненной таксономии Блума.
Разработку критериев оценки следует начинать с изучения содержания олимпиадных заданий, считают авторы: «при разработке олимпиадных заданий следует четко формулировать, на оценку каких компетенций направлено каждое задание, и эта информация должна быть доступна учащемуся; задания должны быть такими, чтобы можно было дать дифференцированную оценку уровню сформированности той или иной компетенции [1, с. 135].
3. Подходы к оценке решения задач.
Письменные работы (или устные ответы) участников финального этапа олимпиады проверяются на соответствие критериям оценки решения задач, измеряясь в заданных баллах. Исследователями сделаны выводы, что лучшие решения учеников близки к методам экспертного решения, который содержит определенные шаги [53]. Решение олимпиадной задачи подвергается экспертной оценке жюри олимпиады, которая относится к качественным видам оценки. В ходе исследования были выявлены три основных подхода к оцениванию решения заданий.
При 1 подходе все задания оцениваются, независимо от степени сложности, исходя из заданного количества баллов [23, с. 16-18, 83-84]. Такая система оценивания отличается простотой и удобством при проверке результатов олимпиадных заданий, но не позволяет выявить самого сообразительного учащегося, т.к. в ней не учитывается степень сложности самого задания. Например, такая система критериев принята в городском, областном, заключительном этапах республиканских олимпиад в Кыргызстане, в Казахстане [40], на Всероссийской олимпиаде школьников по математике [2]. На Международной Математической Олимпиаде максимальная оценка одной задачи составляет 7 баллов, однако комплект заданий содержит задачи разной степени сложности: две простые, две средней сложности и две сложные.
При 2 подходе задания оцениваются разным числом баллов в зависимости от уровня их сложности. Заданное количество баллов быть любым, например, 3, 5, 7, 10, 15, 25, 30 баллов [23]. «Оценить относительную сложность олимпиадной задачи весьма затруднительно, ввиду практической невозможности подвести какую-либо формальную базу, сформулировать универсальный критерий. Конечно, можно как-то учитывать количество этапов решения, их сложность, уровень используемых в решении теорем и так далее. Чаще эти вопросы решаются экспертным методом - члены оргкомитета путем обсуждения, сравнения мнений принимают решение о номинале каждой задачи» [3]. Этот прием встречается в сборниках олимпиадным задач: «Уровень сложности задач в какой-то степени характеризуется количеством баллов, которое указано в скобках после номера задачи: задачи в 5-15 баллов часто решаются устно, в одну строчку; задачи в 25-30 баллов - задачи исследовательского типа, решение которых может занять несколько дней, недель и даже месяцев» [41].
3 подход основан на редко применяемой, «рейтинговой» системе оценивания, в которой самый высокий балл выставляется за задание, на которое дали правильный ответ наименьшее количество учащихся, и наоборот, наименьший балл получает задание, с которым справляются большинство учащихся данного возраста. Таким образом, «рейтинговая система» позволяет выявить не только самого сообразительного учащегося, но и отследить наиболее трудные для учеников задания. В этом подходе полное решение одной задачи оценивается выше, чем неполное решение нескольких задач: «В Уфимском государственном нефтяном техническом университете имеется опыт, когда номинальный балл за решение задачи определялся только после проверки работ. Участникам выгодней всего было решить задачу, которую никто не смог решить. Даже одна такая задача могла принести победу» [3].
4. Оценочные шкалы.
Так как «измерение осуществляется на специально выбранной шкале, то понятие шкалы трактуется в качестве эталона измерения» [26, с. 83]. В работах С. Стивенса, Л.Б. Ительсона, В.И. Михеева описаны различные типы шкал: номинальная (иначе шкала
наименований); порядковая (иначе ранговая или ординальная), шкала интервалов; шкала отношений; шкала разностей; абсолютная шкала (интервальная шкала с однозначным присутствием нулевой точки) [26].
Два первых вида шкал принадлежат к классу качественных шкал, для вербальной (на неформальном уровне) оценки и суждения. Последующие четыре типа относятся к классу, более совершенных, количественных шкал. Шкалы выполняют операции регистрации, упорядочивания и сопоставления [42, с. 55-64]. Представим классификацию шкал, расположив их типы по степени возрастания их силы, рис. 3:
Рисунок 3 Классификация оценочных шкал
А.Я. Канель-Белов, А.К. Ковальджи считают, что применение того или иного типа оценочной шкалы обусловлено целями олимпиады [22, с. 84]. Наблюдение за процедурой оценивания в олимпиадах и изучение методической литературы показало, что оценивание решения олимпиадной задачи использует качественные и количественные шкалы. Далее рассмотрим типы шкал, используемые в процедуре проверки олимпиадных работ по математике.
1. Номинальная шкала применяется чаще всего в устной форме олимпиад [23, с. 132], например, в Московских математических олимпиадах при оценивании решения задач используются символы, знаки, табл. 1:
Таблица 1
Система оценок Московских математических олимпиад [39]; [43]
Оценка Критерий оценки решения задачи Эквивалент
+ полностью решена одна задача
решена, но в решении есть мелкие недочеты
\pm решена, но в решении есть ошибки
+/2 есть половина решения задачи половина задачи
\mp не решена, но есть большие продвижения ни одной задачи
не решена, но есть маленькие продвижения
- не решена
0 не решалась
1 добавка к оценке за нестандартные идеи добавочный балл
В открытых математических олимпиадах Латвии (ЛОМО) применяется система кодирования «Шаг: код», в которой номер каждого шага решения задачи добавляется в код, например, ар12 (шаг 12, навык аргументации); ам13 (шаг 12, навык моделирование) [53].
2. Порядковая шкала применяется для ранжирования ответов разной степени, которую легко подвести под традиционные отметки и международные буквенные обозначения. К примеру жюри казахстанских олимпиад, предлагает проставить за каждый тип ошибок и продвижений баллы: А=1 балл, В=2 балл, С=3 балла, А+С=4 балла, В+С=5 баллов и т.д., табл. 2:
Таблица 2
Система оценок в казахстанских олимпиадах [40]
Комментарии к решению: ошибки и продвижения Оценка
Рассмотрены частные случаи ... шаг индукции доказан неверно А
Угадан правильный ответ В
Рассмотрены частные случаи ...; шаг индукции доказан неверно, угадан правильный ответ А+В
Сформулировано необходимое и достаточное условие для шага индукции С
Сформулировано необходимое и достаточное условие для шага индукции, угадан правильный ответ В+С
3. Интервальная шкала является наиболее совершенным классом шкал и принадлежит к количественным (непрерывным) видам шкал, применяется для измерения значений критериев. Эта разновидность шкал имеет нулевую точку, которая означает отсутствие измеряемого свойства. Можем заметить, что шкала критериального оценивания в олимпиадах, в отличие от педагогического, начинается с нуля, являющейся условной нулевой точкой. Так, 0 баллов присуждают, если ученик угадает правильное решение, но не сможет привести аргументы, ведь правильный ответ можно подсмотреть, услышать, списать; не оцениваются и ошибочные рассуждения [2].
Процедура оценивания решений задач на Международной Математической Олимпиаде, а также на городском, областном и заключительном этапах республиканской олимпиады Кыргызстана, России и др. стран, традиционно основывается на интервальной шкале. В олимпиадах Кыргызской Республики ранее применялось 7-балльное оценивание решений математических задач, в 2019 году введено 10-балльное оценивание [12], табл. 3:
Таблица 3
Критерии 10-балльного оценивания задач по математике в республиканских
олимпиадах Кыргызстана [5]
Баллы Дескрипторы критериев оценки олимпиадной задачи
10 Полное верное решение с теоретическими обоснованиями
9 Верное решение. Есть небольшие недочеты, не влияющие на результат
7-8 Решение в целом верное, но содержит ряд ошибок, либо отдельные случаи не рассмотрены
5-6 Решение не доведено до конца, но продвижение ведется в правильном направлении
3-4 Доказаны вспомогательные утверждения, но задача в целом не решена
1-2 Ответ задачи верный, но решение отсутствует
0 Решение неверное, продвижения отсутствуют
0 Решение отсутствует
В новых критериях оценки были определены баллы за каждый этап решения задачи, предусматривая и несколько возможных способов решения: «Задача считалась полностью решённой с начислением максимального количества баллов, только если в тексте решения были приведены все необходимые преобразования и полностью объяснены все имеющиеся логические шаги, а полученные ответы приведены к упрощённому виду. Если верный ответ не подкреплялся решением, со всеми обоснованными пояснениями, то задача считалась нерешенной» [8]. В интервальной шкале применимы все арифметические операции, например, сумма всех баллов, полученных за каждое задание путем простого сложения, определяет личный результат участника олимпиады. В табл. 4 приведем соответствие уровней подготовленности участников олимпиад показателям интервальной и процентной (абсолютной) шкалы 0%-100%.
Таблица 4
Соответствие балльно-уровневой системы оценки знаний участника олимпиады
процентной шкале
Цифровой эквивалент баллов (0-10) Процентная шкала (0%-100%) Дескрипторы критериев оценки Уровень подготовленности ученика
0 баллов 0% Полностью отсутствует ответ и текст решения Недостаточный
1 балл 1-10% Ответ правильный, но текст решения отсутствует, рассуждения ошибочны Недостаточный
2 балла 11-20% Задача решена не полностью или в общем виде, рассуждения ошибочны Начальный
3 балла 21-30% Задача решена не полностью, есть принципиальные ошибки в решении и в ответе Начальный
4 балла 31-40% Задача решена не полностью. Вспомогательные утверждения доказаны частично Низкий
5 баллов 41-50% Задача решена не полностью, доказаны вспомогательные утверждения Низкий
6 баллов 51-60% Задача решена не полностью, продвижение ведется в правильном направлении Средний
7 баллов 61-70% Логические рассуждения выполнены без ошибок, но в расчетах или в выборе формул допущены ошибки Средний
8 баллов 71-80% Нет существенных неточностей, отдельные случаи не рассмотрены. Ответ неполный Достаточный
9 баллов 81-90% Ответ верный, обоснованно применяются математические термины, в рассуждениях и решении нет существенных ошибок; решение обосновано, может быть нерациональным. Возможно не более двух несущественных ошибок Высокий
10 баллов 91-100% Решение правильное, рациональное, ответ верный, полный, отличается богатством и точностью терминов, проявлен творческий и научный подходы в решении задачи Высокий
Приводить соответствие оценки по традиционной пятибалльной системе («5», «4», «3», «2», «1»), т.е. по шкале измерения свойства «успеваемость» [26, с. 87], считаем неправомерным, так как на участие в республиканской олимпиаде проводится поэтапный отбор самых сильных учеников. Представим вышеперечисленные подходы и оценочные шкалы, применяемые в процедуре проверки олимпиад по математике, на рис. 4:
Подходы к оцениванию решения олимпиадных гаданий - -4J-------------L>----_----_-----L> -
Традиционный:
Задания оцениваются заданным числом баллов независимо
от степени сложности задачи
Уровпевый:
Задания си [слипаются разным числом
баллов в зависимости от ypOHEJH СЛОЖНОСТИ (трудности) ЗДДЙИИН
Рейтинговый: самый вьасоки^ балл поставляется за задай не, на которое дали
ПрШ!ЛЕ>Ш:[Й ОТПСТ каимСньшСс количество учащихся
ГГ-----------——————————————- Типы оценнчних шкал, применяемые л олнчпнадих
О <У ч>
Номинальная Порядковая Интервал ышя
А, В, С 7, L0, 15, 25, 30 баллов
Рисунок 4 Подходы и оценочные шкалы в условиях олимпиады
В исследованиях отмечены наиболее распространенные погрешности в работах и ответах учеников. Школьники, как правило, выполняют расчеты без обоснований, и учителя должны обучать их передавать ход своих мыслей, отмечают авторы [52]. Участники олимпиад плохо владеют правильным математическим языком и не могут построить грамматически правильные предложения. Поэтому авторы включили в систему кодирования оценку четырех навыков участников олимпиады: моделирования, аргументации, решения задач, технические навыки [53]. Таким образом, формулировки критериев оценки решения олимпиадных заданий: верное, неверное, полное, не полное, частичное; угадано, рассмотрено, обосновано, недочет, пробел, характеризуют степень продвижения участника олимпиады решении задачи, отражены в показателях 6 уровней оценки владения математическими компетенциями: недостаточный, начальный, низкий, средний, достаточный, высокий. Эти показатели «идентифицируется как шкала измерения свойств, «уровень подготовленности обучаемого»» [26, с. 87].
Адаптируя требование о возможности проверки заданий «комплексного экзамена» [44, с. 11-12] к специфике олимпиады, считаем, что комплект олимпиадных заданий должен содержать:
• указания по использованию времени для решения;
• набор олимпиадных задач и комментариев к ним;
• шифрование ответов на выданные (распечатанные) задачи для их хранения до выдачи по специальному запросу (для официального проведения олимпиады);
• возможно, набор готовых заданий из этих задач для различных категорий учащихся, с соответствующим комментарием.
По истечению времени, данной на выполнение олимпиадной работы и сдачи всех письменно оформленных работ, проверка олимпиадной работы может осуществляться по распечатанным ответам, которые выдаются по специальному запросу, с фиксацией времени выдачи, следующими субъектами олимпиады:
• самим участником олимпиады (в учебных целях),
• его тренером (для осуществления текущего контроля),
• членом жюри олимпиады (для оценивания).
После проведения процедуры проверки, необходимо выставить баллы за решение каждой задачи и указать точный ответ.
Для реализации требования проверки олимпиадной работы в учебных целях и в целях обеспечения прозрачности процедуры оценивания, можно реализовать на практике рекомендации о необходимости публикации: «критериев оценивания, в соответствии с которыми участник олимпиады может самостоятельно понять, почему за его работу выставлено то или иное количество баллов, и либо соглашается с результатом, либо нет» [45, с. 72].
_Обсуждение и заключения
Целью критериального оценивания является обеспечение объективного оценивания работ участников и справедливое распределение призовых мест республиканской олимпиады школьников, что возможно лишь в соответствии с эталонами, показателями точно поставленных критериев.
Критерии оценки олимпиадных работ по всем школьным дисциплинам направлены на выявление у участников олимпиады параметров:
• четкость видения и решения предложенной задачи;
• эрудиция школьника (знание, логическое изложение фактического материала);
• способность демонстрировать предметные знания, умение вычленять причинно-следственные связи,
• умение формулировать выводы и приводить конструктивные аргументы в их поддержку, навыки владения предметным тезаурусом,
• проявление творческого и самостоятельного мышления.
Таким образом, оценивание олимпиадных работ участников не только определяет предметные знания, но и выявляет способность школьника решать комплексные задачи, оперируя усвоенными предметными знаниями в новых, стрессовых, для него условиях, но и сформированность его эмоционально психологических, регулятивных, социальных, учебно-познавательных, творческих компетенций, компетенций совершенствования.
Результаты предметных, в том числе математических, олимпиад используются на трёх уровнях:
• национальном и региональном, как информация о деятельности системы образования; для контроля выполнения требований образовательных стандартов;
• образовательного учреждения для аккредитации школы; проведения мониторинга, аттестации учителей-предметников; выявления проблем в обучении;
• педагога, для выявления динамики академических достижений учащихся и их соответствующего ранжирования; повышение их мотивации; выявление пробелов в знаниях.
В условиях олимпиады критериальное оценивание выполняет задачи:
1. Объективная экспертная оценка решения задачи сравнивается с заранее определенным критерием. Критерии должны быть прозрачными и известны всем субъектам олимпиады: жюри, участникам олимпиады, учителям участников.
2. Актуализация усвоенных математических знаний и выявление результатов олимпиадной деятельности ученика.
3. Диагностика учителем трудностей в обучении ученика по каждой теме. Получение информации для последующих коррекционных действий.
4. Мотивированиеучащихсянадостижение академических успехов. Создание ситуации успеха, устранение страха возможной неудачи.
5. Формирование и развитие уучащихся личностных качеств: самооценки, саморегуляции, самоанализа, силы воли, воли к победе.
6. Мониторинг качества обучения в школах, эффективности разработанных предметных стандартов, учебныхпрограмм, педагогических технологий, качества учебников.
7. Формирование отношений сотрудничества всех субъектов олимпиады: учащихся, учителей, членов жюри, специалистов управлений образования в процессе проведения олимпиады.
8. Ранжирование учащихся и школ в процессе выявления сильнейших участников.
При организации олимпиад реализуются принципы критериального оценивания
решения задач:
• взаимосвязь обучения и оценивания;
• практическая и оценочная валидность, достоверность и объективность; уравнивающая и распределяющая справедливость;
• ясность и доступность информации;
• непрерывность и развитие.
В условиях математической олимпиады необходимо соответствие критериального оценивания:
• целям и задачам обучения курса олимпиадной математики,
• содержанию учебной программы олимпийского резерва по математике,
• форме развернутого контроля, присущей специфике математических олимпиад, выявляющей способности школьника решать комплексные проблемы, оперируя всем ранее усвоенным запасом предметных знаний в новых для него условиях, его индивидуальные психолого-педагогические особенности и математические способности. Это позволит определять и фиксировать уровень усвоения содержания учебной программы олимпийского резерва по математике за определенный период.
Критериальное оценивание решения олимпиадных задач основано на 3 подходах экспертной оценки, отражающей 6 уровней подготовленности ученика, 3 типа шкал, принадлежащих качественному и количественному классам шкал. Главным требованием к решению математической задачи на олимпиадах всех уровней была и остается его «математическая правильность», т.е. выбор правильной идеи решения, выполнение правильных доказательных рассуждений.
Конкретность и точность формулировки критериев оценки заданий, определение баллов за каждый этап решения задач олимпиады способствует объективному оцениванию математических способностей ее участников, обеспечивая более качественный отбор победителей финального этапа.
_Перспективы
Проведенное исследование не претендует на исчерпывающую полноту анализа содержания и возможностей применения технологии критериального оценивания в процессе проведения олимпиад и оставляет открытыми такие направления, как применение и разработка критериального оценивания в оценке устных, тестовых, дистанционных, эвристических и открытых форм олимпиад. Малоисследованной является и проблема оценки директивной трудности олимпиадных задач.
_Благодарности
Выражаю искреннюю признательность рецензентам за комментарии, рекомендации и помощь в редактировании. Также выражаю благодарность профессору Калды-баеву С.К. за оказание ценных консультаций по теории и практике педагогических измерений при написании статьи.
ЛИТЕРАТУРА
1. Соломин В.П., Махов С.И., Ильинский С.В. Некоторые подходы к разработке заданий заключительного этапа всероссийских олимпиад школьников // Universum: Вестник Герценовского университета. 2013. № 4. С. 130-138.
2. Агаханов Н.Х., Подлипский О.К. Математика. Всероссийские олимпиады. Москва: Просвещение, 2009. 159 с.
3. Лазарев В.А., Хайбуллин Р.Я. Метод статистической оценки относительной сложности олимпиадных и тестовых задач // Электронный научный журнал Нефтегазовое дело. 2014. № 5. С. 420-430. DOI: 10.17122/ ogbus-2014-5-420-430
4. Нагель О.А. О критериях оценки проектной деятельности учащихся // Школа и производство. 2007. № 6. С. 12-20.
5. Келдибекова А.О. Критерии оценивания олимпиадных заданий по математике // Журнал педагогических исследований. Москва. 2019. Т. 4. № 4. С. 50-54. URL: https://naukaru.ru/ru/nauka/article/27322/view (дата обращения: 12.08.2019)
6. Вышнепольский В.И. Функции олимпиад // Геометрия и графика. 2013. №. 3. С. 44-47. DOI: 10.12737/2133
7. Келдибекова А.О. Деятельность учителей математики по подготовке учащихся к олимпиадам в рамках школы олимпийского резерва // Современные проблемы науки и образования. 2017. № 5. С. 288. DOI: 10.17513/ spno.26943
8. Келдибекова А.О. Компетентностный подход к содержанию школьных олимпиадных задач по математике // Международный журнал экспериментального образования. 2017. №8. С. 39-45. DOI: 10.17513/mjeo.11740
9. Келдибекова А. Реализация компетентностного подхода в подготовке учащихся к школьным математическим олимпиадам // Alatoo Academic Studies. 2017. № 1. С. 338-344. URL: elibrary_28314629_27680795.pdf (дата обращения: 12.08.2019)
10. Келдибекова А.О., Омаралиев А.Ч. Математическая олимпиада как один из факторов влияния на повышение уровня информационной компетентности школьников Кыргызстана // Современные проблемы науки и образования. 2018. № 5. DOI: 10.17513/spno.28132
11. Келдибекова А.О., Байсалов Д.У. Организационно-управленческие меры по организации республиканской олимпиады школьников в компетентностной среде // Профильная школа. 2019. №. 3. С. 33-37. DOI: 10.12737/ article_5cf77a9ad714d3.08979281
12. Келдибекова А.О., Байсалов Дж.У. Республиканские олимпиады школьников в Кыргызстане: принципы, особенности, инновации, итоги // Современные наукоемкие технологии. 2019. № 4. С. 118-128. DOI: 10.17513/ snt.37503
13. Мельникова О.Н., Орлова Т.С., Безносов А.Э. Принципы формирования олимпиадных заданий по истории // Преподавание истории в школе. 2008. № 7. С. 3-8.
14. Кучина Т.Г. Принципы составления и решения олимпиадных заданий по литературе // Ярославский педагогический вестник. 2017. № 4. С. 93-96.
15. Густокащин М.С. Метод составления олимпиадных задач по информатике // Информатика и образование. 2008. № 11. С. 58-65.
16. Миняйлова Е.Л., Миняйлов В.С. Особенности разработки олимпиадных задач по информатике // Информатизация образования. 2005. № 2 (39). С. 51-58.
17. Бойцова О.Ю., Носов Д.М., Тороп В.В. Справедливость неравенства, или кто и как побеждает на олимпиаде по обществознанию // Вопросы образования. 2019. №2. С. 199-225. DOI: 10.17323/1814-9545-2019-2-199-225
18. Скрипкина Ю.В. К обоснованию критериев оценки предметных компетентностей участников дистанционных эвристических олимпиад // Эйдос. 2018. № 1. С. 10.
19. Щуров И.А., Болотина Ю.О. Методика оценки идей конкурсных технических проектов учащихся школ // Вестник Южно-Уральского государственного университета. Серия: Образование. Педагогические науки. 2015. Т. 7. № 3. С. 47-57.
20. Буздалов М.В. Эволюционные алгоритмы в помощь жюри олимпиад по программированию: генерация тестов для определения неэффективных решений олимпиадных задач / Сборник мат. межд. научной конференции: Компьютерные науки и информационные технологии. 2016. С. 100-105.
21. Минлигареев М.А., Ткаченко П.В., Тайлакова А.А. Обзор существующих систем для проверки олимпиадных и учебных задач по информатике / Сборник: Инновационный конвент "Кузбасс: образование, наука, инновации". Департамент молодежной политики и спорта Кемеровской области. 2019. С. 600-602.
22. Канель-Белов А.Я., Ковальджи А.К. Как решают нестандартные задачи. Москва: МЦНМО, 2008. 96 с.
23. Фарков А.В. Математические олимпиады. 5-6 классы. Москва: Экзамен, 2013. 190 с.
24. Аванесов В.С. Основы педагогической теории измерений // Педагогические измерения. 2004. №1. С.15-21.
25. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Москва: Логос, 2002. 432 с.
26. Калдыбаев С.К. Педагогические измерения: становление и развитие. Бишкек, 2008. 208 с. URL: https://elibrary. ru/item.asp?id=37305803 (дата обращения: 12.08.2019)
27. Беспалько В.П. Слагаемые педагогической технологии. Москва: Педагогика, 1989. 199 с.
28. Полонский В.М. Словарь по образованию и педагогике. Москва: Высшая школа, 2004. 512 с.
29. Караев Ж.А. Вопросы внедрения критериальной системы оценивания в практику школ республики Казахстан // Международный журнал экспериментального образования. 2014. № 5-1. С. 58-62.
30. Система критериального оценивания учебных достижений учащихся. Астана: Национальная академия образования им. И. Алтынсарина, 2013. 80 с.
31. Красноборова А.А. Критериальное оценивание как технология формирования учебно-познавательной компетентности учащихся: дис. ...канд. пед. наук: 13.00.01. Пермь, 2010. 217 с.
32. Калдыбаев С.К. О сущности понятия «педагогическая оценка» // Наука, новые технологии и инновации Кыргызстана. 2016. № 10. С. 295-297.
33. Эрфонфар Х. Дидактические основы перехода на критериальное оценивание знаний, умений и способностей, учащихся в школах Ирана: автореф. дис. ... канд. пед. наук: 13.00.01. Душанбе, 2014. 26 с.
34. Калдыбаев С. Предпосылки возникновения педагогических измерений // Alatoo Academic Studies. 2017. № 1. С. 280-286.
35. Головачева В. Н., Томилова Н. И., Абилдаева Г. Б. Разработка комплекса критериев анализа ответов обучаемого в экспертных системах контроля и оценки знаний // Интеграция образования. 2019. Т. 23, № 3. С. 440-457. DOI: 10.15507/1991-9468.096.023.201903.440-457
36. Фарков А.В. Математические олимпиады: методика подготовки: 5-8 классы. Москва: ВАКО, 2012. 176 с.
37. Лаврентьев Г.В., Лаврентьева Н.Б., Неудахина Н.А. Инновационные обучающие технологии в профессиональной подготовке специалистов. Ч. 2. Барнаул: Издательство Алтайского государственного университета. 2004. 146 с.
38. Томский Г.В. Математическая культура и математическая деятельность // Bulletin de l'Académie Internationale Concorde. 2018. № 3. С. 16-23.
39. Тихомиров В.М. Размышления о первых московских математических олимпиадах // Математическое просвещение. 1998. Вып. 2. С. 41-51.
40. Кунгожин А.М., Кунгожин М.А., Байсалов Е.Р., Елиусизов Д.А. Математические олимпиады: Азиатско-Тихоокеанская, «Шёлковый путь». Москва: МЦНМО, 2017. 207 с.
41. Горбачев Н.В. Сборник олимпиадных задач по математике. Москва: МЦНМО, 2004. 560 с.
42. Ительсон Б. Математические и кибернетические методы в педагогике. Москва. 1964. 248 с.
43. Федоров Р.М., Канель-Белов А.Я., Ковальджи А.К., Ященко И.В. Московские математические олимпиады 1993-2005 г. Москва: МЦНМО, 2006. 456 с.
44. Панков П.С., Копеев Ж.Б., Кусманов К. Разработка концепции компьютерного комплексного экзамена и его содержание для информатики и математики // Вестник Международного университета Кыргызстана. 2012. № 1 (21). С. 15-18.
45. Ревазова Е.В. Н.Х. Агаханов: Олимпиада - инструмент выявления математически одаренных школьников // Вестник Владикавказского научного центра. 2018. Том 18. № 2. С. 69-72.
46. Keldibekova A.O., Baisalov J.U. Effectiveness of the System of Preparation for Mathematical Olympiads in the Schools of Kyrgyzstan // Espacios. 2019. Vol 40. № 29. P. 7. URL: http://www.revistaespacios.com/a19v40n29/ a19v40n29p07.pdf (дата обращения: 12.08.2019)
47. Anderson L.W., Krathwohl D.R., Bloom B.S. Taxonomy for learning, teaching and assessing: A revision of Bloom's Taxonomy of educational objectives. London: Longman, 2001. 352 р. URL: https://books.google.ru/
books?id=bcQlAQAAIAAJ&redir_esc=y (дата обращения: 12.08.2019)
48. Bloom B.S., Krathwohl D.R. Taxonomy of Educational Objectives: The Classification of Educational Goals, por un comité de examinadores del colegio y de la universidad. Handbook I: Cognitive Domain. New York: Longmans, Green, 1956. 39 p. URL: http://www.eduteka.org/TaxonomiaBloomDigital.php. (дата обращения: 12.08.2019)
49. Ebel R.L. Measuring educational achievement. Prentice-Hall Inc., Englewood Cliff s, New Jersey. 1965. 481 p.
50. Harris R.A. Creative Problem Solving: A Step-By-Step Approach. Los Angeles: Pyrczak, 2002. 106 р. URL: https:// www.virtualsalt.com/creative.htm (дата обращения: 12.08.2019)
51. Kattou M., Kontoyianni K., Pitta-Pantazi D., Christou C. Connecting mathematical creativity to mathematical ability. ZDM Mathematics Education, 2013. DOI: 10.1007/s11858-012-0467-1.
52. Szetela W., Nicol C. Evaluating problem solving in mathematics. Educational Leadership. 1992. № 49(8). Р. 42-45. URL: https://eric.ed.gov/?id=EJ444313 (дата обращения: 12.08.2019)
53. Veilande I., Ramana L., Krauze S. Repeated Participation at the Mathematical Olympiads: A Comparative Study of the Solutions of Selected Problems. In: Singer F. (eds) Mathematical Creativity and Mathematical Giftedness. ICME-13 Monographs. Springer, Cham, 2018. DOI: 10.1007/978-3-319-73156-8_13
54. Andersen L., Cross T.L. Are students with high ability in math more motivated in math and science than other students? // Roeper review. 2014. № 36(4), 221-234. DOI: 10.1080/02783193.2014.945221
55. Barron, K.E. & Hulleman, C.S. Expectancy-value-cost model of motivation. In J.D. Wright (Ed.). International encyclopedia of social and behavioral sciences: Elsevier, 2015. P. 261-271. DOI: 10.1016/B978-0-08-097086-8.26099-6
56. Kaldybaev S. Development of student achievement assessment system in Kyrgyzstan // VII International Conference «Building Cultural Bridges: Integrating Languages, Linguistics, Literature, Translation, Journalism, Economics and Business into Education». Almaty. 2015. P. 223.
57. Wilson L.O. Anderson and Krathwohl - Bloom's Taxonomy Revised. 2001. URL: http://thesecondprinciple.com/ teaching-essentials/beyond-bloom-cognitive-taxonomy-revised/ (дата обращения: 12.08.2019)
REFERENCES
1. Solomin V.P., Makhov S.I., Ilyinsky S.V. Some approaches to the development of tasks of the final stage of the All-Russian Olympiads for schoolchildren. Universum: Bulletin of the Herzen University, 2013, no. 4, pp. 130-138.
2. Agakhanov N.X., Podlipsky O.K. Mathematics. All-Russian Olympiads. Moscow: Enlightenment, 2009. 159 p.
3. Lazarev V.A., Khaibullin R.Ya. A method for statistical estimation of the relative complexity of olympiad and test problems. Electronic scientific journal Oil and Gas Business, 2014, no. 5, pp. 420-430. DOI: http://dx.doi. org/10.17122/ogbus-2014-5-420-430
4. Nagel O.A. On the criteria for evaluating student design activities. School and production, 2007, no. 6, pp. 12-20.
5. Keldibekova A.O. Criteria for evaluating olympiad assignments in mathematics. Journal of Pedagogical Research, 2019, vol. 4, no. 4. P. 50-54. Available at: https://naukaru.ru/en/nauka/article/27322/view (accessed 12 August 2019)
6. Vyshnepolsky V.I. Function Olympiads. Geometry and Graphics, 2013, no. 3, pp. 44-47. DOI: https://doi. org/10.12737/2133
7. Keldibekova A.O. Activities of teachers in mathematics for work with student's in schools of olympic reserve. Modern problems of science and education, 2017a, no. 5, p. 288. DOI: https://doi.org/10.17513/spno.26943
8. Keldibekova A.O. Competency-based approach in content of school competition tasks on mathematics. International Journal of Experimental Education, 2017b, no. 8, pp. 39-45. DOI: https://doi.org/10.17513/mjeo.11740
9. Keldibekova A. The implementation of competence approach in training of pupils to school mathematical olympiads. Alatoo Academic Studies, 2017c, no. 1, pp. 338-344.
10. Keldibekova A.O., Omaraliev A.Ch. Mathematical olympiad as one of the factors of influence on raising the level of information competence of secondary school students in Kyrgyzstan. Modern problems of science and education, 2018, no. 5. DOI: https://doi.org/10.17513/spno.28132
11. Keldibekova A.O., Baysalov D.U. Organizational and managerial measures for the organization of the republican school olympiad in competence environment. Profession-Oriented School, 2019a, no. 3, pp. 33-37. DOI: https://doi. org/10.12737/article_5cf77a9ad714d3.08979281
12. Keldibekova A.O., Baysalov J.U. Republican olympiad of schoolchildren in Kyrgyzstan: principles, features, innovations and results. Modern high technologies, 2019b, no. 4, pp. 118-128. DOI: https://doi.org/10.17513/snt.37503
13. Melnikova O.N., Orlova T.S., Beznosov A.E. Principles of the formation of olympiad tasks in history. Teaching history at school, 2008, no. 7, pp. 3-8.
14. Kuchina T.G. Principles of compiling and solving olympiad tasks in literature. Yaroslavl Pedagogical Bulletin, 2017, no. 4, pp. 93-96.
15. Gustokashchin M.S. Method for compiling Olympiad problems in computer science. Computer Science and Education, 2008, no. 11, pp. 58-65.
16. Minyailova E.L., Minyailov V.S. Features of the development of olympiad problems in computer science. Education Informatization, 2005, no. 2 (39), pp. 51-58.
17. Boytsova O.Yu., Nosov D.M., Torop V.V. The Justice of Inequality, or Who Wins the Social Theory Olympiad and How. Educational Studies Moscow, 2019, no. 2. P. 199-225. DOI: 10.17323 / 1814-9545-2019-2-199-225
18. Skripkina Yu.V. On the substantiation of criteria for assessing subject competencies of participants in distance heuristic olympiads. Eidos, 2018, no. 1, p. 10.
19. Schurov I.A., Bolotina Yu.O. Methodology for evaluating the ideas of competitive technical projects of schoolchildren. Bulletin of the South Ural State University. Series: Education. Pedagogical sciences, 2015, vol. 7, no. 3, pp. 47-57.
20. Buzdalov M.V. Evolutionary algorithms to help the jury of programming olympiads: generating tests to determine ineffective solutions to olympiad problems. Digest: Computer Science and Information Technology Materials of the International Scientific Conference. 2016, pp. 100-105.
21. Minligareev M.A., Tkachenko P.V., Taylakova A.A. Review of existing systems for testing olympiad and educational problems in computer science. Compilation: Innovation Convention "Kuzbass: Education, Science, Innovations". Department of Youth Policy and Sports of the Kemerovo Region, 2019, pp. 600-602.
22. Kanel-Belov A.Ya., Kovalji A.K. How to solve non-standard problems. Moscow, ICMMO Publ., 2008. 96 p.
23. Farkov A.V. Mathematical Olympiads. 5-6 grades. Moscow, Exam Publ., 2013. 190 p.
24. Avanesov V.S. Fundamentals of the pedagogical theory of measurements. Pedagogical measurements, 2004, no. 1, pp. 15-21.
25. Chelyshkova M.B. Theory and practice of constructing pedagogical tests. Moscow, Logos Publ., 2002. 432 p.
26. Kaldybaev S.K. Pedagogical measurements: formation and development. Bishkek, 2008. 208 p. Available at: https:// elibrary.ru/item.asp?id=37305803 (accessed 12 August 2019)
27. Bespalko V.P. Components of educational technology. Moscow, Pedagogy Publ., 1989. 199 p.
28. Polonsky V.M. Dictionary of Education and Pedagogy. Moscow, High School Publ., 2004. 512 p.
29. Karaev Zh.A. Issues of implementing the criteria-based assessment system in the practice of schools of the Republic of Kazakhstan. International Journal of Experimental Education, 2014, no. 5-1, pp. 58-62.
30. The system of criteria-based assessment of student learning achievement. Astana, National Academy of Education named after I. Altynsarin, 2013. 80 p.
31. Krasnoborova A.A. Criteria assessment as a technology for the formation of educational and cognitive competence of students: Diss. PhD Ped. Sci., Perm, 2010. 217 p.
32. Kaldybaev S.K. About essense of educational assessment. Science, new technologies and innovations of Kyrgyzstan, 2016, no. 10, pp. 295-297.
33. Erfonfar H. The didactic basis for the transition to the criteria-based assessment of knowledge, skills and abilities of students in Iranian schools: Abstract Diss PhD Ped. Sci., Dushanbe, 2014. 26 p.
34. Kaldybaev S. Background of origin of educational measurement. Alatoo Academic Studies, 2017, no. 1, pp. 280-286.
35. Golovachyova V.N., Tomilova N.I., Abildaeva G.B. Development of a Set of Criteria for Analysing Trainee Answers in Expert Control Systems and Assessment of Knowledge. Integratsiya obrazovaniya [Integration of Education], 2019, no. 23(3), pp. 440-457. DOI: https://doi.org/10.15507/1991-9468.096.023.201903.440-457
36. Farkov A.V. Mathematical Olympiads: training methodology: grades 5-8. Moscow, VAKO Publ., 2012. 176 p.
37. Lavrentiev G.V., Lavrentieva N.B., Neudakhina N.A. Innovative teaching technologies in the training of specialists. Part 2. Barnaul, Publishing House of Altai State University. 2004. 146 p.
38. Tomsky G.V. Mathematical culture and mathematical activity. Bulletin de l'Académie Internationale Concorde, 2018, no. 3, pp. 16-23.
39. Tikhomirov V.M. Reflections on the first Moscow mathematical olympiads. Mathematical education, 1998, issue 2, pp. 41-51.
40. Kungozhin A.M., Kungozhin M.A., Baysalov E.R., Eliusizov D.A. Mathematical Olympiads: Asia Pacific, Silk Road. Moscow, ICMMO Publ., 2017. 207 p.
41. Gorbachev N.V. Collection of olympiad problems in mathematics. Moscow, ICMMO Publ., 2004. 560 p.
42. Itelson B. Mathematical and cybernetic methods in pedagogy. Moscow, 1964. 248 p.
43. Fedorov R.M., Kanel-Belov A.Ya., Kovalji A.K., Yaschenko I.V. Moscow Mathematical Olympiads 1993-2005/ Ed. V.M. Tikhomirova. Moscow, ICMMO Publ., 2006. 456 p.
44. Pankov P.S., Kopeev Zh.B., Kusmanov K. Development of the concept of a computer integrated exam and its contents for computer science and mathematics. Bulletin of the International University of Kyrgyzstan, 2012, no. 1 (21), pp. 15-18.
45. Revazova E.V. N.Kh. Agakhanov: Olympics - a tool for identifying mathematically gifted students. Bulletin of the Vladikavkaz Scientific Center, 2018, vol. 18, no. 2, pp. 69-72.
46. Keldibekova A.O., Baisalov J.U. Effectiveness of the System of Preparation for Mathematical Olympiads in the Schools of Kyrgyzstan. Espacios, 2019c, vol 40, no. 29, p. 7. Available at: http://www.revistaespacios.com/a19v40n29/ a19v40n29p07.pdf (accessed 12 August 2019)
47. Anderson L.W., Krathwohl D.R., Bloom B.S. Taxonomy for learning, teaching and assessing: A revision of Bloom's Taxonomy of educational objectives (Complete ed.). London: Longman, 2001.
48. Bloom B.S., Krathwohl D.R. Taxonomy of Educational Objectives: The Classification of Educational Goals, por un comité de examinadores del colegio y de la universidad. Handbook I: Cognitive Domain. New York: Longmans, Green, 1956. 39 p.
49. Ebel R.L. Measuring educational achievement. Prentice-Hall Inc., Englewood Cliff s, New Jersey, 1965. 481 p.
50. Harris R.A. Creative Problem Solving: A Step-By-Step Approach. Los Angeles: Pyrczak, 2002. 106 p.
51. Kattou M., Kontoyianni K., Pitta-Pantazi D., Christou C. Connecting mathematical creativity to mathematical ability. ZDM Mathematics Education, 2013. DOI: https://doi.org/10.1007/s11858-012-0467-1.
52. Szetela W., Nicol C. Evaluating problem solving in mathematics. Educational Leadership, 1992, no. 49(8), pp. 42-45. URL: https://eric.ed.gov/?id=EJ444313 (accessed 12 August 2019)
53. Veilande I., Ramana L., Krauze S. Repeated Participation at the Mathematical Olympiads: A Comparative Study of the Solutions of Selected Problems. In: Singer F. (eds) Mathematical Creativity and Mathematical Giftedness. ICME-13 Monographs. Springer, Cham, 2018. DOI: https://doi.org/10.1007/978-3-319-73156-8_13
54. Andersen L., Cross T.L. Are students with high ability in math more motivated in math and science than other students? Roeper review, 2014, no. 36(4), pp. 221-234. DOI: https://doi.org/10.1080/02783193.2014.945221
55. Barron, K.E. & Hulleman, C.S. Expectancy-value-cost model of motivation. In J.D. Wright (Ed.). International encyclopedia of social and behavioral sciences: Elsevier, 2015. P. 261-271. DOI: 10.1016/B978-0-08-097086-8.26099-6
56. Kaldybaev S. Development of student achievement assessment system in Kyrgyzstan. VII International Conference «Building Cultural Bridges: Integrating Languages, Linguistics, Literature, Translation, Journalism, Economics and Business into Education». Almaty, 2015, pp. 223.
57. Wilson L.O. Anderson and Krathwohl - Bloom's Taxonomy Revised. 2001. Available at: http://thesecondprinciple. com/teaching-essentials/beyond-bloom-cognitive-taxonomy-revised (accessed 12 August 2019)
Информация об авторе Келдибекова Аида Осконовна
(Кыргызстан, Ош) Доцент, кандидат педагогических наук, доцент кафедры технологии обучения математике и информатике и образовательного менеджмента Ошский государственный университет E-mail: aidaoskk@gmail.com ORCID ID: 0000-0001-6444-0468
Information about the author
Aida O. Keldibekova
(Кыргызстан, Ош) Associate Professor, PhD in Pedagogical Sciences, Associate Professor of the Department of Technology of Teaching Mathematics and Computer Science and Educational Management Osh State University E-mail: aidaoskk@gmail.com ORCID ID: 0000-0001-6444-0468
