CC BY
16УДК 37.013.32; ББК 74.48
DOI 10.24411/2658-63 8Х-2020-10041
© Булгаков О.М., Ладыга А.И., Рябошапко О.Н. 2020
INTERPRETATION OF RESULTS THE CONTROL OF RESIDUAL KNOWLEDGE WITH THE HELP OF CORRELATION CHARTS
ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ КОНТРОЛЯ ОСТАТОЧНЫХ ЗНАНИЙ С ПОМОЩЬЮ КОРРЕЛЯЦИОННЫХ ДИАГРАММ
Oleg M. Bulgakov,
first deputy head of the Krasnodar university of the MIA of Russia, doctor of technical sciences, professor;
Олег Митрофанович Булгаков,
первый заместитель начальника Краснодарского университета МВД России, доктор технических наук,
профессор;
Anton I Ladyga,
head of the department of educational and methodical work of the Krasnodar university of MIA of Russia, candidate of economic sciences;
Антон Игоревич Ладыга,
начальник управления учебно-методической работы Краснодарского университета МВД России, кандидат экономических наук;
Olesya N. Ryaboshapko, Олеся Николаевна Рябошапко,
deputy head of the department of educational and methodical заместитель начальника управления учебно-методической
work - chief of department of organization of educational работы - начальник отдела организации учебного процесса
process of the Krasnodar university of the MIA of Russia Краснодарского университета МВД России
Для цитирования: Булгаков О.М., Ладыга А.И., Рябошапко О.Н. Интерпретация результатов контроля остаточных знаний с помощью корреляционных диаграмм. Психология и педагогика служебной деятельности. 2/2020. С. 72-75. Научная специальность: 13.00.08 - Теория и методика профессионального образования.
Abstract. This article discusses the interpretation of the results of residual knowledge control using correlation diagrams. It is concluded that the modified correlation diagrams allow us to diagnose a noteworthy deviation of the results of the control of residual knowledge from the intermediate certification, which is not visually detected by the correlation diagram. At the same time, a combination of visual and analytical methods is used to increase the reliability of interpretation of the results of GOATS. In conclusion, the author draws conclusions corresponding to the research.
Keywords: control of residual knowledge, correlation diagrams, intermediate certification.
Аннотация. В настоящей статье рассматривается интерпретация результатов контроля остаточных знаний с помощью корреляционных диаграмм. Выводится тезис о том, что модифицированные корреляционные диаграммы позволяют диагностировать заслуживающее внимание отклонение результатов контроля остаточных знаний от промежуточной аттестации, которое визуально не выявляется корреляционной диаграммой. При этом повышение достоверности интерпретации результатов КОЗ обеспечивается сочетанием визуальных и аналитических методов. В заключение автор делает соответствующие проведенному исследованию выводы.
Ключевые слова: контроль остаточных знаний, корреляционные диаграммы, промежуточная аттестация.
Контроль остаточных знаний (КОЗ) широко применяется образовательными организациями при мониторинге качества реализации образовательных программ, играет важную роль в независимой оценке качества подготовки специалистов.
Предметом анализа результатов КОЗ, как правило, являются средний балл (СБ), качество знаний (процент хороших и отличных оценок от их общего количества) и процент неудовлетворительных оценок. Однако, при усреднении оценок
КОЗ в значительной мере утрачивается возможность оценки валидности и надежности самих тестов, исключаются из рассмотрения отдельные результаты, представляющие интерес с точки зрения анализа объективности промежуточной аттестации (ПА).
Первичным элементом анализа КОЗ в Краснодарском университете МВД России, наряду с приведенными выше показателями, является индивидуальная для каждого тестируемого разница
баллов КОЗ и ПА (экзамена, дифференцированного зачета). На основании этих элементов строятся корреляционные диаграммы (КД) - номограммы
распределения отклонений КОЗ и ПА (рис. 1, 2а, 3а, 4а, 5а). КД характеризуют результаты КОЗ следующим образом:
Рис. 1. Пример хорошего (а) и удовлетворительного (б) совпадения оценок контроля остаточных знаний
и промежуточной аттестации для одного взвода
а) хорошее совпадение с результатами ПА (рис.1а), признаками которого являются: группирование отклонений в диапазоне от -1 до +1; явное преобладание нулевых отклонений; симметричное или близкое к нему распределение отклонений на -1 и +1.
б) удовлетворительное совпадение с результатами ПА (рис. 1б), среди признаков которого выделим: группирование отклонений, за небольшим исключением, в диапазоне от -1 до +1; максимум диаграммы в нулевом значении отклонений; близкое к симметричному распределение ненулевых отклонений. Отклонения на -2 могут быть вызваны как завышением оценок ПА, так и недостаточной мотивацией отдельных испытуемых на получение высоких оценок КОЗ. Еще в большей степени об этом свидетельствуют отклонения на -3 (рис. 2а), т.е. оценки «неудовлетворительно» на КОЗ при отличных оценках, полученных на ПА. Отклонения на +2 говорят о занижении оценок ПА и возможных ошибках второго рода.
Отклонения на +3 (рис. 3а) однозначно свидетельствуют об ошибках второго рода (средний балл ПА обучающегося во всех случаях был ниже 4,0). Их причинами могут быть несоблюдение установленного порядка тестирования, что позволило ряду обучающихся воспользоваться подсказками, или знание обучающимися правильных вариантов ответов заранее;
в) снижение результатов КОЗ по сравнению с результатами ПА (рис. 2а), что проявляется в смещении максимума КД в область отрицательных значений. Такое смещение имеет три основных причины. Первая - заниженные требования к обучающимся со стороны экзаменатора, приводящие к незаслуженно высоким оценкам экзамена (дифференцированного зачета). Вторая - избыточная сложность теста, не учитывающая остаточный характер тестируемых знаний, или неточное соответствие содержания теста содержанию изученного материала. Третья - поверхностное усвоение обучающимися материала, приведшая к его быстро-
-за-
— 11
/ Ж
Я Я
-1 О 1
Разница оценок КО 3 и ПА
50 4-0
Я 30 20 I 10
н
3 о
И -
Н -3 0
-5 0 -60
38
11 э
я
-3 -2 -1 0 ■ -10
-48
Разница оценок КОЗ и ПА
а)
Рис. 2. Примеры смещения корреляционной диаграммы в область отрицательных значений отклонений
б)
му забыванию. Данная причина часто проявляется в совокупности с неадекватной объему и значимости изученного материала формой контроля знаний на ПА (компьютерный тест, чрезмерный учет результатов текущей успеваемости и др.);
г) повышение результатов КОЗ по сравнению с результатами ПА (рис. 4а), проявляющееся в смещении максимума КД в область положительных значений. Такое смещение свидетельствует о ненадежности теста КОЗ, и его при-
Рис. 3. Примеры смещения корреляционной диаграммы в область положительных значений отклонений
чинами могут быть недостаточная сложность, «взлом» (знание правильных ответов заранее) или несоблюдение порядка тестирования, приведшее к использованию обучающимися разного рода подсказок.
Важнейшим условием проведения КОЗ является гласность его результатов, что требует особой тщательности их анализа, исключения субъективизма в их интерпретации. Далеко не всегда по виду КД можно сделать вывод о том, насколько ее отличие от нормы может трактоваться как неподтверждение контролем остаточных знаний результатов ПА (например, рис. 3в). В связи с этим степень совпадения результатов КОЗ и ПА или «подозрительности» отдельных КД должна определяться с помощью прозрачных критериев, оперирующих наглядными количественными показателями.
Другим направлением повышения объективности предварительного анализа результатов КОЗ является упрощение критериев оценки их визуального представления, одновременно исключающее неоднозначность или ошибочность выводов.
Для этого нами методом экспертного опроса была сформирована «оптимальная» модель результатов КОЗ, представляемая КД. Очевидно, идеальным результатом КОЗ является стопроцентное совпадение оценок ПА и КОЗ. «Оптимальным» результатом КОЗ по итогам экспертного опроса признано 2/3 совпадений оценок ПА и КОЗ и отклонение 1/6 всех оценок КОЗ от оценок ПА на 1 балл и столько же - на -1 балл. При вычитании «оптимального» результата из КД мы получим модифицированные корреляционные диаграммы (МКД), представленные на рис. 2б, 3б, 3г.
МКД могут интерпретировать результаты КОЗ следующим образом:
а) значительное отрицательное значение МКД при нулевом отклонении в совокупности с явно выраженной асимметрией распределения отклонений или отрицательном значении отклонения на +1 (рис. 2б) свидетельствует о заметном снижении результатов КОЗ по сравнению с ПА;
б) то же, но при отрицательном значении отклонения МКД на -1 выявляет заметное повыше-
ние результатов КОЗ по сравнению с ПА, выраженное в смещении КД в область отрицательных значений (рис. 3б).
МКД позволяют диагностировать заслуживающее внимание отклонение результатов КОЗ от ПА (рис. 3г), которое визуально не выявляется КД (рис. 3в). Повышение достоверности интерпретации результатов КОЗ обеспечивается сочетанием визуальных и аналитических методов.
Библиографический список
1. Гибадуллина Р.Н. Контроль остаточных знаний // Вестник Казанского государственного
энергетического университета. - 2013. - № 4. -С.113-115.
2. Булгаков О.М., Дедикова А.О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. - 2017. - № 4. - С. 214-221.
3. Булгаков О.М., Ладыга А.И., Рябошапко О.Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. - 2018. -№ 2.- С. 38-45.
А.М. Склш;:-:!-'!-:.!]
Педагогическая
системология
Твдьр ЛюиЕритн
т:г;г
Педагогическая системология. Теория, методика, исследования, практика : учебно-методическое пособие / А. М. Столяренко. М. : ЮНИТИ-ДАНА, 2020. 319 с. Гриф УМЦ "Профессиональный учебник". Гриф НИИ образования и науки.
Рассмотрены науковедческие, методологические, а также ряд теоретических и прикладных проблем педагогики с позиций общей теории систем.
В части первой анализируются зарождение, развитие и современное состояние системных исследований в педагогике. На основе анализа системных исследований в разных науках делается вывод об обязательности адаптации положений общей теории систем к специфике природы и закономерностей педагогических явлений и проблем. Излагается и обосновывается педагогическая системоло-гия - специальная методология, организация и методика системных исследований, реализующая положения общей теории систем применительно к специфике реальностей педагогической природы.
В части второй описан опыт исследований автора и других ученых, в ходе которых создавалась и совершенствовалась педагогическая системология. Применение положений педагогической системо-логии позволило по-новому осветить некоторые фундаментальные положения педагогики и предложить практическое применение их для совершенствования педагогической практики в современных условиях создания нового демократического, социального, правового общества в России. Они нашли отражение в главах по общей педагогике, социальной педагогике, педагогике личности, педагогике высшего образования, педагогике управления, юридической педагогике, экстремальной психопедагогике и физиологической педагогике.
Для исследователей педагогических проблем, преподавателей, аспирантов, а также студентов педагогических вузов и педагогов-практиков.
