CC BY
13ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ ПО ОБЕСПЕЧЕНИЮ ДОСТОВЕРНОСТИ ОЦЕНИВАНИЯ УЧЕБНЫХ ДОСТИЖЕНИЙ ОБУЧАЮЩИХСЯ КОМПЬЮТЕРНЫМИ ТЕСТАМИ
Булгаков Олег Митрофанович
доктор технических наук, профессор Краснодарский университет МВД России
г. Краснодар Дедикова Анна Олеговна
МБОУ «Прогимназия №2» г. Воронеж
PRACTICAL RECOMMENDATIONS FOR PROVIDING THE RELIABILITY OF ASSESSMENT OF STUDENTS' EDUCATIONAL ACHIEVEMENTS BY COMPUTER TESTS
Bulgakov Oleg Mitrofanovich
doctor of Technical Sciences, Professor Krasnodar institute of the Ministry of the Interior of Russia
Krasnodar
Dedikova Anna Olegovna Municipal Budget Educational Institution "Progymnasium №2 "
Voronezh
DOI: 10.31618/nas.2413-5291.2021.1.65.387
АННОТАЦИЯ
Рассмотрены проблемы достоверности оценивания учебных достижений обучающихся, обусловленные дистанционным форматом тестирования знаний и умений. Сформулированы принципы составления тестовых заданий, обеспечивающие объективность контроля знаний и умений при компьютерном тестировании. Даны практические рекомендации, позволяющие оптимизировать объём и структуру теста в зависимости от задач контроля.
ABSTRACT
The problems of the reliability of assessment of students' educational achievements, caused by the remote format of knowledge and skills testing, are considered. The principles of drawing up test tasks, which ensure the objectivity of the control of knowledge and skills during computer testing, are formulated. Practical recommendations are given to optimize the volume and structure of the test depending on the tasks of control.
Ключевые слова: тестовые задания, учебные достижения, достоверность оценивания, компьютерный тест, дистрактор.
Keywords: test tasks, educational achievements, reliability of assessment, computer test, distractor.
Возросшие объемы применения
дистанционных образовательных технологий во всех без исключения образовательных структурах как в России, так и за рубежом, обусловленные мерами профилактики COVID-19, актуализировали проблему объективного контроля и оценивания результатов учебной деятельности обучающихся и придали ей всеобщий характер.
Ключевым условием объективности оценивания результатов учебной деятельности обучающихся в дистанционном режиме становится оперативность контрольно-оценочных
мероприятий, т.е. их проведение в такие сроки, которые бы с одной стороны исключили или существенно затруднили использование недобросовестными обучающимися
несанкционированных источников информации, а с другой - снизили вероятность отказа интернет-связи. Данное требование обуславливает применение для объективного оценивания учебных достижений обучающихся компьютерных тестов, как в качестве самостоятельного инструмента, так и инструментальной основы предварительного, предшествующего on-line диалогу, контроля в
многоэтапных методиках оценивания знаний и умений.
Организационно-технологические особенности тестирования учебных достижений в дистанционном формате, такие как невозможность критического анализа ответов, их обсуждения с преподавателем, апелляции и других форм диалога, обеспечивающих объективность оценок и её осознание обучающимися, являются фактором снижения действенности и оперативности обратных связей в учебном процессе и тем самым повышают цену ошибки формирования или выбора комплекта контрольно-измерительных материалов, как в содержательном, так и в алгоритмическом аспектах.
В [6, 8, 11, 12] показано влияние количества и структуры тестовых заданий на вероятность ошибок оценивания знаний обучающихся. Однако достоверность оценок такого рода зависит от многих факторов, обусловленных корректностью содержания тестов, целеполагания, организации, методики тестирования и интерпретации его результатов [9], применения моделей забывания изученного материала [5], в значительной мере определяемых квалификацией разработчиков
тестов. Не рассматривая общих требований, отраженных в сформулированных классиком отечественной педагогической тестологии В.С. Аванесовым принципах (соответствия содержания теста целям тестирования, значимости, научной достоверности, соответствия уровню современного состояния науки, полноты тестируемых знаний, вариативности содержания, возрастающей трудности) [1-3], приведем некоторые рекомендации, основанные на нашем практическом опыте применения тестов для оценивания учебных достижений обучающихся.
1. Принцип синхронизации (учет степени актуальности проверяемых знаний и умений).
Содержание и уровень сложности заданий должны учитывать фактор забывания обучающимися содержания изученного материала и частичной утраты сформированных у них умений [10, 18, 19]. В особенности этот фактор влияет на оценки тестируемых на контрольно-проверочных мероприятиях мониторинга качества реализации образовательных программ, проводимого образовательной организацией, внешнего аудита качества образования, педагогических
экспериментов и др. Ошибки оценивания первого рода [7], порождающие неверные аналитические выводы об уровне освоения отдельных компетенций и образовательных программ в целом, могут быть обусловлены одинаковыми уровнями сложности и объемами проверяемого содержания для дидактических единиц содержания обучения, изучение которых отстоит от момента проверки на разные, отличающиеся в разы, временные интервалы. Следовательно, фактор забывания может быть учтен не только в содержании тестов и алгоритмах начисления баллов, но и в алгоритмах анализа результатов тестирования. В меньшей степени данный фактор влияет на результаты контроля остаточных знаний обучающихся [13, 15], так как сроки проведения такого контроля обычно нивелируют относительную разницу упомянутых выше временных интервалов «момент окончания изучения - момент контроля», определяющую относительные объёмы забывания изученного материала.
2. Принцип однородности заданий.
Как показывает наш опыт разработки и применения тестов, к дополнительным ошибкам первого рода приводит многообразие заданий, из которых составлен тест, например, наличие в нем наряду с заданиями с выбором единственного верного ответа заданий с множественным выбором или заданий открытого типа. Несмотря на наличие пояснений (инструкций) или внешние отличия структуры тестовых заданий (ТЗ), тестируемым требуется время на «переключение» мыслительных стереотипов, возрастает вероятность ошибок из-за невнимательности, несвоевременного прочтения или недопонимания инструкций. Дополнительным условием правильного и быстрого восприятия заданий тестируемым является стилевая однородность формулировок заданий и вариантов ответов.
Пример стилевой неоднородности формулировок вариантов ответов:
Электрический ток в полупроводниках возникает:
а) на границе р-п-перехода;
б) при уменьшении ширины запрещенной зоны;
г) если полупроводник - собственный;
д) при наличии электронно-дырочных пар;
е) под воздействием освещения.
При необходимости использовать ТЗ различных видов следует делить тест на блоки, в каждом из которых представлены ТЗ одного вида, или разбивать процедуру тестирования на этапы, каждый из которых представляет собой мини-тест, составленный из однородных заданий.
3. Принцип пирамиды «сложность -количество тестируемых».
Совершенно необязательно использовать большие ресурсы компьютерного тестирования на проведение контрольно-оценочных мероприятий, разных по уровню сложности задач контроля. Во многом уровень сложности задач по оцениванию знаний и умений обучающихся определяется уровнем мотивации и образовательных амбиций тестируемых. Для оценки знаний обучающегося, на протяжении всего периода изучения дисциплины балансирующего между «двойкой» и «тройкой», нет смысла применять тесты с большой дифференцирующей способностью, содержащие задания различных уровней сложности. Если сложность заданий, отобранных педагогом для формирования теста, можно представить четырьмя уровнями: простые, средней сложности, сложные, повышенной сложности, то для слабоуспевающих обучающихся достаточно включения в тест ТЗ первых двух уровней, а ответы на задания повышенной сложности и сложные он будет угадывать, что не скажется существенным образом на его оценке (при адаптивном алгоритме оценивания), но может привести к снижению надежности теста, когда тестируемый по окончании контроля знаний перескажет запомненные им вопросы теста и варианты ответа на них другим обучающимся. Принципы возрастающей трудности и соответствия содержания теста целям тестирования, сформулированные В.С. Аванесовым [2, 3], мы трансформировали в принцип трудности, адекватной целям контроля. При текущем контроле успеваемости, предварительной и промежуточной аттестации процедуры тестирования могут быть оптимально организованы по принципу пирамиды: тесты относительно низкого уровня сложности применяются к оценке знаний всех обучающихся, более сложные тесты - к оценке знаний тех из них, кто показал высокие результаты на предыдущем уровне. Данный подход позволяет модернизировать базы ТЗ частично, в основном, в отношении сравнительно простых заданий, а также сокращать общее время тестирования и последующей переэкзаменовки.
4. Принцип исключения тривиально правильных ответов.
Далеко не всегда удается сформулировать ТЗ таким образом, чтобы оно не подразумевало тривиальный выбор правильного ответа, являющегося стандартизированным определением какого-либо понятия или термина, или, наоборот. Однако, к исключению такого рода ситуаций и формулированию ТЗ так, чтобы к узнаванию набора знакомых слов тестируемый в ходе мыслительного процесса добавлял поиск знаний из смежных тем или предметных областей, логику, общую и профессиональную эрудицию, необходимо стремиться. Выбор правильного ответа среди предлагаемых вариантов нередко основан на зазубривании определений или подсказках и оказывается успешным даже при хорошем подборе дистракторов - испытуемый просто не вчитывается в дистракторы, не вникает в их смысл, сконцентрировавшись на поиске известной ему комбинации слов.
Пример1. Электрический ток это:
а) упорядоченное движение заряженных частиц;
б) движение электронов от катода к аноду под действием электрического поля;
в) совокупность диффузионного и дрейфового механизмов переноса зарядов;
г) колебания узлов кристаллических решеток вследствие изменения направления напряженности внешнего электрического поля;
д) испускание электронов с поверхности вещества.
Пример 2. Упорядоченное движение заряженных частиц под действием электрического поля называется:
а) электрическим током;
б) электронным дрейфом;
в) термоэлектронной эмиссией;
г) массопереносом вещества;
д) гальваническим эффектом.
Получить ответ на нетривиально сформулированный вопрос, набрав в поисковом окне интернет-браузера комбинацию слов, в отличие от приведенных выше примеров, удается не всегда, а время попыток поиска в Интернете или получения иных подсказок со стороны ограничено, поэтому вероятность возникновения ошибки второго рода [7] в ответе на задание с нетривиальной формулировкой существенно уменьшается, а обучающийся, поставленный в условия нетривиальных формулировок ТЗ и ответов на них (Пример 3) вынужден будет считаться с необходимостью более глубокого погружения в изучаемый материал.
Пример 3. Электрический ток может протекать без наличия:
а) внешнего электрического поля;
б) свободных носителей заряда;
в) замкнутой электрической цепи;
г) металлического проводника;
д) постоянного знака градиента потенциала электрического поля.
5. Принцип иерархии дистракторов.
Дистракторы, применяемые в ЕТЗ, не должны
быть в одинаковой степени похожи на правильный ответ, их «похожесть» на правильный ответ следует дифференцировать. Приведем пример неудачного, по нашему мнению, подбора дистракторов.
Пример 4. Электрический ток это:
а) упорядоченное движение заряженных частиц;
б) движение зарядов под действием электрического поля;
в) упорядоченное движение заряженных частиц в проводнике;
г) движение заряженных частиц от одного электрода к другому;
д) движение зарядов в замкнутой электрической цепи.
Помимо внешнего, терминологического сходства, ни один из дистракторов данного ЕТЗ не содержит полностью неверный ответ - все они являются частично правильными. Поэтому, анализируя выбор тестируемым ответа, сделанного осознанно или наугад, преподаватель не сможет определить степень незнания предмета, что, наряду с собственно оцениванием, является одной из целей тестирования учебных достижений обучающихся. В этом отношении ТЗ из Примера 1 выглядит намного предпочтительнее. Выбор тестируемым варианта г) из Примера 1 свидетельствовал бы о полном непонимании им сущности и механизмов проявления электрического тока; выбор варианта в) - скорее о попытке угадать ответ, основываясь на «наукообразии» предлагаемого варианта, или о наличии обрывочных несистемных знаний; варианта д) - о серьёзных пробелах в понятийной базе дисциплины и несформированности предметного кругозора, но, в то же время, о наличии общих представлений о природе электрического тока; варианта б) - о правильных в целом представлениях о природе и проявлении электрического тока, не сформированных в реальное знание предмета, а также об игнорировании тестируемым лекций и рекомендованных преподавателем учебников.
6. Принцип адекватности времени решения виду задания.
Разработчики тестов нередко пренебрегают дифференцированием времени ответа на ТЗ в зависимости от сложности и, особенно, структуры последнего. В то же время, вполне умозрительным представляется вывод о том, что на решение ТЗ с множественным выбором правильных ответов требуется больше времени, чем на решение ТЗ с единственным выбором правильного ответа при условии одинаковой сложности обоих заданий. Решение ТЗ на установление последовательности [11, 17], как минимум, требует столько же времени, что и решение заданий с множественным выбором, а ТЗ с упорядочиванием ответов [8] - однозначно, больше.
Задание времени ответа на ТЗ различных видов в компьютерном тесте для оценивания
знаний и умений обучающихся может быть определено на основе эмпирических данных.
Важно минимизировать время ответа на ТЗ с простой структурой, ориентированного на проверку базовых или элементарных знаний. Автоматизм решения таких заданий косвенно свидетельствует о системности и высоком уровне проверяемых знаний.
7. Принцип редактируемости заданий.
Выбор структуры ТЗ и формулирование
вопросов (заданий) и ответов на них целесообразно осуществлять таким образом, чтобы их можно было видоизменять (редактировать вопросы (задания), менять или редактировать дистракторы) с минимальными трудозатратами. В этом заключается «ремонтопригодность» (по аналогии с техническими объектами) тестов, являющаяся одним из показателей надежности [14]. Регулярное редактирование ТЗ вместо их замены позволяет, во-первых, снижать трудоемкость процесса уменьшения вероятности ошибок второго рода, во-вторых, оставляя без изменения тестируемое содержание, не дает оснований пересмотра содержательной валидности теста [4, 16].
8. Принцип контрольных «закладок».
В своей практике разработки тестов мы используем ТЗ сверхсложного уровня или с содержанием, выходящим за пределы изучаемого материала. Если процент решения таких ТЗ превышает вероятность случайного угадывания, это свидетельствует о том, что тест подвергся «взлому», и база заданий подлежит замене или редактированию. Механизм автоматизированной проверки теста на «взлом» может быть реализован на основе сравнения процента решения простых и сложных заданий. Творческий подход к конструированию компьютерных тестов для оценивания учебных достижений обучающихся обеспечивает широкое разнообразие подобного рода приемов - индикаторов повышения вероятности возникновения ошибочных оценок.
Список литературы
1. Аванесов В.С. Композиция тестовых заданий. / В.С. Аванесов. - М.: АДЕПТ, 1998.
2. Аванесов В.С. Основы педагогической теории измерений // Педагогические измерения, №1, 2004г. - С. 15-21
3. Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). -Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005 г. - 98 с.
4. Балыхина Т.М. Словарь терминов и понятий тестологии / Т.М. Балыхина. - М.: РУДН, 2000. - 164 с.
5. Буймов А.Г. Закономерности поведения кривых забывания // Доклады ТУСУРа, т. 20, № 4, 2017. С. 138-141.
6. Булгаков О.М., Дедикова А.О. Математическая модель контроля безотказной работы теста для проверки знаний // Вестник
Воронежского института МВД России. - 2018. - №2.
- С. 45 - 55.
7. Булгаков О.М., Дедикова А.О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. - 2017. - №4. - С.214-222.
8. Булгаков О.М., Дедикова А.О. Тестирование учебных достижений: от проверки знаний к проверке понимания // Вестник Санкт-Петербургского университета МВД России. - 2020.
- №2 (86). - С.183 - 190. DOI: 10.35750/2071-82842020-2-183-190.
9. Булгаков О.М., Ладыга А.И., Рябошапко О.Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. - 2018. - №2. - С. 33 - 37.
10. Булгаков О.М., Ладыга А.И., Рябошапко О.Н. Обобщенная модель отбора содержания контроля остаточных знаний // Вестник Воронежского института МВД России. - 2019. - №2.
- С. 41 - 48.
11. Булгаков О.М., Старостенко И.Н., Хромых А.А., Дедикова А.О. Моделирование надежности тестов с усложненной структурой тестовых заданий // Вестник Воронежского института ФСИН России. - 2020. - №2. - С. 62 - 70.
12. Булгаков О.М., Старостенко И.Н., Хромых А.А., Дедикова А.О. Оценка надежности теста для проверки знаний, составленного из заданий с множественным выбором правильных вариантов ответа // Вестник Воронежского института ФСИН России. - 2019. - №4. - С. 62 - 69.
13. Гибадуллина Р. Н. Контроль остаточных знаний / Р. Н. Гибадуллина // Вестник Казанского государственного энергетического университета. -2013. - № 4. - С. 113-115.
14. ГОСТ 27.002-2009. Надежность в технике. Термины и определения. - М.: Стандартинформ, 2011.
15. Ершиков С.М., Иванова И.В. Мониторинг уровня остаточных знаний студентов медицинского университета // Ярославский педагогический вестник - 2017 - № 5. С. 139 - 144.
16. Ефремова Н. Ф. Тестовый контроль в образовании: учебное пособие / Н. Ф. Ефремова. -М.: Логос, 2005. - 368 с.
17. Ким В.С. Тестирование учебных достижений. - Уссурийск: Издательство УГПИ, 2007. - 214 с.
18. Майер Р.В. Имитационное моделирование изучения студентами вузовского курса, учитывающее психологические закономерности усвоения и забывания // Научно-методический электронный журнал «Концепт». - 2015. - № 12 (декабрь). - С. 116 - 120. - URL: http:e-koncept.ru/2015/15430.htm.
19. Майер Р.В. Учет изменения прочности знаний при обучении: моделирование в электронных таблицах Excel // Современные научные исследования и инновации. 2015. № 1. Ч. 3
[Электронный ресурс]. URL:
http://web.snauka.ru/issues/2015/01/45010 (дата обращения: 27.01.2021).
ПРОФИЛАКТИКА ДЕТСКОГО ТРАВМАТИЗМА
Научный руководитель: В.Б. Рондырев Ильинский, кандидат педагогических наук, Нижневартовский государственный университет.
Краснова Е.А. студент 4 курса,
факультета экологии и инжиниринга, образование в области БЖ, Нижневартовский государственный университет.
PREVENTION OF CHILD INJURIES
АННОТАЦИЯ
Детский травматизм всегда и был и остается одной из самых актуальных проблем на сегодняшний день. Несмотря на то, что полностью устранить случаи детского травматизма практически невозможно, на в современном мире предпринимаются попытки создания средств и методов, посредством которых его уровень должен стать значительно меньше текущего. Основной целью представленной статьи является изучение актуальности профилактики детского травматизма. В работе собраны, проанализированы и систематизированы полученные знания, касающиеся темы исследования. Автором производится работа посредством применения статистических данных и информации, а также эмпирических и теоретических методов исследования. С целью более полного раскрытия темы и получения достоверных данных автором используются публикации и материалы отечественных и зарубежных источников.
ANNOTATION
Children's injuries have always been and remain one of the most pressing problems today. Despite the fact that it is almost impossible to completely eliminate cases of child injuries, attempts are being made in the modern world to create means and methods by which its level should become significantly less than the current one. The main purpose of the article is to study the relevance of prevention of childhood injuries. The paper collects, analyzes and systematizes the knowledge gained on the topic of the study. The author works through the use of statistical data and information, as well as empirical and theoretical research methods. For the purpose of more complete disclosure of the topic and obtaining reliable data, the author uses publications and materials from domestic and foreign sources.
Ключевые слова: детский травматизм, охрана здоровья, профилактика.
Key word: Child injuries, health protection, prevention.
Травма является результатом какого-либо воздействия на организм человека в целом или же на его отдельные части путем механических или термических факторов. Детская травма является повреждением только развивающегося организма, следствием которой могут стать необратимые последствия или иные негативные факторы.
В современном мире имеется колоссальное количество причин, в результате которых детьми могут быть получены травмы различной степени тяжести. Несмотря на это, можно привести классификацию типовых ситуаций, в который ребенок является наиболее подверженным травме. Рассмотрим основные группы ситуаций детского травматизма (рис. 1).
