CC BY
21
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
Педагогика
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
оригинальная статья УДК 37.02
Оценка эффективности учебной деятельности и обучающих воздействий на основе критериально-ориентированного тестирования
Ирина Ивановна Соколова Ольга Сергеевна Спирина
Военная академия связи имени Маршала Советского Союза Военная академия связи имени Маршала Советского Союза
С. М. Буденного, Россия, г. Санкт-Петербург С. М. Буденного, Россия, г. Санкт-Петербург; olga_spirina@bk.ru
Поступила в редакцию 25.03.2021. Принята в печать 12.04.2021.
Аннотация: Обсуждаются результаты эмпирических исследований, выражающие представления преподавателей военного инженерного вуза о задачах и методах педагогической диагностики, об особенностях дидактического тестирования. В соответствии с теорией достиженческих целевых ориентаций исследуется характер учебной мотивации курсантов. Выявлено, что курсанты ориентированы преимущественно на достижение цели мастерства, концентрируются на получении новых знаний, приобретении и развитии навыков, которые приводят к профессиональному и личностному развитию. Представлен математический способ формализации процесса моделирования и представления результатов критериально-ориентированного тестирования как коммуникативной задачи взаимодействия преподавателя и обучающегося в учебном процессе с использованием нелинейного программирования для оценки эффективности обучающих воздействий и учебной деятельности. Рассматриваются перспективы использования теоретических оснований, идей и методов эвалюации в образовании в критериально-ориентированном тестировании и при верификации достижений педагогических работников. Обосновывается необходимость разработки методик для выявления эффективности педагогического воздействия при использовании дидактического критериально-ориентированного тестирования, в том числе при оценивании деятельности преподавателя. Приводится алгоритм, описаны этапы процесса оценки эффективности обучающих воздействий. Разработанные в ходе исследования положения и выводы могут быть использовать при верификации педагогических достижений и в дальнейших исследованиях.
Ключевые слова: мотивация, обученность, алгоритм оценки эффективности обучающих воздействий, педагогическая диагностика, тестовый контроль, эвалюация
Цитирование: Соколова И. И., Спирина О. С. Оценка эффективности учебной деятельности и обучающих воздействий на основе критериально-ориентированного тестирования // Вестник Кемеровского государственного университета. Серия: Гуманитарные и общественные науки. 2021. Т. 5. № 1. С. 43-51. БО!: https://doi.org/10.21603/2542-1840-2021-5-1-43-51
Введение
Тестирование - один из видов педагогической диагностики, который может быть источником информации об эффективности образовательного процесса. В рамках компетентност-ной парадигмы обучающийся рассматривается как активный участник педагогического процесса, его деятельность определяет возможность самостоятельно и осознанно усваивать, обновлять и использовать знания, умения, навыки, компетенции. В то же время деятельность преподавателя не теряет управляющего характера: он должен организовать самостоятельную работу и создать на занятиях такие условия, которые будут способствовать раскрытию потенциала обучающегося, его активизации, направленной на осознанное профессиональное становление и личностное развитие. Как показывают исследования, учебные успехи и образовательная практика во многом определяются мотивацией обучающихся и мастерством педагога.
Верно определенные цели и методы диагностики, адекватные задачам исследования критерии при определенных условиях могут способствовать оцениванию не только достижений обучающихся, но и верификации педагогических
достижений. Отечественные тестологи справедливо отмечают, что по результатам тестирования обучающихся можно сопоставлять качество разных учебников, методических систем обучения. В этих условиях проблема диагностики в высшей школе приобретает особую актуальность, поскольку становится объемной и многоплановой.
Совершенствование, разработка и реализация современных методик контроля и оценивания деятельности преподавателей высшей школы зависит от их собственных компетенций в области педагогической диагностики. Деятельность преподавателя, эффективность его воздействий на учеников тоже должна подвергаться диагностике, т. к. в такой деятельности сосредоточено решение большого количества задач, среди которых умение спланировать и разработать учебное занятие, анализировать свою деятельность, внедрять в педагогический процесс различные инновационные технологии, оценивать эффективность такого использования, мотивировать обучающихся, организовывать и стимулировать их познавательную деятельность, однако в настоящее время недостаточно разработаны
© 2021. Авторы. Статья распространяется на условиях международной лицензии СС BY 4.0
43
Педагогика
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
методики и критерии оценки диагностики результатов педагогической деятельности. В статье обсуждаются возможности и модели использования одного из видов тестирования (критериально-ориентированного) в этих целях.
Методы и материалы
Дидактическое тестирование в вузах, применяющееся, как правило, в компьютерной форме, является наукоемкой технологией, предполагающей использование особых (в основном - выведенных из практики) правил составления тестовых заданий, применение научно обоснованных статистических закономерностей при обработке больших объемов результатов тестирования, а также технологии проведения процедуры тестирования. Современные компьютерные программы позволяют хранить и обрабатывать результаты тестирования, проводить мониторинги качества образования.
Тестирование может использоваться при входном, текущем и итоговом контроле. Выделяют нормативные тесты, направленные на сравнение различных групп друг с другом, и критериально-ориентированные тесты, которые нацелены на оценку конкретных знаний или навыков обучающихся, необходимых для решения, в частности, профессиональных задач. В текущем дидактическом контроле рекомендуется критериально-ориентированное тестирование, одной из целей которого является определение степени обучен-ности испытуемого.
В наших исследованиях использовались три основных метода: анализ работ отечественных и зарубежных исследователей по заявленной проблеме, анкетирование преподавателей, анализ математического моделирования тестирования обучающихся. Применено конструирование алгоритмов тестирования. Выборочное анкетирование преподавателей гуманитарных кафедр (78 респондентов) Военной академии связи имени Маршала Советского Союза С. М. Буденного (ВАС) показало, что педагогической диагностике уделяется не более 10-20 % учебного времени.
Преподаватели недостаточно разбираются в современном адекватном целям диагностики образовательных результатов инструментарии, не владеют в полной мере понятийным аппаратом педагогической диагностики. Последняя обычно отождествляется ими с дидактическим контролем, который в первую очередь направлен на выявление уровня знаний, умений, навыков (55 % - в ходе текущей диагностики и 45 % - на итоговой аттестации) и компетенций (32 % и 48 % соответственно) курсантов, приобретенных в образовательном процессе. Индивидуально-личностные качества курсантов практически не учитываются (13 % и 7 % соответственно). Компетенции диагностируются в основном при итоговом контроле.
Тестирование как метод педагогической диагностики в полной мере освоено не всеми преподавателями. Отмечается недостаточность системных знаний в области тестологии, в том числе информации об использовании
компьютерного тестирования для коррекции обучения при текущем педагогическом контроле. Проблема, о которой исследователи писали в 80-е гг. прошлого века, остается актуальной и сейчас: распространено мнение, что с помощью тестов педагог имеет возможность лишь оценить итоговые достижения учащихся, но не установить пробелы в знаниях и выявить причины недостаточной подготовки [1].
Проблема недооценки дидактических возможностей тестирования актуальна и в военном образовании. Согласно нашим исследованиям, в ВАС только 4 % адъюнктов -начинающих преподавателей считают тестирование наиболее эффективным методом педагогической диагностики. Эта же форма контроля поддерживается 23 % опытных преподавателей. Самым эффективным методом диагностики признается устный опрос (55 % опытных и 56 % начинающих педагогов). Эффективность письменных опросов признают 15 % опытных и 16 % начинающих преподавателей, наблюдения - 7 % и 24 % соответственно.
Традиционными способами оценивания образовательных результатов остаются как у начинающих, так и у опытных преподавателей устный и письменный опросы (рис. 1). Несмотря на значительную популярность использования тестов как объективного измерительного инструмента образовательных результатов, в том числе при текущем педагогическом контроле, среди преподавателей ВАС при оценке знаний, умений, навыков и компетенций, тестирование не превалирует среди методов диагностики, однако опытные преподаватели используют его чаще начинающих, чередуя с традиционными формами опроса.
40% 20% 0%
Наблюдение Устный опрос Письменный Тестирование
опрос
Опытные преподаватели ■ Начинающие преподаватели
Рис. 1. Наиболее часто используемые методы педагогической диагностики
Fig. 1. Popular methods of pedagogical diagnostics
Исследование разработанности педагогической диагностики как научной дисциплины в отечественной педагогике показало, что чаще всего она представляется как самостоятельная теоретико-прикладная отрасль педагогики, которая изучает закономерности вынесения диагностических суждений о разнообразных элементах и параметрах педагогических систем, отношений их субъектов, правила проведения диагностической процедуры, принципы, методы и формы диагностики в педагогической сфере [2, с. 22].
Педагогический контроль рассматривается как составная часть педагогической диагностики. Это система научно-обоснованной проверки и оценки результатов образования, обучения и воспитания. Выделяют инструментальные
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
и субъективные методы педагогического контроля. К инструментальным методам относят тестирование (оценка знаний) и инструментальное наблюдение (оценка действий), к субъективным - устный опрос, проверочную беседу, контрольную письменную работу, зачет, экзамен, контрольное наблюдение и др. Педагогический контроль выполняет четыре основные функции: диагностирующую, обучающую, организующую и воспитывающую [3].
Диагностирующая функция определяется как направляющая систематический анализ результатов обучения, целью которого является получение объективной и достоверной информации о причинах неуспешности в обучении для внесения в него корректив. Добавим: и успешности в обучении, выявлении причинно-следственных связей критериев и факторов успеха, неуспеха. Организующая функция воплощается путем ориентации обучающихся на определенную цель. Она направлена на создание в процессе контроля положительных мотивов учебной деятельности, творческой атмосферы состязательности и благоприятных условий для проявления познавательной активности, на стимулирование инициативы обучающихся. Воспитательная функция реализуется через приучение обучаемых к систематической работе и формирование у них в процессе контроля моральной ответственности за результаты собственной деятельности. Исследования в области управления качеством образовательного процесса показывают, что даже незначительный рост уровня учебной мотивации обучающихся оказывает на качество военно-образовательного процесса большее положительное влияние, чем внедрение инновационных технологий обучения [4].
Традиционно в отечественной педагогике выделялись внешняя мотивация и внутренняя мотивация, более ценная для личностного развития [5]. В современных зарубежных исследованиях, как указывают Н. Г. Малошонок с соавторами, превалируют два основных теоретических подхода, в которых мотивацию связывают с разными видами целей, - теория достиженческих целевых ориентаций и иерархическая теория самодетерминации [6]. В исследовании достиженческих целевых ориентаций выделяются две базовые цели: цель мастерства и результативная цель. Направленность на мастерство стимулирует учебную деятельность и положительные эмоции по отношению к ней. При прочих равных условиях этот вид целевой ориентации положительно сказывается на достижениях, проявляющихся в результатах тестирования. Именно такой вид ценностной ориентации у студентов стимулируют наиболее успешные преподаватели. Ориентацию на результат обычно связывают с поверхностным отношением к обучению. Студенты, нацеленные на мастерство и стремящиеся получить навыки и знания в профессиональной сфере, чаще упоминают о желании преуспеть в будущем (стать профессионалом на рабочем месте, построить карьеру, повысить социальный статус через получение профессии). Они вкладывают усилия
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
в собственное личностное и профессиональное развитие, выполняя учебные задания в университете. В процедурах диагностики им важна информация о продвижении к этой цели, т. е. самодиагностика. Они готовы вкладывать в подготовку к дидактическому тестированию усилия, осваивая содержание предмета, что улучшает его результаты.
Из проведенного нами в 2020 г. выборочного анкетирования курсантов 2 и 3 курсов ВАС (100 респондентов) видно, что преобладающей целью обучения в вузе они считают получение профессиональных навыков (88 %), ориентация на результат (получение высокой оценки или высокого места в рейтинговой системе) характерна лишь для 10 % опрошенных, и всего 2 % обучающихся заявили о желании получить престижную должность.
Таким образом, учебная мотивация курсантов в основном связана с их интересом к будущей профессии и стремлением ее освоить. Такие социальные факторы, как действия преподавателя, родителей, климат в учебной группе и т. д., действуя через потребности, влияют на тип учебной мотивации, который определяет степень вовлеченности студента в учебный процесс. От этой вовлеченности зависят академические достижения, эмоциональные реакции и динамика самосознания. Причины вовлечения в учебный процесс находятся и в поле зрения иерархической теории самодетерминации [7; 8]. Это либо активность самого субъекта, приносящая удовольствие и приводящая к саморегуляции деятельности, либо внешние факторы активности (стремление получить высокую оценку, построить карьеру, избежать наказания и др.). Достаточно хорошо изучена и доказана связь типов мотивации со степенью вовлеченности субъекта в учебный процесс, социальными факторами, потребностями и достижениями [9].
Выбор теоретической рамки исследования для изучения возможностей критериально-ориентированного тестирования обучающихся в верификации достижений зависит от того, какие аспекты учебной мотивации наиболее важно изучить. Выбор эмпирических методов исследования мотивации достаточно широк и может быть рекомендован в верификации достижений преподавателей [10; 11]. М. В. Гуськова обращает внимание на то, что ввиду ориентации на компетенции, имеющие мета-латентную природу и отсроченный характер проявления, на процесс формирования компетенции, на который влияют контекстные факторы, предыстория развития познавательной деятельности обучающихся и познавательная мотивация, при диагностике необходимо использовать современные идеи и методы эвалюации в образовании [12].
Эвалюация - это сфера деятельности по оцениванию, сбору и анализу информации. В то же время - это аппарат для принятия управленческих решений и внешнего контроля [13]. При проведении эвалюации в образовании можно выявить иерархию факторов: обновление содержания образования, принятие инновационных организационно-технологических педагогических решений, введение новых методов обучения,
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
изменение стиля взаимодействия со студентами, повышение качества системы контроля в образовательном учреждении, усиление вовлечения студентов в образовательный процесс и пр. Для исследования субъектов образовательной эвалюа-ции выделяют независимые переменные и зависимые переменные-предикторы (по которым отличаются группы субъектов эвалюации). Например, если нужно выяснить эффекты влияния компетенций на результативность последующей деятельности выпускников образовательных учреждений, предикторами можно рассматривать компетентностные требования ФГОС по различным направлениям подготовки. Зависимыми, или критериальными, переменными называют те, которые измеряются для определения тех различий у групп субъектов, которые получены в результате выполнения программы обучения. В образовании критериальными переменными выступают учебные достижения и другие результаты обучения.
При решении проблем, поставленных в нашем исследовании, можно использовать представления о косвенной причинно-обусловленной связи в эвалюации. Например, в случае влияния качества измерителей на мотивацию учащихся к освоению компетенций опосредованной переменной будет величина ошибки измерения, поскольку субъективные оценки, полученные с большой ошибкой измерения, снижают мотивацию студентов к обучению.
Итак, благодаря включению идей и методологии эвалюации в систему педагогической или дидактической диагностики, происходит возвращение истинного смысла самой диагностики как процедуры выявления причин неудач и ошибок испытуемых, приводящих к неправильному выполнению оценочных заданий, а также как процедуры, нацеленной на эффективную реализацию обучающих функций по результатам диагностики. Сегодня разрабатываются и в скором времени начнут использоваться российские стандартизированные тесты, в частности при верификации и валидации результатов образования в системе подтверждения квалификаций педагогов, оценки их опыта. Верификация результатов обучения - это сфера применения критериально-ориентированного тестирования.
Вопрос о создании условий для проведения такой процедуры для педагогов, возможно, следует решать в рамках развития системы верификации знаний и компетенций для любой профессиональной сферы. При таком тестировании важно определиться, насколько инструменты оценивания адаптивны к индивидуальным особенностям соискателя, насколько надежны и обоснованы инструменты оценивания, какой набор критериев / стандарт используется и насколько точно он фиксирует индивидуальный набор приобретенного соискателем опыта, насколько четко определены и разъяснены процедура, инструменты и стандарты оценивания соискателям, работодателям и образовательным учреждениям1.
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
Соответствие целям диагностики - одно из непреложных требований, нарушение которого может привести к явному противоречию и даже конфликту между оцениванием в целях повышения качества обучения и оцениванием в целях осуществления мониторинга. Д. Л. Натолл подчеркивает, что двоякие цели Национального оценивания образовательной программы в Англии и Уэльсе (предоставить учителям диагностирующую информацию об учащихся и качественно-оценочную информацию о школах для населения в целом) таят в себе противоречие и в таком виде недостижимы [14]. Учителя будут выставлять ученикам высокие оценки, чтобы иметь репутацию хорошего специалиста или поддержать репутацию образовательного учреждения. Это характерно и для нашей страны. Педагогические цели оценивания в таких случаях все больше отступают на второй план. Системы, разработанные для оценивания школ или учителей, препятствуют выявлению слабых мест в обучении. Мониторинговое тестирование в меньшей степени содержит такое противоречие, если не имеет судьбоносной роли для школы, учителя или ученика.
Сегодня можно считать, что тестология как теория тестирования достаточно хорошо разработана. Имеются международные методологические правила и рекомендации в международных стандартах. Тем не менее модели диагностики должны учитывать конкретные условия, виды и задачи тестирования.
Результаты моделирования
При построении модели оценивания результатов образовательного процесса нужно учитывать его многофакторность. Насколько и какими способами реализуются все функции в текущем контроле, зависит от преподавателя, определяется его личностными качествами, его деятельностью, мотивацией и владением соответствующими методиками. Все влияющие на результат образовательной деятельности обучающихся факторы могут быть диагностированы, инструментом при этом следует выбрать критериально-ориентированные тесты с четкой ориентацией на заданные цели и критерии.
Требования к критериально-ориентированному тестированию обосновываются в работах А. Н. Печникова с коллегами [15; 16]. Это требования достоверности, диа-гностичности, оперативности, формализуемости и много-критериальности. Требование достоверности предполагает независимость процедуры определения результатов выполнения тестовых заданий от мнения тестирующего; представление результата выполнения тестового задания в шкале, разрешающая способность которой соответствует разрешающей способности используемой формы тестового задания; детерминацию процедуры оценивания результатов выполнения теста до начала тестирования и ее неизменности вплоть до завершения обработки результатов
1 European guidelines for validating non-formal and informal learning. Luxembourg: Publications Office of the European Union, 2015. 61 p. DOI: 10.2801/008370
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
всех испытуемых; интервального оценивания [16]. Многокритериальность определяет, что результаты контроля должны отражать весь набор требований, которые предъявляются к виду оцениваемой деятельности с учетом их влияния на достижение поставленной цели. Она дает возможность оценивания как результатов тестирования (правильности и времени выполнения тестовых заданий), так и иных параметров, которые влияют на получение этого результата. Моделирование многокритериальных диагностических процедур критериально-ориентированного тестирования представляет собой сложную наукоемкую задачу.
Рассмотрим пример применения формализации математическими средствами процесса моделирования и представления результатов критериально-ориентированного тестирования курсантов как коммуникативной задачи взаимодействия преподавателя и обучающегося в учебном процессе. В отчете по научно-исследовательской работе одним из авторов статьи (с соавторами) показано, что в ситуации текущего педагогического контроля при осуществлении дидактического тестирования преподаватель может исходить из следующих условий [17]:
• допустить, что параметры обучаемости и уровня учебной мотивации всех обучающихся в процессе изучения тестируемой дидактической единицы были неизменными;
• приравнивать к эталонной сложности, определяемой с помощью экспертных оценок, показатель сложности каждого тестового задания;
• представить в одинаковом для всех обучающихся виде каждую дидактическую единицу, проверяемую конкретным тестовым заданием в ходе осуществления текущего педагогического контроля обучающего воздействия.
В этом случае результат выполнения любого тестового задания можно рассматривать как показатель обученно-сти каждого испытуемого (г) по каждому заданию ():
кчо6=кУАк°В.
Множества{КуД} и {К°В} неизвестных значений коэффициентов эффективности деятельности обучающего и обучающихся определяются путем минимизации отклонений А экспериментально определенных значений ац от искомых значений {К;УД} и {К°В} [17; 18]. Практически такой поиск может быть осуществлен на основе двух методов: метода наименьших квадратов (МНК) и метода наименьших модулей (МНМ). А. Н. Печников и Д. А. Печников предлагают использовать МНК и определять А как А=(ац-К1АК°В)2 [18]. Однако, заменяя МНК на МНМ, можно получить более объективную и точную оценку результатов критериально-ориентированного тестирования. Нами предложено использовать МНМ и решать задачу нелинейного программирования вида:
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
! т ' п
XXI а„-КУ К?\^ шт,
'=1 г ,
КУДкОВ 6 [0,!]. ' = 1П. ; = 1т
где значения коэффициентов учебной деятельности 1-го обучающегося и обучающих воздействий ц-го задания рассчитываются способом минимизации суммы модулей отклонений расчетных значений коэффициента обученности 1-го обучающегося ц-му заданию от экспериментально установленных в процессе тестирования значений ац. Ограничением данной
ттУД ТГ°В
модели является принадлежность произведения К К множеству [0,1] при г=1,п; )=1,ш.
На основе предложенной модели разработан алгоритм оценки эффективности обучающих воздействий при использовании критериально-ориентированного тестирования (рис. 2), включающий следующие действия:
1. При осуществлении текущего педагогического контроля после изучения конкретной темы учебной дисциплины или ее раздела выделяется ряд дидактических единиц, которые должны быть проверены в тесте. Далее следует процесс разработки теста. Целеполагание теста должно соответствовать целям учебного процесса, а процедура составления тестовых заданий выполняться на основе научно обоснованных методических рекомендаций к конструированию тестов.
2. Проводится тестирование группы курсантов, сбор эмпирических данных, составление бинарной матрицы тестовых результатов на основе полученных ответов. Перед формированием матрицы необходимо определить принцип, по которому будут оцениваться ответы. Как правило, индикаторы успешности решения заданий (ац) определяются по дихотомному принципу, результаты оцениваются альтернативно. При верно выполненном задании это символизируется единицей (ац=1), при неверно выполненном -нулем (ац=0). В этом случае строки матрицы будут состоять из нулей и единиц и соответствовать ответам обучающихся на различные задания теста.
3. По вопросам (разделам) теста далее с помощью экспертов определяется уровень подготовленности курсантов путем выставления экспертных оценок.
4. С помощью экспертных оценок определяется эффективность обучающего воздействия учебного элемента.
5. Производится расчет коэффициента обученности, в нашем случае - усвоения дидактической единицы. В данной модели обученность мы рассматриваем как совместную деятельность обучающего и обучающегося и как результат усвоения учебного элемента, достигнутый в ходе обучающего воздействия, представленного в виде изложения учебного материала. Уровень обученности в данном алгоритме выявляется путем измерения результатов выполнения тестового задания при осуществлении текущего педагогического контроля.
https://d0i.0rg/10.21603/2542-1840-2021-5-1-43-51
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
Начало
Формирование бинарной матрицы ответов обучающихся
A = {ail...atj}
3
Вычисление с помощью экспертных оценок интегрального показателя эффективности учебной деятельности
Куд = {к™.
К
уд
[од]
4
Вычисление с помощью экспертных оценок интегрального показателя эффективности обучающего воздействия
К™ = К°В е М
5.
Расчет показателя уровня усвоения ]'-го учебного элемента г'-м обучающимся
6
Оценка эффективности обучающего воздействия
об 7 об
If об _ QOS
к. -Л
£
Да
Э" < 0,5
Нет
8 Расчет суммы
эффективных обучающих воздействий
2э?
Расчет суммы неэффективных обучающих воздействий
a-in
с
13
Конец
3
12
Анализ эффективности теста, Э Т
Рис. 2. Алгоритм оценки эффективности обучающих воздействий при использовании критериально-ориентированного тестирования Fig. 2. Criteria-based algorithm for estimate of efficiency
1
2
9
ВЕСТНИК
Кемеровского государственного университета
гуманитарные и общественные науки
2021. Т. 5. № 1
6. Сопоставляются соответствующие элементы множеств Л=(ап... ац} - бинарной матрицы ответов курсантов и множества Кцо ={Кп° ...К" }, производится расчет эффективности обучающего воздействия |ац-
7. Сравнивается эффективность обучающего воздействия задания (ц), выполненного курсантом (г), с числом 0,5. Исходя из введенных при расчете ограничений, если полученный результат Э^°В<0,5, то обучающее воздействие педагога можно рассматривать как эффективное; если Э^°В>0,5, то обучающее воздействие является неэффективным (расчет суммы эффективных и неэффективных обучающих воздействий описан в шагах 8 и 9).
8. На основании пунктов 8 и 9 алгоритма, зная количество заданий и количество курсантов, можно произвести расчет показателей эффективности теста на основе формулы:
9. На шагах 11 и 12 при показателе ЭТ<0,5, исходя из введенных автором ограничений при определении эффективности оцениваемого теста, тест можно считать эффективным при оценивании усвоения обучающимися конкретной темы.
Обработка результатов критериально-ориентированного тестирования, основанная на концепции Г. Раша, определяет уровень обученности подготовленностью обучающегося и трудностью задания и дает оценку того уровня обученности, который был достигнут в анализируемом процессе обучения. При использовании данной модели при решении задачи нелинейного программирования в дополнение к этой единственной характеристике обучающий получает оценку эффективности: а) обучающих воздействий, реализуемых в отношении тестируемых дидактических единиц; б) обучающих воздействий педагога в конкретной учебной группе; в) учебной деятельности обучающихся в период изучения ими дидактических единиц, необходимых для выполнения тестовых заданий; г) теста при оценивании усвоения обучающимися конкретной темы.
Модель позволяет рассматривать уровень обученности курсантов как результат совместной деятельности субъектов образовательного процесса, оценивать результаты выполнения тестовых заданий как продукт корпоративной
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
деятельности при осуществлении взаимодействия педагога и обучающегося, а также эффективность всех обучающих воздействий, которые были реализованы в отношении тестируемых.
Заключение
Критериально-ориентированное тестирование может быть использовано в целях дидактической диагностики. Принципами его применения являются научная обоснованность теории и методики, системность, конкретность, реализация не только контролирующей, но и корректирующей и прогнозной функций.
Мотивация достаточно сильно влияет на результаты обучения, в том числе отдаленные, важные для профессионального становления, определяет выбор стратегий образования студентами. С другой стороны, именно преподаватели существенным образом влияют на формирование мотивации. С помощью специальных исследований можно в дидактических и воспитательных целях определять влияние преподавателя на изменение мотивации в процессе изучения той или иной дисциплины и тем самым учитывать влияние того или иного вида мотивации на результаты диагностики. Изучая стратегию выполнения теста или используя специальные тесты, можно исследовать мотивацию студента, а затем ее влияние на академическую успешность. Знание факторов, влияющих на результаты критериально-ориентированного тестирования, позволяет уточнять математические модели его проектирования и оценки результатов.
Наше исследование решает задачи формирования модели и методики текущего оценивания в ходе критериально-ориентированного тестирования курсантов, когда в процессе обучения мотивацию можно считать практически неизменной и оценить обучающие воздействия преподавателя. С этой целью строится формализованная математическая модель, для применения которой создана соответствующая методика. Разработанные в ходе исследования положения о возможностях и особенностях использования критериально-ориентированного тестирования и полученные выводы можно использовать при верификации педагогических достижений и в дальнейших исследованиях.
Конфликт интересов: Авторы заявили об отсутствии потенциальных конфликтов интересов в отношении исследования, авторства и / или публикации данной статьи.
Литература
1. Талызина Н. Ф. Теоретические основы контроля в учебном процессе. М.: Знание, 1983. 96 с.
2. Алмазова О. В. Психолого-педагогическая диагностика. Екатеринбург: Калинина, 2007. 226 с.
3. Изотова Н. В. Корректирующий контроль как фактор повышения качества обучения (на материале предметов гуманитарного цикла): дис. ... канд. пед. наук. Брянск, 2004. 217 с.
4. Лурье И. Г., Печников А. Н. Управление качеством образовательного процесса на основе анализа дидактического потенциала его характеристик // Вестник РГГУ Серия «Экономика. Управление. Право». 2007. № 12. С. 38-57.
5. Гордеева Т. О., Сычев О. А., Осин Е. Н. Внутренняя и внешняя учебная мотивация студентов: их источники и влияние на психологическое благополучие // Вопросы психологии. 2013. № 1. С. 35-45.
Pedagogics
https://d0i.0rg/10.21603/2542-1840-2021-5-1-43-51
BULLETIN
Kemerovo State University
Humanities and social sciences
2021, 5(1)
6. Малошонок Н. Г., Семенова Т. В., Терентьев Е. А. Учебная мотивация студентов российских вузов: возможности теоретического осмысления // Вопросы образования. 2015. № 3. С. 92-121. DOI: 10.17323/1814-9545-2015-3-92-121
7. Deci E. L., Ryan R. M. Intrinsic motivation and self-determination in human behavior. N. Y.: Plenum Press, 1985. 371 p.
8. Vallerand R. J. Toward a hierarchical model ofintrinsic and extrinsic motivation // Advances in Experimental Social Psychology. 1997. Vol. 29. P. 271-360. DOI: 10.1016/S0065-2601(08)60019-2
9. Jang H., Kim E. J., Reeve J. Longitudinal test of self-determination theory's motivation mediation model in a naturally occurring classroom context // Journal of Educational Psychology. 2012. Vol. 104. No. 4. P. 1175-1188. DOI: 10.1037/a0028089
10. Виштак О. В. Мотивационные предпочтения абитуриентов и студентов // Социологические исследования. 2003. № 2. С. 135-138.
11. Гордеева Т. О., Осин Е. Н. Особенности мотивации достижения и учебной мотивации студентов, демонстрирующих разные типы академических достижений (ЕГЭ, победы в олимпиадах, академическая успеваемость) // Психологические исследования. 2012. Т. 5. № 24. Режим доступа: http://www.psystudy.ru/index.php/num/2012v5n24/708-gordeeva24. html (дата обращения: 04.02.2021).
12. Гуськова М. В. Эвалюация в образовании. М.: ИНФРА-М, 2012. 151 с.
13. Guba E. G., Lincoln Y. S. Effective evaluations: improving the usefulness of evaluation results through responsive and naturalistic approaches. San Francisco: Jossey-Bass, 1981. 423 S.
14. Nuttall D. L. Monitoring national standards. London: Institute of Education; University of London, 1993. 13 p.
15. Печников А. Н., Шиков А. Н. Проектирование и применение компьютерных технологий обучения. СПб.: Изд-во ВВМ, 2014. 393 с.
16. Печников А. Н., Ветров Ю. А. Проектирование и применение компьютерных технологий обучения. Ч. 1: Концепция систем автоматизированного обучения и моделирование процессов деятельности. СПб.: БГТУ 2003. Кн. 1. 194 с.
17. Печников А. Н., Митрахович В. А., Савищенко А. Н., Спирина О. С., Филонов О. В. Отчет о научно-исследовательской работе «Исследование методики критериальной оценки результатов тестирования знаний обучающихся в военном вузе». СПб.: ВАС, 2017. 202 с.
18. Печников А. Н., Печников Д. А. Решение задач текущего педагогического контроля на основе анализа результатов критериально-ориентированного тестирования // Образовательные технологии и общество. 2015. Т. 18. № 2. С. 489-513.
original article
Estimate of Efficiency of Class and Learning Activities based on Criterion-Oriented Testing
Irina I. Sokolova Olga S. Spirina
S. M. Budyonny Military Academy of the Signal Corps, Russia, S. M. Budyonny Military Academy of the Signal Corps, Russia,
St. Petersburg St. Petersburg; olga_spirina@bk.ru
Received 25 Mar 2021. Accepted 12 Apr 2021
Abstract: The research featured the views of teaching staff of a military engineering university about didactic testing and diagnostics. It included a survey of students' learning motivation based on the achievement goal theory. The military students proved to be oriented towards improving their skills and getting new knowledge in order to achieve professional and personal growth. The article introduces criterion-oriented estimate of efficiency methods that can be used to assess class activities and communicative interaction between the teacher and the student. The modeling process was illustrated using mathematical formalization method. The authors believe that criterion-oriented testing can help to verify teachers' achievements. The article justifies the need to develop new criterion-oriented methodologies for identifying teachers' performance and offers a detailed algorithm that can be used in future research and verification of professional achievements. Keywords: motivation, training, algorithm of estimate of efficiency for teaching staff, pedagogical diagnostics, test control, evaluation
Citation: Sokolova I. I., Spirina O. S. Estimate of Efficiency of Class and Learning Activities based on Criterion-Oriented Testing. VestnikKemerovskogogosudarstvennogo universiteta. Seriia: Gumanitarnye i obshchestvennye nauki, 2021, 5(1): 43-51. (In Russ.) DOI: https://doi.org/10.21603/2542-1840-2021-5-1-43-51
50
© 2021. The Author(s). This article is distributed under the terms of the CC BY 4.0 International License
BULLETIN
Kemerovo State University Humanities and social sciences
2021, 5(1)
Pedagogics
https://doi.org/10.21603/2542-1840-2021-5-1-43-51
Conflicting interests: The authors declared no potential conflicts of interests regarding the research, authorship, and /
or publication of this article.
References
1. Talyzina N. F. Theoretical foundations of control in the educational process. Moscow: Znanie, 1983, 96. (In Russ.)
2. Almazova O. V. Psychological and pedagogical diagnostics. Ekaterinburg: Kalinina, 2007, 226. (In Russ.)
3. Izotova N. V. Corrective control as a factor in improving the quality of education (based on the humanities). Cand. Ped. Sci. Diss. Bryansk, 2004, 217. (In Russ.)
4. Lurie I. G., Pechnikov A. N. Quality management of educational process based on the didactic potential analysis of its features. RSUH/RGGUBulletin. "Economics. Management. Law" Series, 2007, (12): 38-57. (In Russ.)
5. Gordeyeva T. O., Sychyov O. A., Osin E. N. Inner and outer motivation in students: its sources and influence on psychological well-being. Voprosy psikhologii, 2013, (1): 35-45. (In Russ.)
6. Maloshonok N. G., Semenova T. V., Terentyev E. A. Academic motivation among students of Russian higher education establishments: introspection. Educational Studies, 2015, (3): 92-121. (In Russ.) DOI: 10.17323/1814-9545-2015-3-92-121
7. Deci E. L., Ryan R. M. Intrinsic motivation and self-determination in human behavior. N. Y.: Plenum Press, 1985, 371.
8. Vallerand R. J. Toward a hierarchical model of intrinsic and extrinsic motivation. Advances in Experimental Social Psychology, 1997, 29: 271-360. DOI: 10.1016/S0065-2601(08)60019-2
9. Jang H., Kim E. J., Reeve J. Longitudinal test of self-determination theory's motivation mediation model in a naturally occurring classroom context. Journal of Educational Psychology, 2012, 104(4): 1175-1188. DOI: 10.1037/a0028089
10. Vishtak O. V. Motivation preferences of school leavers and university students. Sotsiologocheskiie issledovaniia, 2003, (2): 135-138. (In Russ.)
11. Gordeeva T. O., Osin E. N. Differences in achievement motivation and learning motivation in students exhibiting different types of academic attainment (Unified State Examination (USE) scores, academic competition results, academic records). Psikhologicheskie issledovaniia, 2012, 5(24). Available at: http://www.psystudy.ru/index.php/num/2012v5n24/708-gordeeva24.html (accessed 4 Feb 2021). (In Russ.)
12. Guskova M. V. Evaluation in education. Moscow: INFRA-M, 2012, 151. (In Russ.)
13. Guba E. G., Lincoln Y. S. Effective evaluations: improving the usefulness of evaluation results through responsive and naturalistic approaches. San Francisco: Jossey-Bass, 1981, 423.
14. Nuttall D. L. Monitoring national standards. London: Institute of Education; University of London, 1993, 13.
15. Pechnikov A. N., Shikov A. N. The design and use of e-Learning. St. Petersburg: Izd-vo VVM, 2014, 393. (In Russ.)
16. Pechnikov A. N., Vetrov Iu. A. Design and application of computer training technologies. Part 1: The concept of automated learning systems and modeling of activity processes. St. Petersburg: BGTU, 2003, book 1, 194. (In Russ.)
17. Pechnikov A. N., Mitrakhovich V. A., Savishchenko A. N., Spirina O. S., Filonov O. V. Report on the research work "Research of the methodology for criterion assessment of the results of testing the knowledge of students in a military university". St. Petersburg: VAS, 2017, 202. (In Russ.)
18. Pechnikov A. N., Pechnikov D. A. Solving the problems of the current pedagogical control based on the analysis of the results of criterion-oriented testing. Obrazovatelnye tekhnologii i obshchestvo, 2015, 18(2): 489-513. (In Russ.)
