CC BY
16
Научно-педагогическое обозрение. 2023. Вып. 4 (50). С. 141-152 Pedagogical Review. 2023, 'vol. 4 (50), pp. 141-152
Научная статья УДК 159.9.07: 37.015. 3
https://doi . org/10. 23951/2307-6127-2023-4-141-152
Диалоговый тренажер как средство формирующего оценивания
Татьяна Витальевна Ледовская1, Андрей Сергеевич Морозов2,
Никита Эдуардович Солынин3
12•3 Ярославский государственный педагогический университет им. К. Д. Ушинского,
Ярославль, Россия
1 karmennnn@yandex.ru
2 andreimorozov.yspu@gmail.com
3 sonik7-39@yandex.ru
Аннотация
Показано, что в современной ситуации развития системы образования необходимы новые способы оценивания, благоприятствующие реализации принципов динамики, развития и накопления опыта, расширения образовательных результатов обучающимися. Формирующее оценивание оказывается очень эффективной технологией, так как является одним из вариантов, который применим при обучении на разных уровнях образования, специалистов разного профиля, способствует развитию личности и деятельности участников образовательных отношений, так как построен на принципе обратной связи. Отмечается, что принцип диалоговости максимально отвечает тем задачам, которые приходится решать в условиях новых ФГОС учителям и преподавателям высшей школы. Представлены результаты применения диалоговых тренажеров, разработанные авторским коллективом, для формирования и оценки уровня освоения универсальных педагогических компетенций, которые позволяют говорить о том, что отсутствуют различия по регионам. Также результаты не зависят от контингента учащихся и квалификации преподавателей, что является показателем их устойчивости и надежности. Значимые различия по курсам, позволившие выявить закономерность в увеличении времени решения и, соответственно, более высоких баллах от первого курса к четвертому, позволяют говорить о возможности тренажера отследить развитие компетентности будущих педагогов, формирование у них ответственности и более серьезного отношения к педагогическим ситуациям. Таким образом, диалоговые тренажеры являются эффективным средством формирующего оценивания, потому что являются интерактивными, содержат в себе обратную связь, в них заложены элементы, мотивирующие студентов к дальнейшему профессиональному развитию.
Ключевые слова: универсальные педагогические компетенции, формирующее оценивание, педагогическое образование, диалоговый тренажер, обратная связь
Источник финансирования: работа подготовлена в рамках государственного задания Министерства просвещения РФ на НИР «Научное обоснование и выработка методологии обеспечения преемственности ФГОС общего, среднего профессионального и высшего педагогического образования в интересах создания единого образовательного пространства подготовки педагогических кадров» (073-00109-22-02).
Для цитирования: Ледовская Т. В., Морозов А. С., Солынин Н. Э. Диалоговый тренажер как средство формирующего оценивания // Научно-педагогическое обозрение (Pedagogical Review). 2023. Вып. 4 (50). С. 141-152. https://doi.org/10.23951/2307-6127-2023-4-141-152
© Т. В. Ледовская, А. С. Морозов, Н. Э. Солынин, 2023
Original article
Interactive simulator as a means of formative assessment
Tatyana V. Ledovskaya1, Andrey S. Morozov2, Nikita E. Solynin3
i, 2, 3 Yaroslavl State Pedagogical University, Yaroslavl, Russia, Russian Federation
1 karmennnn@yandex.ru
2 andreimorozov.yspu@gmail.com
3 sonik7-39@yandex.ru
Abstract
The article shows that in the current situation of the development of the education system, new assessment methods are needed that favor the implementation of the principles of dynamics, development and accumulation of experience, expansion of educational results by students. Formative assessment turns out to be a very effective technology, as it is one of the options that is applicable when teaching at different levels of education, specialists of different profiles; promotes the development of personality and activity of participants in educational relations, as it is built on the principle of feedback. It is noted that the principle of dialogism maximally meets the tasks that teachers and teachers of higher education have to solve in the conditions of the new Federal State Educational Standards. The results of the use of interactive simulators for the formation and assessment of the level of development of universal pedagogical competencies developed by the author's team are shown, which allow us to say that there are no differences by region, do not depend on the contingent of students and the qualifications of teachers, which is an indicator of their stability and reliability. Significant differences in courses, which allowed us to deduce a pattern in increasing the decision time and, accordingly, higher scores from the 1st course to the 4th, allows us to talk about the possibility of the simulator to track the development of the competence of future teachers, the formation of their responsibility and a more serious attitude to pedagogical situations. Thus, interactive simulators are an effective means of formative assessment, because they are interactive, contain feedback, and they also contain elements that motivate students to further professional development.
Keywords: universal pedagogical competencies, formative assessment, pedagogical education, dialogue simulator, feedback
For citation: Ledovskaya T. V., Morozov A. S., Solynin N. E. Interactive simulator as a means of formative assessment [Dialogovyy trenazher kak sredstvo formiruyushchego otsenivaniya].
Nauchno-pedagogicheskoye obozreniye - Pedagogical Review, 2023, vol. 4 (50), pp. 141-152. https://doi.org/10.23951/2307-6127-2023-4-141-152
В современной ситуации развития системы образования в Российской Федерации, принимающей и адаптирующей под традиционные национальные ценности [1] существующие европейские и мировые тренды, постепенно происходит переход образовательных учреждений разного уровня на новые стандарты, что создает «вызовы» для специалистов разного уровня: администраторов, методистов, методологов, кураторов технопарков и многих других. В таких условиях формируется абсолютно новый пул задач, решение которых является первоочередным шагом для достижения современных требований к качеству образования и таким тенденциям, как преемственность образовательных результатов, поиск механизмов для ее обеспечения между разными ступенями обучения (например, аксиологический подход [2, 3]), а также определения новых принципов к организации непрерывности и повышения квалификации.
Важным является тот аспект, что программы высшего и планы непрерывного образования перешли к модели, основанной на новом подходе, в котором способности, необходимые для разных областей практики, называемые компетенциями, определяются как результаты обучения. Каждая из них содержит вехи, которые описывают этапы развития от новичка до мастера и предоставляют критерии для оценки учащихся в этом континууме. Соответственно, совершенно необходимы новые способы оценивания, благоприятствующие реализации принципов динамики, развития и нако-
пления опыта, расширению образовательных результатов обучающимися. В частности, в высших учебных заведениях все чаще звучат призывы отказаться от традиционных методов итоговой оценки, таких как письменные тестовые и контрольные работы в конце семестра, для изучения методов определения результатов обучения альтернативными способами. Например, средствами формирующей оценки, позволяющей повысить вовлеченность учащихся и сформировать у них чувство ответственности за собственное обучение [4].
Кроме того, поскольку онлайн- и смешанное обучение стали общей образовательной стратегией в современном образовании, преподавателям необходимо переосмыслить фундаментальные вопросы преподавания и оценивания в нетрадиционных пространствах. Эти вопросы включают такие понятия, как их обоснованность и надежность в онлайн-среде в отношении достижения намеченных образовательных результатов, а также понимание того, как формирующая оценка функционирует в рамках онлайн- и смешанного обучения. Исследования, касающиеся формирующего оценивания и его эффективности, начались достаточно давно и в различных областях образования. Одной из ранних публикаций, которые обнаружены, явился труд L. Ch. Koh, в котором указывается, что высококачественная формирующая оценка связана с положительными преимуществами в обучении. Формирующая оценка и обратная связь тесно связаны с улучшением качества обучения и должны быть интерактивными [5]. Показательным, по нашему мнению, является тот факт, что несомненной оказывается необходимость использования формирующего оценивания в преподавании разных областей науки и практики. В частности, как указывают H. E. Otto, F. Mandorli, при обучении информатике формирующее оценивание сочетает в себе способности восприятия, креативность и знания предметной области пользователя-человека [6]. В исследовании G. Pla-Campas с коллегами представлены результаты, показывающие, как формирующее оценивание влияет на развитие специфических и общих компетенций по предметам подготовки учителей на уровне высшего образования [7]. При переходе к учебным планам, основанным на результатах и компетенциях, указывается, что согласование формирующих с новыми итоговыми оценками является сложной задачей и требует исследования совместных действий ученика и учителя, не свойственных традиционным моделям поведения учителей [8].
Очевидно, что при обучении специалистов разного профиля преподаватели используют общие технологии, эффективность которых проверяется практикой, поэтому идея универсальности подходов представляется продуктивной, что находит выражение в разработке универсальных компетенций и, в частности, универсальных педагогических компетенций.
Вместе с тем обнаружены исследования, рассматривающие условия эффективного применения формирующего оценивания. J. W. Gikandi и коллеги делают вывод, что эффективное оценивание может способствовать сосредоточению внимания на обучении и оценке благодаря динамичной обратной связи и расширению взаимодействия учащихся [9]. Z. Yan, S. Pastore указывают на безусловную, решающую роль формирующей оценки в обучении и вместе с тем делают важный вывод о том, что не хватает теоретических инструментов, которые конкретно оценивают готовность учителей к такого рода деятельности [10.]. A. C. M. Yang, B. Flanagan, H. Ogata разработали специальную модель, измеряющую знания учащихся с учетом сложности содержания. Предлагаемая система сравнивалась с адаптивной (формирующей) системой оценки и традиционной неадаптивной. Эксперимент, проведенный среди студентов университета, показал, что учащиеся, которые использовали предлагаемую систему оценки, превзошли использовавших другие системы студентов с точки зрения успеваемости и участия в практических тестах и материалах для чтения [11]. В исследовании M. J. Veugen, J. T. M. Gulikers, P. den Brok рассматривается восприятие учителями и учащимися формирующей оценки, используемой учителями в классе. Эти мероприятия разделяются на пять этапов, которые вместе составляют цикл оценивания: разъяснение ожиданий, получение ответов, анализ и интерпретация, информирование о результатах и корректировка преподавания и обучения [12].
P. Sullivan с коллегами выявили влияние использования формирующего оценивания на благоприятное отношение учителей к новым технологиям, уверенность в их использовании и определенную независимость. Были обнаружены различия в показателях успешности использования формирующего оценивания между предметами, уровнями классов и классами. Учителя, использующие такую систему, могут повысить уровень своего профессионального развития, чтобы продолжать далее использование разнообразных технологий для формирующей оценки учащихся [13].
Итак, формирующее оценивание оказывается очень эффективной технологией, так как способствует не только улучшению знаниевого компонента, но также развитию личностных характеристик и саморегуляционных механизмов, связанных с учебной деятельностью. Кроме того, эта технология применима на разных уровнях образования (начальная школа - школа - колледж - вуз) и для разного контингента учащихся.
R. Say, D. Visentin, изучая вопросы формирующего оценивания, в качестве одного из инструментов рассматривают онлайн-тестирование с несколькими вариантами ответов, которое достаточно широко используется в том числе в качестве инструмента обучения и формирующей оценки в различных образовательных контекстах. Формирующие онлайн-тесты с несколькими вариантами ответов используются с хорошим эффектом в образовании, что измеряется получением знаний и успеваемостью на экзаменах, повышением уверенности и удовлетворенности учащихся, развитием навыков саморегуляции [14].
Получается, что личностные характеристики учителя, его опыт в применении формирующего оценивания сказываются на его эффективности. Поэтому несомненным преимуществом обладают дистанционные и интерактивные технологии оценивания, снижающие такое ситуационное явление. Кроме того, формирующее оценивание полезно для самого учителя, так как обеспечивает его личностное развитие и профессиональное становление.
При изучении разных образовательных технологий G. Hansen описывает ценность диалога как средства содействия согласованию понимания практики формирующего оценивания между преподавателем и студентом. Полученные автором результаты свидетельствуют о важности усилий учителей по развитию диалога во взаимном обучении, а также об активных усилиях и участии обеих сторон в таких формирующих мероприятиях, как самооценка, рефлексия в виде обратной связи и диалога [15]. Существуют исследования, показывающие различия в успеваемости учащихся, где используются такие типы педагогического вмешательства, как традиционное обучение с бумажными тестами и обучение с геймифицированными электронными тестами в качестве формирующих оценок. Результаты показали, что использование инновационных игровых приложений, электронных викторин более эффективно для оценки успеваемости учащихся, особенно в качестве формирующей оценки после завершения каждой темы [16]. Диалоговые тренажеры помогают в образовательном процессе независимо от контингента обучающихся [17]. Диалоговый тренажер представляет собой диалог между двумя и более персонажами с возможностью выбора варианта ответной реплики одного из персонажей. Достоинствами диалогового тренажера также являются: тематическое единство, подразумевающее сюжет игры и зависимость реплик персонажей; визуализация персонажей, позволяющая слушателю давать ответы не от собственного лица, что снижает стресс, который испытывает обучающийся при тестировании [18]. К технологическим особенностям интерактивного оборудования относятся следующие: обратная связь; диалоговое взаимодействие; информационная насыщенность; показ изучаемых явлений в развитии и динамике; реальность отображения действительности [19].
Таким образом, обзор литературных источников позволяет сделать следующие обобщения и заключения. Формирующее оценивание, безусловно, является одним из эффективнейших вариантов, которые применимы при обучении на разных уровнях образования (от школы до повышения квалификации), специалистов разного профиля (образование, медицина, информатика, естествен-
ные науки, иностранные языки). Механизм осуществления такой оценки способствует развитию личности и деятельности участников образовательных отношений, так как построен на принципе обратной связи. Реализация формирующего подхода, по крайней мере в настоящее время, более эффективна в режимах современных дистанционных технологий и геймификации проверки знаний и умений. Принцип диалоговости максимально отвечает тем задачам, которые приходится решать в условиях новых ФГОС учителям и преподавателям высшей школы. Получается, что обзор технологий позволяет заключить, что именно интерактивный диалоговый инструмент является оптимальным и продуктивным. Именно поэтому для формирования и оценки уровней развития универсальных педагогических компетенций (УПК) в рамках реализации государственного задания были разработаны диалоговые тренажеры (свидетельство о государственной регистрации базы данных № 2022622125).
Для определения возможностей формирующего оценивания в контексте изучения сформирован-ности УПК у обучающихся использованы диалоговые тренажеры. С технической точки зрения, каждый тренажер представляет собой SCORM-пакет - формат и стандарт электронного обучения, суть которого заключается в возможности получать статистику прохождения материала посредством отправки результатов в систему дистанционного обучения (СДО). Статистика, которую получает СДО по итогам прохождения диалогового тренажера, определяется, с одной стороны, возможностями средства разработки (в нашем случае это редактор диалогов iSprmgTalkMaster, входящий в состав ПО iSprmgSшte) и, с другой стороны, настройками, которые определяет автор-создатель диалогового тренажера: установкой критерия успешности прохождения тренажера, способом начисления баллов и т. п.
Для оценки полученных после выполнения интерактивных заданий результатов использовались первичные описательные статистики, а также методы вторичной математической обработки: оценка значимости различий по и-критерию Манна - Уитни и Н- критерию Краскела - Уоллиса. Для получения более общей картины и более полного понимания итогов на этапе обсуждения результатов применена экспертная оценка.
Общеизвестно, что в настоящее время сформулированы девять универсальных педагогических компетенций, содержание которых адаптировано к каждому уровню образования. Условно они делятся на три группы: антропоцентрические, акмеологические и социальные. В контексте решения поставленных задач авторским коллективом (Р. П. Анисимова, Е. О. Иванова, Т. В. Ледовская, Т. В. Макеева, Н. Э. Солынин, И. Ю. Тарханова, И. Г. Харисова) были разработаны диалоговые тренажеры для каждого уровня образования. Соответственно, для каждой УПК создано по четыре таковых. Внутри заложена определенная ситуация (подготовка к педсовету, конфликт в классе, адаптация нового учащегося и т. п.), затем предлагаются несколько вариантов ответа, каждому из которых присваивается определенный балл, в зависимости от его правильности. После ответов предлагается обратная связь, позволяющая выполняющему задание ученику увидеть ошибку, если она была, и понять перспективы для работы над дефицитами в знаниях. Задачей являлась проверка эффективности разработанных тренажеров. Понимая невозможность подробного описания итогов апробации на всех уровнях образования, сосредоточимся на одном, своего рода промежуточном, среднем профессиональном.
Базу исследования составили: Угличский индустриально-педагогический колледж (УИПК) (164 студента), Ростовский педагогический колледж (РПК) (281 студент) и Ярославский педагогический колледж (ЯПК) (439 студентов), с первого по четвертый курс разных направлений подготовки. Для оценки эффективности тренажеров представляется необходимым осуществить анализ количественных показателей, таких как успешность освоения компетентности, а также уровни ее сформированности (высокий, средний, низкий).
Каждый диалоговый тренажер содержательно имитирует ту или иную проблемную ситуацию, предлагая участнику разрешить ее наилучшим образом. Фоном для каждого задания служит лока-
ция, в которой происходит действие рассматриваемой ситуации, а в качестве собеседника выступает тот или иной персонаж, соответствующий этой ситуации.
Прохождение диалогового тренажера происходит в рамках окна, элементов плеера и кнопок, с помощью которых ученик перемещается с одного экрана на другой. Отображаемый контент курса адаптируется под размер любого устройства, на котором он воспроизводится. Каждое задание состоит из вопросов, количество которых определяется сценарием проблемной ситуации и может, при необходимости, расширяться или сужаться. Количество вопросов в разработанных инструментах варьируется от трех до шести.
Любой оцениваемый вопрос диалогового тренажера содержит ряд возможных ответов, один из которых должен выбрать ученик. Все ответы ранжированы по степени их правильности/допустимости в конкретной ситуации, начиная от неправильных к допустимым и правильным. Каждому из ответов соответствует балл, который ученик получает после выбора конкретного ответа. При этом за неправильные ответы ученик не получает никакой балл (фактически же получает 0 баллов). За допустимые или правильные ответы ученик получает от 1 до 3 баллов - в зависимости от конкретного вопроса.
За каждым ответом ученика на оцениваемый вопрос всегда следует развернутая обратная связь - почему тот или иной ответ правильный или неправильный, допустим или недопустим. После выбора правильного/допустимого ответа и знакомства с развернутой обратной связью ученик переходит к следующему вопросу; после выбора неправильного ответа и знакомства с развернутой обратной связью ученику предлагается возвратиться к текущему вопросу и ответить на него по-другому. При этом даже если ученик ответит на вопрос правильно, балл за него начислен уже не будет. Таким образом, по завершении выполнения задания - после ответа на последний вопрос и получения положительной обратной связи - ученик знакомится с результатом прохождения, который представлен в формате «количество набранных баллов - расшифровка результата», описывающем уровень сформированности той или иной компетенции.
Критерий успешности прохождения диалогового тренажера (тренажер пройден успешно/неуспешно) определялся отдельно, в зависимости от максимально возможного количества набираемых баллов. Общая логика успешности заключается в том, что успешно пройденным диалоговый тренажер считается в том случае, если результат его прохождения соответствует как минимум среднему уровню сформированности компетенции, определяемому по количеству набранных баллов.
Работа учеников с диалоговыми тренажерами в колледжах проходила в специально оборудованных аудиториях с персональными компьютерами с возможностью выхода в интернет и в рамках системы дистанционного обучения, установленной в учебном заведении. В настоящем исследовании такими системами дистанционного обучения выступали LMSMoodle и LMSMirapoПs. Ученики проходили все девять тренажеров друг за другом; жестких ограничений времени, которые могли бы способствовать невнимательному изучению вопросов и ответов на них, не наблюдалось. Данные, которые мы получили по итогам апробации диалоговых тренажеров в колледжах, ограничиваются следующими категориями: набранный балл по тренажеру, затраченное время на прохождение тренажера, специальность ученика, курс ученика. Результаты прохождения диалоговых тренажеров получились следующие (табл. 1-3).
Анализ результатов прохождения диалоговых тренажеров в первом же приближении позволяет выявить особенности: высокий процент (по сравнению с остальными тренажерами) неуспешного прохождения двух тренажеров на антропоцентрические УПК: УПК 1 (способность осуществлять педагогическую деятельность в соответствии с потребностями личности и общества) и УПК 2 (способность к развитию личностного потенциала обучающихся в рамках организации учебной и воспитательной деятельности).
Таблица 1
Результаты прохождения диалоговых тренажеров (антропоцентрические УПК), %
Низкий Средний Высокий
УПК Учреждение Пройдено успешно Пройдено неуспешно уровень сформирован-ности уровень сформирован-ности уровень сформирован-ности
ЯПК 49 51 51 47 2
УПК 1 УИПК 58 42 42 54 4
РПК 65 35 34,875 61,566 3,559
ЯПК 44 56 56,3 40,3 3,4
УПК 2 УИПК 32 68 68 29 3
РПК 32 68 68 28 4
ЯПК 100 0 0 49 51
УПК 3 УИПК 98 2 2 50 48
РПК 96 4 4 54 42
Таблица 2
Результаты прохождения диалоговых тренажеров (акмеологические УПК), %
Низкий Средний Высокий
УПК Учреждение Пройдено успешно Пройдено неуспешно уровень сформирован-ности уровень сформирован-ности уровень сформирован-ности
ЯПК 95 5 4,8 32,6 62,6
УПК 4 УИПК 94 6 5,5 42,5 52
РПК 93 7 7,5 42,3 50,2
ЯПК 98 2 2 58 40
УПК 5 УИПК 93 7 7,1 67,5 25,4
РПК 96 4 4 68 28
ЯПК 100 0 0 11 89
УПК 6 УИПК 98 2 1,6 12,8 85,6
РПК 100 0 0 11 89
Таблица 3
Результаты прохождения диалоговых тренажеров (социальные УПК), %
Низкий Средний Высокий
УПК Учреждение Пройдено успешно Пройдено неуспешно уровень сформирован-ности уровень сформирован-ности уровень сформирован-ности
ЯПК 99 1 1 41 58
УПК 7 УИПК 98 2 2 42 56
РПК 98 2 2,5 43,1 54,4
ЯПК 100 0 0 3 97
УПК 8 УИПК 99 1 1 9 90
РПК 100 0 0,4 6,4 93,2
ЯПК 99 1 1 14 85
УПК 9 УИПК 97 3 2,6 24,6 72,8
РПК 96 4 4 23 73
Высокий процент успешного прохождения с высоким уровнем сформированности УПК в трех тренажерах (один на акмеологические и два на социальные УПК): УПК 6 (способность корректировать педагогическую деятельность на основе обратной связи), УПК 8 (способность создавать комфортную и психологически безопасную развивающую образовательную среду) и УПК 9 (способность осуществлять социально-педагогическое партнерство в рамках реализации основных и дополнительных образовательных программ).
На следующем этапе анализа результатов проводилась вторичная статистическая обработка. Первоначально осуществлялась оценка значимости различий по и-критерию Манна - Уитни и по Н-критерию Краскела - Уоллиса, которая показала, что в обеих выборках прослеживается динамика в результативности прохождения диалоговых тренажеров (рис. 1).
На некоторых курсах эта динамика носит нелинейный характер: так, например, время выполнения тренажера, направленного на оценивание и формирование УПК 1 (способность осуществлять педагогическую деятельность в соответствии с потребностями личности и общества) увеличивается от первого к четвертому курсу (и = 1541,000 при р < 0,01), однако увеличивается и количество баллов, набранное студентами (Н = 7,887 при р < 0,05), то есть в процессе обучения в педагогическом колледже у студентов формируется способность осуществлять педагогическую деятельность в соответствии с потребностями личности и общества вместе со способностью корректировать педагогическую деятельность на основе обратной связи - УПК 6 (время) (и = 1851,500 при р < 0,001, балл Н = 10,245 при р < 0,05).
Социальные компетенции УПК 7 (способность к организации взаимодействия с участниками образовательных отношений на основе сотрудничества и взаимопомощи), УПК 8 (способность создавать комфортную и психологически безопасную развивающую образовательную среду) показывают динамику и во времени выполнения, и в результативности, то есть мы отмечаем именно сущность формирующего оценивания в отношении этих компетенций. Способность к организации взаимодействия с участниками образовательных отношений на основе сотрудничества и взаимопомощи (балл - и = 16,044 при р < 0,01; время - и = 6253,000 при р < 0,01) и способность создавать комфортную и психологически безопасную развивающую образовательную среду (балл -и = 2425,000 при р < 0,01; время - Н = 19,585 при р < 0,001) развивается в процессе обучения в колледже. Только время выполнения изменяется в УПК 2 (способность к развитию личностного потенциала обучающихся в рамках организации учебной и воспитательной деятельности) (Н = 10,517 при р < 0,05), УПК 3 (способность к проектированию образовательных и воспитательных событий для обогащения субъективного опыта обучающихся) (Н = 17,732 при р < 0,001), УПК 4 (способность к системному проектированию профессиональной педагогической деятельности) (Н = 17,888 при р < 0,001), УПК 5 (способность к непрерывному профессионально-педагогическому развитию) (Н = 12,048 при р < 0,01), УПК 9 (способность осуществлять социально-педагогиче-скоепартнерствоврамках реализации основныхидополнительныхобрстовательныхирограмм) (Н = 22,559 при р < 0,001).
Вместе с этим необходимо определить, что ни в одной компетенции не происходит изменения в результативности без отрыва от времени выполнения тренажера, то есть можно отметить именно
УПК1 балл УПК1 время УПК6 балл УПК6 время УПК7 балл УПК7 время УПК8 балл УПК8 время
1 курс ■ 2 курс ■ 3 курс С 4 курс
Рис . 1. Анализ средних показателей выполнения тренажеров
14
12
10
I I
УПК1 балл
УПК2 балл
УПК3 балл
УПК4 балл
УПК5 балл
УПК6 УПК7балл УПК8 балл балл
УПК9 балл
Ярославль ■ Ростов
Рис . 2 . Оценка выраженности регионального компонента эффективности выполнения тренажеров формирование данных компетенцийвконтексте оценивании: для улучшениярезультатастудентам необходимо щзилагать иболылееколичество времени.
Сравнительная характеристика результатов использования диалоговых тренажеров двух колледжей Ярославской области показала отсутствие роли регионального компонента в итогах формирующего оценивагбяСрис. 2) .
С однбтстдтнньлсяеудщсдпозицоитнастуящийбоментдынгмоыендебать точных выводов на основании представленных результатов, так как процент успешной/неуспешной проходимости каждого из тренажеровттел или инымуровнемеЦюруофованносеи УГЖможут быть следствием не стольгнили нкттйько недясдаткаопдедуврыных збтисН,оннесовершеонтвомсамныди£ыаго-вых тренажеров: сложностью формулировок, легкостью вопросов, очевидностью ответов и т. п. Однако памятуя о том, что одна из функций диалога - это формирование знаний и повышение мотивации к оТйчению,ттукжеориыбяврлясьны вдеи Р.МоПп, А. ТеТгшп, С.Нае1егттдн,у:ы можем говорить о своего рода метакогнитивных подсказках, которые полезны для учащихся и преподавателей, так как являются стимулами последующего обучения [20].
С друьойсялдоны, пбо^еноыеретyлькaтУIпoзвоуяюуоныepждaть нвыяснот разработанные ьвтясттмм 1н^сш^1^июн форощтующш уинооговыд тренешерот. ЕЫчалп^(^(^ны^е-зультаты математического анализа демонстрируют отсутствие различий по регионам, не зависят от контингента учащихся и квалификации преподавателей, что является показателем устойчивости и надежностиукенджыра.Кбомстого, ыитнимые разлтио покурсам, позволившиевыявиуь лакуно-мерность в увеличении времени решения и, соответственно, более высоких баллов от первого курса к четвертому, позволяют говорить о возможности тренажера отследить развитие компетентности будущих педрооывс, фopмзбтзяниенпнп с^тве^т^стве^еюотии бттие тна^^знн^о отзяшения к педагогическим
На следующем этапе обсуждения представляем итоги экспертной оценки педагогами-практиками (преподавателиук^инныдортонизацш^т таоже ведощиeмeтoзиc^ыиpнкoвoдитe.ьиoтдулов по инновасисуыым тлxнoлтгст]дI.Ы втеoмкнтyльоaтыпялoжыуe насзывaeявя,нвоcудывжа-
ние продукта соответствует уровню среднего профессионального образования; диалоговый тренажер является инструментом, позволяющим произвести оценку компетентностно-ориентированного образовательного результата; применение педагогами нового формата контрольно-измерительных материалов допустимо в процессе обучения, при организации текущего контроля, направленного на осознание студентами значимости УПК для их профессиональной успешности; диалоговые тренажеры целесообразно использовать в массовой практике; студенты отмечают пользу продукта для собственного профессионального развития, а также повышения профессиональной мотивации.
8
6
4
2
0
Вместе с тем эксперты определили и некоторые «точки роста» для дальнейшего совершенствования используемой технологии. В частности, указывается, что некоторые задания вызвали затруднения у большинства участников исследования (семинар по психологии младшего школьника), имеется рекомендация, что следует включить в содержание видеофрагменты, а также о пространности некоторых вариантов ответов.
Результаты данного исследования позволяют сделать вывод, основанный как на анализе теории, так и обширного эмпирического материала: диалоговые тренажеры являются эффективным средством формирующего оценивания, потому что являются интерактивными, содержат в себе обратную связь, а также элементы, мотивирующие студентов к дальнейшему профессиональному развитию. Наличие одинаковых тенденций в различных педагогических колледжах позволяет заключить, что тренажеры являются универсальными, устойчивыми и надежными инструментами. Они позволяют оценить компетентностно-ориентированный образовательный результат. Вместе с тем имеются перспективы для дальнейшего исследования: необходима корректировка некоторых вариантов ответов, усложнение/упрощение формулируемых заданий и т. д.
Список источников
1. Ценности педагогического образования: история и современное состояние / Л. Н. Данилова, Т. В. Ледовская, Д. С. Молоков и др.; под науч. ред. А. М. Ходырева. Ярославль: Ярославский гос. пед. ун-т им. К. Д. Ушин-ского, 2020. 175 с.
2. Ходырев А. М. Проблема изучения ценностей педагогической деятельности // Ярославский пед. вестник. 2020. № 2 (113). С. 34-40.
3. Харисова И. Г., Макеева Т. В., Казакова Е. И., Тарханова И. Ю. Выявление ценностно-смысловых ориентиров профессиональной педагогической деятельности с позиции социально-профессиональной общности современного учительства // Science for Education Today. 2021. Т. 11, № 5. С. 7-26.
4. Brun A. De, Rogers L., Drury A. Gilmore, B. Evaluation of a formative peer assessment in research methods teaching using an online platform: A mixed methods pre-post study // Nurse Education Today. 2022. Vol. 108. Р. 105166.
5. Koh L. C. Academic staff perspectives of formative assessment in nurse education // Nurse Education in Practice. 2010. Vol. 10, Iss. 4. P. 205-209.
6. Otto H. E., Mandorli F. Advancing formative assessment in MCAD education: The visual analytics of parametric feature-based solid models // Advanced Engineering Informatics. 2021. Vol. 48. Р. 101308.
7. Pla-Campas G., Arumi-Prat J., Senye-Mir A. M., Ramirez E. Effect of Using Formative Assessment Techniques on Students' Grades // Procedia - Social and Behavioral Sciences. 2016. Vol. 228. P. 190-195.
8. Gulikers J. T. M., Biemans H. J. A., Wesselink R., van der Wel M. Aligning formative and summative assessments: A collaborative action research challenging teacher conceptions // Studies in Educational Evaluation. 2013. Vol. 39, Iss. 2. P. 116-124.
9. Gikandi J. W., Morrow D., Davis N. E. Online formative assessment in higher education: A review of the literature // Computers & Education. 2011. Vol. 57, Iss. 4. P. 2333-2351.
10. Yan Z., Chiu M. M., Cheng E. C. K. Predicting teachers' formative assessment practices: Teacher personal and contextual factors. // Teaching and Teacher Education. 2022. Vol. 114. Р. 103718.
11. Yang A. C. M., Flanagan B., Ogata H. Adaptive formative assessment system based on computerized adaptive testing and the learning memory cycle for personalized learning // Computers and Education: Artificial Intelligence. 2022. Vol. 3.
12. Veugen M. J., Gulikers J. T. M., den Brok P. We agree on what we see: Teacher and student perceptions of formative assessment practice // Studies in Educational Evaluation. 2021. Vol. 70. Р. 101027.
13. Sullivan P., McBrayer J. S., Miller S., Fallon K. An Examination of the use of computer-based formative assessments // Computers & Education. 2021. Vol. 173. P. 178-202.
14. Say R., Visentin D., Cummings E., Carr A., King C. Formative online multiple-choice tests in nurse education: An integrative review // Nurse Education in Practice. 2022. Vol. 58. Р. 103262.
15. Hansen G. Formative assessment as a collaborative act. Teachers' intention and students' experience: Two sides of the same coin, or? // Studies in Educational Evaluation. 2020. Vol. 66. Р. 100904.
16. Zainuddin Z., Shujahat M., Haruna H., Chu S. K.W. The role of gamified e-quizzes on student learning and engagement: An interactive gamification solution for a formative assessment system // Computers & Education. 2020. Vol. 145. Р. 103729.
17. Лебедева Т. Н. Диалоговые тренажеры в образовании // Актуальные проблемы развития общего и высшего образования: XVIII межвузовский сб. науч. тр. Челябинск: Край Ра, 2022. С. 232-239.
18. Кочубей А. В., Кочубей В. В. Эффективность компьютерного диалогового тренажера в образовательном процессе организаторов здравоохранения // Виртуальные технологии в медицине. 2017. № 1 (17). С. 46-47.
19. Артюхина М. С. Особенности современных средств обучения в контексте интерактивных технологий // Вестник Российского ун-та дружбы народов. Серия: Информатизация образования. 2014. № 2. С. 76-81.
20. Molin F., Bruin A. de, Haelermans C. A conceptual framework to understand learning through formative assessments with student response systems: The role of prompts and diagnostic cues // Social Sciences & Humanities Open. 2022. Vol. 6, Iss. 1.
References
1. Danilova L. N., Ledovskaya T. V., Molokov D. S. et al. Tsennosti pedagogicheskogo obrazovaniya: istoriya i sovremennoye sostoyaniye [Values of pedagogical education: history and current state]. Ed. A. M. Khodyreva. Yaroslavl, YSPU Publ., 2020. 175 p. (in Russian).
2. Khodyrev A. M. Problema izucheniya tsennostey pedagogicheskoy deyatel'nosti [The problem of studying the values of pedagogical activity]. Yaroslavskiy pedagogicheskiy vestnik - Yaroslavl Pedagogical Bulletin, 2020, no. 2(113), pp. 34-40 (in Russian).
3. Kharisova I. G., Makeyeva T. V., Kazakova E. I., Tarkhanova I. Yu. Vyyavleniye tsennostno-smyslovykh oriyentirov professional'noy pedagogicheskoy deyatel'nosti s pozitsii sotsial'no-professional'noy obshchnosti sovremennogo uchitel'stva [Identification of value-semantic orientations of professional pedagogical activity from the position of the socio-professional community of modern teaching]. Science for Education Today, 2021, vol. 11, no. 5, pp. 7-26 (in Russian).
4. Brun A. De, Rogers L., Drury A. Gilmore, B. Evaluation of a formative peer assessment in research methods teaching using an online platform: A mixed methods pre-post study. Nurse Education Today, 2022, vol. 108, p. 105166.
5. Koh L. C. Academic staff perspectives of formative assessment in nurse education. Nurse Education in Practice, 2010, vol. 10, iss. 4, pp. 205-209.
6. Otto H. E., Mandorli F. Advancing formative assessment in MCAD education: The visual analytics of parametric feature-based solid models. Advanced Engineering Informatics, 2021, vol. 48, p. 101308.
7. Pla-Campas G., Arumi-Prat J., Senye-Mir A. M., Ramirez E. Effect of Using Formative Assessment Techniques on Students' Grades. Procedia - Social and Behavioral Sciences, 2016, vol. 228, pp. 190-195.
8. Gulikers J. T. M., Biemans H. J. A., Wesselink R., van der Wel M. Aligning formative and summative assessments: A collaborative action research challenging teacher conceptions. Studies in Educational Evaluation, 2013, vol. 39, iss. 2, рp. 116-124.
9. Gikandi J. W., Morrow D., Davis N. E. Online formative assessment in higher education: A review of the literature. Computers & Education, 2011, vol. 57, iss. 4, pp. 2333-2351.
10. Yan Z., Chiu M. M., Cheng E. C. K. Predicting teachers' formative assessment practices: Teacher personal and contextual factors. Teaching and Teacher Education, 2022, vol. 114, p. 103718.
11. Yang A. C. M., Flanagan B., Ogata H. Adaptive formative assessment system based on computerized adaptive testing and the learning memory cycle for personalized learning. Computers and Education: Artificial Intelligence, 2022, vol. 3.
12. Veugen M. J., Gulikers J. T. M., den Brok P. We agree on what we see: Teacher and student perceptions of formative assessment practice. Studies in Educational Evaluation, 2021, vol. 70, p. 101027.
13. Sullivan P., McBrayer J. S., Miller S., Fallon K. An Examination of the use of computer-based formative assessments. Computers & Education, 2021, vol. 173, pp. 178-202.
14. Say R., Visentin D., Cummings E., Carr A., King C. Formative online multiple-choice tests in nurse education: An integrative review. Nurse Education in Practice, 2022, vol. 58, p. 103262.
15. Hansen G. Formative assessment as a collaborative act. Teachers' intention and students' experience: Two sides of the same coin, or? Studies in Educational Evaluation, 2020, vol. 66, p. 100904.
16. Zainuddin Z., Shujahat M., Haruna H., Chu S. K.W. The role of gamified e-quizzes on student learning and engagement: An interactive gamification solution for a formative assessment system. Computers & Education, 2020, vol. 145, p. 103729.
17. Lebedeva T. N. Dialogovye trenazhery v obrazovanii [Interactive simulators in education]. Aktual'nye problemy razvitiya obshchego i vysshego obrazovaniya: XVIII mezhvuzovskiy sbornik nauchnykh trudov [Actual problems of development of general and higher education: XVIII interuniversity collection of scientific papers]. Chelyabinsk, Kray Ra Publ., 2022. Pp. 232-239 (in Russian).
18. Kochubey A. V, Kochubey V V. Effektivnost' komp'yuternogo dialogovogo trenazhera v obrazovatel'nom protsesse organizatorov zdravookhraneniya [The effectiveness of a computer interactive simulator in the educational process of health care organizers]. Virtual'nye tekhnologii v medicine - Virtual technologies in medicine, 2017, no. 1 (17), pp. 46-47 (in Russian).
19. Artyukhina M. S. Osobennosti sovremennykh sredstv obucheniya v kontekste interaktivnykh tekhnologiy [Features of modern learning tools in the context of interactive technologies]. Vestnik Rossiyskogo universiteta druzhby narodov. Seriya: Informatizatsiya obrazovaniya - Bulletin of the Peoples' Friendship University of Russia. Series: Informatization of education, 2014, no. 2, pp. 76-81 (in Russian).
20. Molin F., Bruin A. de, Haelermans C. A. Conceptual Framework to Understand Learning Through Formative Assessments with Student Response Systems: The Role of Prompts and Diagnostic Cues. Social Sciences & Humanities Open, 2022, no. 6, iss. 1, р. 100323.
Информация об авторах
Ледовская Т. В., кандидат психологических наук, доцент, Ярославский государственный педагогический университет им. К. Д. Ушинского (ул. Республиканская, 108/1, Ярославль, Россия, 150000). E-mail: karmennnn@yandex.ru
Морозов А. С., руководитель лаборатории, Ярославский государственный педагогический университет им. К. Д. Ушинского (ул. Республиканская, 108/1, Ярославль, Россия, 150000) E-mail: andreimorozov.yspu@gmail.com
Солынин Н. Э., кандидат психологических наук, доцент, Ярославский государственный педагогический университет им. К. Д. Ушинского (ул. Республиканская, 108/1, Ярославль, Россия, 150000). E-mail: sonik7-39@yandex.ru
Information about the authors
Ledovskaya T. V., Candidate of Psychological Science, Associate Professor, Department of Pedagogical Psychology, Yaroslavl State Pedagogical University (ul. Respublikanskaya, 108/1, Yaroslavl, Russian Federation, 150000). E-mail: karmennnn@yandex.ru
Morozov A. S., Head of the Laboratory, Yaroslavl State Pedagogical University named after K. D. Ushinsky (ul. Respublikanskaya, 108/1, Yaroslavl, Russian Federation, 150000). E-mail: andreimorozov.yspu@gmail.com
Solynin N. E., Candidate of Psychological Science, Associate Professor, Department of Pedagogical Psychology, Yaroslavl State Pedagogical University (ul. Respublikanskaya, 108/1, Yaroslavl, Russian Federation, 150000). E-mail: sonik7-39@yandex.ru
Статья поступила в редакцию 13.12.2022; принята к публикации 03.07.2023 The article was submitted 13.12.2022; accepted for publication 03.07.2023
