CC BY
24
УДК 004.853
05.00.00 Технические науки
МЕТОДИКА ФОРМИРОВАНИЯ ОЦЕНКИ ЗНАНИЙ В РАМКАХ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ
Частикова Вера Аркадьевна к.т.н., доцент
РИНЦ SPIN-код: 4525-0290 chastikova va@mail.ru
Колесник Николай Михайлович аспирант
dakarx@icloud. com
Кубанский государственный технологический университет, Краснодар, Россия
В данной статье рассмотрены подходы к передаче знаний обучающимся и объективной оценки знаний с применением автоматизированных средств. Проанализированы характерные особенности и возможности использования когнитивных методов обучения, а также комплексных систем проверки навыков и теоретической базы обучаемых. Описаны проблемы развития данного направления и возможные пути их решения. Введены основные понятия и рассмотрены существующие методы вычисления среднего балла при проверке знаний ученика, разработан новый подход к решению данной задачи. На основе проведенных исследований предложено использование комплексной системы тестирования конечных пользователей, включающей в себя: проведение тестирования, мониторинг, сбор, анализ и отображение результатов студентов/групп/потока. Сформулированы основные требования к созданию подобного комплекса и правила, которым необходимо следовать для более объективной оценки знаний, представлена модель комплексной модульной системы
Ключевые слова: ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ, КОГНИТИВНОЕ УЧЕНИЧЕСТВО, МЕТОДИКИ ТЕСТИРОВАНИЯ, МОНИТОРИНГ УСПЕВАЕМОСТИ, ОБУЧЕНИЕ
Рок 10.21515/1990-4665-130-052
UDC 004.853 Technical sciences
METHODIC OF KNOWLEDGE ASSESSMENT WITHIN THE FRAMEWORK OF THE AUTOMATED TESTING SYSTEM
Chastikova Vera Arkadyevna Cand.Tech.Sci., associate professor RSCI SPIN-code: 4525-0290 chastikova_va@mail.ru
Kolesnik Nikolay Mikhailovich postgraduate student dakarx@icloud. com
Kuban State Technological University, Krasnodar, Russia
In this article, we consider approaches to the transfer of knowledge to students and an objective semiautomatic assessment of knowledge. The characteristic features of the application and the possibility of using cognitive training methodologies and complex systems for testing skills and the theoretical base of trainees are analyzed. The problems of development of this direction and possible ways of their solution are described. The basic concepts are introduced and the existing methods of calculating the average score for checking the student's knowledge are considered, and a new approach to solving this problem is proposed. Based on the conducted researches it is offered to use the complex system of testing of end users, which includes testing, monitoring, collecting, analyzing and displaying the results of students/groups/ course. The main requirements for the creation of such a complex and the rules to be followed are formulated for a more objective assessment of knowledge. A model of an integrated modular system for objective semi-automatic testing of knowledge through testing is described
Keywords: INTELLECTUAL SYSTEMS, COGNITIVE APPRENTICESHIP, TESTING METHODS, MONITORING PROGRESS, TRAINING
1. Введение
В наши дни традиционный метод обучения в классе остается самой популярной методикой преподавания и может оставаться в приоритете у преподавателей, придерживающихся консервативных взглядов, в течение
довольно длительного времени. Стандартные мел и диалог с учениками имеют несколько недостатков, включая ограниченное время, которое тратится не только на учебный материал, недостаточное внимание учителя и трудности передачи опыта реальных ситуаций. Из-за всех этих недостатков инновационные интерактивные методики обучения набирают популярность в сфере образования. В современную эпоху обучение требует больше знаний о существующих концепциях и путях решения одной и той же задачи, а также повышения уровня взаимодействия со студентами, где они могут получать от преподавателя больше, чем при стандартном следовании курсу. Тем не менее, компьютерное обучение уже имеет относительно длинную историю, и было доказано его положительное влияние на количество пройденного материала, а также на время, необходимое для его изучения.
Легкая доступность материала при использовании средств автоматизации достигается с помощью графики, анимации, видео- и аудиосредств, а также интерактивных модулей. Внедрение искусственного интеллекта в области образования, в свою очередь, может обеспечить более глубокий уровень взаимодействия обучающихся с материалами курса.
Системы, основанные на искусственном интеллекте (ИИ), нашли широкое применение в области образования, где знание всегда развивается и характеризуется неопределенностью. [4] При разработке автоматизированных систем передачи и/или проверки знаний основным вопросом является передача знаний пользователю и их объективная оценка. Из существующих подходов к обучению можно выделить методологию под названием «когнитивное ученичество».
2. Когнитивное ученичество
Когнитивное (познавательное) ученичество - это теория, которая предлагает описание негласных процессов и возможностей их
использования. Она предполагает, что люди учатся друг у друга путем наблюдения, имитации и моделирования.
В 1988 году Коллинз А., Браун Д.С. и Ньюман С.Е. разработали шесть методов обучения - моделирование, тренировка с наставником, поддержка, артикуляция, отражение и исследование. Они позволяют обучающимся использовать когнитивные и метакогнитивные стратегии "использовать, управлять и открывать знания". [3]
1. Моделирование.
Эксперты (как правило, преподаватели или наставники) демонстрируют задачу в явном виде. А обучаемые, в свою очередь, строят концептуальную модель задачи. Например, учитель математики может расписать явные шаги и решать задачу вслух, демонстрируя свои навыки и знания процедур.
2. Тренировка с наставником (экспертом).
Во время тренировок эксперт дает обратную связь и подсказки для начинающих «на ходу».
3. Поддержка.
В некоторых случаях специалист может помочь с различными аспектами задачи, которые ученик не может еще выполнитть самостоятельно.
4. Артикуляция.
МакЛеллан Т.М. описывает артикуляцию, (1) как разделение составных знаний и использование навыков более эффективного их изучения, (2) более распространенное, как демонстрация знаний и процессов мышления для их выявления и прояснения. Этот процесс заставляет обучающихся формулировать свои знания, правильно выстраивать мысли или продумывать процесс решения проблем в некоторой предметной области. Такой подход может включать в себя метод обучения уточняющими и наводящими вопросами, при котором
преподаватели задают их студентам, что позволяет им уточнить и пересчитать уже полученные результаты и сформировать четкие концептуальные модели. Также выделяется размышление вслух учениками, чтобы учиться выстраивать свои мысли и правильно формулировать вопросы и ответы при решении проблем. При подобном подходе обучаемые принимают важнейшую роль мониторинга и передачи навыков друг другу в совместной деятельности.[2]
5. Отражение.
Отражение позволяет студентам "сравнить свои собственные пути решения задач с экспертным, а также с решениями других студентов, и, в конечном счете, с внутренней когнитивной моделью знаний".[1] Данная методика помогает изучить предыдущие решения экспертов и новичков, чтобы выделить общие черты и различия. Цель рефлексии для студентов -оглянуться назад и проанализировать свои прошлые исследования и результаты и улучшить их, приближаясь к поведению эксперта.
6. Исследование.
Исследование включает в себя предоставление студентам площадки для самостоятельного решения проблемы, обучение исследовательским стратегиям. Оно позволяет выделить наиболее интересные проблемы в пределах домена, а затем взять на себя инициативу найти решение этих проблем. [3]
Преподавателю не всегда удобно уделять достаточно большое количество времени каждому учащемуся лично для развития его индивидуальных навыков и передачи своего опыта в полной мере, что вызывает ряд проблем при использовании некоторых из указанных методов.
Рассмотренные методы обучения показали свою эффективность во многих западных учебных заведениях, а отдельные приемы используются преподавателями повсеместно. Однако, оптимизация эффективности
достигается посредством эксплуатации большего количества из описанных средств и их корреляции между собой.
3. Проверка полученных знаний
Для выявления уровня подготовленности на наборах тестовых заданий существует два принципиально разных подхода - классическая тестология (Classical Test Theory, CTT) и современная теория моделирования и параметризации педагогических тестов (Item Response Theory, IRT).
В основу классической теории тестов положена модель измерений на основе следующего соотношения: х= ту + (ti
где Xi - наблюдаемый (эмпирический) тестовый балл i-го испытуемого для некоторого теста; Ti - неизвестный истинный тестовый балл i-го испытуемого; X - ошибка измерения для i-го испытуемого.
Процедура вычисления показателей X;, T и X использует статистические приемы обработки информации, среди которых методы дисперсионного, ковариационного и регрессионного анализа.
Подход на основе CTT характеризуется наглядностью расчетов и простотой интерпретации результатов тестового контроля. Главным недостатком классической теории тестов является то, что первичный тестовый балл испытуемого рассматривается как мера уровня учебных достижений. Корректнее же считать первичный балл проявлением, или индикатором, уровня достижений. Существенными ограничениями в CTT являются следующие аспекты: зависимость оценки уровня подготовленности обучающегося от уровня трудности тестовых заданий и наоборот, нелинейность шкалы измерения уровня подготовленности.
К 60-м годам XX века относится новый этап в развитии тестологии, связанный с возникновением IRT - современной теории моделирования и параметризации педагогических тестов. Исторической предпосылкой
формирования 1ЯТ явилась необходимость найти сопоставимую (в одной шкале) меру уровня учебных достижений обучающегося и меру уровня трудности тестовых заданий.
В 1ЯТ-моделях уровень учебных достижений принимается за мысленный конструкт - латентную переменную. Переменная такой природы недоступна для непосредственного наблюдения и измерения, что вызывает необходимость разработки ее операционального описания в виде набора измеряемых индикаторных переменных. Индикаторные переменные являются проявлениями скалярного латентного параметра, позволяя судить о его значении. При этом имеет место формальная единица измерения - логит, являющаяся мерой уровня учебных достижений или любой другой латентной переменной. Конструирование латентных переменных необходимо производить в соответствии с целями исследования. При выявлении уровня подготовленности на наборах тестов в качестве индикаторов этой латентной переменной выступают тестовые задания.
Представляется возможным оценивать значения латентных переменных, не прибегая к измерительному инструментарию ШТ. Имеется в виду способ вычисления интегральных показателей на основе экспертных оценок, близкий к классической тестологии:
- на основе экспертных оценок каждой индикаторной переменной сопоставляется вес;
- производится нормирование значений индикаторных переменных;
- сумма взвешенных значений индикаторных переменных составляет значение интегрального показателя;
- выполняется ранжирование объектов в соответствии со значением интегрального показателя.
При таком подходе на ранжирование объектов существенное влияние оказывает субъективность экспертных оценок. ТЯТ-модели
снимают ограничения, свойственные классической теории 24 тестов [5] и традиционным способам вычисления интегральных показателей, обеспечивая следующие преимущества:
- объективность результатов измерений: оценка уровня учебных достижений испытуемых не зависит от используемого набора контрольно-измерительных материалов и, наоборот, оценка уровня трудности тестовых заданий не зависит от выборки испытуемых;
- сопоставимая (в одной линейной шкале) мера уровня учебных достижений и мера уровня трудности тестовых заданий;
- доступность большого количества статистических процедур для интерпретации и анализа результатов измерения латентных параметров 1ЯТ-моделей;
- допустимость неполноты тестовых результатов (пропуск некоторых комбинаций «испытуемый - индикатор латентной переменной»);
- возможность оценивания адекватности модели измерения в нескольких разрезах: используемого набора тестовых результатов; отдельного испытуемого; отдельного индикатора; комбинаций «испытуемый - индикатор латентной переменной».
Установлено, что для построения объективной и надежной шкалы измерений латентных параметров необходим достаточный набор тестовых результатов. Объем выборки данных, описываемых 1ЯТ-моделью, рассчитывают исходя из того, что на одну индикаторную переменную должно приходиться не менее двадцати тестовых результатов. Необходимость накопления большой тестовой выборки считается существенным недостатком, затрудняющим применение 1ЯТ-моделей на практике. [5]
4. Модель комплексной системы проверки знаний
Используя методы и концепции, которые были рассмотрены выше, в области формирования оценки знаний, возможно построить модель комплексной системы проверки знаний обучающихся посредством тестирования и разработать алгоритм более объективной и простой в реализации оценки знаний.
Рисунок 1 - Модель комплексной системы оценки знаний
Модуль тестирования включает в себя задания, вес задания по отношению ко всему тесту, критерии выполнения заданий (составные части задания, если оно не тривиально), веса критериев по отношению к заданию и заранее данный эталонный ответ.
Модуль оценки проверяет ответы и дополнительно сравнивает данный учащимся вариант решения с правильным. После вычислений данные попадают в модуль мониторинга, который, в свою очередь, просчитывает успеваемость и выводит информацию в различных
представлениях преподавателю, а также оповещает его о возникновении спорных ситуаций.
Вычисление среднего балла за тест производится согласно следующим выражениям:
<2 = вд+вд + ад
,
где 8 - средний балл за тест, Р - вес задания в тесте, 0 -коэффициент выполнения задания, X - вес критерия в задании, Б -коэффициент выполнения критерия, Я - совпадение результата выполненного задания с верным (идеальным), п -количество критериев, т-количество заданий.
0,01 < X, ¥, Р, (¿,5 < 1
К = 0 или 1.
При высоком среднем балле за тест/отдельное задание и несовпадении конечного результата с эталонным инициируется автоматический вызов преподавателя. То же самое происходит и при низком среднем балле, но совпадении результата. Преподаватель, в свою очередь, оценивает противоречие и может при необходимости внести новый вариант решения задачи в систему, изменить ответ или указать тестируемому на ошибки.
Это необходимо для объективной оценки знаний ученика, возможности развития у него индивидуальных особенностей и улучшения системы посредством добавления новых правильных вариантов решения или доработки заданий. Вызов преподавателя должен быть возможен также и в ручном режиме, но только после изучения обучающимся дополнительной справки к выполняемому заданию.
Преподаватель должен видеть данные мониторинга и сводную информацию о прохождении теста в режиме реального времени и реагировать на уведомления о требовании уделить внимание кому-либо
при возникновении дополнительных вопросов. Данные необходимо доносить учителю в различных представлениях: информация об успеваемости конкретного студента; его результаты по отношению к группе/потоку/требованиям программы; успеваемость всей группы; группы по отношению к потоку/требованиям программы; успеваемость потока. Это даст возможность лучше продумывать учебный план и не допускать пробелов в конкретной предметной области, а также оценить эффективность работы самого преподавателя.
5. Выводы
Проанализировав методы передачи знаний в рамках выбранной теории когнитивного ученичества и изучив различные концепции проверки знаний, был предложен новый подход к проведению тестирования и более объективной оценке успеваемости, а также описана модель модульной системы проверки знаний. Однако, на данном этапе развития человечества и науки пока достаточно сложно отойти от привычного диалога «преподаватель-ученик». Тем не менее, используя современные технологии, становится возможным упростить, ускорить и увеличить объективность передачи и проверки знаний без потери качества образования.
Литература
1. Коллинз, А., Браун, Дж. С., Ньюман, С. Э. Когнитивное ученичество: Обучение ремеслу чтения, письма и математики // Технический отчет № 403. Лаборатории ББК, Кембридж, Массачусетс. Центр изучения чтения, Университет штата Иллинойс. Январь 1987 г. с. 2-24.
2. Л.Б. Рисник. Как люди учатся: мозг, ум, опыт и школа. // б. 453-494 Национальный исследовательский совет. Вашингтон, округ Колумбия: Национальная академия печати. 1999 г. с. 155-221.
3. Стефани У. Коутон, Алисия Харрис и Робин Джонс. Когнитивное ученичество в онлайн-исследовательской лаборатории для аспирантов по психологии. // Международный журнал технологий обучения и преподавания в Интернете. №5 (1): 2010 г. с. 1-15.
4. Ванесса П. Деннен и Керри Дж. Горер. // «Модель познавательного ученичества в учебной практике». // В «Справочнике исследований по образовательным коммуникациям и технологиям» под редакцией Дж. Майкла
Спектора, М. Дэвида Меррилла, Джерона Ван Мерриенбоера и Марси П. Дрисколла. NewYork: LawrenceErlbaumAssociates.2008 г. с. 425-439.
5. Косоногова М. А.Метод и средства управления образовательной траекторией в системах электронного обучения. Диссертация на соискание ученой степени кандидата технических наук. // Белгородский государственный технологический университетим. В.Г. Шухова.Белгород. 2016 г. с. 20-25.
References
1. Kollinz, A., Braun, Dzh. S., N'juman, S. Je. Kognitivnoe uchenichestvo: Obuchenie remeslu chtenija, pis'ma I matematiki // Tehnicheskij otchet № 403. Laboratorii BBN, Kembridzh, Massachusets. Centr izuchenija chtenija, Universitet shtata Illinojs. Janvar' 1987 g. s. 2-24.
2. L.B. Risnik. Kak ljudi uchatsja: mozg, um, opyt I shkola. // s. 453-494 Nacional'nyj issledovatel'skij sovet. Vashington, okrug Kolumbija: Nacional'naja akademija pechati. 1999 g. s. 155-221.
3. Stefani U. Kouton, Alisija Harris i Robin Dzhons. Kognitivnoe uchenichestvo v onlajn-issledovatel'skoj laboratorii dlja aspirantov po psihologii. // Mezhdunarodnyj zhurnal tehnologij obuchenija i prepodavanija v Internete. №5 (1): 2010 g. s.1-15.
4. Vanessa P. Denneni Kerri Dzh. Gorer. // «Model' poznavatel'nogo uchenichestva v uchebnoj praktike». // V «Spravochnike issledovanij po obrazovatel'nym kommunikacijam I tehnologijam» pod redakciej Dzh. Majkla Spektora, M. Djevida Merrilla, Dzherona Van Merrienboera i Marsi P. Driskolla. New York: Lawrence Erlbaum Associates. 2008 g. s. 425-439.
5. Kosonogova M. A. Metod I sredstva upravlenija obrazovatel'noj traektoriej v sistemah jelektronnogo obuchenija. Dissertacija na soiskanie uchenoj stepeni kandidata tehnicheskih nauk. // Belgorodskij gosudarstvennyj tehnologicheskij universitet im. V.G. Shuhova. Belgorod. 2016 g. s. 20-25.
