CC BY
65
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/ Том 7, №4 (2015) http ://naukovedenie. ru/index.php?p=vol7-4 URL статьи: http://naukovedenie.ru/PDF/58TVN415.pdf DOI: 10.15862/58TVN415 (http://dx.doi.org/10.15862/58TVN415)
УДК 004
Латыпова Виктория Александровна
ФГБОУ ВПО «Уфимский государственный авиационный технический университет»
Россия, Уфа1 Ассистент E-mail: vikva@zmail.ru
Методики проверки многошаговых задач в условиях смешанного и дистанционного автоматизированного обучения
1 450008, Республика Башкортостан, г. Уфа, ул. К. Маркса, д. 12
Аннотация. Задачи со сложным алгоритмом решения: так называемые многошаговые задачи, требуют слежения за ходом их выполнения. Это связано с тем, что итоговый результат решения таких задач не приносит пользы ни для студента, ни для преподавателя. По нему не видно, как выполнялось задание, и на каких шагах были сделаны ошибки. Только пошаговое слежение за ходом выполнения многошаговых задач обеспечивает эффективное обучение. Проверка таких задач является проблемой при организации любой формы обучения: и традиционной, и смешанной, и дистанционной автоматизированной. Особенно остра данная проблема для автоматизированного обучения, т.к. большая часть многошаговых задач может проверяться только вручную. Для формирования общего взгляда на существующее решение проблемы обучения, связанной с наличием многошаговых задач, был проведен целостный обзор существующих разработок в различных предметных областях. Рассмотрены методики и системы отечественных и зарубежных исследователей. Представлена классификация и анализ, как самих многошаговых задач, так и методик и средств их проверки. Методики и средства проверки многошаговых задач классифицированы по таким признакам, как «способ слежения», «форма представления промежуточных шагов», «способ проверки правильности решения», «сфера применения», «тип управления ходом решения», «наличие адаптации» и «тип обратной связи».
Ключевые слова: многошаговая задача; система проверки многошаговых задач; оценивание хода решения; автоматизированное обучение; дистанционное обучение; ситуационное задание; массовые открытые онлайн курсы; автоматизированная проверка; методики проверки; классификация методик проверки.
Ссылка для цитирования этой статьи:
Латыпова В.А. Методики проверки многошаговых задач в условиях смешанного и дистанционного автоматизированного обучения // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №4 (2015) http://naukovedenie.ru/PDF/58TVN415.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/58TVN415
Введение
Большинство задач, решение которых позволяет студентам приобрести необходимые умения для формирования соответствующих компетенций, обладает сложной и трудоемкой процедурой проверки, ручное исполнение которой не приемлемо в условиях смешанного и дистанционного автоматизированного обучения. Примером таких задач, являются задачи со сложным результатом. Методики и средства проверки таких работ рассмотрены в работах [1], [2]. Другим примером описанных выше задач являются задачи, имеющие сложный алгоритм решения: так называемые, многошаговые задачи. Традиционное оценивание таких задач, основанное только на верности итогового ответа, не может показать истинный уровень освоения знаний и умений [3]. Для проверки таких задач должны использоваться методики, основанные на слежении за ходом выполнения работы. Для формирования общего взгляда на решение проблемы обучения, связанной с наличием многошаговых задач, необходим целостный анализ существующих разработок.
Такие методики широко используются для проверки задач естественнонаучного цикла: математики, физики. Появляются средства проверки многошаговых задач и в других областях: технических, экономических. Большое количество работ как в России, так и за рубежом посвящено разработке методик и средств качественной проверки многошаговых задач. Большей частью работы имеют узкую, специфическую направленность. Предлагаются авторские разработки, улучшающие и развивающие существующие для конкретной предметной области методики и средства. Для формирования общего взгляда на решение проблемы обучения, связанной с наличием многошаговых задач, необходим целостный анализ существующих разработок. В данной работе впервые проведен такой анализ, проведена классификация многошаговых задач и существующих методик и средств их проверки.
1. Особенности многошаговых задач и их классификация
Особенностью многошаговых задач, отличающих их от других задач, является наличие сложного алгоритма решения. Шаги алгоритма взаимосвязаны, поэтому ошибки, сделанные на одном из этапов решения, ведут к неверным результатам в последующих правильно выполненных шагах. Для таких задач важен отклик на каждом этапе решения.
Многошаговые задачи классифицируются по таким признакам, как «количество способов решения» и «длительность выполнения».
По количеству способов решения многошаговые задачи делятся на задачи:
• с одним способом решения;
• с несколькими способами решения;
• с большим количеством способов решения;
• с неограниченным количеством способов решения.
Многошаговые задачи с одним способом решения характерны для сферы медицины. Например, такие задачи как: оказание первой помощи при переломе, при пищевом отравлении, при утоплении и др., где последовательность действий всегда одинакова. Также при выполнении инженерных проектов задается стандартная последовательность действий. Например, при разработке информационной системы выполняются последовательно следующие шаги: определение требований к системе, построение функциональной модели,
построение информационной модели, построение алгоритма работы с системой, разработка кода программы, тестирование.
Многошаговые задачи с большим количеством способов решения характерны для математических задач. Для таких задач характерно наличие множества эквивалентных комбинаций формул, которые может вводить студент [4], [5]. Например, для решения квадратного уравнения возможно 16 вариантов решений [4], [5].
Многошаговые задачи с неограниченным количеством способов решения - это задачи, шаги, которых содержат элемент творчества. Например, задача проектирования информационной системы содержит такой шаг, как «Создание функциональной модели процесса». Студенты, выполняя данный шаг для одной и той же предметной области, на выходе получают разные правильные модели. Это связано с тем, что они по-разному выделяют, называют и декомпозируют функции в соответствии со своим видением и жизненным опытом. Если обнаруживаются одинаковые модели у разных студентов, то это говорит только о плагиате.
По длительности выполнения многошаговые задачи делятся на задачи:
• выполняемые в один прием;
• долгосрочные.
Для задач, выполняемых в один прием, номер текущего промежуточного шага не сохраняется, поэтому повторное выполнение задачи начинается с первого шага. Выполнение долгосрочной задачи растянуто во времени. Пример долгосрочной многошаговой задачи -выполнение курсового проекта. Для долгосрочной задачи сохраняются результаты промежуточных шагов.
2. Классификация методик и систем проверки решения многошаговых задач
Методики и системы проверки многошаговых задач классифицируются по таким признакам, как «способ слежения», «форма представления промежуточных шагов», «способ проверки правильности решения», «сфера применения», «тип управления ходом решения», «наличие адаптации», «тип обратной связи».
2.1 Классификация методик и систем проверки решения многошаговых задач по способу слежения
По способу слежения методики проверки многошаговых задач делятся на методики:
• с активным слежением;
• с пассивным слежением;
• с активно-пассивным слежением.
2.1.1 Методики и системы с активным слежением
При активном слежении системы сверяют шаги студента с заданными в них шагами. Система работает на основе модели решения задачи, заданной преподавателем. В работе [4], [5] такие системы называются следящими интеллектуальными обучающими системами. Студенты получают поддержку на каждом шагу решения.
2.1.2 Методики и системы с пассивным слежением
Системы с пассивным слежением не задают ход решения задачи, а только проверяют и оценивают очередной шаг студента. Они строят модели решения задач студентами, позволяя определить, как студенты пришли к тому или иному ошибочному или верному решению, сохраняя траекторию решения. Также использование таких систем позволяет выделять стратегии решения. В работе [6] описано использование такой методики на примере вводного МООС по дисциплине «Введение в программирование». Была реализована идея, что программу надо проверять по частям, т.к. по целой программе можно узнать немного, как она была разработана. Использовались промежуточные программные шаги. Были выделены следующие стратегии написания программ студентами (students' programming behaviour): «Строитель» (builder) (77,63%), «Манипулятор» (massager) (0,12%), «Сокращающий» (reducer) (2,05%), «Борец» (struggler) и смешенные стратегии (20,2%) [6]. «Борец» разрабатывает программу, постепенно наращивая ее функциональность, добавляя новые программные концепты, или улучшает корректную работу программы. Программными концептами являются концепты Java онтологии, которые извлекаются при анализе кода с помощью инструмента JavaParser. Примерами таких концептов являются, такие элементы, как добавление строки, конструкция «если-иначе-то», создание объекта и др. «Манипулятор» мало изменяет код, не добавляет и не удаляет программные концепты, надеясь, что программа заработает. «Сокращающий» удаляет программные концепты, сохраняя или сокращая уровень корректной работы программы. «Борец» делает все типы изменений кода, тратя значительное время в попытках пройти тест.
В работе [7] описан программный пакет IMMEX, разработанный в Калифорнийском университете Лос-Анджелеса. Система записывает все действия студента в системе при решении задачи. Эти действия отображаются визуально в виде карты траектории поиска (search path maps). Данные карты доступны как преподавателям, так и студентам после завершения выполнения задачи. Студенты получают подсказки только по требованию в случае необходимости, выбирая соответствующий пункт меню.
2.1.3 Методики и системы с активно-пассивным слежением
Системы с активно-пассивным слежением используют модель решения задачи, задавая ход решения для студентов, а также строят модели решения задач студентами, отображая последовательность использования источников: видео-лекций, текстовых материалов, используемых в процессе решения, а также затрачиваемое на это время. Пример реализации активно-пассивной следящей системы представлен в работе [8]. Данная система была реализована в МООС по схемотехнике на платформе edX. В качестве моделей решения задачи была использованы модели на основе байесовской трассировки знаний (Bayesian knowledge tracing). Были разработаны 4 модели. Первая «базовая» модель определяет задачи как концепты, а их части как вопросы, относящиеся к концептам. Другие модели являются расширением «базовой» модели. Например, одна из таких моделей позволяет учитывать несколько попыток сдачи вопросов.
2.2 Классификация методик и систем проверки решения многошаговых задач по форме представления промежуточных шагов
По форме представления промежуточных шагов методики делятся на методики:
• с представлением в форме ответа на тестовый вопрос;
• с символьным представлением с использованием формальных языков;
• со смешанным представлением.
2.2.1 Методики и системы с представлением в форме ответа на тестовый вопрос
Методики и системы с представлением в форме ответа на тестовый вопрос представлены в работах [9], [10], [11]. В основе данной методики лежит такое понятие как «Ситуационное задание». Ситуационные задания - это системы заданий в виде теста [10]. В отличие от обычных тестов, где задания независимы, в ситуационных заданиях задания зависимы, т.е. ответ на определенное задание зависит от ответа на предыдущее задание [10]. Содержание ситуационного задания напрямую зависит от среды разработки тестов. Например, при использовании среды Moodle задания могут содержать только текст. Также для данной среды характерен ограниченный набор типов вопросов: множественный выбор, числовой и короткий ответ [10].
Методика решения задач по физике с использованием платформы Moodle описана в работе [9]. Используются такие типы вопросов, как «Вложенные ответы» и «Вычисляемый». Студентом водится полученное в результате выполнения шага число. Реакция на неправильный ответ - подсказка или показывается верный ответ. Алгоритм решения описан в самих вопроса теста, проверяется только введенный результат на каждом из шагов.
В работе [10] представлена другая методика проверки на основе использовании набора ситуационных заданий. Задача в данной методике представляет собой блок, состоящий из информационной части и мультимедийного клипа. Информационная часть - это алгоритм, где пункт - это описание шага задачи. Клип пошагово показывает, как выполнять задачу. В отличие от методики, описанной в работе [9], где в заданиях используется ввод одного правильного ответа и жестко заданный единственный алгоритм решения, алгоритм, заданный преподавателем, в работе [10] предлагается использовать несколько путей решения, поэтому на каждом шаге решения есть несколько верных ответов. Данная система может быть интегрирована в Moodle. В Moodle сложно реализовать ситуационное задание из-за ограниченного набора типов вопроса и возможности только текстового представления задачи, также нет графического интерфейса для разработки ситуационных заданий. Методика была использована при проведении курсов «Информационные технологии в управлении» и «Экономико-математические методы и модели».
В работе [11], аналогично [10], предлагается использование нескольких путей решения. Множество шагов - это множество элементарных действий. Решение задачи представляет собой ориентированный граф, содержащий элементы множества шагов. Множество шагов -это иерархия. Для обучения вводятся ложные цели: тупиковые вершины. Решение задачи -нахождение верного маршрута на множестве шагов. Для описания операций (шагов), ложных целей, переходов между шагами использовался язык XML. Благодаря этому можно строить граф решений визуально. Можно построить визуальный редактор задач.
2.2.2 Методики и системы с символьным представлением
с использованием формальных языков
Методики с символьным представлением с использованием формальных языков описаны в работах [4], [5], [12] при решении математических задач. Решение оформляется в виде формул с использованием заданных автором курса обозначений переменных.
В работе [12] используется методика, при которой студент, решая задачу, заполняет шаблон-задание (файл формата Maple). Для проверки работ используются пакеты Maple и LaTEX с авторскими шаблонами. В системе «Волга» [4], [5] и Andes Physics Tutor [4] за один шаг вводится одна формула.
В системе Andes Physics Tutor [4] проверка шага происходит в два этапа. Сначала происходит процесс верификации: подставляются в формулу значения переменных, и проверяется равенство частей выражения. Потом измеряется прогресс в решении на основе использования подмножества базовых формул. Введенные студентом формулы рассматриваются как уравнения и находятся зависимости между шагами-формулами. Данная методика уязвима для имитирования правильных шагов недобросовестными студентами [4]. Также данный алгоритм не работает с матрицами и векторами [4].
В системе «Волга» [4] используется методика, когда преподаватель вводит только базовые формулы. Для выявления подмножества базовых формул в формуле, введенной студентом предлагается использовать И/ИЛИ дерево, построенное для получения всех известных решений задачи. В данном дереве узлы являются целевыми величинами, а листья -известными.
В работе [5] описана необходимость в ряде случаев требовать от студента предоставить развернутое решение. В системе «Волга» при проверке на эквивалентность формулы студента и формулы, заданной преподавателем, используются дополнительные эвристики. Для их вызова в формулы преподавателя вводятся специальные выражения. Примером одной эвристики служит эвристика, которая проверяет количество арифметических операций, использованных в формуле студента. С помощью другой эвристики проверяется наличие в решении обязательных формул. Возможности комбинации формул описаны в виде ориентированного графа, где вершины - величина или величины, а ребра - формулы. Система «Волга» использовалась при проверке задач по учебному курсу «Линейная алгебра» студентов МГУ.
2.2.3 Методики и системы со смешанным представлением
Методика со смешанным представлением промежуточных шагов представлена в работе [13]. Описана методика проверки задач по механике. Последовательно проверяются этапы решения. В результате выполнения шагов студентом вводятся последовательно: чертеж, названия и формулы используемых законов, система уравнений, итоговая формула и вычисленный результат. Для чертежей строится орграф, где вершины - объекты. Орграф, созданный на основе чертежа студента, сравнивается с орграфом, построенным для чертежа преподавателя. Для систем уравнений строятся матрицы. Матрицы студента сравниваются с матрицей преподавателя. Уравнения преобразуются в бинарные деревья, где узлы - это операции, а листья - это константы и переменные. Не возникает проблем в случае, если студент использует дополнительные переменные, когда ход его решения не совпадет с ходом решения преподавателя. Производится склейка листа дополнительной переменной с поддеревом ее формулы. Решение представляет собой формулу, где в левой части находится
искомая переменная, а в правой части дерево, в котором листья - константы и известные переменные.
В работе [14] рассмотрена методика проверки решения задач по физике на основе такого инструмента как «Рубрика». Разработанная рубрика определяет 5 общих процессов при решении задач по физике и задает критерии для оценивания. Выделены следующие процессы: соответствующее (подходящее) описание задачи (краткое описание информации, представленной в задаче, в соответствующей форме); физический подход (выбор соответствующих физических понятий и законов для задачи); конкретное применение физики (связывание понятий и законов с деталями задачи); математические процедуры (математические операции для получения искомых физических величин); логическая последовательность (сосредоточенность и последовательность в решении). Данная методика использовалась в вводном курсе по механике. В работе [14] сравнивалась оценка, полученная с помощью рубрики и при устном опросе. Результаты оказались идентичными, подтверждая эффективность применения описанной выше рубрики. Однако предложенная методика предполагает ручную проверку решения задач. В работе [13] представлена практически полная программная реализация данной методики, позволяя осуществлять проверку автоматически. Проверялось 4 процесса из 5 предложенных в данной рубрике. Шаг «Построение чертежа» соответствует процессу «Соответствующее описание задачи». Шаг «Написание названий и формул используемых законов» соответствует процессу «Физический подход». Шаг «Ввод системы уравнений» соответствует процессу «Конкретное применение физики». Шаги «Вывод итоговой формулы» и «Вычисление результата» соответствуют процессу «Математические процедуры». Последний процесс «Логическая последовательность» в системе [13] не оценивается, т.к. последовательность жестко задается программой.
2.3 Классификация методик и систем проверки решения
многошаговых задач по другим параметрам
По способу проверки правильности решения методики проверки многошаговых задач делятся на методики:
• с поиском по шаблону;
• с поиском по схожести [12].
При поиске по шаблону осуществляется поиск полного соответствия шага студента эталонному [12]. В данном случае правильное, но не совпадающее с шаблоном, решение не будет засчитано. Для проверки решения математических задач можно описать заранее все возможные пути решений, создать список (пул) формул и сравнивать с ними введенную студентом формулу [4]. Однако при наличии большого количества возможных способов решения данный способ проверки по шаблону неприемлем.
При поиске по схожести осуществляют поиск «похожих» ответов, например, «похожих» формул. В работе [12] использовались два этих способа проверки. Файл студента сравнивается с файлом преподавателя. Проверка решения представляет собой поиск в проверяемой работе части решения.
По сфере применения системы проверки многошаговых задач делятся на:
• универсальные;
• специализированные.
Специализированные системы могут проверять задачи только определенной предметной области. Например, система «Волга» [4], [5] и система, описанная в работе [12] используются для проверки только математических задач. А система, описанная в работе [13] может использоваться для проверки только задач по физике, конкретно задач по механике.
По управлению ходом решения методики проверки многошаговых задач делятся на методики:
• с жестко заданной последовательностью решения;
• с полужесткой последовательностью решения;
• с гибкой последовательностью решения.
Методики с жестко заданной последовательностью решения позволяют решать задачи только способом, заданным преподавателем. Некоторые системы не требуют знать саму последовательность решения, а требуют выполнить только расчетную часть [9]. Методики с полужесткой последовательностью решения, используя одну заданную преподавателем последовательность шагов, позволяют сами шаги выполнять в свободной форме [13]. Методики с гибкой последовательностью решения предусматривают различные последовательности шагов [10], [11].
По наличию адаптации методики:
• без адаптации;
• с адаптацией.
В большинстве случае в системах адаптация не предусмотрена. В работах [4], [15] в системе адаптация реализована: используется двухрежимная работа системы. В системе «Волга» [16] используются трудный и легкий режим. При трудном режиме обучающийся вводит математические формулы на языке LaTeX. При легком режиме обучающийся вводит формулы с помощью подгружаемых шаблонов формул. Адаптация с регулированием сложности задач и темпа выполнения используется в работе [15]. После неверного ответа выдаются подсказки для повторной попытки или более длинный пошаговый маршрут к решению.
По типу обратной связи методики:
• с бинарным откликом;
• с контрпримерами;
• с подсказками [17].
В работе [17] применялись все три типа отклика, с целью выявления наиболее эффективного. Бинарный отклик заключается в выводе сообщения о верности или неверности решения задачи. При отклике с контрпримерами система также приводит контпримеры. При отклике с подсказками система генерирует подсказки, содержимое которых зависит от типа сделанных ошибок. Также в работе [17] было выявлено, что студенты, получавшие отклик в виде контпримеров и подсказок, решали задачи быстрее тех, кто получал только бинарный отклик на 35%. Эффективность отклика с контрпримерами и подсказками имеет примерно одинаковую эффективность. При рассмотрении индивидуального выполнения задач было выявлено, что контрпримеры полезны для исправления простых синтаксических ошибок, в то время как подсказки полезны для определения ошибок в понятиях предметной области. Система AutomataTutor использовалась в базовых курсах в университете Пенсильвании, в университете Калифорнии в Сан-Диего и в Федеральной политехнической школе Лозанны.
3. Решение многошаговых задач, приближенных к реальному миру
Для формирования необходимых компетенций студенты должны решать задачи, максимально приближенные к реальному миру. Неотъемлемой частью решения реальных задач является этап «Постановка проблемы» (problem-posing) [3]. Очень мало работ посвящено разработке инструментов оценивания постановки проблемы для таких задач. В работе [3] предлагается использовать инструмент «Рубрика», в которой перечислены критерии оценивания и соответствующие баллы. Пример рубрики оценивания выполненной задачи включает такие пункты, как: понимание проблемы; планирование решения; получение ответа. Данная методика является ручной, поэтому ее использование в автоматизированном обучении затруднительно.
Примером системы, проверяющей решение многошаговых задач реального мира, является система, описанная в работе [15]. Словенская система NAUK разработана для учащихся средней школы. Используются измерения реальных экспериментов. Система представляет собой портал, работающий по ajax технологии. Портал имеет свободный доступ. Большинство материалов на словенском языке, есть несколько материалов на английском. Пример задачи - «Движение машины по кривой». Необходимо определить скорость машины, двигающейся по кривой. Материал снабжен аэроснимком, где изображена кривая автомобильной дороги, указан масштаб фотографии; также предоставлен инструментарий для измерения расстояний. Также есть рисунок маятника, подвешенного на зеркало заднего вида автомобиля, с инструментарием для измерения углов. Другой пример реальной задачи системы NAUK - «Подпрыгивание мяча».
Программный пакет IMMEX содержит разработанные приближенные к реальной жизни задачи по естествознанию, включая физику, химию, биологию, для учащихся средней школы [7].
4. Использование многошаговых задач в массовых
открытых онлайн курсах (MOOC)
Использование многошаговых задач в MOOC связано с рядом трудностей:
• в ряде случаев наличие высокой вычислительной сложности используемых алгоритмов проверки [4];
• неограниченность попыток сдачи задания [8];
• в ряде случаев невозможность создания полной модели решения задачи [4], [8].
Для решения проблемы, связанной с неполнотой модели решения задачи, в работе [4] предлагается использовать метод постепенного пополнения базы знаний. Реализуется данный метод следующим образом. Студент нажимает на специальную кнопку в том случае, когда он уверен в правильности выполненного шага, а система оценивает его как неправильный. Шаг временно засчитывается как правильный, а для преподавателя генерируется отчет, который может использоваться для корректировки модели. В условиях большого количества студентов, данный метод слишком трудоемок для преподавателя, поэтому в случае МООС неэффективен.
Пример реализации MOOC с многошаговыми задачами представлен в работе [8].
Заключение
Была проведена классификация и анализ многошаговых задач. Также были рассмотрены, проанализированы и классифицированы методики и системы проверки многошаговых задач.
Проведенный анализ показал, что понятие «следящие интеллектуальные обучающие системы», используемое для обозначения систем, способных следить за ходом решения задач [4], [5], [16] имеет более широкую трактовку. Были выделены такие классы систем, как «активные следящие системы», «пассивные следящие системы» и «активно-пассивные следящие системы проверки многошаговых задач», реализующие разные стратегии слежения.
Также анализ показал, что для ряда областей, таких как физика и математика создано много специализированных средств, а для остальных областей единственным решением является или использование ситуационных заданий, основанных на тестовых вопросах, применимость которых ограничена, или разработка специального средства под конкретную предметную область.
Также во многих системах проверки многошаговых задач уделяется внимание поддержке различных способов решения. Решается проблема в случае очень большого количества возможных решений. Однако не рассматриваются такие ситуации, когда решение может состоять из шагов, которые содержат элемент творчества. Каждый такой шаг в данном случае является уникальным. И проверить его с помощью существующих следящих систем нельзя. Многошаговая задача в таком случае является системой задач со сложным результатом. И для проверки таких задач должны использоваться как следящие системы, так и системы проверки задач со сложным результатом. Нужен гибридный подход к проверке многошаговых задач со сложными промежуточными результатами.
Резюмируем основные недостатки существующих методик и систем проверки многошаговых задач:
• качественная полноценная проверка задач только ограниченного ряда предметных областей;
• отсутствие возможности проверки многошаговых задач, в которых присутствуют шаги, содержащие элемент творчества.
В связи с описанными выше недостатками существующие системы нельзя использовать для проверки многошаговых задач во многих предметных областях, а также там, где есть сложные промежуточные результаты.
ЛИТЕРАТУРА
1. Латыпова В.А. Методики проверки работ со сложным результатом в условиях смешанного и дистанционного автоматизированного обучения // Интернет-журнал «Науковедение». 2015. Том 7. №3. http://naukovedenie.ru/PDF/170TVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/170TVN315.
2. Латыпова В.А. Методика и инструментальное средство автоматизированной проверки работ со сложным результатом на основе использования банка ошибок // Наука и бизнес: пути развития. 2015. №7 (49).
3. Rosli R., Goldsby D., Caprano M.M. Assessing students' mathematical problem -solving and problem-solving skills // Asian social science 2013. Vol 9. No 16. pp. 5460. DOI: 10.5539/ass.v9n16p54.
4. Смирнова Н.В. К автоматизированной проверке решений одного класса задач в следящих интеллектуальных обучающих системах // Управление большими системами: сборник трудов. 2014. №48. С. 172-197.
5. Методы интеллектуализации обучающих систем / Васильев С.Н., Смирнова Н.В., Суконнова А.А., Душкин Д.Н., Абраменков А.Н. // Сборник избранных трудов VII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование», 09-11 ноября 2012 г., Москва, МГУ им. М.В. Ломоносова. М.: ИНТУИТ.РУ, 2012. С. 503-519.
6. Hosseini R., Vihavainen A., Brusilovsky P. Exploring problem solving paths in Java programming course // Psychology of programming interest group annual conference 25-27 June 2014, University of Sussex, UK. Proceedings, 2014. pp. 65-76.
7. Assessing student understanding with technology: the use of IMMEX problems in the science classroom / Jr. C.T. Cox, J. Jordan, M.M. Cooper, R. Stevens // The Science Teacher. 2006. Volume 73. No. 4. pp. 56-61.
8. Adapting Bayesian knowledge tracing to a massive open online course in edX / Z.A. Pardos, Y. Bergner, D.T. Seaton, D.E. Pritchard // Proceedings of the 6th International Conference on Educational Data Mining (EDM 2013). July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp. 137-144.
9. Дятлов Р.Н. Проектирование электронных учебных задач для дистанционной поддержки учебного процесса. Материалы IV Всероссийской научно-методической конференции «Методы обучения и организация учебного процесса в вузе»: Рязань - Рязанский гос. радиотехн. ун-т., 2015, с. 348-349.
10. Овчаренко О.И., Плаксиенко Е.А. Совершенствование системы проверки компетенций студентов на базе использования современных информационных технологий и ситуационных заданий // Вестник Таганрогского института управления и экономики. 2012. №1(15). C. 84-87.
11. Крапивко Ю.А. Представление хода решения задачи в компьютерной обучающей системе // Молодёжь и наука: Сборник материалов VIII Всероссийской научно-технической конференции студентов, аспирантов и молодых учёных, посвященной 155-летию со дня рождения К.Э. Циолковского [Электронный ресурс]. - Красноярск: Сибирский федеральный ун-т, 2012. -Режим доступа: http://conf.sfu-kras.ru/sites/mn2012/section12.html, свободный.
12. Луканкин А.Г., Ядров К.П. Электронное учебное пособие на основе Latex как средство совершенствования математической подготовки учителя в вузе // Известия Волгоградского государственного педагогического университета. 2009. №6. С. 155-158.
13. Фоменко С.А, Кудряшов П.П. Автоматизация проверки решения задач по механике. Известия Волгоградского государственного технического университета, 2004, №5, с. 96-98.
14. Docktor J., Heller, K. Assessment of Student Problem Solving Processes // Proceedings of the 2009 Physics Education Research Conference, 29-30 July 2009, Ann Arbor, Michigan, US. American Institute of Physics, 2009. Vol. 1179. Iss. 1. pp.133-136. DOI: 10.1063/1.3266696.
15. Faletic S., Planinsic G., Horvat B. Interactive e-learning content for physics // Teaching and learning physics today. Challenges? Benefits? Proceedings of selected papers of the GIREP - ICPE-MPTL International conference. France, Reims, August 22-27. Udine, Italy: University of Udine, 2014. pp. 583-592.
16. Смирнова Н.В., Душкин Д.Н. Опыт разработки интерфейса следящей интеллектуальной обучающей системы // Уровневая подготовка специалистов: электронное обучение и открытые образовательные ресурсы: сборник трудов I Всероссийской научно-методической конференции, 20-21 марта 2014г., Томский политехнический университет. - Томск: Издательство Томского политехнического университета, 2014. С. 267-269.
17. How can automatic feedback help students construct automata? / L. D'Antoni, D. Kini, R. Alur, S. Gulwani, M. Viswanathan, B. Hartmann // ACM Transactions on Computer-Human Interaction (TOCHI) - Special Issue on Online Learning at Scale. 2015. Volume 22. Issue 2, No. 9. DOI: 10.1145/2723163.
Рецензент: Тюрганов Анатолий Геннадьевич, доцент, кандидат технических наук, ФГБОУ ВПО «Уфимский государственный авиационный технический университет».
Latypova Viktoriya Aleksandrovna
Ufa State Aviation Technical University
Russia, Ufa E-mail: vikva@zmail.ru
Multi-step assignment scoring techniques in blended and
online automated training
Abstract. The performance of complex solution algorithm assignments so called multi-step assignments is to be traced. This is because the total solution result does good neither to a student, nor to an instructor. The result doesn't show the assignment performance process and solving steps with mistakes. Only tracing the performance progress steps provide effective learning. Assessment of these assignments is a challenge in all sort of training: in face-to-face, blended and online automated training. It is a great challenge especially for automated training cause of a large number of multistep assignments that need to be manually assessed. It was made a holistic review of the existing domain-specific scoring techniques for creation of a general insight into existing learning challenge solutions cause of containing multi-step assignments. The Russian and foreign techniques and systems were observed. A classification and an analysis of multi-step assignments and multi-step assignment scoring techniques and tools are given. The multi-step assignment scoring techniques and tools are classified according to such features as the tracing method, the intermediate step format, the scoring method, the scope of application, the type of performance progression control, adaptation, the type of feedback.
Keywords: multi-step assignment; multi-step assignment scoring system; performance progress assessment; automated training; e-learning; situational assignment; massive open online courses; automated scoring; scoring techniques; scoring techniques classification.
REFERENCES
1. Latypova V.A. Metodiki proverki rabot so slozhnym rezul'tatom v usloviyakh smeshannogo i distantsionnogo avtomatizirovannogo obucheniya // Internet-zhurnal «Naukovedenie». 2015. Tom 7. №3. http://naukovedenie.ru/PDF/170TVN315.pdf (dostup svobodnyy). Zagl. s ekrana. Yaz. rus., angl. DOI: 10.15862/170TVN315.
2. Latypova V.A. Metodika i instrumental'noe sredstvo avtomatizirovannoy proverki rabot so slozhnym rezul'tatom na osnove ispol'zovaniya banka oshibok // Nauka i biznes: puti razvitiya. 2015. №7 (49).
3. Rosli R., Goldsby D., Caprano M.M. Assessing students' mathematical problem -solving and problem-solving skills // Asian social science 2013. Vol 9. No 16. pp. 5460. DOI: 10.5539/ass.v9n16p54.
4. Smirnova N.V. K avtomatizirovannoy proverke resheniy odnogo klassa zadach v sledyashchikh intellektual'nykh obuchayushchikh sistemakh // Upravlenie bol'shimi sistemami: sbornik trudov. 2014. №48. S. 172-197.
5. Metody intellektualizatsii obuchayushchikh sistem / Vasil'ev S.N., Smirnova N.V., Sukonnova A.A., Dushkin D.N., Abramenkov A.N. // Sbornik izbrannykh trudov VII Mezhdunarodnoy nauchno-prakticheskoy konferentsii «Sovremennye informatsionnye tekhnologii i IT-obrazovanie», 09-11 noyabrya 2012 g., Moskva, MGUim. M.V. Lomonosova. M.: INTUIT.RU, 2012. S. 503-519.
6. Hosseini R., Vihavainen A., Brusilovsky P. Exploring problem solving paths in Java programming course // Psychology of programming interest group annual conference 25-27 June 2014, University of Sussex, UK. Proceedings, 2014. pp. 65-76.
7. Assessing student understanding with technology: the use of IMMEX problems in the science classroom / Jr. C.T. Cox, J. Jordan, M.M. Cooper, R. Stevens // The Science Teacher. 2006. Volume 73. No. 4. pp. 56-61.
8. Adapting Bayesian knowledge tracing to a massive open online course in edX / Z.A. Pardos, Y. Bergner, D.T. Seaton, D.E. Pritchard // Proceedings of the 6th International Conference on Educational Data Mining (EDM 2013). July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp. 137-144.
9. Dyatlov R.N. Proektirovanie elektronnykh uchebnykh zadach dlya distantsionnoy podderzhki uchebnogo protsessa. Materialy IV Vserossiyskoy nauchno-metodicheskoy konferentsii «Metody obucheniya i organizatsiya uchebnogo protsessa v vuze»: Ryazan' - Ryazanskiy gos. radiotekhn. un-t., 2015, s. 348-349.
10. Ovcharenko O.I., Plaksienko E.A. Sovershenstvovanie sistemy proverki kompetentsiy studentov na baze ispol'zovaniya sovremennykh informatsionnykh tekhnologiy i situatsionnykh zadaniy // Vestnik Taganrogskogo instituta upravleniya i ekonomiki. 2012. №1(15). C. 84-87.
11. Krapivko Yu.A. Predstavlenie khoda resheniya zadachi v komp'yuternoy obuchayushchey sisteme // Molodezh' i nauka: Sbornik materialov VIII Vserossiyskoy nauchno-tekhnicheskoy konferentsii studentov, aspirantov i molodykh uchenykh, posvyashchennoy 155-letiyu so dnya rozhdeniya K.E. Tsiolkovskogo [Elektronnyy resurs]. - Krasnoyarsk: Sibirskiy federal'nyy un-t, 2012. - Rezhim dostupa: http://conf.sfu-kras.ru/sites/mn2012/section12.html, svobodnyy.
12. Lukankin A.G., Yadrov K.P. Elektronnoe uchebnoe posobie na osnove Latex kak sredstvo sovershenstvovaniya matematicheskoy podgotovki uchitelya v vuze //
Izvestiya Volgogradskogo gosudarstvennogo pedagogicheskogo universiteta. 2009. №6. S. 155-158.
13. Fomenko S.A, Kudryashov P.P. Avtomatizatsiya proverki resheniya zadach po mekhanike. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta, 2004, №5, s. 96-98.
14. Docktor J., Heller, K. Assessment of Student Problem Solving Processes // Proceedings of the 2009 Physics Education Research Conference, 29-30 July 2009, Ann Arbor, Michigan, US. American Institute of Physics, 2009. Vol. 1179. Iss. 1. pp.133-136. DOI: 10.1063/1.3266696.
15. Faletic S., Planinsic G., Horvat B. Interactive e-learning content for physics // Teaching and learning physics today. Challenges? Benefits? Proceedings of selected papers of the GIREP - ICPE-MPTL International conference. France, Reims, August 22-27. Udine, Italy: University of Udine, 2014. pp. 583-592.
16. Smirnova N.V., Dushkin D.N. Opyt razrabotki interfeysa sledyashchey intellektual'noy obuchayushchey sistemy // Urovnevaya podgotovka spetsialistov: elektronnoe obuchenie i otkrytye obrazovatel'nye resursy: sbornik trudov I Vserossiyskoy nauchno-metodicheskoy konferentsii, 20-21 marta 2014g., Tomskiy politekhnicheskiy universitet. - Tomsk: Izdatel'stvo Tomskogo politekhnicheskogo universiteta, 2014. S. 267-269.
17. How can automatic feedback help students construct automata? / L. D'Antoni, D. Kini, R. Alur, S. Gulwani, M. Viswanathan, B. Hartmann // ACM Transactions on Computer-Human Interaction (TOCHI) - Special Issue on Online Learning at Scale. 2015. Volume 22. Issue 2, No. 9. DOI: 10.1145/2723163.
