CC BY
104
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/ Том 7, №3 (2015) http ://naukovedenie. ru/index.php?p=vol7-3 URL статьи: http://naukovedenie.ru/PDF/170TVN315.pdf DOI: 10.15862/170TVN315 (http://dx.doi.org/10.15862/170TVN315)
УДК 004
Латыпова Виктория Александровна
ФГБОУ ВПО «Уфимский государственный авиационный технический университет»
Россия, Уфа1 Ассистент E-mail: [email protected]
Методики проверки работ со сложным результатом в условиях смешанного и дистанционного автоматизированного обучения
1 450008, Республика Башкортостан, г. Уфа, ул. К. Маркса, д. 12
Аннотация. В работе освещается проблема низкой эффективности обучения при наличии задач со сложным результатом в условиях смешанного и дистанционного автоматизированного обучения. Задачи такого типа требуют в большинстве дисциплин ручной длительной проверки преподавателем. Курсовые работы и проекты, лабораторные работы, эссе - вот те задачи, которые становятся камнем преткновения автоматизированного обучения, обучения основанного на автоматической проверке усвоенных знаний, умений и навыков с помощью тестов. В поисках путей повышения эффективности автоматизированного обучения автором был проведен целостный обзор существующих методик проверки работ со сложным результатом. Рассмотрены методики проверки, которые используются в массовых открытых онлайн курсах, коммерческих продуктах, а также авторские методики, используемые как в России, так и за рубежом. Представлена классификация методик проверки по таким признакам, как объект проверки и тип языка, на котором написана проверяемая работа. Проведен анализ данных методик. Описаны методики с ручной проверкой работ: самопроверка, взаимопроверка однокурсниками, проверка внешними экспертами, а также методики с автоматической проверкой, включающие методики проверки на естественном и формальном языке.
Ключевые слова: автоматизированное обучение; смешанное обучение; дистанционное обучение; эффективность обучения; задача со сложным результатом; массовые открытые онлайн курсы; ручная проверка; самопроверка; взаимопроверка; проверка внешними экспертами; автоматическая проверка; автоматическая проверка эссе; система автоматической проверки эссе; методики проверки; классификация методик проверки; автоматическая проверка кода; проверка математических формул; проверка чертежей; проверка проектных моделей.
Ссылка для цитирования этой статьи:
Латыпова В.А. Методики проверки работ со сложным результатом в условиях смешанного и дистанционного автоматизированного обучения // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №3 (2015) http://naukovedenie.ru/PDF/170TVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/170TVN315
Введение
Проблема низкой эффективности обучения проявляется особенно остро при проведении смешанного и дистанционного автоматизированного обучения. Под эффективностью обучения понимается степень усвоения знаний, умений и навыков студентами для формирования компетенций, и время, которое тратит преподаватель на обучение студентов. Низкая эффективность обучения состоит из трех составляющих:
1) низкая эффективность труда преподавателя при проверке;
2) низкая эффективность принятия управленческих решений по управлению учебным процессом;
3) низкая эффективность приобретения знаний, умений и навыков для формирования необходимых компетенций.
Анализируя этапы обучения, можно сделать вывод о том, что самый значительный вклад снижения эффективности процесса в целом вносит этап проверки задач со сложным результатом в виду того, что для такой проверки требуется большая доля ручной интеллектуальной работы преподавателя, что требует значительных затрат времени и сил. В условиях дистанционного и смешанного обучения временные затраты еще и увеличиваются: это связано с необходимостью печати результатов проверки и ответов на вопросы студентов, а также тратой времени на «бесполезный» вход в систему, когда преподаватель ожидает поступления работ на проверку. Последний вопрос решается в работе [1] с помощью методики оперативного информирования. Остальные же вопросы требуют решения. Примерами работ со сложным результатом являются курсовые работы и проекты, лабораторные работы, эссе и др. С точки зрения эффективности приобретения знаний, умений и навыков обучающимся, автоматизация данного этапа представляет существенный интерес, т.к. насколько качественно проверят, насколько научат выполнять такие сложные работы, зависит приобретение необходимых компетенций.
На данный момент существует множество разрозненных методик проверки работ со сложным результатом. Существующие исследования в данной сфере узконаправленны: методики изучаются, анализируются и совершенствуются часто в отрыве друг от друга, что не позволяет получить целостного представления о путях решения поставленной проблемы. В данной работе впервые предлагается осуществить целостный обзор существующих методик проверки работ со сложным результатом, их классификацию, анализ, а также применимость для организации эффективного обучения.
1. Классификация существующих методик проверки работ в условиях смешанного и дистанционного автоматизированного обучения
Существующие методики проверки можно разделить на два больших класса: автоматические и ручные.
По объекту проверки ручные методики делятся на: самопроверку, взаимопроверку и проверку внешними экспертами.
По типу языка, на котором написана проверяемая работа, автоматические методики делятся на: методики проверки на естественном и формальном языке. Методики проверки работ на естественном языке рассматривают проверку эссе и коротких текстовых ответов. Методики проверки работ на формальном языке рассматривают проверку программ и коротких ответов на различных языках программирования, математических формул, чертежей, проектных моделей.
2. Методики ручной проверки работ
2.1 Самопроверка студентом
Самопроверка студентом используется в Интернет площадке института Хассо Платтнера (Hasso Plattner Institute, https://open.hpi.de/). В ответ на отсылку работы со сложным результатом автоматически отсылается пример правильного выполнения задачи. Также самопроверка используется в составе других методик проверки, например, как часть взаимопроверки однокурсниками.
При самопроверке компетенции не могут быть сформированы, т.к. нет оценки освоения необходимых знаний и навыков с последующей корректировкой.
2.2 Взаимопроверка однокурсниками
Суть методики заключается в том, что студенты проверяют работы друг друга. Данный тип оценки активно используется в массовых открытых онлайн курсах (MOOC - massive open online courses) как за рубежом, так и в России. Используется MOOC площадками «Coursera», «Udacity», «Лекториум».
Используется калиброванная взаимооценка, когда оценивается способность студента оценивать работы, и некалиброванная. Реализация методики имеет небольшие отличия. Пример одной реализации описан в работе [2]. В ней подробно описывается методика взаимопроверки, реализуемая в приложении CPR (calibrated peer review), разработанном в Калифорнийском университете Лос-Анджелеса. Методика состоит из этапов:
а) студент пишет свою работу и отправляет на проверку, его работу проверяют три автоматически назначенных студента;
б) студент проходит калибровку: оценивается его способность оценивать работы заданной категории. Происходит с помощью выполнения теста с множественным выбором. По результатам теста студент получает индекс компетентности. Если тест пройден неудачно, то процесс калибровки повторяется;
в) студент проверяют три работы заданной категории других студентов.
Проблемные работы возникают, если их проверяют студенты, у каждого из которых низкий индекс компетентности, а также, если проверяющих меньше трех. В этом случае работы нужно проверять преподавателю вручную.
Улучшить данный тип проверки с помощью настраиваемых моделей взаимооценки (tuned models of peer assessment) предлагается в работе [3].
Были использованы массивы данных, включающих 63 тысячи взаимооценок, по двум последовательно проводимым курсам на базе Coursera. Модели были разработаны на основе данных по первому курсу и протестированы на основе данных второго курса. Были разработаны 3 вероятностные модели в порядке повышения сложности: отклонение и надежность оценивающего (grader bias and reliability), временная связность (temporal coherence), а также связанные оценка и надежность оценивающего (coupled grader score and reliability). В модели отклонения и надежности оценивающего отклонение используется для измерения, оценивает ли студент систематически слишком высоко или слишком низко. Надежность же используется для измерения, дает ли студент высокую оценку хорошей работе и низкую - плохой. Модель временной связности используется для определения отношения отклонения и надежности оценивающего для одной работы по отношению к другой. Происходит наблюдение за оценкой предыдущих работ и сравнение с настоящей. Также
нормализуются оценки между разными работами, т.к. экспериментально было определено, что набор отклонений имел разную дисперсию для разных работ.
Модель связанной оценки и надежности оценивающего используется для моделирования отношения между оценкой, полученной студентом за свою работу и способностью данного студента оценивать чужие работы. Экспериментально было обнаружено, что студенты, получившие за свою работу высокую оценку, являются более надежными в роли оценивающего. Данная модель расширяет первую модель. Она позволяет использовать оценку, полученную студентом, для вычисления способности данного студента оценивать работы других студентов.
Другой способ повысить качество проверки предлагается в работе [4]. Основной причиной низкого качества проверки является нежелание студентов тратить силы на проверку, отсутствие мотивации, а не отсутствие способности или вредность. Для стимуляции мотивации предлагается использовать «оценивание оценивающих» («grading the graders»). После взаимной оценки работ студентам предлагается оценить качество результатов проверки других студентов, т.е. в дополнение к взаимооцениванию работ, происходит взаимооценивание результатов проверки. Эксперимент проводился на MOOC площадке «Coursera». Студенты проходили курс по дисциплине «Введение в интерактивное программирование на Питоне», где им предлагалось выполнить два задания: написать две интерактивные программы. Результаты эксперимента показали, что процент студентов, оценивающих очень плохо, снизился от 4,5 до 3, а процент студентов, оценивающих плохо, снизился от 41 до 35.
В работе [5] предлагается оценить влияние на качество проверки такого фактора, как анонимность оценивания. Было выявлено, что оценивание при отсутствии анонимности вызывает уверенность в оценке, а оценивание воспринимается более эффективным, чем при анонимном взаимооценивании. Также при анализе отзывов обучающихся по поводу проверки эссе на форуме MOOC площадки «Лекториум» были выявлены следующие недостатки оценивания: часть студентов ставит за эссе только отличные оценки, независимо от качества исполнения, что подтверждается и в работе [4]. Часть студентов оценивает работы субъективно, исходя из своих личных представлений о предмете. Многие обучающиеся хотели бы обсудить результат проверки с проверившим однокурсником.
Методика взаимопроверки однокурсниками реализуется в виде модуля в СДО, отдельного приложения, а также на базе систем электронного портфолио (eportfolio).
В работе [2] описаны недостатки данной методики:
• сопротивление студентов, нежелание проверять чужие работы;
• наличие фиксированных рубрик (списка критериев правильности выполнения) для каждого задания. Возникают проблемы для работ на свободную тему;
• ограничение на количество слов в работе. Данное ограничение связано с тем, что студенты работают с большим количеством эссе, выполняя одно задание: собственное эссе, калибровочные эссе и эссе однокурсников.
Несмотря на все попытки улучшить качество взаимопроверки, остается открытым вопрос, касающийся способности студентов правильно оценивать умения и знания, не являясь экспертами в области, работы которой они проверяют. Этап калибрования, оценивание результатов оценки других студентов и отсутствие анонимности не делает из студентов экспертов. Использование в MOOC метода взаимопроверки - это вынужденная мера, допускающая неверное оценивание работ.
2.3 Проверка работ внешними экспертами
Внешними экспертами могут быть студенты старших курсов, потенциальные работодатели. Например, в работе [6] предлагается отсылать курсовые работы студентов университета Государственной противопожарной службы МЧС России на проверку работникам пожарной службы, а также использовать результаты работы на практике. Так решается одновременно два вопроса: разгрузка преподавателя и приобретение необходимых студенту компетенций.
В данном случае должна быть обеспечена заинтересованность экспертов. Также привлечение экспертов предметной области не может быть массовым.
3. Методики автоматической проверки работ
3.1 Методика проверки работ на естественном языке
Проверка эссе (AES-automated essay scoring) и коротких текстовых ответов.
Эссе - это сочинение по какому-то конкретному вопросу небольшого объема.
Существующие системы автоматической проверки эссе позволяют проверять стиль и/или содержание работы. Данный тип оценки используется в MOOC «Edx» [2]. Проверка в таких системах осуществляется на основе использования статистических методов, машинного обучения и методов обработки естественного языка (NLP - natural language processing). Первоначально такие системы создавались для проверки работ на английском языке. Самой первой системой была система PEG (Project essay grade), разработанная в 1966г, позволяющая оценивать стиль письменной работы [7]. Позже стали разрабатываться системы и для других языков: немецкого (MRW), французского (Apex Assessor), японского (Jess, Moririn [7]), финского (AEA), шведского ([8]) и других языков. Для русского языка такой системы разработано не было. Примеры систем для английского языка: ATM, Automark, AutoMarking, BETSY (Bayesian essay test scoring system), CarmelTC, C-rater (Conceptual rater), EGAL, E-rater (Electronic essay rater), ES4ES (Expert system for essay scoring), ETS, IEA (Intelligent essay assessor), IEMS (Intelligent essay marking systems), Intellimetric, Larkey's system, MarkIt, PS-ME (Paperless school free-text marking engine), RMT, SAGrader, SEAR (Schema extract analyse and report) [9], [10]. Наиболее популярными на рынке являются: IEA, E-Rater, Intellimetric [10].
В работе [2] описано, как работает автоматическая проверка эссе. Большинство систем строит статистические модели для прогнозирования оценки человека, используя характеристики эссе, вычисленные экспериментально или статистически, чтобы коррелировать с тем, как оценивают люди. Такие модели строятся для каждого задания. Необходимо обучить систему: предоставить 100 эссе для каждого задания.
Примеры характеристик эссе: количество слов в эссе, средняя длина слова, пропорция грамматических ошибок, частота наименее общих слов. Также используются тематические словари для определения контента специфического задания.
Недостатки методики:
1) система базируется на ограниченном наборе эссе. Студенты, знающие, как работает система, могут использовать «поверхностные» свойства работы, чтобы улучшить оценку;
2) возможны случаи неверного оценивания. В работе [11] описаны случаи неверного оценивания из-за проблем с правописанием, неверной структурой предложения, недоработанной схемой оценивания и др.;
3) подготовка 100 работ как примера для обучения системы - значительный вклад времени. В работе [9] высказана необходимость большого корпуса эссе, т.к. количество работ, используемых для обучения системы, напрямую влияет на качество обучения. В условиях смешанного и традиционного обучения темы заданий для выполнения курсовых работ должны быть индивидуальны, соответственно, нужно составлять корпус курсовых работ по каждой теме.
Для преодоления недостатков данной методики в работах [2], [12] предлагается использовать такую систему для отклика на черновик работы, для финальной оценки - другой метод.
3.2 Методики проверки работ на формальном языке
3.2.1 Проверка программ и коротких ответов на языке программирования
Существующие системы проверки программ могут проверять как работоспособность, так и анализировать код программы.
Работоспособность программы проверяется с помощью набора тестовых данных: правильных и неправильных входных данных и эталонных выходных. Правильность определяется на основе сравнения выходных данных программы студента с эталонными. Методики проверки работоспособности программ описаны в работах [13], [14], [15].
Проверка на основе использования шаблона кода предлагается в работе [13] Студент получает фрагмент программы, далее он должен его расширить, вставив соответствующий код, например, описав методы для предопределенной функции. В программе присутствует скрытый код, служащий защитой от взлома. Проверка включает шаги: проверка исключений и проверка синтаксиса, и проверка на работоспособность.
В работе [14] предлагается схожий метод проверки программ. Были разработаны шаблоны на языке Паскаль для лабораторных работ по вычислительной математике для студентов специальностей, не связанных с программированием.
В работе [15] предлагается использовать существующую систему, используемую для проведения олимпиад по программированию «Ejudge». Был разработан модуль для интеграции с системой Moodle. Было использовано для автоматизации проверки лабораторных работ по дисциплине «Программирование на языке высокого уровня» в Сибирском федеральном университете.
В работе [16] рассматривается проблема, связанная с наличием таких задач, где входные и выходные тестовые данные большие по размеру, и создать их вручную проблематично. Предлагается автоматизировать создание тестовых данных для программы: они генерируются перед запуском проверяемой программы.
Методики проверки программ на основе анализа кода и соответствующие средства рассмотрены в работе [17]. Первая методика использует статистические методы, когда анализируются такие параметры как: число переменных, число комментариев, наличие циклов и др. Вторая методика основана на оценивании структуры программы. Строится абстрактное синтаксическое дерево (abstract syntax tree) из программы студента. Вершины -операторы языка программирования, листья - операнды. Далее выполняются нормативные преобразования и сравнение с реализацией преподавателя. Примерами программ анализа кода являются программы: Game, Sakai, AutoGrader, Infandango, AnalyseC.
В работах [18], [19], [20] предлагается проверять не программы целиком, а только короткие ответы на заданном языке программирования, а проверку лабораторных работ проводить в формате теста, используя наравне с другими типами вопросов, открытые
вопросы. Открытые вопросы в данном случае содержат строку на формальном языке, а проверка проводится сравнением с эталонной строкой. Результат проверки жестко формализован. Данная методика используется в Интернет-институте Тульского государственного университета и в Гомельском государственном техническом университете имени П.О. Сухого.
В работе [20] предлагается использовать регулярные выражений для оценки ответов на открытые вопросы. Был разработан специальный модуль для Moodle. С помощью данного модуля преподаватели могут задавать шаблоны ответов с помощью регулярных выражений. Для простоты задания регулярных выражений был разработан инструментарий, который генерирует описание регулярных выражений на естественно языке. Используется графическое синтаксическое дерево, есть возможность тестирования регулярного выражения. Инструмент, который показывает регулярное выражение с разных точек зрения.
3.2.2 Проверка математических формул
Формулы могут быть записаны по-разному, например, могут быть использованы разные символы. В [17] описана методика проверки формул. Сначала формула извлекается из документа, затем она проверяется на математическую корректность и синтаксис. Формулы в документе должны быть выполнены в MathML или сконвертированы в данный формат. MathML - это XML формат математических формул. Строится математическое дерево: операторы преобразуются в коренные узлы, а их операнды в дочерние. Для оценки правильности формулы используется метод машинного обучения.
3.2.3 Проверка чертежей
В работе [21] предлагается автоматизировать нормоконтроль с помощью программы Autodesk AutoCAD, утилиты «Нормоконтроль» (часть стандартного пакета). Для проверки чертежей целой группы студентов используется утилита «Пакетный нормоконтроль». В результате проверки формируется отчет, куда записываются сведения обо всех чертежах, в которых обнаружены нарушения стандартов. Есть возможность добавлять в отчеты необходимые комментарии. Отчеты отправляются студентам для исправления ошибок. Для повторной проверки можно запускать утилиту не полностью, а использовать один из подключаемых модулей, для сокращения времени на проверку. Преподавателем создается файл образца, являющийся чертежом AutoCAD. Данный файл подключается к чертежу с помощью диспетчера нормоконтроля. Он содержит наборы именованных объектов с назначенными им общими свойствами: имя, цвет, тип линии, толщина обводки, размер шрифта, используемые единицы измерения. Необходимо заранее обсудить со студентами правила именования объектов.
С помощью данной методики осуществляется проверка практической работы по дисциплине «Компьютерная графика». Задача состоит в следующем: согласно техническому заданию создать шаблон электронного графического документа, выполнить настройку стилей и выполнить чертеж. Примерами разрабатываемых студентами чертежей являются чертеж детали, чертеж плана здания и т.п.
В работе [22] предлагается другая методика проверки. Основная идея состоит в том, что чертеж, разработанный в программе Autodesk AutoCAD, может быть конвертирован в формат SVG (Scalable Vector Graphics). SVG - это графический векторный XML формат. Данный формат позволяет работать с элементами чертежа и их свойствами.
3.2.4 Проверка проектных моделей
Автоматизация проверки моделей баз данных (БД) предлагается в работах [23], [24].
В работе [23] рассматривается средство ERwin Examiner, который позволяет проверять логические и физические модели БД на наличие таких ошибок, как: ошибки проектирования колонок, ошибки проектирования индексов и ограничений, ошибки нормализации (ошибки первой, второй и третьей нормальной формы, а также неправильные функциональные зависимости) и ошибки связей. В результате проверки формируется отчет с ошибками и комментариями.
В работе [24] указывается, что использование CASE-средств нежелательно для обучения, т.к. они содержат автоматическую поддержку синтаксиса нотации. Было выявлено, что при проектировании баз данных студенты делают ошибки, связанные с неправильным выделением объектов предметной области, невыполнением правил нормализации и синтаксических правил построения моделей в заданной нотации. Разработан метод проверки моделей баз данных на основе продукционной системы. Предложена автоматизированная система управления курсовым проектированием по предмету «Базы данных». В процессе курсового проектирования студенты обучаются моделированию БД с использованием нотации IDEX1x. Проводится синтаксический анализ построенной логической модели, а также модель проверяется на нормализацию.
Заключение
В результате исследования был проведен целостный обзор существующих методик проверки работ со сложным результатом, предложена их классификация. Было выделено два класса методик проверки работ со сложным результатом: ручные и автоматические.
Анализ существующих методик и средств ручной проверки показал, что данный тип методики может использоваться только, как вспомогательный, а не как основной. Использование методов самопроверки и взаимопроверки может использоваться только в полностью дистанционных курсах, направленных на самообучение. Использование в смешанном обучении в качестве единственного способа проверки неприемлемо. В случае смешанного обучения, наравне с традиционным, заявленные компетенции должны быть сформированы полностью, и соответственно, результат проверки должен быть гарантированно верным. Последнее может быть обеспечено только в том случае, если проверку работ со сложным результатом осуществляет эксперт соответствующей области, преподаватель. А привлечение экспертов предметной области не решает проблему ручной проверки работ.
Анализ существующих методик и средств автоматической проверки показал наличие следующих недостатков:
• отсутствие универсальности: зависимость методик и средств проверки от типа проверяемой задачи;
• наличие подготовительного этапа: в большинстве случаев необходимость обучения системы для каждого задания;
• неспособность проверки ряда задач;
• в некоторых случаях возможно неверное оценивание.
Таким образом, снижается эффективность работы, как преподавателя, так и студентов. Для преподавателя упрощение процедуры проверки работ сопровождается увеличением нагрузки, связанной с освоением и использованием различным систем проверки, а также во многих случаях подготовки обучающего материала для системы. Для студентов не
гарантируется усвоение необходимых знаний, умений и навыков, т.к. возможны случаи неверного оценивания.
Существующие как ручные, так и автоматические методики обладают рядом существенных недостатков, которые не позволяют организовать эффективное смешанное и дистанционное автоматизированное обучение.
ЛИТЕРАТУРА
1. Латыпова В.А. Оперативное информирование участников учебного процесса в условиях дистанционного и смешанного обучения // Молодой ученый. Ежемесячный научный журнал. 2014. №6(65). С. 102-106.
2. Balfour S. Assessing writing in MOOCs: automated essay scoring and calibrated peer review // Research & Practice in Assessment. 2013. Vol. 8. pp. 40-48.
3. Tuned models of peer assessment in MOOCs / C. Piech, J. Huang, Z. Chen, C. Do, A. Ng, D. Koller // Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp. 153-160.
4. Grading the graders: motivating peer graders in a MOOC / Y. Lu, J. Warren, C. Jermaine, S. Chaudhuri, S. Rixner // 24th International World Wide Web Conference. 2015. http://www.www2015.it/documents/proceedings/proceedings/p680.pdf (доступ свободный). Загл. с экрана. Яз. англ.
5. Wang Y. Focus and attitude in computer-mediated peer assessment: ePortfolios methods in Chinese context // Computational Science - ICCS 2007, 7th International Conference, Beijing, China, May 27 - 30, Proceedings, Part III. Berlin Heidelberg: Springer, 2007. pp. 501-507.
6. Алексеев С.Н. Компетентностно-ориентированная модель курсового проектирования в вузах МЧС России: автореф. дис. ... канд. пед. наук: 13.00.08. СПб, 2011. 23 с.
7. Imaki J., Ishihara S. Experimenting with a Japanese automated essay scoring system in the L2 Japanese environment // Papers in Language Testing and Assessment. 2013. Vol. 2. No.2. pp. 28-46.
8. Automated essay scoring for Swedish / R. Ostling, A. Smolentzov, B. Hinnerich, E. Hoglin // The 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2013. http://aclweb.org/anthology/WTW13/W13-1705.pdf (доступ свободный). Загл. с экрана. Яз. англ.
9. Valenti S., Neri F., Cucchiarelli A. An Overview of current research on automated essay grading // Journal of Information Technology Education. 2003. Vol. 2. pp. 319330.
10. Ade-Ibijola A., Wakama I., Amadi J. An expert system for automated essay scoring (AES) in computing using shallow NLP techniques for inferencing // International Journal of Computer Applications. 2012. Vol. 51. No.10. pp. 37-45.
11. Towards robust computerised marking of free-text responses / T. Mitchell, T. Russell, P. Broomhead, N. Aldridge // Proceedings of the 6th CAA Conference, Loughborough: Loughborough University, 2002. pp. 233-249.
12. Chauhan A. Massive open online oourses (MOOCS): emerging trends in assessment and accreditation // Digital Education Review. 2014. No.25. pp. 7-18.
13. Drasutis S., Motekaityte V., Noreika A. A method for automated program code testing // Informatics in Education. 2010. Vol. 9. No.2. pp. 199-208.
14. Веретенников М.В. Автоматизация проверки компьютерных программ в технических дисциплинах // Дистанционные образовательные технологии. Выпуск 1: Пути реализации. Сборник научных трудов. Томск: ТУ СУР, 2004. С. 52-61.
15. Минкин, И.В. Система автоматической проверки лабораторных работ по программированию // Молодёжь и наука: Сборник материалов VI Всероссийской научно-технической конференции студентов, аспирантов и молодых учёных Красноярск: Сибирский федеральный ун-т, 2011. http://conf.sfu-kras.ru/sites/mn2010/section6.html (доступ свободный). Загл. с экрана. Яз. рус.
16. Лаптев В.В., Морозов А.В. Автоматизированная система для контроля лабораторных работ по программированию // Известия Волгоградского государственного технического университета. 2011. Том 11. №12. С. 92-95.
17. Alber S., Debiasi L. Automated assessment in massive open online courses // University of Salzburg. 2013. http://www.uni-salzburg.at/fileadmin/multimedia/SRC/docs/teaching/SS13/SaI/Paper_Alber_Debiasi. pdf (доступ свободный). Загл. с экрана. Яз. англ.
18. Евтушенко К.Н., Сатаров А.В. Автоматизированная проверка лабораторных работ в ТулГУ // III Всероссийская научно-практическая конференция «Информационные технологии в образовании». 2011. http://saratov.ito.edu.ru/2011/section/179/index.html (доступ свободный). Загл. с экрана. Яз. рус.
19. Тихоненко Т.В. Автоматизация процесса проверки выполнения лабораторных работ // Проблемы современного образования в техническом вузе: материалы III Респ. науч.-метод. конф., Гомель, 31 окт.-1 нояб. 2013 г. Гомель: ГГТУ им. П.О. Сухого, 2013. С. 38-40.
20. Сычев О.А., Пахомов Д.А. Генерация описания регулярного выражения на естественном языке как инструмент помощи составителю регулярного выражения // Известия ВолгГТУ. Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. Вып. 22. 2014. №25(152). С. 86-94.
21. Петухова А.В. Использование утилиты "Нормоконтроль" для автоматизации проверки чертежей // Материалы II Международной научно-практической конференции «Проблемы качества графической подготовки студентов в техническом вузе в условиях ФГОС ВПО». Пермь: Издательство Пермского государственного технического университета, 2011. С. 197-199.
22. Goh K., Manao B. Assessing engineering drawings through automated assessment: discussing mechanism to award marks // International Journal of Smart Home. 2013. Vol. 7. No.4. pp. 327-336.
23. Маклаков С. Проверка качества модели данных с помощью ERwin Examiner // КомпьютерПресс. 2001. №1. http://compress.ru/issue.aspx?iid=402 (доступ свободный). Загл. с экрана. Яз. рус.
24. Мицель А.А., Сибилев В.Д., Красиков И.А. Диагностика моделей баз данных на основе продукционной системы // Известия Томского политехнического университета. 2012. Том 321. №5. С. 210-217.
Рецензент: Зверев Геннадий Никифорович, профессор, доктор технических наук, ФГБОУ ВПО «Уфимский государственный авиационный технический университет».
Latypova Viktoriya Aleksandrovna
Ufa State Aviation Technical University
Russia, Ufa E-mail: [email protected]
Complex result assignment scoring techniques in blended and online automated training
Abstract. The problem of low learning efficiency cause of containing complex result assignments in blended and online automated training is examined in the paper. The assignments of given type need manual and long-continued instructor assessment in the majority of the subjects. Term papers, laboratory works and essays are assignments that lead to problems in automated training because such learning is based on automated knowledge and skills scoring using tests. In the search for the way to improve the automated training efficiency it was made a holistic review of the existing complex result assignment scoring techniques. The scoring techniques used in massive open online courses, commercial products and the original techniques in Russia and abroad were observed. The scoring techniques classification based on such features as the scoring object and the type of language used in assignments is given. These techniques were analyzed. The manual assessment techniques such as self assessment, peer assessment, external expert assessment and automated scoring techniques including natural and formal language scoring techniques were described.
Keywords: automated training; blended learning; online learning; learning efficiency; complex result assignment; massive open online courses; manual assessment; self assessment; peer assessment; external expert assessment; automated scoring; automated essay scoring; automated essay scoring system; scoring techniques; scoring techniques classification; automated program code testing; mathematical formulas scoring; engineering drawings scoring; software design scoring.
REFERENCES
1. Latypova V.A. Operativnoe informirovanie uchastnikov uchebnogo protsessa v usloviyakh distantsionnogo i smeshannogo obucheniya // Molodoy uchenyy. Ezhemesyachnyy nauchnyy zhurnal. 2014. №6(65). S. 102-106.
2. Balfour S. Assessing writing in MOOCs: automated essay scoring and calibrated peer review // Research & Practice in Assessment. 2013. Vol. 8. pp. 40-48.
3. Tuned models of peer assessment in MOOCs / C. Piech, J. Huang, Z. Chen, C. Do, A. Ng, D. Koller // Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp. 153-160.
4. Grading the graders: motivating peer graders in a MOOC / Y. Lu, J. Warren, C. Jermaine, S. Chaudhuri, S. Rixner // 24th International World Wide Web Conference. 2015. http://www.www2015.it/documents/proceedings/proceedings/p680.pdf (dostup svobodnyy). Zagl. s ekrana. Yaz. angl.
5. Wang Y. Focus and attitude in computer-mediated peer assessment: ePortfolios methods in Chinese context // Computational Science - ICCS 2007, 7th International Conference, Beijing, China, May 27 - 30, Proceedings, Part III. Berlin Heidelberg: Springer, 2007. pp. 501-507.
6. Alekseev S.N. Kompetentnostno-orientirovannaya model' kursovogo proektirovaniya v vuzakh MChS Rossii: avtoref. dis. ... kand. ped. nauk: 13.00.08. SPb, 2011. 23 s.
7. Imaki J., Ishihara S. Experimenting with a Japanese automated essay scoring system in the L2 Japanese environment // Papers in Language Testing and Assessment. 2013. Vol. 2. No.2. pp. 28-46.
8. Automated essay scoring for Swedish / R. Ostling, A. Smolentzov, B. Hinnerich, E. Hoglin // The 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2013. http://aclweb.org/anthology/WZW13/W13-1705.pdf (dostup svobodnyy). Zagl. s ekrana. Yaz. angl.
9. Valenti S., Neri F., Cucchiarelli A. An Overview of current research on automated essay grading // Journal of Information Technology Education. 2003. Vol. 2. pp. 319330.
10. Ade-Ibijola A., Wakama I., Amadi J. An expert system for automated essay scoring (AES) in computing using shallow NLP techniques for inferencing // International Journal of Computer Applications. 2012. Vol. 51. No.10. pp. 37-45.
11. Towards robust computerised marking of free-text responses / T. Mitchell, T. Russell, P. Broomhead, N. Aldridge // Proceedings of the 6th CAA Conference, Loughborough: Loughborough University, 2002. pp. 233-249.
12. Chauhan A. Massive open online oourses (MOOCS): emerging trends in assessment and accreditation // Digital Education Review. 2014. No.25. pp. 7-18.
13. Drasutis S., Motekaityte V., Noreika A. A method for automated program code testing // Informatics in Education. 2010. Vol. 9. No.2. pp. 199-208.
14. Veretennikov M.V. Avtomatizatsiya proverki komp'yuternykh programm v tekhnicheskikh distsiplinakh // Distantsionnye obrazovatel'nye tekhnologii. Vypusk 1: Puti realizatsii. Sbornik nauchnykh trudov. Tomsk: TU SUR, 2004. S. 52-61.
15. Minkin, I.V. Sistema avtomaticheskoy proverki laboratornykh rabot po programmirovaniyu // Molodezh' i nauka: Sbornik materialov VI Vserossiyskoy nauchno-tekhnicheskoy konferentsii studentov, aspirantov i molodykh uchenykh Krasnoyarsk: Sibirskiy federal'nyy un-t, 2011. http://conf.sfu-kras.ru/sites/mn2010/section6.html (dostup svobodnyy). Zagl. s ekrana. Yaz. rus.
16. Laptev V.V., Morozov A.V. Avtomatizirovannaya sistema dlya kontrolya laboratornykh rabot po programmirovaniyu // Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta. 2011. Tom 11. №12. S. 92-95.
17. Alber S., Debiasi L. Automated assessment in massive open online courses // University of Salzburg. 2013. http://www.uni-salzburg.at/fileadmin/multimedia/SRC/docs/teaching/SS13/SaI/Paper_Alber_Debiasi. pdf (dostup svobodnyy). Zagl. s ekrana. Yaz. angl.
18. Evtushenko K.N., Satarov A.V. Avtomatizirovannaya proverka laboratornykh rabot v TulGU // III Vserossiyskaya nauchno-prakticheskaya konferentsiya «Informatsionnye tekhnologii v obrazovanii». 2011. http://saratov.ito.edu.ru/2011/section/179/index.html (dostup svobodnyy). Zagl. s ekrana. Yaz. rus.
19. Tikhonenko T.V. Avtomatizatsiya protsessa proverki vypolneniya laboratornykh rabot // Problemy sovremennogo obrazovaniya v tekhnicheskom vuze: materialy III Resp. nauch.-metod. konf., Gomel', 31 okt.-1 noyab. 2013 g. Gomel': GGTU im. P.O. Sukhogo, 2013. S. 38-40.
20. Sychev O.A., Pakhomov D.A. Generatsiya opisaniya regulyarnogo vyrazheniya na estestvennom yazyke kak instrument pomoshchi sostavitelyu regulyarnogo vyrazheniya // Izvestiya VolgGTU. Ser. Aktual'nye problemy upravleniya, vychislitel'noy tekhniki i informatiki v tekhnicheskikh sistemakh. Vyp. 22. 2014. №25(152). S. 86-94.
21. Petukhova A.V. Ispol'zovanie utility "Normokontrol'" dlya avtomatizatsii proverki chertezhey // Materialy II Mezhdunarodnoy nauchno-prakticheskoy konferentsii «Problemy kachestva graficheskoy podgotovki studentov v tekhnicheskom vuze v usloviyakh FGOS VPO». Perm': Izdatel'stvo Permskogo gosudarstvennogo tekhnicheskogo universiteta, 2011. S. 197-199.
22. Goh K., Manao B. Assessing engineering drawings through automated assessment: discussing mechanism to award marks // International Journal of Smart Home. 2013. Vol. 7. No.4. pp. 327-336.
23. Maklakov S. Proverka kachestva modeli dannykh s pomoshch'yu ERwin Examiner // Komp'yuterPress. 2001. №1. http://compress.ru/issue.aspx?iid=402 (dostup svobodnyy). Zagl. s ekrana. Yaz. rus.
24. Mitsel' A.A., Sibilev V.D., Krasikov I.A. Diagnostika modeley baz dannykh na osnove produktsionnoy sistemy // Izvestiya Tomskogo politekhnicheskogo universiteta. 2012. Tom 321. №5. S. 210-217.
