CC BY
37
Сложные открытые задачи в смешанном и дистанционном автоматизированном обучении
В.А. Латыпова Уфимский государственный авиационный технический университет
Аннотация: При переводе очных учебных курсов в дистанционные, преподаватели сталкиваются с различными проблемами. Одной из проблем является наличие особых задач, представляющих значительные трудности и при их проверке, и при их выполнении в дистанционном режиме. Исследователи, занимающиеся решением данной проблемы, используют различную терминологию, не всегда точную и ясную, обозначая данный класс задач. В данной работе определена терминология для данных задач, и представлена классификация последних. Также для выделенных типов задач рассмотрены существующие методики проведения и проверки. Выявлены типы задач, проверка которых до настоящего времени не автоматизирована. Разработаны методика и инструментальное средство автоматизированной проверки таких задач. Данная методика и средство были использованы при смешанном проведении курсового проектирования по дисциплине «Проектирование автоматизированных систем обработки информации и управления», значительно ускорив процесс проверки.
Ключевые слова: сложная открытая задача, классификация сложных открытых задач, задача со сложным результатом, многошаговая задача, дистанционное обучение, смешанное обучение, автоматизированная проверка
Введение
Массовые открытые онлайн курсы (МООС- massive open online courses) привлекают огромное число студентов, количество которых может доходить до 150 тысяч человек [1]. Многие преподаватели стремятся перевести свои очные курсы на MOOC площадки. Использование MOOC позволяет улучшить качество также и очного вузовского обучения. Некоторые преподаватели используют МООС частично в обучении очных студентов, оставляя больше очных часов на решение практических задач и работу с реальным оборудованием [2], реализуя смешанное обучение.
Есть задачи, которые создают трудности при переводе очного учебного курса в дистанционный. Часть таких задач создает проблемы при их проверке, другая часть - при их выполнении. В существующих работах нет четкого определения таких задач, отсутствует точная терминология и классификация. В работах [3, 4] такие задачи называются сложными
открытыми задачами (complex open ended assignments). Термин «сложная открытая задача» универсальный. Однако слово «сложное» в данном контексте можно трактовать по-разному. Также часто в работах рассматриваются частные случаи сложных задач, например, в работах [5 - 7] для обозначения задач со сложным результатом используется термины «письменная работа/задание» («written assignment/work/task»). Однако, термин «письменная работа» не совсем точен. Например, такое задание, как диктант, является письменной работой, но проверка такого задания легко автоматизируется сравнением с эталонным текстом. А такое задание, как программа на языке программирования, сложно отнести к письменным работам. Также рассматриваются задачи более конкретные. Для работ, предполагающих наличие только текста на естественном языке в качестве результата решения, используется термин «ответ в свободной текстовой форме» («free text answer/response») [8 - 10].
Поэтому необходимо определить четкую терминологию для данных задач, а также провести их классификацию. Также необходимо рассмотреть проблемы и пути их решения при дистанционном и смешанном проведении разных типов сложных открытых задач. Необходимо выявить такие типы задач, которые не рассматриваются в существующих работах и до сих пор их проверка является камнем преткновения в дистанционном обучении, а также разработать методику и средство для их проверки.
1 Сложные открытые задачи: особенности и классификация
Задача может быть сложной в случаях, когда:
• сложный результат решения;
• сложный процесс решения;
• сложная организация выполнения.
Соответственно, сложные открытые задачи по типу сложности классифицируются на следующие задачи:
• задачи со сложным результатом;
• многошаговые задачи;
• задачи со сложной организацией выполнения;
• задачи с комбинированной сложностью.
1.1 Задачи со сложным результатом
Задачи со сложным результатом - это задачи, содержащие элемент творчества. Сложные результаты там, где требуется создать что-то новое. Чем больше творчества, тем сложнее возможность автоматизации. Сложность результата состоит в том, что сложно формализовать процесс проверки таких задач. Причина заключается в том, что трудно автоматически получить формальные критерии правильности выполнения. Это происходит из-за того, что для таких задач нет единственно правильного решения или решений. Правильный результат может быть представлен по-разному, может быть разная степень детализации, могут быть разные способы декомпозиции. Примерами могут служить инженерные задачи, связанные с построением различных моделей. Существующие методики проверки таких задач рассмотрены в работах [11, 12].
1.2 Многошаговые задачи
Многошаговые задачи - это задачи, имеющие сложный алгоритм решения, требующие слежения за ходом их выполнения. Особенности, классификация и методики их проверки рассмотрены в работе [13]. Многошаговые задачи в некоторых случаях можно проверить автоматически, без участия преподавателя: в случае, когда общий результат и результат на каждом этапе у данной задачи относительно простой и легко проверяемый автоматически.
1.3 Задачи со сложной организацией выполнения
Задачи со сложной организацией проведения - это такие задачи, которые требуют специальное оборудование или программное обеспечение (далее ПО) при их проведении и проверке. При проведении таких работ используются удаленные физические, виртуальные и удаленные виртуально-физические лаборатории, а также лабораторные комплекты для дома. Данные методики проведения лабораторных работ (далее ЛР) рассмотрены в работе [14]. Такие задачи также можно проверить автоматически, если конечный или промежуточный результат не является сложным, содержащим элемент творчества. В противном случае, можно использовать в зависимости от предметной области или специфичное средство с автоматической проверкой или универсальную методику и средство с автоматизированной проверкой на основе банка ошибок [12]. Основной трудностью таких задач является организация их выполнения.
Помимо описанных выше чистых типов задач существуют их сочетания: задачи, содержащие разные типы сложности.
Комбинация 1 - многошаговая задача, со сложными промежуточными результатами. Примерами таких работ являются ЛР и курсовые проекты (работы) (далее КП(Р)), не требующие специального инструментария и содержащие шаги, результат которых имеет элемент творчества.
Комбинация 2 - работа со сложной организацией проведения и одновременно имеющая сложный результат выполнения. Примером таких работ является ЛР по дисциплине «Проектирование автоматизированных систем обработки информации и управления (далее АСОИУ)», для выполнения и проверки которых требуется специальное ПО, а результатами выполнения являются проектные модели, документы, прототипы и проч.
1.4 Задачи с комбинированной сложностью
Автоматизация проверки таких работ достигнута с использованием методики и средства проверки работ на основе банка ошибок [12, 14].
Комбинация 3 - многошаговая задача со сложной организацией выполнения. Примерами таких работ являются ЛР и КП(Р), требующие специальный инструментарий и шаги которых имеют простой, с возможностью автоматической проверки результат. В работе [15] рассмотрено проведение работ по программированию, где при каждом запуске разрабатываемой программы студентом, результаты работы программы и ее текст записывались в систему, чтобы учитывать не только конечный, но и промежуточные результаты. В работе [16] описано пошаговое оценивание работы на тренажере при обучении операторов. В работе [17] рассмотрена автоматизация проверки ЛР с помощью тестирования, когда студент по мере выполнения работы вводит полученные промежуточные результаты.
Комбинация 4 - задача, включающая в себя все три типа сложности: многошаговая задача со сложными промежуточными результатами и со сложной организацией проведения. Примерами таких задач являются КП (Р), требующие использования специального инструментария и содержащие шаги со сложным результатом. КП по дисциплине «Проектирование АСОИУ» является примером задачи такого типа.
Для комбинированных типов 1 и 4 не существует методик и средств проверки.
2 Курсовой проект как многошаговая задача со сложными промежуточными результатами и сложной организацией проведения
КП(Р) - это тип занятий, от которых напрямую зависит формирование необходимых компетенций у обучающихся. Поэтому очень важно обеспечить эффективное проведение таких работ.
Проверка всего проекта целиком, не многоэтапная, обладает рядом недостатков, как для преподавателя, так и для студентов. Преподавателю сложно тщательно проверять всю работу за раз ввиду большого объема. Также если учесть количество проверяемых проектов, то становится ясно, что преподаватель будет работать на грани своих возможностей. Вследствие этого повышается риск пропустить ошибки в работе. Обратная связь в данном случае практически невозможна. Если обратной связи нет, то студенты получат только оценку, и не будут знать, где они допустили ошибки, и как их нужно исправить. Если же обратная связь будет, то студенты получат список ошибок по всему проекту. Студент, сделавший ошибку на начальном этапе проектирования, будет вынужден вносить большое количество исправлений в дальнейшую часть работы. А преподавателю в данном случае придется прослеживать ошибки в работе далее, и комментировать их, т.к. часто студенты исправляют ошибку, сделанную только в начале, а дальнейшую работу оставляют без изменений. Поэтому КП(Р) предпочтительно выполнять и проверять поэтапно, обеспечивая модульную структуру проекта.
Каждый шаг КП(Р) - это задача со сложным результатом, требующая участия в проверке преподавателя. Для автоматизированной проверки каждого шага можно использовать методику и инструментальное средство на основе банка ошибок [12]. Однако для проверки всего КП(Р) необходимо доработать данную методику и внести изменения в инструментальное средство.
Также для таких задач характерны организационные трудности, что также снижает эффективность работы преподавателя и студента. Такие проблемы решаются индивидуально для каждой дисциплины и средств, используемых при проведении КП(Р). Проблемы и способы их решения
обычно выявляются при первом проведении работы и в дальнейшем не вызывают трудностей.
3 Методика и инструментальное средство проверки на основе банка ошибок, учитывающие многоэтапность решения задачи
Методика автоматизированной проверки работ на основе банка ошибок описана в работе [12]. На рис.1 представлена мнемосхема процесса проверки работы с использованием данной методики и программы «Банк ошибок».
Список ошибок Ошибка1. Комментарий. Ошибка4. Комментарий
Банк ошибок
Ошибка1 V Ошибка2 ОшибкаЗ Ошибка4 V
Преподаватель
Рис.1. - Мнемосхема процесса проверки работы с использованием
банка ошибок
Для учета многоэтапности решения при проведении КП(Р) в методику были внесены изменения. Был добавлен этап «декомпозиция задачи». Также шаблон теперь создается не для всей задачи целиком, а для каждой подзадачи.
На рис. 2 описан алгоритм подготовки задачи.
Декомпозиция задачи
Создание шаблона (структуры решения) для каждой подзадачи
Определение
критериев правильности
I
Создание банка ошибок
Рис.2. - Подготовка задачи Декомпозиция состоит в разбиении большой по объему задачи на несколько подзадач. Данное разбиение позволяет следить за ходом выполнения задачи, осуществлять обратную связь со студентом, повышая эффективность обучения. Если задача небольшая по объему выполнения, то она не декомпозируется. В данном случае задача будет состоять из одной подзадачи. Совокупность ЛР можно рассматривать как одну задачу, тогда как каждую ЛР - как подзадачу. Такая организация относится и к практическим работам. В таких случаях идет обратный процесс - композиция задачи.
Банк ошибок задачи имеет измененную структуру, которая описана на рис. 3.
Рис.3. - Структура банка ошибок для многошаговой задачи со сложными промежуточными результатами
Блоки выделяются для каждой подзадачи. В случае небольших задач блоки выделяются для задачи в целом (для единственной подзадачи).
В программу «Банк ошибок» [12] внесены соответствующие изменения, позволяющие проверять многошаговые задачи со сложными промежуточными результатами.
4 Эксперимент и результаты
4.1 Эксперимент. Общее описание
Методика и инструментальное средство, адаптированные для поддержки многоэтапности решения, были использованы при проведении курсового проектирования по дисциплине «Проектирование АСОИУ» у двух групп специальности «АСОИУ» в Уфимском государственном авиационном техническом университете, на кафедре «Автоматизированные системы управления (далее АСУ)» в условиях смешанного обучения в 2013-2014 гг.
Курс проводился в осеннем семестре. Его проходили группы пятикурсников в общем количестве 35 человек. Цель КП - разработать АСУ для заданной организации. Проект разделен на 8 подзадач. КП очень большой по объему, он является заключительным проектом пятилетнего обучения и интегрирует знания студентов, полученных на протяжении всего обучения. Включает формулирование требований к системе, построение множества моделей: мнемосхем процесса, функциональных моделей, моделей управления, информационной модели и др, а также разработку прототипа системы в специальном средстве БогеШ.
Студенты были обеспечены шаблонами по каждому этапу работы, а также календарным планом сдачи каждого этапа. Выполнение КП, его проверка и консультирование проводились дистанционно. Итоговая защита проводилась очно.
4.2 Выявленные проблемы
Эксперимент показал некоторые проблемы как для всего проекта, так и для некоторых этапов. Выявлены следующие проблемы:
• поздняя сдача работ;
• попытка сдать плагиат: практически полное заимствование чужой работы;
• частичное заимствование: выполнение работы с использованием работы другого студента как образца для оформления;
• пробелы в знаниях и умениях, которые должны были быть сформированы у студентов до прохождения данного курса;
• некорректное оформление работ.
Несмотря на то, что студенты были обеспечены календарным планом, большая часть студентов сдавала проект в конце обучения, когда пошаговая проверка очень объемной работы была затруднительна для преподавателя. В
связи с этим, проверка КП проводилась в некоторых случаях целиком или по нескольку шагов зараз.
Были использованы неповторяющиеся уникальные темы для КП, представляющие собой различные предметные области. Это привело к тому, что полностью скопированных работ, выполненных другим студентом ранее, предъявлено не было. Однако часть студентов использовала чужие работы, как образцы. Несколько студентов использовали работы, с предметными областями, содержащими функции, которые могут использоваться в их предметных областях. Они вносили поверхностные изменения и адаптировали чужую работу к своей предметной области. Это был практически чистый плагиат. Пошаговая проверка позволила выявить это на начальном этапе выполнения КП. Таким студентам было выдано новая тема КП. Другие студенты использовали чужую работу только в качестве образца для оформления. Это приводило к тому, что элементы чужого текста оставались в их работе.
Помимо ошибок в КП из-за пробелов в знаниях и умениях по текущему курсу значительная часть ошибок была сделана из-за неполностью сформированного бэкграунда (багажа знаний и умений, приобретенного ранее) у студентов. Поэтому значительная часть времени при проверке уходила на восстановление этого бэкграунда.
Также много ошибок было сделано по оформлению пояснительной записки: пропуск некоторых пунктов; ошибки в колонтитуле, на титульном листе, на листе задания; нечитаемые из-за неподходящего масштаба скриншоты и др.
Студенты были обеспечены необходимыми шаблонами к каждому этапу, в которых содержалась информация как по структуре работы, так и по критериям правильности выполнения, но это не помогло избежать ошибок оформления.
4.3 Результаты автоматизированной проверки КП
При проверке данного КП был сформирован банк ошибок, охватывающий все шаги проекта. Анализ результатов показал, что значительная часть ошибок относится к повторяющимся, а не уникальным ошибкам. Также большая часть ошибок в отклике преподавателя печатается преподавателем повторно. Большой объем работы (8 этапов) также повлиял на количество ошибок. Поэтому использование автоматизированной проверки вместо ручной привело к значительному сокращению времени на проверку.
4.4 Выводы по эксперименту
Выводы по результатам эксперимента следующие:
• использование методики и средства автоматизированной проверки позволили значительно сократить время проверки;
• данные методика и средство, несмотря на ускорение процесса проверки работ, не позволили в условиях ограничения по времени и увеличенной нагрузки осуществить пошаговую проверку всех работ, включая работы отстающих студентов, поэтому необходима дальнейшая доработка методики;
• большое количество ошибок бэкграунда и ошибок оформления создали дополнительную нагрузку при проверке, поэтому необходимо использовать меры по их сокращению;
• наличие разных тем не помогает эффективно бороться с плагиатом, поэтому необходимо использовать и другие меры.
Выводы
В работе приведена более четкая терминология, приведена классификация и особенности сложных открытых задач. Подробно рассмотрены их комбинированные типы. Выделено два комбинированных
типа, для которых не существует методик и средств проверки. Рассмотрено дистанционное выполнение и проверка КП по дисциплине «Проектирование АСОИУ» у студентов-очников как многошаговой задачи со сложными промежуточными результатами и сложной организацией проведения. Для автоматизации проверки такой сложной открытой задачи была использована измененная методика на основе банка ошибок, адаптированная для многошаговости проверки, и инструментальное средство, реализующее данную методику.
Эффективность методики и средства подтверждена значительным увеличением скорости проверки КП, по сравнению с ручной проверкой. Также в результате эксперимента был выявлен ряд проблем, снижающих эффективность обучения, которые в дальнейшем необходимо устранить.
Литература
1. Jensen J., Lee E., Seshia S. Virtualizing cyber-physical systems: bringing CPS to online education // Proceedings of the First workshop on cyber-physical systems education (CPS-Ed 2013) at Cyber physical systems week (CPS Week 2013), Philadelphia, Pennsylvania, USA, April 2013. URL: cps-vo.org/group/edu/workshop/proceedings2013 (free access). Caps. screen. English Language.
2. Croix J., Egerstedt M. Flipping the controls classroom around a MOOC // American control conference (ACC), 4-6 June 2014, Portland, Oregon. IEEE, 2014. pp. 2557 - 2562. DOI: 10.1109/ACC.2014.6858682.
3. Tuned models of peer assessment in MOOCs / C. Piech, J. Huang, Z. Chen, C. Do, A. Ng, D. Koller // Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp.153-160.
4. Admiraal W., Pilli O. Assessment in Massive Open Online Courses // The Electronic Journal of e-Learning. 2015. Vol.13. Issue 13. pp. 207-216.
5. Balfour S. Assessing writing in MOOCs: automated essay scoring and calibrated peer review // Research & Practice in Assessment. 2013. Vol. 8. pp 4048.
6. Chauhan A. Massive open online oourses (MOOCS): emerging trends in assessment and accreditation // Digital Education Review. 2014. No.25. pp. 7-18.
7. Imaki J., Ishihara S. Experimenting with a Japanese automated essay scoring system in the L2 Japanese environment// Papers in Language Testing and Assessment. 2013. Vol. 2. No. 2. pp. 28-46.
8. Valenti S., Neri F., Cucchiarelli A. An Overview of current research on automated essay grading // Journal of Information Technology Education. 2003. Vol. 2. pp. 319-330.
9. Ade-Ibijola A., Wakama I., Amadi J. An expert system for automated essay scoring (AES) in computing using shallow NLP techniques for inferencing// International Journal of Computer Applications. 2012. Vol. 51. No.10. pp.37-45.
10. Towards robust computerised marking of free-text responses / T. Mitchell, T. Russell, P. Broomhead, N. Aldridge // Proceedings of the 6th CAA Conference, Loughborough: Loughborough University, 2002. pp. 233-249.
11. Латыпова В. А. Методики проверки работ со сложным результатом в условиях смешанного и дистанционного автоматизированного обучения // Интернет-журнал «Науковедение». 2015. Том 7. №3. URL: naukovedenie.ru/PDF/170TVN315.pdf , англ. DOI: 10.15862/170TVN315.
12. Латыпова В.А. Методика и инструментальное средство автоматизированной проверки работ со сложным результатом на основе использования банка ошибок // Наука и бизнес: пути развития. 2015. №7 (49). С.41-47.
13. Латыпова В.А. Методики проверки многошаговых задач в условиях смешанного и дистанционного автоматизированного обучения //
Интернет-журнал «Науковедение». 2015. Том 7. №4. URL: naukovedenie.ru/PDF/58TVN415.pdf, англ. DOI: 10.15862/58TVN415.
14. Латыпова В. А. Методики проведения и проверки лабораторных работ при смешанном и дистанционном автоматизированном обучении // Инженерный вестник Дона. 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3129.
15. Hosseini R., Vihavainen A., Brusilovsky P. Exploring problem solving paths in Java programming course // Psychology of programming interest group annual conference 25-27 June 2014, University of Sussex, UK. Proceedings, 2014. pp. 65-76.
16. Файзрахманов Р. А., Полевщиков И.С. Оценка качества выполнения упражнений на компьютерном тренажере перегрузочной машины с использованием нечетких множеств // Инженерный Вестник Дона. 2012. №4 (часть 1). URL: ivdon.ru/ru/magazine/archive/n4p1y2012/1265.
17. Тихоненко Т. В. Автоматизация процесса проверки выполнения лабораторных работ // Проблемы современного образования в техническом вузе : материалы III Респ. науч.-метод. конф., Гомель, 31 окт.-1 нояб. 2013 г. Гомель: ГГТУ им. П. О. Сухого, 2013. С. 38-40.
References
1. Jensen J., Lee E., Seshia S. Proceedings of the First workshop on cyber-physical systems education (CPS-Ed 2013) at Cyber physical systems week (CPSWeek 2013), Philadelphia, Pennsylvania, USA, April 2013. URL: cps-vo.org/group/edu/workshop/proceedings2013 (free access). Caps. screen. English Language.
2. Croix J., Egerstedt M. American control conference (ACC), 4-6 June 2014, Portland, Oregon. IEEE, 2014. pp. 2557-2562. DOI: 10.1109/ACC.2014.6858682.
3. C. Piech, J. Huang, Z. Chen, C. Do, A. Ng, D. Koller. Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp.153-160.
4. Admiraal W., Pilli O. The Electronic Journal of e-Learning. 2015. Vol.13. Issue 13. pp. 207-216.
5. Balfour S. Research & Practice in Assessment. 2013. Vol. 8. pp 40-48.
6. Chauhan A. Digital Education Review. 2014. No.25. pp. 7-18.
7. Imaki J., Ishihara S. Papers in Language Testing and Assessment. 2013. Vol. 2. No. 2. pp. 28-46.
8. Valenti S., Neri F., Cucchiarelli A. Journal of Information Technology Education. 2003. Vol. 2. pp. 319-330.
9. Ade-Ibijola A., Wakama I., Amadi J. International Journal of Computer Applications. 2012. Vol. 51. No.10. pp.37-45.
10. Mitchell, T. Russell, P. Broomhead, N. Aldridge. Proceedings of the 6th CAA Conference, Loughborough: Loughborough University, 2002. pp. 233249.
11. Latypova V.A. Internet-zhurnal «Naukovedenie». 2015. Tom 7. №3. URL: naukovedenie.ru/PDF/170TVN315.pdf , angl. DOI: 10.15862/170TVN315.
12. Latypova V.A. Nauka i biznes: puti razvitiya. 2015. №7 (49). pp.4147.
13. Latypova V.A. Internet-zhurnal «Naukovedenie». 2015. Tom 7. №4. URL: naukovedenie.ru/PDF/58TVN415.pdf, angl. DOI: 10.15862/58TVN415.
14. Latypova V.A. Inzenernyj vestnik Dona (Rus). 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3129.
15. Hosseini R., Vihavainen A., Brusilovsky P. Psychology of programming interest group annual conference 25-27 June 2014, University of Sussex, UK. Proceedings, 2014. pp. 65-76.
16. Fayzrakhmanov R.A., Polevshchikov I.S. Inzenernyj vestnik Dona (Rus). 2012. №4 (part 1). URL: ivdon.ru/ru/magazine/archive/n4p1y2012/1265.
17. Tikhonenko T. V. Problemy sovremennogo obrazovaniya v tekhnicheskom vuze : materialy III Resp. nauch.-metod. konf., Gomel', 31 okt.-1 noyab. 2013 g. Gomel': GGTU im. P. O. Sukhogo, 2013. pp. 38-40.
