Исследование автоматизированной системы оценки качества усвоения учебного материала для технической группы дисциплин Текст научной статьи по специальности «Науки об образовании»

УДК 371.39

Е.А. Мезенцева, О.В. Кретинин

ИССЛЕДОВАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА УСВОЕНИЯ УЧЕБНОГО МАТЕРИАЛА ДЛЯ ТЕХНИЧЕСКОЙ ГРУППЫ ДИСЦИПЛИН

Нижегородский государственный технический университет им. Р.Е. Алексеева

Цель статьи - показать целесообразность и актуальность методики проведения компьютерного контроля качества обучения и формирования модели оценки знаний с учетом различных критериев. Приведено и сравнено различное программное обеспечение для оценки знаний студентов, а так же разработка собственной программы для данных целей

Ключевые слова: методики обучения, системы компьютерного контроля знаний,анализ проведенных тестирований,TestEditor, OpenTest, MyTestX,робототехника, мехатроника.

В процессе изучения студентами дисциплин «Микропроцессорная техника в мехатро-нике и робототехнике», «Средства автоматизации и управления», «Программное обеспечение мехатронных и робототехнических систем» и «Основы робототехники и мехатроники» актуально использование компьютерной системы контроля качества обучения, которая позволяла бы объективно оценивать знания обучаемых, а также обеспечивать реализацию адаптивных методов тестирования. Данный комплекс оптимально подходит для обучения основам робототехники и мехатроники. Методы максимально используют такие данные, как уровень подготовленности обучаемого, уровень беспокойства, правильность ответа и позволяют организовать контроль индивидуально для каждого обучаемого. Кроме того, важным аспектом является высвобождение времени преподавателя для совершенствования своей профессиональной деятельности и увеличение времени на индивидуальную работу с обучающимися.

Проблемы компьютерного контроля знаний (КЗ) обычно рассматриваются в двух аспектах: методическом и техническом.

Методические аспекты контроля знаний связаны с решением педагогических и психологических вопросов, то есть организация КЗ рассматривается с точки зрения дидактики.

К методическим аспектам относятся:

• выбор заданий для проверки знаний, умений и навыков обучаемого («что контролировать?»);

• планирование проведения контроля знаний («когда контролировать?»);

• определение требований к формированию набора контрольных заданий («как контролировать?»).

Определение типов и трудности вопросов для проверки знаний, умений и навыков обучаемых. Вопрос «что контролировать?» тесно связан с педагогической задачей самого процесса обучения. Как известно, основной вопрос дидактики «чему учить?» включает в себя определение цели обучения, что является важным и при создании компьютерной системы. При организации компьютерного КЗ также необходимо определить цели проводимого контроля на каждом этапе учебного процесса. Задача контроля - определение соответствия подготовленности обучаемого тому или иному уровню усвоения учебного материала. На этапе восприятия, осмысления, запоминания оценивается уровень знаний обучаемого о предметной области и понимания основных положений. Способность применять полученные знания для решения конкретных задач или в ситуации, требующей проявления познавательной са-

© Мезенцева Е.А., Кретинин О.В., 2014.

мостоятельности, оценивается как соответствие требуемым навыкам и/или умениям. Оценка качества знаний на каждом уровне (знания, умения, навыки) может быть осуществлена с помощью использования различных типов заданий. При разработке заданий для контроля важно установить, для проверки каких знаний, умений и/или навыков и для какого вида КЗ предназначено данное задание, а также сформулировать цели включения его в банк контрольных заданий.

2. Планирование проведения контроля знаний. Вопрос «когда контролировать?» связан с проблемой полноты проверки знаний и умений. Учебный процесс принято рассматривать как распределенный во времени процесс формирования требуемых знаний, навыков и умений. В данном случае оценивание происходит поэтапно и позволяет осуществить качественный и полный контроль. В зависимости от времени проводимой проверки различают четыре вида контроля знаний:

• исходный (предварительный) контроль (проводится непосредственно перед обучением, позволяет оценить начальный уровень знаний обучаемого и соответственно планировать обучение);

• текущий контроль (осуществляется в ходе обучения, позволяет определить уровень усвоения обучаемым отдельных понятий учебного материала и скорректировать дальнейшее изучение предмета);

• рубежный контроль (проводится по завершении определенного этапа обучения, служит для оценки уровня знаний обучаемого по теме или разделу курса);

• итоговый контроль (позволяет оценить знания, умения и навыки обучаемого по курсу в целом).

3. Определение требований к формированию набора вопросов и заданий для опроса. Учебный процесс с использованием компьютерных технологий может быть представлен как моделирование учебной деятельности, при которой компьютер выполняет ряд функций преподавателя, в частности, организацию диалога в виде сценария - алгоритма управления учебной и познавательной деятельностью обучаемого. Поэтому важным методическим аспектом контроля является формирование набора контрольных заданий, в зависимости от вида и цели контроля. Существуют различные методы формирования заданий для контроля: случайная последовательность вопросов и заданий разной сложности, трудности и значимости; специальный набор заданий различной сложности, сформированный для проверки определенного или комплексного уровня подготовки (знания, умения и/или навыки) и предъявляемый в заданной последовательности; набор заданий, предъявляемый в порядке нарастания уровня сложности; группа заданий, порядок выполнения которых выбирает сам обучаемый и др.

Технический аспект связан, в первую очередь, с проблемой реализации планируемого контроля знаний, с выбором подходящего алгоритма для оценки контрольных работ. К техническим аспектам относятся:

1. Формирование набора контрольных заданий на основе выбранного подхода. Данный аспект связан с непосредственной реализацией контроля и оценки знаний в компьютерной системе КЗ, с учетом цели и вида проводимого контроля. На основе выбранного метода формирования контрольных вопросов происходит автоматическая подготовка задания (или набора заданий) для контроля и выдача его обучаемому, то есть управление контролем реализуется путем генерации контрольных заданий с учетом различных параметров контроля знаний.

2. Выбор и использование в системе контроля параметров КЗ. Параметры контроля могут быть условно разделены на три группы:

• параметры, характеризующие отдельное задание,

• параметры, характеризующие работу обучаемого с набором контрольных заданий,

• параметры, используемые для настройки алгоритма, обычно задаются преподавателем, но могут иметь и заранее установленные значения.

3. Выбор алгоритма для оценки знаний обучаемого. Любой алгоритм оценки знаний

предусматривает сбор, анализ и/или преобразование данных, получаемых в процессе контроля, и, непосредственно, формирование самой оценки (суммы баллов, рейтинга, ранга). Различают алгоритмы, которые применяются для выставления оценки только по завершению контроля, то есть на последнем этапе процесса оценивания. Однако, большинство алгоритмов используются параллельно с контролем знаний, когда оценка может быть выставлена за выполнение отдельного задания, контрольной работы или по дисциплине в целом, при этом полученная оценка обязательно учитывается в используемом методе проведения КЗ.

Таким образом, для управления процессом компьютерного КЗ необходимо наличие, с одной стороны, методов проведения (организации) контроля, с другой стороны, методов и моделей оценки знаний, умений и навыков обучаемого по результатам выполнения им контрольных заданий.

Разработка тестовых материалов для любой формы тестирования (бланкового или компьютерного) должна удовлетворять определенным принципам, выработанным требованиям, правилам оформления и удовлетворять требованиям экспертов по оценке тестовых заданий.

Форма постановки тестовых заданий может быть разной, но чаще всего приходят к двум наиболее распространенным формам ТЗ:

• тестовое задание - логическое высказывание, на которое необходимо выбрать/ввести однозначное утверждение;

• тестовое задание - вопрос, на который также необходимо выбрать/ввести однозначный ответ.

Тестовое задание любого вида и формы имеет определенную структуру, которая позволяет выделить составные части тестового задания и придать определенный единообразный внешний вид при представлении различных тестовых заданий и открытого, и закрытого типов, придать определенный стиль и упорядочить работу, как по созданию тестовых заданий, так и при их выполнении. В компьютерном ТЗ можно выделить зоны:

• представления самого задания;

• предполагаемых вариантов ответа на задание (дистракторы);

• рекомендаций по выполнению задания;

• реакции системы на выполнение задания (сообщения системы, текущая статистика, общий результат работы);

Преимущества компьютерного тестирования перед традиционными формами: Для педагога:

- обеспечение возможности оперативной проверки знаний большого количества обучающихся по разным темам, проверке материала по дисциплине в комплексе;

- высвобождение обучающего от выполнения повторяющейся трудоёмкой и рутинной работы по организации массового тестирования, высвобождение времени для творческого совершенствования разных аспектов его профессиональной деятельности;

- высвобождение времени педагога для разработки качественного методического обеспечения учебного процесса, в том числе и разработке тестовых заданий для компьютерного тестирования;

- своевременность реагирования на затруднения обучающегося при изучении материала позволяет быстро внести изменения в организацию образовательного процесса, пересмотра методики изложения материала, что должно повысить качество обучения;

- компьютерное тестирование по всему изучаемому материалу позволяет педагогу проконтролировать свою работу, полноту изложения материала в соответствии с программами и ГОС, что является одним из факторов повышения качества обучения;

- одним из важнейших достоинств применения компьютерных технологий тестирования в образовательном процессе является повышение педагогом своего профессионального уровня, как при разработке тестовых заданий, так и более глубоком рассмотрении предметного материала.

Для обучающегося:

- повышение объективности аттестации уровня учебных достижений и исключения субъективных факторов (усталость педагога и его эмоциональность или плохое настроение, отсутствие или недостаточность времени для личного общения педагога и обучающегося другое);

- обеспечение индивидуальности прохождения процедуры тестирования;

- предоставление оперативной, достоверной информации о знаниях, полученных в процессе обучения, и о готовности к восприятию нового материала;

- обеспечение доступности прохождения процедуры тестирования;

- обеспечение учета индивидуальности и выбора удобного времени прохождения процедуры тестирования;

- выбора самим обучающимся конкретного маршрута, уровня тестирования, соответствующего его начальной подготовленности, умению сосредоточиться, осмысленно выбирая свою адаптивную траекторию тестирования, что позволит рационально использовать время работы в системе;

- возможность подачи обучающимся апелляции и быстрого получения ответа со стороны системы тестирования и педагога при несогласии с результатами проведенного тестирования (возможность предложения своего варианта ответа на поставленный вопрос и рассмотрения совместно с педагогом несоответствия своего ответа и предлагаемого системой тестирования);

- предоставление возможности обучающемуся самопроверки освоения материала в том режиме работы, как это ему удобно (сетевой режим доступа к контролирующим системам и измерительным материалам);

- доступность и равноправие всех участников процедуры тестирования;

- получение полной и достоверной информации о результатах своей работы на разных этапах обучения и тестирования;

- возможность неоднократного проведения процедуры тестирования с целью самоконтроля изученного материала способствует развитию навыков самостоятельной работы, самооценки и самоактуализации обучающегося.

В процедуре компьютерного тестирования, безусловно, есть и недостатки. Главным недостатком представляется исключение речевого компонента в ответе обучающегося, невозможность оценить (или мы пока не видим способов) умение вести дискуссию, отстаивать свою точку зрения, это возможно лишь при непосредственном взаимодействии субъектов образовательного процесса. Но, скорее всего, необходим комплексный подход к организации процедур аттестации испытуемых. Тестирование должно подтверждаться коллективной формой аттестации в виде учебных конференций, диспутов, других форм общения.

Сведение к минимуму указанных недостатков компьютерных технологий обучения и тестирования достигается применением продуманной методики построения учебного процесса в компьютерной среде обучения с более активным использованием публичных выступлений обучающихся на семинарах, конференциях с результатами выполнения творческих работ.

Одной из наиболее важных задач при создании компьютерных средств учебного назначения является организация контроля знаний. При этом, анализируя сложившуюся ситуацию, можно сделать вывод, что на данный момент решение проблемы качественной оценки знаний, умений и навыков студентов при компьютерном обучении в большой степени связано с правильным выбором метода (или методов) организации и проведения контроля знаний, позволяющих получить достоверную оценку знаний учащихся, учитывая их индивидуальные способности.

Обзор существующих систем компьютерного тестирования

1. MyTestX

Программа MyTest разрабатывается Башлаковым Александром Сергеевичем с 2003 года. MyTestX - мощный комплекс программ для подготовки и проведения компьютерного тестирования.

С помощью программы MyTestX возможна организация и проведение тестирования, экзаменов в любых образовательных учреждениях (вузы, колледжи, школы) как с целью выявить уровень знаний по любым учебным дисциплинам, так и с обучающими целями. Предприятия и организации могут осуществлять аттестацию и сертификацию своих сотрудников.

2. TestEditor

Данный пакет программ функционирует под управлением операционной системы из семейства Windows. В состав пакета входят программы: редактор тестов (TestEdit), контролирующая программа (ControlTest); программа проверки результата тестирования (View).

Особенность комплекса программ состоит в том, что программа TestEdit позволяет создавать, а программа ControlTest - проигрывать тесты, реализующие механизм векторной оценки испытуемого, т.е. вопросы в тесте могут отличаться друг от друга важностью (значимостью) и сложностью, и это отличие может быть зафиксировано в тесте с помощью инструмента баллов (к описанию программы прилагается примерная методика расстановки баллов к вопросам, которой можно следовать, а можно изобрести свою).

3. OpenTest

В Харьковском национальном университете радиоэлектроники разработана и в течение нескольких лет в ряде учебных заведений Украины находится в эксплуатации система компьютерного тестирования знаний студентов OpenTEST. За это время система OpenTEST зарекомендовала себя с положительной стороны, особенно в ходе итоговых тестирований в учебном процессе в рамках Болонского соглашения.

OpenTEST 2.0 - это компьютерная система тестирования знаний, созданная для очного итогового контроля качества усвоения теоретического материала, приобретенных знаний и практических навыков обучаемых в крупных организациях со сложной распределённой структурой.

Библиографический список

1. Григорьев, Ю.В. Учет взаимодействия между студентами при обучающем контроле на ЭВМ

// Информатика и образование. 2007. № 2. С. 7-9.

2. Грызлов, С.В. Компьютерные обучающие системы, построенные по принципу действия экс-

пертно-обучающих систем: (Разработка и применение при обучении решению физических задач): дис. ... канд. пед. наук: 13.00.02. - М., 1998. - 192 с.

3. http://mytest.klyaksa.net/

4. http://testeditor.org/en/

5. http://opentest.com.ua/

Дата поступления в редакцию 11.12.2014

E. A. Mezentseva, O. V. Kretinin

STUDIES OF THE AUTOMATED SYSTEM OF QUALITY EVALUATION OF TECHNICAL DISCIPLINES MATERIAL

Nizhny Novgorod state technical university n. a. R. E. A^eev

The purpose of the article is to demonstrate a usable and applicable character of the methods of computerized monitoring of educational quality and forming of a knowledge level evaluation model basing upon various criteria. Different software meant for students' knowledge evaluation is considered and compared, and also a proper programme is written for this purpose.

Key words: educational method, computerized monitoring of educational quality, test results analysis, TestEditor, OpenTest, MyTestX, robotic engineering, mechatronics.