CC BY
39
УДК 378 004.94
С.Н. Ларин
канд. тех. наук, старший научный сотрудник, ФГБУН Центральный экономико-математический институт РАН
Е.В. Жилякова
канд. экон. наук, главный специалист, Российский гуманитарный научный фонд
СРАВНЕНИЕ СОВРЕМЕННЫХ КОМПЬЮТЕРНЫХ СРЕД, ПРЕДНАЗНАЧЕННЫХ ДЛЯ КОНТРОЛЯ УРОВНЯ ЗНАНИЙ ОБУЧАЕМЫХ
Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда, проект №11-06-00033а «Педагогические основы разработки и практического применения информационно-коммуникационных технологий в образовательном процессе»
Аннотация. В статье обобщен состав требований, предъявляемых к современным компьютерным средам контроля уровня знаний обучаемых и результаты сравнения функциональных возможностей наиболее известных из них. По результатам сравнения сделан вывод о том, что ни одна из рассмотренных программных оболочек не обладает полным набором функциональных возможностей.
Ключевые слова: информационно-коммуникационные технологии, мониторинг качества обучения, проблема оценки знаний, система педагогического тестирования, компьютерные образовательные среды, педагогические принципы разработки обучающе-контролирующих программ.
S.N. Larin, Central Economics and Mathematics Institute
E.V. Zhilyakova, Russian Foundation for Humanities
COMPARISON OF TODAY'S COMPUTING ENVIRONMENT, DESIGNED TO MONITORING
KNOWLEDGE STUDENTS
Abstract. In this article the composition of the requirements for today's computing environment control the level of knowledge of students and the results of the comparison features the most famous of them. By comparing the results concluded that none of these shells are not software has a complete set of functionality.
Keywords: information and communication technologies, monitoring the quality of education, the problem of knowledge assessment system pedagogical testing, computer learning environment, teaching the principles of developing a training-control programs.
Современные педагогические технологии основной упор в работе с обучаемыми переносят на самостоятельную работу и индивидуальную подготовку каждого обучаемого, базирующуюся на его взаимодействии с контролирующими и обучающими программами, разработанными при поддержке современных информационно-коммуникационных технологий (ИКТ). Современные педагогические технологии обеспечивают каждого обучаемого индивидуальной программой, соответствующей его уровню знаний [1]. В такой ситуации особое значение приобретает инструментарий для измерения результатов усвоения педагогических знаний и навыков, поскольку без него индивидуальную работу с каждым обучаемым организовать невозможно. Учебный
процесс, протекающий по любой схеме, требует проведения своевременного мониторинга качества обучения, который зачастую является одним из видимых показателей многомесячной работы обучаемого. Поэтому оценка знаний - один из важнейших вопросов не только высшей школы, но и педагогики в целом.
Традиционная система оценок достаточно привычна и удобна для ранжирования и сбора статистической информации. Однако наряду с достоинствами эта система оценок имеет и ряд недостатков, главным из которых является отсутствие количественного критерия, позволяющего объективно и беспристрастно обосновать ту или иную оценку учебной деятельности. Субъективный характер оценки проявляется также в том, что контролирует, проверяет, указывает на недостатки, высказывает свое суждение чаще всего только преподаватель, а значит, соотношение оценок в коллективе может смещаться в зависимости от психологического комфорта в отношениях преподавателя и обучаемых. Поэтому проблема непредвзятой и в то же время отражающей действительную картину оценки знаний обучаемых является весьма актуальной для современной педагогики. Большими потенциальными возможностями для ее решения обладает система педагогического тестирования, разработанная на основе использования современных ИКТ и компьютерных образовательных сред.
Педагогический тест - это система заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая качественно оценить структуру и измерить уровень знаний, умений и навыков [5]. Чтобы выполнять функцию инструмента измерения, тест должен состоять из достаточного количества тестовых заданий, число которых определяет длину теста.
Наиболее оптимально образовательные возможности контроля осуществляют автоматизированные обучающие системы высокого уровня, представленные в виде компьютерных образовательных сред, частью которых являются средства диагностики и контроля знаний. Для реализации функций, принципов, форм, видов и приемов педагогического контроля проектирование и программирование тестовой программы-оболочки должны базироваться на общих педагогических принципах разработки обу-чающе-контролирующих программ. Программный комплекс поддержки обучения и контроля должен основываться на двух практически независимых программных подсистемах: проектирования и интерпретации [4]. Проектировщик и интерпретатор взаимодействуют на основе ряда архитектурных структур и базы учебных элементов, схема которой моделируется в соответствии с рабочей программой автоматизируемого курса. Пользователем проектировщика считается преподаватель, интерпретатора - обучаемый.
Для реализации алгоритма контроля и оценки уровня знаний обучаемых в компьютерных образовательных средах необходимо воплотить выбранную теоретическую концепцию, дизайн, навигацию, а также учесть индивидуально-психологические особенности обучаемых и эргономические требования. Вместе с тем такие среды должны предоставлять достаточно широкий выбор методов и средств анализа ответов, удобные и наглядные эталоны ответа, иметь мощную статистическую базу, достаточную для обеспечения корректировки курса.
При программной реализации алгоритма контроля и оценки уровня знаний обучаемых целесообразно использовать метод диалогового автоматизированного проек-
тирования на основе набора специально настраиваемых фрагментов-модулей. Он базируется на разработке контролирующей программы из типовых заготовок сценария обучения, которые способны менять не только свое содержательное наполнение, но и структуру [3, с.137].
Программная реализация алгоритма контроля и оценки уровня знаний обучаемых в компьютерных образовательных средах должна поддерживать:
1) сетевую технологию с целью экономии ресурсов и удобства формирования статистики;
2) мультимедиа-технологию, реализующую комбинированное применение текста, звука, анимации, видеофрагментов и др.;
3) создание продукта в режиме диалога пользователя с компьютером или формирование исходной информации в виде текстового файла;
4) создание произвольного количества тестовых заданий (вопросов);
5) создание произвольного числа элементов тестового задания (ответов);
6) конструирование тестовых заданий в четырех основных формах (закрытой, открытой, на соответствие и установление правильной последовательности), а так же их различных вариаций;
7) выбор для каждой структурной единицы соответствующих ей форм тестовых заданий, чем обеспечивается содержательная валидность и систематичность сформированного теста; при этом под содержательной валидностью теста понимается критерий его соответствия области измеряемых явлений. Она показывает, насколько полно тест охватывает исследуемое множество измеряемых параметров [8, с.347];
8) каждое задание должно получать дихотомическую или политомическую оценку в зависимости от весового коэффициента и его трудности; характерной особенностью дихотомической оценки элементов (альтернатив) верного ответа тестового задания является то обстоятельство, что при отметке всех элементов, например 5 или 10, задания обучаемый получает 1 балл, а при отсутствии отметки хотя бы одного - 0 баллов. При политомической оценке элементов (альтернатив) верного ответа тестового задания подход изменяется, а именно: если из 5 или 10 элементов (альтернатив) верного ответа одно не отмечено, то сумма баллов будет равна соответственно 4 или 9 [6, с.283];
9) совместное использование различных шкал оценок (традиционной дифференцированной, абсолютной, относительной, бинарной, балльной и др.);
10) использование принципа фасетности (предполагает форму записи нескольких вариантов одного и того же задания, то есть создания нескольких параллельных заданий по одной тематике) при конструировании тестовых заданий, что позволяет снижать возможность «заимствования» ответа;
11) возможность выбора последовательности подачи заданий, в том числе строго определенную, случайную, специальную, блочную, в порядке, сочетающем случайный и специальный подбор;
12) возможность выбора количества тестовых заданий из общего банка заданий;
13) возможность выбора временного периода, необходимого для прохождения как теста в целом, так и каждого задания в частности;
14) основные методы вывода и анализа ответа: альтернативный, выборочный,
перестановочный, классификационный и др.;
15) мощную статистическую базу, позволяющую вести учет и оценку уровня знаний как по каждому обучаемому, так и в разрезе любых групп обучаемых, а так же отдельно для преподавателя с возможностью просмотра результатов на экране;
16) создание базы верных/неверных ответов;
17) учет индивидуальных психологических особенностей обучаемых: свойства внимания, тип нервной системы, особенности памяти, мотивация изучения конкретного предмета и др.;
18) предусматривать возможности работы в режимах: отладка, контроль, тренаж, обучение;
19) обработку запросов: помощи, подсказки, пояснения, словаря, справки, комментария, теоретического материала и т.п.;
20) обработку ошибочных, неполных и неточных ответов;
21) инструментарий программирования теста должен существовать как открытая модульная система, позволяющая в случае необходимости добавлять новые блоки [9, с.271].
Успех создания в компьютерной образовательной среде программной реализации алгоритма контроля и оценки уровня знаний обучаемых, обладающей всей совокупностью указанных выше свойств, зависит в основном от взаимодействия коллектива разработчиков, уровня квалификации программистов и понимания ими дидактических целей и задач, определенных на этапе разработки сценария теста. Практика показывает, что достичь этого удается далеко не всегда.
Не смотря на то, что современные ИКТ и программные средства позволяют разрабатывать диагностический инструментарий, максимально приближенный к выше перечисленным требованиям, а количество тестовых программ в последние годы значительно увеличилось, по мнению авторов, пока еще не существует инструментальных сред, которые бы в полном объеме отвечали этим требованиям.
В подтверждение сказанному авторами было проанализировано более 70 программных оболочек, предназначенных для обучения и контроля уровня знаний обучаемых. Цель анализа заключалась в выявлении уровня их соответствия указанным выше требованиям к модели инструментальной среды. Полученные результаты представлены в таблице, где содержатся сравнительные данные по 10 информационным продуктам, которые наиболее репрезентативно отражают ситуацию, сложившуюся в сфере разработки тестовых программ. Как известно, под репрезентативностью принято понимать свойство выборки отражать характеристики изучаемой генеральной совокупности. Также репрезентативность можно определить, как свойство выборочной совокупности тестовых программных оболочек представлять параметры их большей совокупности, значимые с точки зрения нашего исследования. Репрезентативность определяет, насколько возможно обобщать результаты исследования с привлечением определённой выборки на всю генеральную совокупность, из которой она была собрана.
Существуют статистические критерии репрезентативности выборки. Ее величина определяется видом статистических мер и выбранной точностью (достоверностью) принятия или отвержения экспериментальной гипотезы [7, с.140]. В нашем случае экспериментальная выборка представляет собой значимую часть от рассматриваемой
совокупности тестовых программных оболочек (14,3%), свойства которой частично или полностью отражают аналогичные показатели ее меньшей части.
Таблица - Сравнение программных оболочек и инструментальных сред, предназначенных для обучения и контроля уровня знаний обучаемых
Исследуемые Тестовые программы
характеристики A B C D E F J H K L
Максимальное
количество тест. заданий > 100 1000 -п . о ч: » £ 10 10 500 1000 1000 255 > 100
Выбор тест. заданий - + - - - + + + - -
Выбор по- Стат. + + + + - - + + - +
след-ти тест. Случ. - + - - + + + + + -
Работа с заданий Иной - - - - - - + + - -
тестовыми заданиями Число форм тест. заданий 1 1 1 1 1 1 2 4 1 1
Принцип работы* 1 1 2 1 2 2 1 1 2 2
Кол-во попыток ответа
на вопрос 1 1 Неогр. 1 1 1 1 Неогр. 1 1
Возможность отказа от ответа - + + + - - - + - -
Работа со списком Максимальное число альтернатив в тесте 4 20 4 4 4 15 10 10 5 5
альтерна- Способ под Случ. - - - - + - - + + -
тив альтернатив Стат. + + + + - + + - - +
Режим ра- Контроль + + + + + + + + + +
боты Тренинг - + + - - + - + + -
Невербальная под-ка + + - + + - + + - -
Мультимедиа под-ка - - - - - - - + - -
Комфорт Выход из прогр-мы в любой момент + + + + - - + + + +
работы Помощь Тренинг - + - - - - - + + -
Контроль - - - - + - - + - -
Вывод на Текущая - + - - + + + + - -
экран Итоговая + + + + + + + + + +
Дифференцир. + - + + + + + + + -
Гибкая дифференцир. + - + - - - + - - -
Оценка Бинарная + + + - + + + + + +
В процентном отн. + + - - + - + + + -
Верно/неверно + - + + - + + + - +
Статистический пакет + + - - - + + + + -
Версия Сетевая - - + - - - + + + -
Локальная + + + + + + + + + +
Объем(Мб) 4,0 1,3 0,4 1,4 0,7 0,4 1,5 7,0 0,5 0,4
Примечание: буквами в таблице обозначены следующие тестовые программы:
А - Gl Tests v.0.9; В - Hyper Test v.1.1; C - Java script Test Builder; D - Mami-Testing v.1.0$; E - Revisor; F -Sokrat; J - Super Test v.2.4; H - Test Office Pro v.3.14; K - Test Runner; L - Test Shell; * 1 - в диалоговом режиме; 2 - создание текстового файла;
Отметим, что нами выбран наиболее простой вариант составления репрезентативной группы исследуемой совокупности тестовых программных оболочек, когда основные характеристики наиболее известных из них частично или полностью соответствуют характеристикам исследуемой нами совокупности.
Все многообразие программных оболочек и инструментальных сред, предназначенных для обучения и контроля уровня знаний обучаемых, можно разделить, с одной стороны на распространяемые свободно (как правило, они представлены демо-версиями с ограниченным набором возможностей) и распространяемые на коммерческой основе. В последнюю группу попали полные версии разработок, но и среди них лишь малое число полностью соответствуют перечисленному выше набору требований. С другой стороны, на рынке представлены локальные и сетевые версии различных программных оболочек и инструментальных сред, предназначенных для обучения и контроля уровня знаний обучаемых.
Сравнение проводилось по группам параметров, каждая из которых характеризует ту или иную сторону взаимодействия пользователя с программными оболочками и инструментальными средами, предназначенными для обучения и контроля уровня знаний обучаемых.
Первая группа параметров характеризует работу с тестовыми заданиями. К ним относятся: максимальное количество тестовых заданий с возможностью выбора их необходимого количества из общего банка; порядок их вывода на экран; число реализуемых форм тестовых заданий и др. Результаты сравнения свидетельствуют о том, что большинство программных продуктов соответствуют предъявляемым к ним требованиям, но лишь единицы из них позволяют реализовать на практике полиформность, что негативно отражается на всесторонности проведения контроля и определения уровня знаний обучаемых. При этом под полиформностью будем понимать наличие в исследуемом программном продукте возможности представления более одной формы тестовых заданий [2, с.229].
Важным параметром нам представляется уровень работы со списком альтернатив, то есть возможность выбора необходимого количества элементов в задании, а так же возможность выбора подачи элементов тестового задания (самих альтернатив). В большинстве случаев реализована статичная возможность формирования элементов в задании и значительно реже - последовательная со смещением на одну позицию.
Наибольшего внимания заслуживает оценка параметров, характеризующих режимы работы с обучаемыми. Оптимальный результат достигается при сочетании в тестовом инструментарии нескольких режимов работы: обучение, тренинг, контроль. Положительным моментом является наличие режима отладки теста, что позволяет педагогу сформировать действительно качественный тест.
Режим тренинга оказывается наиболее эффективным, если программа обеспечивает тестовое задание мультимедийной поддержкой или может сопровождать ответ корректирующим вспомогательным действием с возможностью свободного возврата при неправильном ответе.
Важной группой параметров является комфортность работы, которая характеризуется наличием невербальной поддержки, возможностью внедрения объектов мультимедиа, что позволяет обеспечить настоящую интерактивность, а так же визуализация текущего и итогового контроля уровня знаний.
Визуализация результатов является непременным атрибутом качественного программного продукта. Ее наличие позволяет отражать на экране монитора во время прохождения тестирования не только текущее состояние (оставшееся или затраченное
время, количество верных или неверных ответов и целый ряд других показателей), но и непосредственно итоги тестирования.
Наиболее важным параметром для сравнения программных оболочек и инструментальных сред, предназначенных для обучения и контроля уровня знаний обучаемых, является сама «оценка». Многие распространяемые свободно программы имеют такой существенный минус как отсутствие системы оценки. Между тем качественная программная оболочка должна поддерживать несколько типов выставления оценки, например, бинарная, дифференцированная, гибкая дифференцированная, в процентном соотношении и число верно/неверно решенных заданий. В рассмотренных нами продуктах чаще всего предлагается сочетание всего лишь двух систем: дифференцированная и в процентном отношении, дифференцированная и гибкая дифференцированная, дифференцированная и бинарная системы оценки и т.п. При этом сами параметры не всегда точно соответствуют предъявляемым к ним требованиям. Поэтому выставление итоговой оценки по результатам такого тестирования надо делать очень осторожно.
Заключительной группой параметров сравнения программных оболочек и инструментальных сред, предназначенных для обучения и контроля уровня знаний обучаемых, является наличие статистической базы. Большая часть продуктов предлагает краткий статистический отчет о результатах тестирования. Но есть программы, формирующие полные итоговые отчеты, где указаны идентификационные данные тестируемого, затраченное время, количество заданных вопросов, количество верных/неверных ответов, указание альтернативы и правильного ответа в случае ошибки, а так же непосредственно оценка. Наличие полного статистического отчета позволяет своевременно проводить корректировку теста в целом и его отдельных заданий в частности. В таких случаях, как правило, запись результатов тестирования в отдельный файл является обязательным условием функционирования программы.
Обобщая полученные результаты, можно сделать следующие выводы:
1) до настоящего времени существуют значительные сложности с приобретением качественных тестирующих программных оболочек и инструментальных сред, предназначенных для обучения и контроля уровня знаний обучаемых, поскольку:
- локальные и демо-версии относительно недороги, но существенно ограничены в своих функциональных возможностях;
- сетевые и коммерческие продукты очень дороги и в большинстве своем требуют адаптации к конкретным условиям, а иногда и просто нуждаются в доработке;
2) на рынке практически не представлены программные продукты, позволяющие учитывать психологические особенности тестируемых;
3) в основной массе существующих разработок не всегда доступен ряд ключевых параметров, так, например, отсутствие статистического пакета не позволяет провести проверку основных характеристик теста: трудности, надежности, валидности, различительной способности, полиформности, наличия ошибок и др.;
4) в то же время сегодня уже существуют программные средства, позволяющие разрабатывать качественный инструментарий для тестирующих программных оболочек и инструментальных сред, однако до настоящего времени сложно выделить даже одну из них, которая бы в полной мере соответствовала всей совокупности предъяв-
ляемых требований.
В заключение хочется отметить, что осознание всех достоинств и недостатков существующих программных оболочек и инструментальных сред, безусловно, уже в самом скором времени приведет к созданию действительно качественного программного продукта, обладающего всеми функциональными возможностями для обучения и контроля уровня знаний обучаемых.
Список литературы:
1. Гагарина Л.Г., Фоминова И.С., Калинников И.С. Теоретические основы интеллектуального тестирования // Информационные технологии, 2008, №8, С.64-70.
2. Кабанова Т. А., Новиков В. А. Тестирование в современном образовании. Уч. Пособие. - М.: Высшая школа, 2010. - 384с.
3. Ким В.С. Тестирование учебных достижений. Монография. - Уссурийск: Издательство УГПИ, 2007. - 214с.
4. Кузнецов А. В. Методика тестирования знаний и устранение случайных ошибок // Educational Technology & Society, 2007, №10(1), Рр.271-275.
5. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения [Электронный ресурс]. Код доступа - URL: http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij/.
6. Педагогические технологии: учебное пособие / Под общ. ред. В.С. Кукушина. - Ростов н/Д: Издательский центр «Март»; Феникс, 2010. - 333с.
7. Семенов В. А. Теория вероятности и математическая статистика. - СПб.: Питер, 2012. - 192с.
8. Современные образовательные технологии: учебное пособие / Под ред. Н.В. Бордовской. - М.: КНОРУС, 2011. - 432с.
9. Углев В. А., Устинов В. А., Добронец Б.С. Системный подход к процессу обучающего компьютерного тестирования // Информационные технологии, 2008, №4, С.81-87.
List of references:
1. Gagarina L.G., Fominova I.S., Kalinnikov I.S. Theoretical basis of predictive testing // Information Technology, 2008, №8, p.64-70.
2. Kabanova T.A., Novikov V.A. Testing in modern education. Ouch. Allowance. - M.: High School, 2010. - 384p.
3. Kim V.S. Testing academic achievement. Monography. - Ussuriisk: UGPI Publishing, 2007. -
214p.
4. Kuznetsov A.V. The method of testing knowledge and elimination of random errors // Educational Technology & Society, 2007, №10(1), Pp.271-275.
5. Oleinik N.M. Test as a tool to measure the level of knowledge and the difficulty of tasks in the modern technology of education [electronic resource]. Access code - URL: http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij/.
6. Educational technology: a manual / Ed. V.S. Kukushina. - Rostov/D: Publishing Center «March», Phoenix, 2010. - 333p.
7. Semenov V.A. Probability theory and mathematical statistics. - St.: Peter, 2012. - 192p.
8. Modern educational technology: a manual./ Ed. N.V. Bordovskikh. - M.: KNORUS, 2011. - 432p.
9. Uglev V.A., Ustinov V.A., Dobronets B.S. A systematic approach to the process of learning computer-based testing // Information Technology, 2008, №4, p.81-87.
