CC BY
29
Отчет об активных пользователях системы по ролям (Активными считаются пользователи, в выбранный период находящиеся в системе)
№ Роль пользователя Количество пользователей
1 2 3
Общее количество активных пользователей
Заключение
Представленная модель электронного курса и построенная система отчетов по обучению позволяет:
1. Преподавателям - за счет получения подробных результатов обучения своевременно корректировать процесс обучения как для отдельного слушателя, так и группы;
2. Менеджерам по обучению - контролировать и планировать ресурсы, проводить анализ деятельности как слушателей, так и преподавателей.
Предложенная модель электронного курса реализуется с помощью среды разработки Macromedia Authorware [3], а построить систему отчетности можно практически в любой системе дистанционного обучения.
В заключение, еще раз подчеркнем неразрывную связь электронных курсов и систем управления обучением, а также необходимость рассмотрения вопросов дистанционного обучения как обучения в целом, а не как некую специфическую отрасль.
Литература
1.Порядок разработки и использования дистанционных образовательных технологий (утв. приказом Минобрнауки РФ от 10 марта 2005 г. № 63).
2. Куликова Е.Н., Козлов А.С. Проектные подходы в дистанционном обучении. //Открытое образование. - 2005. - № 6. - С. 6-12.
3. Куликова Е.Н., Пресняков Н.И. Мультимедийные обучающие курсы «Основы компьютерной грамотности»/ Свидетельство об официальной регистрации программ для ЭВМ № 2004611711
К ВОПРОСУ О КОЛИЧЕСТВЕННОМ ОЦЕНИВАНИИ РЕЗУЛЬТАТОВ ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ
А.Н.Алексеев, к.т.н., доц.
Тел.: (0542-2) 27-22-83, E-mail: [email protected] Сумской государственный университет http://www.sumdu.edu.ua
Different ways of the quantitative evaluation of the level of students' knowledge are analyzed in this article. Formation of the educational success' scale is based on that. A two-staged method of educational success' estimation is suggested using mathematical apparatus of the quality of machine-building production testing.
На современном этапе одним из важнейших направлений реформирования образования является совершенствование контроля и управления качеством образования. В то же время традиционная система образования, имеющая богатый опыт в области контроля результатов обучения, носит преимущественно субъективный характер, и в силу своих организационных и
технологических особенностей не может обеспечить удовлетворения потребности в объективной информации об учебных достижениях студентов. Устный или письменный контроль, который осуществляет преподаватель, являясь в своей основе экспертной системой, в то же время оперирует оценками, проставленными единственным экспертом, и лишь в исключительных случаях создаются экспертные комиссии (привлечение нескольких преподавателей ограничено экономическими соображениями и реализуется в редких случаях, когда создаются различного рода контролирующие комиссии для констатации невозможности для студента освоить учебную дисциплину, в спорных
ситуациях и т.п.). Из теории экспертных систем следует, что такой контроль является недостоверным, невоспроизводимым и вместе с тем субъективным.
Тестовый контроль знаний, как часть существующих сегодня и развивающихся направлений обучающих технологий в значительной мере повышает объективность оценок. Не затрагивая проблему: что же конкретно оценивает тест или эквивалентная ему традиционная проверка знаний с привлечением преподавателя: - контролера, - отметим, что сам факт устранения человека, носителя субъективности, из процесса контроля должен положительно сказаться на повышении объективности результатов при оценивании знаний тестируемого студента. Одновременно обучающим технологиям также присущи недостатки, исследование и устранение которых, безусловно, будет способствовать их более широкому внедрению в педагогическую практику.
Обратной стороной того, что личность преподавателя отчуждается от оценивания знаний, является некоторая прямолинейность выводов, которые делаются по результатам контроля. При этом невозможно учесть в итоговой оценке те нюансы, хорошо известные преподавателям-практикам, которые позволяют за внешне непривлекательным и неточным ответом выявить (за счет дополнительной беседы, уточняющих, наводящих вопросов и т.п.) то, что студент, может быть, знает, но, в силу сиюминутных причин, не смог аргументировано сообщить в своем ответе. Кроме того, простое уста-
новление уровня знаний не всегда является достаточным измерителем успешности обучения, если при этом не отслеживается, как зафиксированный уровень знаний менялся в процессе обучения, и не учтено, насколько сложными были условия, в которых приобретались знания.
В настоящее время при проведении тестового контроля доминирует подход, при котором итоговая оценка проставляется исходя из промежуточных баллов, заработанных студентом при ответе на каждый из вопросов тестового задания. При всех вариациях, которые возможны в технологиях тестирования, результирующая оценка, как правило, устанавливается путем обобщения ответов на отдельные вопросы и приведения суммарной оценки к процентному отношению, определяющему долю правильных ответов в общей сумме баллов. Полученную оценку отождествляют с измеренным уровнем знаний.
Наиболее распространенный способ, применяемый для перехода от количественной оценки уровня знаний к качественным показателям успешности обучения, заключается в том, что результирующую оценку, выраженную нормированной суммой баллов, приводят к какой-либо линейной, реже нелинейной, шкале оценивания. Например, в работах [1,2 ] даны пятибалльные шкалы, в соответствии с которыми процент правильных ответов переводят в оценки успешности обучения (Л... Е - градации успешности, от наивысшей оценки Л, до наинизшей - Е)
Процент правильных ответов 90-100 80-89 70-79 60-69 < 60
95-100 85-94 75-84 65-74 < 65
91-100 86-90 81-85 75-80 <75
Оценка успешности А В С В Е
Шкалы построены с учетом вероятности отгадывания ответов и рекомендованы для подведения итогов в случае, когда тестовые задания включают вопросы, содержащие несколько вариантов ответов, и один из вариантов является правильным.
Учитывая, что вероятность угадывания ответа рассчитывается исходя из условия
Р = - , (1)
N
где п - количество правильных вариантов ответа;
N - общее количество ответов, т.е. напрямую зависит от количества вариантов ответов, содержащихся в тестовом вопросе, можно воспользоваться рекомендациями работы [ 3 ], в соответствии с которыми для вопросов с пятью вариантами ответов (вероятность угадывания 20%) следует использовать шкалу
Процент правильные ответов 80-100 60-79 40-59 < 39
Оценка успешности Отлично Хорошо Удовлетворительно Неудовлетворительно
в которую вносят поправку, если количество вариантов ответов отличается от пяти (в вопросе с двумя ответами - уравнивающий коэффициент 0,5, с тремя ответами - 0,67 и т.д.).
Использование приведенных, или подобных, шкал оценивания оправдано, если предполагаемая ими вероятность угадывания ответа наступит, т.е. студент, не зная ответа на вопрос, действительно начнет угадывать и угадает правильный ответ. Или же, если студент, отвечая на вопрос, не вполне уверен в правильности ответа и, тем не менее, случайно угадывает ответ. Однако оценка знаний будет явно занижена, если вероятность угадывания не наступает, т.е. студент знает ответ и правильно отвечает на вопрос, но, тем не менее, при подведении результатов контроля исходят из того, что правильный ответ был случаен.
Следует также учитывать, что установление вероятности угадывания не всегда столь очевидно, как для вопросов, содержащих правильные и неправильные ответы. Например, в работе [ 4 ] описаны двенадцать типов тестовых вопросов, которые позволяют выбрать формулировку вопроса, в наибольшей степени соответствующую сущности контролируемого учебного материала. Из них только два типа содержат варианты и правильных и неправильных ответов, а остальные десять типов не имеют неправильных ответов и поэтому рассчитать для них вероятность угадывания ответа по формуле (1) не представляется возможным. Например, в вопросе на ввод символов, где в качестве ответа необходимо ввести какое-либо число, студенту следует указать одно из чисел числового ряда от - да до +да и, следовательно, количество вариантов ответов, которые может дать студент, теоретически бесконечно большое и отсюда вероятность угадывания бесконечно малая.
В этом случае единственно возможным способом перевода количественной оценки уровня знаний к показателям успешности обучения будет построение шкалы оценивания, в которой критериальные значения, устанавливающие градацию оценок, определяются экспертным путем, причем помимо возможности угадывания ответа учитываются и другие условия, в которых реализуется тестовый контроль. Очевидно, что такую экспертизу следует проводить максимально часто, т.к. постоянно изменяющиеся условия, в которых приобретаются знания, в значительной степени предопределяют усилия,
затрачиваемые студентами для достижения того или иного уровня знаний.
Установив какие-либо усредненные критериальные значения для градации оценок и утвердив их на уровне министерства образования, учебного заведения или его подразделения, в конечном счете, можно получить некоторую шкалу соответствия между количественной оценкой знаний, выраженной нормированной суммой полученных при тестировании баллов, и показателями успешности обучения. Однако в разных учебных заведениях, например одном столичном вузе и другом - периферийном, возможности для достижения установленных критериев знания могут существенно отличаться. То же самое, и даже в большей мере, может быть в вузах, расположенных в одном регионе, городе или же внутри одного учебного заведения, на разных его факультетах и кафедрах. Даже, тот факт, что пришел новый преподаватель или издан новый учебник, может существенно повлиять на характер усилий, которые должен приложить студент для успешного приобретения знаний в новых условиях.
Несмотря на произошедшие в последние годы изменения в социально-экономических требованиях к образованию, высказывание Плутарха о том, что «... ученик - не сосуд, который нужно наполнить, а факел, который нужно зажечь», по-прежнему остается востребовано. До настоящего времени общепризнанным считается положение о том, что мало вложить в студента определенный объем знаний, даже самый полный и совершенный. Не менее важно сформировать у него умение самостоятельно приобретать знания, учить учиться. Поэтому и в новых образовательных методиках не снимается требование не только фиксировать достигнутый уровень знаний, но и выработать критерии оценивания успешности обучения, как проявления способности студентов к генерированию новых идей и к самообразованию.
Известно, что давно в ряде западноевропейских стран и в США при решении вопроса о зачислении в высшие учебные заведения используются результаты тестового контроля знаний. Выпускники школ, участвующие в общенациональном тестировании, имеют четкие ориентиры в том, каков же уровень знаний достаточен для поступления в выбранный ими вуз. Через Интернет, печать, другие средства информации ежегодно публикуются объявления приемных комис-
сий вузов о том, с какими баллами проводилось зачисление в вуз в ближайшие годы, предшествующие очередному зачислению. Например, известно, что для поступления в Гарвардский или Стэндфордский университеты количество баллов, полученных при тестировании, должно быть около 30, а во многие другие вузы от 18 и выше. Эти баллы являются не только ориентиром для поступающих, но и фиксируют минимальный уровень знаний, начиная с которого обучение в вузе может быть успешным.
Одновременно с требованием обладать необходимым объемом знаний, выраженным в результатах тестирования, при зачислении важнейшее значение придается мотивации для обучения и умению учиться. При оценивании способности будущего студента приобретать новые знания учитываются не оценки в свидетельстве о полученном образовании, а рейтинг успеваемости, установленный для данного абитуриента по отношению к другим ученикам школы, где он ранее учился, и характеристика его способностей, которая дается учителями и администрацией школы. В конечном счете, зачисление производится только на основе совокупной оценки и уровня знаний и способности их приобретать.
Проводя определенные аналогии с описанными процедурами зачисления абитуриентов в высшие учебные заведения, принятыми в некоторых развитых странах, можно предложить при оценивании знаний студентов использовать две характеристики. Первую количественную, констатирующую дос-
тигнутый уровень знаний, выражать процентом правильных ответов или суммой баллов, полученных по результатам тестирования. При этом если для тестирования используется общая для нескольких вузов база данных тестовых вопросов, то эту же характеристику можно использовать и для сравнения условий, которые они могут предоставить для получения образования по тем сопоставляемым дисциплинам или специальностям, по которым проводилось тестирование.
Вторая характеристика, устанавливающая способность к усвоению новых знаний через оценивание успешности обучения, должна базироваться на количественной оценке и дополнять ее. Однако построение шкалы перехода от количественной оценки к критериям успешности обучения следует строить не на основе экспертного оценивания, а путем сопоставления знаний, полученных одним студентом в конкретной обучающей среде относительно уровня знаний, достигнутых другими студентами в аналогичных условиях.
В работе [5 ] на основе вывода о том, что результаты тестового контроля знаний подчиняются нормальному закону распределения, предлагается связать градацию шкалы успешности обучения с параметрами распределения количественной оценки знаний - генеральным средним арифметическим (Хср) и генеральным средним квадратическим отклонением(с):
Диапазон количественных оценок [Хср +2 а, Хср +3а] [Хср +а, Хср +2 а] [Хср + о, Хср - а] [Хср - а, Хср - 2а] [Хср - 2а, Хср - За]
Оценка успешности А Б С 1> Е
По аналогии с приведенной таблицей можно для четырехбалльной шкалы предложить следующую градацию оценок:
Диапазон количественных оценок больше Хср +3а [Хср, Хср +3а] [Хср, Хср -За] меньше Хср -За
Оценка успешности Отлично Хорошо Удовлетворительно Неудовлетворительно
В соответствии с ней принимается, что студенты, набравшие количество баллов больше, чем абсолютное большинство других студентов (в соответствии со свойствами нормального распределения диапазон [Хср-3с, Хср +3с] включает 99,7% всех ответов) ,заслуживают оценки отлично, т.е. признания их отличия в способности к обучению. И, зеркально, успешность обучения студентов, набравших при тестировании сумму
баллов меньше остальных, должна быть признана неудовлетворительной. Обучение студентов, получивших количественную оценку знаний, такую же, как и большинство студентов тестируемой группы, но, все-таки выше, чем средний показатель по группе, считается хорошим. У студентов, при тех же условиях набравших баллов меньше, чем в среднем по группе, успешность обучения оценивается на «удовлетворительно». При
необходимости оценки успешности «хорошо» и «удовлетворительно» можно дифференцировать, вводя промежуточные интервалы, кратные с.
Возможны и другие варианты построения шкалы перехода от количественной меры уровня знаний к качественным показателям успешности, однако общий подход для установления градации оценок шкалы должен быть единым и заключаться в признании того что, студенты, способные в общих для всех условиях достигнуть лучшего уровня знаний, заслуживают более высокой оценки успешности обучения. При этом, учитывая, что изменение содержания занятий или их методического обеспечения оказывает примерно одинаковое воздействие на всех студентов, имеется возможность при подведении итогов обучения в новых условиях переходить к показателям успешности без выполнения каких-либо дополнительных экспертиз - на основе выборочных характеристик параметров распределения количественных оценок.
На рисунке приведена блок-схема двух-этапного тестового контроля знаний, который можно предложить как один из вариантов компьютеризированного тестирования с доведением результатов контроля до показателей качества обучения. При этом первый этап осуществляется по традиционной для тестового контроля знаний схеме. Составляется тестовое задание, включающее определенный набор вопросов, проводится тестирование и под-считывается число баллов, засчитываемое в оценку студента по результатам ответа на каждый из вопросов. Итоговая оценка, выраженная суммой баллов, набранных студентом по результатам ответов на все вопросы тестового задания или процентом данных им правильных ответов, считается установленной количественной мерой знаний. Для принятия решения об успешности обучения при одноуровневой процедуре тестового контроля, обычно используемой в настоящее время, результирующая количественная оценка сравнивается с некоторой пороговой величиной из шкалы оценивания,
и если оценка больше критериального значения, то считается, что студент в должной мере освоил контролируемый учебный материал и справляется с поставленными задачами обучения. В противном случае делается однозначный вывод о том, что студент материал в необходимом объеме не знает и ему должна быть проставлена оценка успешности обучения, меньше той, что определена соответствующей градацией шкалы оценивания.
Однако такой вывод правомерен только в случаях, если количественная оценка уровня знаний значительно больше или значительно меньше установленного порогового числа, и недопустим при их относительной близости. Действительно, если предположить, что в соответствии с одной из приведенных выше шкал оценивания, пороговым числом для установления успешности обучения принято 60 единиц (процентов или баллов) то ответ, оцененный в 5 единиц, однозначно будет свидетельствовать, что знания студента неудовлетворительные. Аналогично и при ответе, оцененном в 100 единиц, можно сделать обоснованное заключение о достаточности знаний студентов. Однако, если при критерии в 60 единиц, студент набирает 59 или 61 единицу, то последующие выводы о качестве знаний уже не являются столь очевидными.
Большинство схем традиционного тестового контроля не позволяют устранить возникающую неоднозначность в оценке знаний. В то же время последовательность действий, которая должна быть выполнена для ее устранения, хорошо известна и широко применяется при контроле без применения тестов. В случае возникновении таких затруднений при очном контроле преподаватель продолжает проверку знаний студента, задает ему дополнительные вопросы и с учетом ответов на уже заданные и дополнительные вопросы делает окончательное суждение о результатах обучения.
Компьютеризированный тестовый контроль знаний можно свести к аналогичной схеме, если в планах контроля установить численные значения критериев, при которых следует принимать решение о необходимости проведения дополнительных сессий контроля и для каждой из сессий установить то количество вопросов, которое должно содержать тестовое задание каждого уровня. Математическое обоснование разрабатываемых планов контроля позволяет исключить субъективность в оценивании знаний и
одновременно с этим использовать преимущества, присущие обычному контролю благодаря появляющейся технологической возможности задать вопросы, уточняющие фактический уровень знаний студентов.
Для расчета критериальных значений можно воспользоваться математическим аппаратом, используемым для разработки планов оценки качества промышленной продукции [ 6 ]. При выпуске машиностроительной продукции большими партиями (десятки и сотни тысяч экземпляров однотипной продукции) нет возможности проконтролировать все изготавливаемые детали. Поэтому ограничиваются выборочным контролем, когда определяют характеристики качества ограниченной партии деталей и по результатам ее контроля делают заключение о годности всех деталей, изготовленных за установленный промежуток времени.
Аналогично и при тестовом контроле нет возможности задать такое количество вопросов, чтобы ответы на них однозначно свидетельствовали бы о том, знает ли студент контролируемый материал в требуемом объеме или нет, и при этом позволили бы выявить, помнит ли студент содержание всех без исключения разделов учебного материала и умеет ли ими пользоваться во всех вероятных вариантах применения. Поэтому при тестировании также ограничиваются тем, что в тестовое задание включают какой-то неполный набор вопросов, которые охватывают не весь материал, а только часть его, и по ответам на вопросы этой выборки делают окончательной суждение о знании не только проверенных разделов, но и всего учебного материала в целом. Поскольку задачи тестирования и приемочного контроля в машиностроении одинаковы в постановочной части, то для их решения можно использовать один и тот же математический инструментарий, в частности апробированный и широко используемый в промышленности аппарат приемочного контроля качества машиностроительной продукции. При этом в обоих случаях следует решить задачу теории вероятностей, устанавливающую уровень входного качества по значениям выборочных оценок генеральной совокупности.
В терминах теории вероятности данную задачу можно сформулировать следующим образом. По результатам определения уровня знаний, измеренного количественными оценками Х1, Х2, . . . , Хм в процентах или баллах, из нормальной совокупности оценок
с генеральным средним арифметическим ХСр и средним квадратическим отклонением с необходимо определить вероятность того, что случайная величина Х, принадлежащая этой генеральной совокупности, будет больше или меньше некоторых заданных граничных величин. Тогда верхняя и нижняя границы контролируемого параметра могут быть выражены зависимостями [ 6 ]
ср
Яи =
42:
1 (х - X
ж----
■Ге2 с2
2
-ах
с
ПС
и
1 (х - хср) ,
ь-----— ах
Яь =
л/2:
(2)
ПС
Проводя представительные эксперименты, достаточные для достоверного определения генеральных оценок ХСР и с, и выполняя необходимые математические выкладки или воспользовавшись соответствующими статистическими таблицами, можно определить теоретически точные значения критериальных величин, приравняв приемочное число С к верхней критериальной границе Яь, а браковочное число Б - к нижней критериальной границе Яи .
Для практики тестового контроля, с допущением 5% вероятности принятия ошибочного решения, можно установить приемочное число С равным 95% от максимальной суммы баллов, соответствующей той или иной оценке успешности. Чтобы избежать длительных исследований, которые необходимо проводить для каждого из тестовых заданий, условия которых сколько-нибудь отличны по числу вопросов или виду контролируемого учебного материала, в качестве упрощения можно принять браковочное число Б как опцию строгости преподавателя. В этом случае для сравнимости результатов тестирования принятое значение Б следует унифицировать.
Таким образом, процедура двухэтапно-го тестового контроля качества знаний будет выглядеть следующим образом:
- проводится тестовый контроль знаний в группе студентов, обучающихся в примерно одинаковых условиях;
- подводятся промежуточные итоги и определяются количественные оценки уровня знаний студентов;
- рассчитываются выборочное среднее арифметическое и среднее квадратическое
1
2
с
е
отклонение оценок уровня знаний, по которым делают заключение о величине генеральных параметров распределения. Значения генеральных параметров уточняются по мере поступления информации о новых результатах тестирования;
- разрабатывается шкала перевода количественных показателей уровня знаний в показатели успешности обучения;
- для каждого порогового значения шкалы оценок рассчитываются или назначаются численные значения приемочных чисел С! и браковочных
- результаты тестового контроля сравниваются с установленными величинами С! и Б1;
- если набранное студентом число баллов больше ближайшего приемочного числа, то контроль прекращается и делается вывод, что студент знает контролируемый материал в объеме, достаточном, чтобы оценить выполнение учебной задачи уровнем успешности, установленным соответствующей пороговой величиной из шкалы оценок;
- если по результатам контроля студентом набрано количество баллов, меньше чем браковочное число, то контроль также прекращается, делается заключение, что качество знаний студента меньше уровня пороговой величины из шкалы оценивания, а успешность обучения ниже граничной;
- если студент набирает число баллов меньшее, чем приемочное число, но большее чем браковочное число, то считается, что вынести суждение об истинных знаниях студента не представляется возможным и проводится еще одна сессия тестирования;
- проводится второй этап тестового контроля, результаты которого сравнивают-
ся с тем же значением приемочного числа
С1;
- если суммарная количественная оценка, полученная по итогам первой и второй сессии контроля, больше приемочного числа С1, то делается вывод, что качество знаний студента соответствуют сопоставляемой оценке успешности. В противном случае считается, что качество знания студента ниже этой оценки;
- тестовый контроль прекращается и считается, что знания студента оценены. (В случае многоуровневого контроля проводятся дополнительные сессии контроля по аналогичным процедурам).
В заключение отметим, что изложенный алгоритм двухэтапного тестового контроля качества знаний технологически легко реализуем в компьютеризированной среде тестирования и позволяет в значительной мере повысить объективность оценки успешности обучения, т.к. практически исключает из контроля математически необоснованные критерии оценивания. Он будет эффективнее, если при формировании тестового задания и для первого, и для второго этапов контроля использовать изложенный в работе [ 7 ] и развитый в работе [ 4 ] метод формирования тестовых заданий, с расчетом количества вопросов исходя из критериев совокупной значимости и сложности тестируемого учебного материала. Предусмотренное методом использование генетических алгоритмов позволяет при оптимизации тестовых заданий на втором этапе контроля выбирать вопросы именно из тех тем, по которым ответы студента были наименее удачными.
Литература
1.Airasian P. W. Classroom assessment, 3rd ed. - New York: McGraw-Hill, 1997. - 416 p.
2.Linn R. L., Gronlund N. E. Measurement and assessment in teaching, 8th ed - Upper Saddle River, N.J.: Merrill, 2000. - 574 p.
3.Олтник М.М., Романенко Ю.А. Тест як тструмент кшьшсно! дiагностики piBra знань в сучасних технологиях навчання. — Донецьк: Донецький нацюнальний унiвеpситет, 2001 - 83 с.
4. Алексеев А.Н. Дистанционное обучение инженерным специальностям. - Сумы: Изд-во «Университетская книга», 2005. - 333 с.
5.TenBrink T. D. An educator's guide to classroom assessment - Boston: Houghton Mifflin, 2003 - 55 p. б.Ченисов С.В. Приемочный контроль в машиностроении - М.: Машиностроение, 1971. - 328 с. 7.Алексеев А.Н., Волков Н.И., Майорова Т.А. К вопросу о повышении достоверности оценки при тестовом
контроле знаний // Открытое образование. - , М., 2004. . - №3. - С. 22-28.
