CC BY
1
ПРИМЕНЕНИЕ ТЕСТОВОЙ ОЦЕНКИ ЗНАНИЙ В ВЫСШЕЙ ШКОЛЕ Алешечкин Н.Д.1, Власов В.П.2
'Алешечкин Николай Дмитриевич - кандидат технических наук, профессор, старший научный сотрудник;
2Власов Виталий Петрович - научный сотрудник, Научно-исследовательский центр, Общевойсковая академия, г. Москва
Аннотация: в статье анализируется применение тестового контроля, взаимосвязь видов тестирования и уровней сложности тестов. Особенности тестирования для самоконтроля. Преимущества тестового контроля и основные требования к заданиям тестов. Система выставления оценок по вопросам тестового контроля. Взаимосвязь видов тестовых вопросов и уровней сложности тестов. Классификация уровня усвоения знаний, умений и навыков слушателей рекомендации по их использованию. Ключевые слова: тест, система, программа, показатель, качество, знания, оценка, самостоятельная подготовка, подготовка преподавателя.
APPLICATION OF TEST ASSESSMENT OF KNOWLEDGE IN HIGH SCHOOL
Aleshechkin N.D.1, Vlasov V.P.2
'Aleshechkin Nikolay Dmitrievich - Candidate of Technical Sciences, professor, Senior Researcher, 2Vlasov Vitaly Petrovich - research assistant, SCIENTIFIC RESEARCH CENTER, COMBINED ARMS ACADEMY, MOSKOW
Abstract: the article analyzes the use of test control, the relationship between types of testing and levels of test complexity. Grading system for test control issues. The relationship between the types of test questions and test difficulty levels. Classification of the level of assimilation of knowledge, skills and abilities of students, recommendations for their use.
Keywords: test, system, program, indicator, quality, knowledge, assessment, self-study, teacher training.
Одной из основных проблем современной педагогики является необходимость подготовки преподавателей к осуществлению профессиональной деятельности с использованием образовательных ресурсов. Сегодня много сделано в этих направлениях: сформирована система подготовки преподавателей в области информатизации образования, созданы образовательные порталы. Большое внимание уделяется вопросам технологической модернизации образовательных организаций, их педагогической, научной, административно-хозяйственной деятельности.
В соответствии с принятым Профессиональным стандартом педагога ИТ-компетентность признана одной из обязательных компетенций преподавателя. Учебный процесс должен строиться с использованием новейших версий программных продуктов. Одной из ведущих организаций в области новых информационных технологий в образовании является фирма «1С». Она постоянно уделяет большое внимание взаимодействию с системой образования. Интерес к такому сотрудничеству - обоюдный. Договоры о сотрудничестве с фирмой «1С», которые позволяют приобретать любые программные продукты из прайс-листа «1С» по льготным ценам, имеют более 3 000 образовательных организаций разного уровня. Основной продукт для использования в учебном процессе - «1С: Предприятие 8». Комплект для обучения в высших и средних учебных заведениях». Возможность оперативно и легально получать обновления для используемых в учебном процессе программ «1С: Предприятие 8» обеспечивает заключение договора 1С: ИТС уровня ПРОФ. Данный договор оформляется бесплатно для вузов, и помимо обновлений дает доступ к профессиональной информационной системе 1С: ИТС, которая доступна на сайте http://its.lc.ru и на DVD-выпусках [1].
Кроме основного комплекта фирма «1С» предлагает линейку комплектов отраслевых решений для использования в учебном процессе высших и средних учебных заведений сельскохозяйственного и пищевого направлений, строительства, недвижимости, полиграфии, технологического профиля, для индустрии питания и гостеприимства. Комплекты включают как сами программные продукты в печатном и электронном виде, так и методические материалы, которые помогают преподавателям осваивать программы и разрабатывать на их основе учебные пособия. Для преподавателей разработаны «Рекомендации по встраиванию сертифицированных учебных курсов фирмы «1С» в образовательные программы вузов». В расчете на вузы в линейке «1С: Электронное обучение» выпущен программный продукт «Веб-кабинет преподавателя и студента», с помощью которого преподаватели и студенты могут изучать электронные курсы, выполнять тесты, вести учебные форумы, обмениваться сообщениями, работать с личной электронной библиотекой как со стационарных компьютеров, так и с разнотипных
планшетов или смартфонов. Веб-кабинет представляет собой небольшой сайт, который можно встроить в существующий сайт вуза, изменить дизайн, добавить новые возможности. Сегодня ИТ-компетентность является одной из обязательных в соответствии с Профессиональным стандартом педагога. «1С» традиционно предлагает широкий спектр методической литературы для изучения своих программных продуктов. Они поставляются как в печатном виде, так и в электронном, для чтения на компьютерах и планшетах.
Обучение может быть результативным только тогда, когда учебная работа систематически и глубоко контролируется, когда сами слушатели (студенты) постоянно видят результат своей работы. При отсутствии такого контроля, в процессе усвоения учебного материала, обучающиеся не знают подлинного уровня своих знаний, слабо представляют свои недоработки. Для определения уровня знаний целесообразно использовать тесты.
Тест (от английского test - пробное задание, исследование, испытание) состоит из вопросов и может содержать один и более вопросов [2]. При создании тестов используют широкий спектр различных типов вопросов: открытый вопрос, вопрос с ответом по принципу «один из многих», вопрос с ответом по принципу «многие из многих», вопрос с ответом «по шаблону», вопрос с табличным вариантом ответа, вопрос с ответом по принципу выбора правильной последовательности, вопрос с ответом по принципу соответствия.
Вопросы типа «один из многих», «многие из многих», «по шаблону» могут иметь фасетное представление. Для открытых вопросов должна быть организована возможность их проверки преподавателем. К большинству типов вопросов необходимо создание комментариев и подсказок. Если позволяет программа, то в случае необходимости, нужно установить правила для начисления штрафных баллов за пользование подсказками. Результаты тестов, которые должны быть проверены преподавателем, а также тесты за которые не предусмотрено автоматическое выставление оценки группируются в список для проверки. Список составляется по тематике обучения с возможностью дальнейшего отбора по времени поступления ответа, группам учащихся и другим параметрам. Классификация тестов для оценки знаний обучающихся в среде «1С: Электронное обучение. Экзаменатор» представлена на рисунке 1 [3].
Для оценки результатов тестирования требуется система выставления оценок по каждому вопросу. Поскольку для различных целей обучения применяются различные методы оценки, в программе должна быть предусмотрена возможность использовать любые шкалы оценок: от двузначной (зачет/незачет) до четырехбалльной («отлично», «хорошо», «удовлетворительно», «неудовлетворительно») или процентной (выставляется процент «правильности» ответа на вопрос).
Рис. 1. Классификация тестов для оценки знаний, обучающихся в среде «1С: Электронное обучение. Экзаменатор».
Для оценки результатов тестирования требуется система выставления оценок по каждому вопросу. Поскольку для различных целей обучения применяются различные методы оценки, в программе должна быть предусмотрена возможность использовать любые шкалы оценок: от двузначной (зачет/незачет) до четырехбалльной («отлично», «хорошо», «удовлетворительно», «неудовлетворительно») или процентной (выставляется процент «правильности» ответа на вопрос). Также программа может позволить преобразовывать оценки из одной шкалы в другую и обратно по устанавливаемым правилам. Одной из
таких программ является программа «1С: Электронное обучение. Экзаменатор» - средство для разработки электронных тестов проведения обучения, тестирования
и анализа его результатов.
Программа должна позволять преподавателю анализировать качество используемых тестов по следующим показателям: количество верных/неверных ответов на вопросы, затраченное на ответы время, оценка качества дистракторов и других. Для этого составляется отчет «Статистика ответов на вопросы» в двух вариантах: 1) статистика ответов (показывает статистику ответов на вопросы в разрезе электронных ресурсов), 2) рейтинг вопросов (показывает список вопросов со статистикой ответов, выстроенный по степени убывания коэффициента решаемости). Отчет дает возможность получать информацию об уровне подготовки тестируемых, сложности теста, характерных ошибках при выполнении теста, что важно для дальнейшего совершенствования учебных материалов и тестов.
Для анализа результатов обучения составляется отчет «Результаты тестирования». Этот отчет может быть выполнен в двух вариантах: в привязке к электронному учебному материалу; в привязке к обучающимся. Дополнительно расширить возможности обоих вариантов отчета можно введя отбор по периоду прохождения тестирования, учащимся или их группам, учебным материалам и другим параметрам. Возможно создание других вариантов отчетов [4].
Таким образом, используя различные программные продукты, которые позволяют разрабатывать собственные или заимствовать сторонние электронные учебные материалы, можно интенсифицировать процесс обучения, сделать проверку знаний быстрой и точной, оценить качество того или иного курса на основании времени его прохождения обучающимися или группами обучающихся, оценить уровень подготовки слушателей и сопоставить уровень подготовки различных групп слушателей.
Самостоятельная работа студентов и слушателей является составной частью учебной работы и предназначена для закрепления и углубления полученных знаний и умений, поиска и приобретения новых знаний, а также выполнения учебных заданий, подготовки к предстоящим занятиям, зачетам и экзаменам. Самостоятельная работа в Военном учебно-научном центре Сухопутных войск «Общевойсковая академия ВС РФ» организуется и контролируется начальником учебного курса слушателей, обеспечивается преподавательским составом кафедр. В последнее время большое внимание в процессе обучения стало уделяться самостоятельной работе обучающихся. Во многих ВУЗах соотношение времени, отводимого в учебных планах на аудиторные занятия и самостоятельную подготовку, увеличивается в пользу самостоятельной работы. Преподаватель должен уметь организовать этот процесс, а также управлять им. Самостоятельной подготовке подвергается как изучение теоретического материала, так и решение практических задач.
В этих условиях возникают вопросы, связанные с технологией проверки самостоятельно изученного материала, а конкретно с технологией самоконтроля.
Самым эффективным методом самоконтроля в такой ситуации является тестирование. С помощью автоматизированных тестирующих систем обучающийся может самостоятельно проходить проверку своей подготовки по заданному материалу. Как правило, испытуемый отвечает на определенное количество вопросов, после чего на экран выводится таблица с результатами. В одних случаях указывается на верные и неверные ответы на тестовые задания. В других - просто дается результат с количеством верных и неверных ответов.
Если говорить о самоконтроле, то в качестве примера следует привести разработки фирмы «1С», которая предлагает программный продукт «1С: Учебное тестирование» - тренажер для подготовки к экзаменам, позволяющий проходить учебное тестирование для проверки знаний по наиболее востребованным продуктам фирмы и подготовки к экзамену, например, «1С: Профессионал» Кроме того, фирмой «1С» реализована возможность самоконтроля учебной деятельности пользователей в системе программ «1С: Образование». При прохождении учебного тестирования в данной системе разрешается пользоваться литературой, задано ограничение по времени, число попыток не ограничено. Взаимосвязь видов тестовых вопросов и уровней сложности тестов показана [5] на рисунке 2.
Виды тестовых вопросов Уровни сложности тестов
Рис. 2. Взаимосвязь видов тестовых вопросов и уровней сложности тестов.
Однако при применении тестирования для самоконтроля слушателей и студентов, обучающихся в вузе, существуют отдельные особенности. Рассмотрим некоторые из них
Во-первых, после каждого ответа на заданный вопрос обучающемуся нужно дать возможность просмотреть комментарий, сделанный преподавателем на этапе создания тестовых заданий.
Во-вторых, в тестирующих системах, предназначенных для самоконтроля должна быть возможность осуществления контроля поэтапно, по мере изучения материала, а также в виде сводного теста по всем пройденным темам и разделам.
В-третьих, следует иметь функцию, позволяющую автоматически конструировать тест, в котором будут содержаться тестовые задания, на которые был дан неверный ответ в текущем сеансе. Такая проверка ответов даст возможность значительно улучшить проработку проблемных вопросов, повысит уровень усвоения материала, ускорит процесс получения знаний.
В-четвертых, желательно чтобы в алгоритм тестирующей системы была заложена функция отображения на экране статистической информации, которая включает сведения, облегчающие понимание истинного положения дел на текущий момент. Это может быть информация о количестве верных и неверных ответов, оставшемся времени на тестирование. В зависимости от психологического состояния тестируемого, желательно разрешить включение и отключение этой функции. В некоторых случаях наличие такой информации может отвлекать обучающегося от процесса самоконтроля.
В-пятых, хороших результатов можно достичь, если в тестирующих системах, применяемых для самоконтроля, использовать технологию адаптивного компьютерного тестирования. Существуют разные алгоритмы формирования адаптивного теста. Однако смысл применения указанной технологии заключается в том, что в зависимости от результата ответа на тестовое задание, обучающийся получает следующий вопрос или из более высокого уровня, или из более низкого. При разных моделях формирования адаптивного теста различаются начальные уровни сложности. В первом случае, каждому учащемуся дается задание нижнего уровня сложности, во втором, средней сложности, в третьем, любой сложности. Затем подключается алгоритм адаптивности.
В-шестых, регулярный самоконтроль позволяет обучающемуся сравнивать свои знания на текущий момент с предыдущими. Поэтому в системе должны храниться результаты, полученные при прохождении тестов в предыдущих сеансах, и реализована возможность автоматизированного сравнения итогов по каждому тестовому заданию с указанием неправильных ответов и соответствующих комментариев преподавателя [6].
Все перечисленное выше подходит для самоконтроля над изучением теоретического материала, если же речь идет о применении тестирования для самоконтроля в процессе решения практических задач, то тестирующая система должна дать возможность переключиться в соответствующую программу, например, Excel, Access, или обратиться к справочно-правовым системам для нахождения ответа на заданную ситуацию, где обучающийся произведет поиск информации, или надлежащие вычисления, а затем вернувшись в тестирующую систему, введет полученный результат для проверки и просмотра соответствующего комментария.
Для реализации подобных тестирующих систем требуется большая и серьезная работа преподавателя, которая должна включать сопровождение каждого тестового задания комментариями. Комментарии могут содержать поясняющий текст с обоснованием правильного ответа, ссылки на учебную литературу, разбор решения задачи и т.п. Это, безусловно, потребует дополнительного времени у преподавателя, зато в результате будет ощутимый эффект. Кроме того, следует произвести тщательные расчеты необходимого времени на выполнение того, или иного задания, чтобы процесс тестирования не стал бесконечным. К самоконтролю с помощью тестирования нужно переходить после проработки теоретического и практического материала, а если обучающийся слишком долго думает над ответами, или ищет ответ в соответствующей литературе, значит, он недостаточно хорошо изучил материал. Применение адаптивных технологий требует большой работы преподавателя при составлении тестовых заданий и ранжировании их по уровням сложности.
Успех самоконтроля, как одной из форм контроля знаний, обучающихся во многом зависит от профессиональной подготовки преподавателя. Ведь именно он участвует непосредственно в организации этого процесса. Имея возможность доступа к результатам тестирования и проанализировав наиболее часто встречающиеся ошибки в ответах, можно скорректировать программу и методологию обучения.
Тестовая проверка имеет ряд преимуществ перед традиционными формами и методами, она естественно вписывается в современные педагогические концепции, позволяет более рационально использовать время занятий, охватить больший объем изучаемого материала, быстро установить обратную связь с обучающимися и определить результаты усвоения материала, сосредоточить внимание на пробелах в знаниях и внести коррективы в учебный процесс.
Тестовый контроль обеспечивает одновременную проверку знаний
слушателей (обучающихся) всей группы и формирует у них мотивацию для подготовки к каждому занятию, дисциплинирует их. Термин «тест» определяется как система заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая объективно оценить структуру и качественно измерить уровень подготовленности обучающихся.
Основные требования к заданиям тестов:
- должны принадлежать к одной теме или дисциплине;
- быть взаимосвязанными между собой (должна соблюдаться последовательность в терминологии);
- являться взаимодополняемыми и упорядоченными либо по трудности, либо по логике;
- форма теста должна быть единообразной, унифицированной, привычной, удобной;
- термины, понятия, используемые в тестах должны быть общеизвестны, соответствовать требованиям учебной программы и строго соответствовать первоисточникам;
- последовательность тестовых заданий определяется по принципу: от более простого к сложному;
- задания должны быть краткими.
Прочитав задание, слушатель (студент) должен сразу определить, знает ли он ответ. Если ответ он не знает, то дополнительное время не поможет. Идеально, когда обучающийся сразу отвечает на задание. Надо стремиться к тому, чтобы на обдумывание одного задания затрачивалось не более двух минут.
По количеству заданий различают следующие виды тестов: короткие (до 20 заданий), средние (20-50 заданий), длинные (более 50 заданий).
По уровню усвоения знаний, умений и навыков тесты классифицируют на 3 уровня [7]. Классификация уровней усвоения знаний, умений и навыков слушателями представлена на рисунке 3.
Тесты первого уровня усвоения подразделяют на: тесты опознания, тесты различения, тесты соотнесения, тесты-задачи с выборочными ответами.
В тесте опознания обучающемуся задается вопрос, требующий альтернативного ответа: «да» или «нет», «является» или «не является», «относится» или «не относится» и т. п. В задании обязательно фигурирует объект, о свойствах или характеристиках которого обучающийся должен иметь представление.
Рис. 3. Классификация уровней усвоения знаний, умений и навыков слушателями.
Тесты различения вместе с заданием содержат ответы, из которых обучающийся должен выбрать один или несколько.
Тесты соотнесения предлагают найти общности или различия в изученных объектах, причем сравниваемые свойства или параметры обязательно фигурируют в задании. Оформленные таким образом тесты называют выборочными.
Тесты-задачи с выборочными ответами. В задании формулируется условие задачи и все необходимые исходные данные, в ответах представлено несколько вариантов результата решения в числовом или буквенном виде. Обучающийся должен решить задачу и показать, какой ответ из представленных он получил.
Применение тестов первого уровня целесообразно для промежуточного контроля знаний обучающийся в рамках чтения одного определенного курса.
Проверку усвоения на втором уровне можно проводить с помощью тестов воспроизведения информации или решения типовых задач.
По оформлению тесты воспроизведения информации подразделяются на тесты-подстановки и конструктивные тесты.
Тесты-подстановки могут иметь в задании разнообразные виды информации - словесный текст или формулу (уравнение), чертеж (схему) или график, в которых пропущены составляющие (существенная часть слова или буквы, условные обозначения, линии или изображения элементов схем). Получив задание, обучающийся должен воспроизвести в памяти и заполнить пропущенные места («пропуски»), а также выполнить другие указания, содержащиеся в задании.
Задания конструктивных тестов не содержат ни намеков, ни подсказок. Они требуют от обучающегося самостоятельного конструирования ответа (решения): воспроизвести формулировку, дать характеристику, написать формулу (уравнение), выполнить чертеж или график.
Таким образом тесты второго уровня целесообразно использовать при промежуточном контроле знаний слушателей по основным разделам курсов, без знания которых общее понимание дисциплины либо затруднено или вообще невозможно. Так, например, подобный контроль необходим после изучения темы «Система эксплуатации ВВТ» в дисциплине «Управление эксплуатацией и ремонтом ВВТ».
Тесты (итоговые), при ответе на вопрос требуют применения усвоенных умений и навыков в новых условиях, в неизученной ситуации, в практической деятельности.
Тесты третьего уровня можно принять в качестве заданий на практических занятиях или при итоговом контроле за весь пройденный курс, хотя создать такой тест весьма сложно.
Бесспорно, тесты дают нам вполне эффективный инструмент, который может быть использован в учебном процессе, в том числе и для итоговой оценки знаний.
В чем главное достоинство проверки знаний по тестам?
В скорости обработки полученных результатов. Использование тестов, при отработанной технологии, может позволить довести дело до полностью автоматизированной проверки, обеспечив тем самым максимально возможную ее объективность. Но, выигрывая в скорости проверки, мы в чем-то должны проигрывать - выигрывать по всем параметрам невозможно, некий аналог закона сохранения.
Что мы проигрываем при переходе к тестам? Мы проигрываем в культуре речи (письменной или устной) - ее с помощью тестов не проверишь. Мы проигрываем в основательности. Ясно, что традиционная проверка позволяет гораздо глубже «копнуть» обучающегося. В объективности полученной оценки, ее независимости от того, кто проводит тестирование. К сожалению, эта оценка, если мы собираемся использовать ее как оценку знания слушателя (студента), содержит систематическую ошибку. Дело в том, что есть достаточно много категорий обучающихся, которые в силу некоторых психических особенностей плохо соответствуют тестовой методике и получают заниженные оценки (соответственно есть и такие, чьи тестовые оценки завышены). Сюда относятся нередкие «тугодумы», а также так называемые «тестофобы», испытывающие панический страх перед самой процедурой тестирования.
Недостатки использования тестов для проверки знаний:
- подмена учебных целей. Если перейти на всеобщее полное тестирование, очень быстро основной целью для обучающихся станет сдача теста, как такового, не изучая еще предмет по-настоящему;
- сужение содержания учебного предмета: есть предметы, содержание которых плохо охватывается системой тестов. Да и внутри самого предмета одни разделы легко проверяются с помощью тестирования, а другие - с трудом. Но почти нет тестов, проверяющих умение рассуждать, логически мыслить;
- снижение квалификации преподавателя: использование готовых тестов существенно облегчает работу. В принципе это хорошо. Преподаватель освобождается от части рутинной работы, появляется свободное время и т.д. Но при этом возникают другие проблемы, в частности проблема поддержания уровня профессиональной (предметной) квалификации. Проверка тестовых заданий и контрольных работ происходит в автоматическом режиме и не дает никакой профессиональной нагрузки. Само учебное пространство, охватываемое тестами, как уже было сказано, составляет лишь часть учебного предмета. И
если преподаватель не будет использовать специальных и дополнительных средств для своего профессионального развития, он почти неизбежно начнет деградировать.
Вывод из всего вышесказанного следующий. Применение тестового контроля знаний по специальным дисциплинам на технических специальностях высшего профессионального образования, в особенности по специальным дисциплинам, возможно только в виде промежуточного контроля.
Контроль по всему курсу, а тем более, итоговый контроль по специальности целесообразнее всего проводить в письменной форме. Итоговый контроль по отдельным, не основным (не профильным) дисциплинам, к которым в ряде случаев можно отнести гуманитарные, социально-экономические, некоторые общепрофессиональные и ряд других, возможно проводить в тестовой форме, но только после того как эти тесты пройдут через и коллективное обсуждение и анализ в рамках профильной кафедры и будут ею допущены к использованию в учебном процессе.
Список литературы /References
1. Диго С.М., Нуралиев Б.Г. Совершенствование системы подготовки специалистов, владеющих информационными технологиями. // Новые информационные технологии в образовании. Сборник научных трудов шестнадцатой международной научно-практической конференции. Часть 1. - М.: ООО «1С-Паблишинг», 2016. - 620 с.
2. «7 словарей в 1 книге». Универсальный справочник русского языка для школьников и абитуриентов. Более 130 000 слов и статей / [авт. - сост. П.А. Русаков]. - М.: РИПОЛ классик, 2018. -1024 с.
3. 1С: Предприятие 8. Конфигурация «1С. Электронное обучение. Конструктор курсов». Редакция 2.0. Описание. Издание 2. - М.: «1С», 2018. - 132 с.
4. Радченко М.Г. 1С: Предприятие 8. Практическое пособие разработчика. Примеры и приемы. - М.: «1С», 2012. - 656 с.
5. Бабенко Е.В. Разработка электронных тестов по дисциплине «Стандартизация и сертификация информационно-программных средств» в среде «1С: Электронное обучение» // Новые информационные технологии в образовании Сборник научных трудов шестнадцатой международной научно-практической. Часть 2. - М.: ООО «1С-Паблишинг», 2016. - 336 с.
6. Котов А.В., Путятина М.В. О стандартизации и интеграции систем электронного обучения и управления университетом // Открытое образование. - 2015. № 1 (108). - С. 37-40.
7. Комплект вопросов сертификационного экзамена по программе «1С: Бухгалтерия 8» (ред. 3.0) с примерами решений. 2-е изд. Практическое пособие. - М.: ООО «1С-Паблишинг», 2015. - 209 с.
