CC BY
15
^ Научно-технические ведомости Cанкт-Петербургского государственного политехнического университета. 2(171)' 2013 ^
УДК 378
Е.Г. Поршнева, А.Ю. Туманов
МЕТОДИКА АНАЛИЗА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ СТУДЕНТОВ ПО ФИЗИКЕ ПРИ ЗАЧИСЛЕНИИ НА ФАКУЛЬТЕТ ВОЕННОГО ОБУЧЕНИЯ СПБГПУ
E.G. Porshneva, A.Yu. Tumanov
A METHOD FOR THE ANALYSIS OF PHYSICS APTITUDE TEST RESULTS FOR STUDENTS ADMISSION TO THE MILITARY TRAINING DEPARTMENT OF SAINT-PETERSBURG STATE POLYTECHNIC UNIVERSITY
В статье рассмотрена методика анализа результатов тестирования студентов по физике при зачислении на факультет военного обучения.
ТЕСТИРОВАНИЕ. ВОЕННАЯ КАФЕДРА. МЕТОДИКА. ВЕСОВЫЕ КОЭФФИЦИЕНТЫ.
The article describes a method for the analysis of Physics aptitude test results for students admission to the military training department.
TESTING. MILITARY TRAINING DIVISION. METHOD. WEIGHT FACTORS.
В связи с ограниченным приемом студентов факультет военного обучения производит отбор студентов из желающих пройти подготовку для получения звания офицера запаса. На первом этапе анализируется учебная успешность студентов на базовом факультете. К дальнейшему конкурсу допускаются хорошо успевающие студенты. Предварительный отбор также включает результаты медицинского освидетельствования и профессионального психологического отбора [1].
Поскольку на факультете военного обучения СПбГПУ подготовка офицеров запаса ведется по военно-техническим и специальным дисциплинам, логически важно установить уровень усвоения тех разделов физики, на принципах которых спроектирована военная техника.
Далее проверяется физическая подготовка (подтягивание, бег), в результате чего производится ранжирование участвующих в конкурсе. При этом к сумме баллов, полученной в результате тестирования, прибавляется оценка физической подготовленности кандидата и в обязательном порядке учитывается его категория профессиональной пригодности [1].
Таким образом, возникают следующие задачи: во-первых, разработать тесты; во-вторых,
определить количество тестовых заданий для объективной оценки уровня остаточных знаний; в-третьих, сопоставить результаты тестирования и физической подготовки и, наконец, разработать методику анализа результатов тестирования. Решению поставленных задач и посвящена предлагаемая статья.
Тестирование — метод диагностичного контроля знаний, умений и навыков обучающихся с помощью тестов [2]. Тесты позволяют объективно и независимо от преподавателя измерить качественную и количественную оценку уровня учебных достижений учащихся по соответствующим учебным курсам и дисциплинам. Основная цель тестирования по физике как одного из способов определения показателей допуска студентов к зачислению на военную кафедру заключается в том, чтобы с помощью тестовых заданий за короткое время качественно сравнить знания как можно большего количества испытуемых, поступающих на военную кафедру.
При составлении тестов была применена форма тестовых заданий на множественный выбор (задания с закрытой формой), поскольку задания с большим числом вариантов ответов имеют меньшую вероятность угадывания, а так-
4
Вопросы образования
же наиболее удобны для автоматизированной обработки и хранения результатов тестирования.
Кроме того, был применен нормативно-ориентированный подход к созданию тестов, позволяющий сравнить учебные достижения некоторой выборки испытуемых, используя такую последовательность: задания ^ ответы ^ выводы о знаниях испытуемого ^ рейтинг испытуемого. Математические методы, применяемые при конструировании и оценке качества нормативно ориентированных тестов, рассчитаны на модель нормального распределения и основываются на корреляционном анализе. Тестовые задания отобрали с высокой дифференцирующей способностью (хорошо отделяющие «слабых» испытуемых от «сильных»), а также в соответствии с критериями валидности (достоверности), надежности, однозначности, дифференцирующей способности, простоты, определенности и др.
После проведения тестирования и получения его результатов был проведен анализ распределения в координатах «количество тестируемых — количество правильных ответов», соответствующего нормальному распределению.
При составлении вариантов тестовых заданий для студентов, изъявивших желание пройти военную подготовку на кафедре военно-воздушных сил, был проведен статистический анализ результатов тестирования в 2012 году (7 вариантов по 25 вопросов, количество испытуемых — 309 человек с различных факультетов СПбГПУ).
Были вычислены следующие параметры:
1) коэффициент сложности Кс (отношение количества ^нереш испытуемых в каждой группе, не решивших данное задание, к общему числу N испытуемых в данной группе). На этом этапе необходимо было исключить из теста «легкие» вопросы (значение Кс близко к нулю) и «сложные» вопросы (значение Кс близко к единице);
2) дискриминационный индекс, служащий индикатором способности конкретного вопроса разделять «сильных» и «слабых» студентов. Значения этого параметра лежат в диапазоне между — 1 и +1. Его отрицательное значение служит поводом для отбраковки вопроса, так как означает, что на данный вопрос теста слабые студенты отвечают лучше, чем сильные;
3) дискриминационный коэффициент — мера, позволяющая оценить качество вопроса.
Он представляет собой коэффициент корреляции между баллами, полученными тестируемым по конкретному вопросу, и его оценкой за прохождение всего теста. Отрицательное значение этого коэффициента также свидетельствует о некорректности анализируемого вопроса с точки зрения правильности оценки уровня усвоения учебного материала.
На основе этих данных проанализировано качество тестовых вопросов с точки зрения их эффективности для оценки уровня учебных достижений испытуемых. Экспертной комиссией факультета военного обучения были отбракованы «сложные» вопросы, на которые ответили менее 10 % испытуемых (Кс < 0,1), и «легкие» вопросы, на которые ответили более 80 % испытуемых (Кс > 0,8).
В результате проведенного анализа были составлены 5 вариантов тестов по 23 вопроса с возрастающей трудностью тестовых заданий.
С точки зрения математической обработки результатов целесообразно определение весовых коэффициентов для каждого вопроса. С этой целью для каждого варианта тестовых заданий был применен экспертный метод. Одним из эффективных методов формирования групповой оценки экспертов является метод Дельфы [3]. Его особенности:
ответы на поставленные вопросы выражаются в виде числа;
эксперты обладают достаточной информацией для того, чтобы дать оценку;
ответ на каждый из вопросов обосновывается экспертом.
Была создана экспертная комиссия в количестве 10 человек и проведена корректная обработка и анализ экспертной информации.
Опрос экспертов проводился в очной письменной форме анонимно (для исключения влияния экспертов друг на друга), многоэтапно (после каждого тура опроса все эксперты знакомились с мнениями друг друга и при необходимости представляли письменные обоснования своих точек зрения, после чего могли пересматривать свою точку зрения) и с осуществлением контроля на предмет согласованности мнений экспертов.
Непосредственное измерение весовых коэффициентов производилось по шкале порядка. Значения этих коэффициентов рассчитываются по формуле [3]
^ Научно-технические ведомости Cанкт-Петербургского государственного политехнического университета. 2(171)' 2013
g =1=1 6 J n,m
i ,j
(1)
X ^
г=1 У=1
где п — количество экспертов; т — число «взвешиваемых» показателей; Gi у — коэффициент весомости у-го показателя в баллах, данный г-м экспертом.
После каждого тура опроса осуществляется контроль и проверяется согласованность мнений экспертов до тех пор, пока степень этой согласованности окажется удовлетворительной. За меру согласованности принимается так называемый коэффициент конкордации, вычисляемый по формуле [3]
12Б
W = -
(2)
п (т3 - т)
где Б— сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п — число экспертов; т — число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от нуля (при отсутствии согласованности) до единицы (при полном единодушии). Расчетный коэффициент конкордации равен 0,9, что позволило сделать вывод об удовлетворительной степени согласованности мнений экспертов.
Для сопоставления результатов тестирования и подготовки по физике максимальный балл, который может набрать студент в указанных способах проверки, принят равным 180 [4], а значе-
ния весовых коэффициентов — кратными трем: 3 балла (самый простой вопрос, на который отвечает большинство испытуемых), 6 баллов, 9 баллов и 12 баллов (самый сложный вопрос, на который отвечает меньшинство испытуемых). Методом экспертных оценок были присвоены весовые коэффициенты каждому вопросу пяти вариантов тестовых заданий в зависимости от трудности вопросов. Стоит отметить, что распределение весовых коэффициентов у разных вариантов одинаковое, что способствует повышению объективности обработки результатов тестирования.
Таким образом, после проведения тестирования в 2012 году, статистической обработки его результатов и применения экспертного метода для определения значений весовых коэффициентов получены следующие результаты:
Диапазон количества Весовые коэффициенты, ответивших студентов, % баллы
0-50............................................12
51-60..........................................9
61-70..........................................6
71-100.........................................3
При этом распределение весовых коэффициентов по вопросам во всех пяти вариантах оказалось таким:
Вопросы 1-7.............3 балла
Вопросы 8-11...........6 баллов
Вопросы 12-14.........9 баллов
Вопросы 15-23.........12 баллов
Предлагаемая методика позволит уже в 2013 году провести объективный анализ результатов тестирования по физике.
СПИСОК ЛИТЕРАТУРЫ
1. Приказ Министра обороны РФ № 666, Миноб-рнауки РФ № 249 от 10.07.2009 г. «Об организации деятельности учебных военных центров, факультетов военного обучения и военных кафедр при федеральных государственных образовательных учреждениях высшего профессионального образования / Зарегистрировано в Министерстве юстиции РФ 01.09.2009 № 14677.
2. Никифоров, В.И. Теория и практика высшего профессионального образования. Термины, понятия, определения / В.И. Никифоров, А. И. Сурыгин.—
[Электронный ресурс].— иКЬ:ЬИр://тооё1е.8рЪ8Ш.
ru/file.php/63/.- 2009.
3. Dopolnitelnye_materialy/Slovar_01sen10.pdf.— (дата обращения: 20.01.2011). Экспертный метод [Электронный ресурс].— URL:. http://www.klubok.net/ pageid432.html.— Дата обращения: 21.01.2013.
4. Приказ Министра обороны Российской Федерации № 200 от 21 апреля 2009 года «Об утверждении Наставления по физической подготовке в Вооруженных силах Российской Федерации» [Электронный ресурс].— URL: http: //www. rosto -dosaaf.ru/images/img2/nfp2009.pdf.— Дата обращения: 21.01.2013.
Вопросы образования -►
ПОРШНЕВА Елена Геннадьевна — кандидат педагогических наук, преподаватель военной кафедры
военно-воздушных сил института военно-технического образования и безопасности Санкт-
Петербургского государственного политехнического университета.
195251, ул. Политехническая, д. 29, Санкт-Петербург, Россия
(812)552-87-29
a_porshneva@mail.ru
ТУМАНОВ Александр Юрьевич — кандидат технических наук, доцент кафедры управления и защиты в чрезвычайных ситуациях института военно-технического образования и безопасности Санкт-Петербургского государственного политехнического университета. 195251, ул. Политехническая, д.29, Санкт-Петербург, Россия (812)294-22-62 kaf-uzchs@mail.ru
© Санкт-Петербургский государственный политехнический университет, 2013
