CC BY
10
УДК 378.147
Хамидуллина А.А. - старший преподаватель
E-mail: alsu-13@ mail.ru
Шешегова И.Г. - доцент
E-mail: [email protected]
Казанский государственный архитектурно-строительный университет
Адрес организации: 420043, Россия, г. Казань, ул. Зелёная, д. 1
Разработка и внедрение тестового контроля на кафедре водоснабжения и водоотведения
Казанского государственного архитектурно-строительного университета
Аннотация
Статья посвящена разработке педагогических тестов и внедрению тестового контроля на кафедре водоснабжение и водоотведение Казанского государственного архитектурно-строительного университета. В результате проделанной работы были решены три основные задачи. Первая связана с обоснованием отбора содержания теста, вторая - с доведением формы заданий до уровня требований тестовой технологии, а третья направлена на анализ результатов обработки эмпирических данных тестирования. В результате проведенных исследований были получены научнообоснованные тесты, относящиеся ко второму классу надежности.
Ключевые слова: тесты, тестовый контроль, надежность, валидность, истинный балл, коэффициент биссериальной корреляции.
Тесты являются эффективным средством проверки качества знаний, получаемых студентами, и оперативного контроля над процессом обучения [1].
Возрастающая популярность тестовой технологии оценки знаний объясняется рядом ее преимуществ перед традиционными методами оценки [2]:
- за определенный, достаточно ограниченный, промежуток времени может быть проверен большой объем разнообразного учебного материала у большой группы испытуемых;
- возможность проводить тест на всех этапах обучения, что позволяет эффективно управлять учебным процессом;
- возможен самоконтроль на предварительном этапе с целью оценки результатов подготовки;
- возможность автоматизации процесса проверки ответов;
- возможность свести к минимуму субъективное влияние преподавателя на результат измерения;
- статистическая оценка результатов контроля, а значит, и самого процесса обучения.
На кафедре водоснабжения и водоотведения были разработаны педагогические
тесты по дисциплине водоснабжения и водоотведения для специальностей 270109, 270106, 270115, 270114 [3]. При разработке данных тестов были решены три основные задачи. Первая связана с обоснованием отбора содержания теста, вторая - с доведением формы заданий до уровня требований тестовой технологии, а третья направлена на анализ результатов обработки эмпирических данных тестирования.
После анализа содержания данных дисциплин были отобраны вопросы для контроля по основным разделам дисциплины, представленные затем в виде тестовых заданий. При разработке данных тестов было определено необходимое число заданий по каждому разделу дисциплины, исходя из важности раздела и числа часов, отведенных на его изучение в программе, и исходя из рекомендаций [4]. Тестовые формы заданий доведены до уровня тестовой технологии. Задания в тестах представлены в виде четырех основных форм: тестовые задания открытого типа, задания на соответствие, задания на установление правильной последовательности и задания открытого типа. В процессе разработки тестов в качестве испытуемых принимали участие студенты дневного отделения специальностей 270109, 270106, 270115, 270114.
Все составленные по дисциплине водоснабжения и водоотведения тестовые задания прошли статистическую обработку, которая в статье приведена на примере тестов раздела «Водопроводные сети» данной дисциплины. При статистической обработке применялся
сопряженный подход, изучающий сразу и испытуемых, и задания. В результате обработки полученных результатов на компьютере были получены сопряженные матрицы результатов в табличной форме, в которой количественные данные представлены в систематизированной сжатой форме, чтобы обеспечить их дальнейшую обработку и интерпретацию. Формирование матриц началось с выбора определенного правила для оценки ответов студентов на задания теста. Результаты ответов оценивались дихотомически, а именно за каждый правильный ответ учащийся получал один балл, а за неправильный ответ или пропуск задания - ноль баллов. Затем подсчитывались индивидуальные баллы каждого испытуемого Х, количество правильных ответов на каждое задание Щ и определялась мера трудности каждого задания рПосле этого матрицы дважды упорядочивались по Щ и по Х. Средний балл испытуемых Хср составил 21,7.
Далее была проведена обработка тестовых результатов и вычисление статистических характеристик тестов, важнейшими из которых являются надежность и
валидность. Результаты статистической обработки приведены в табл.
Таблица
Параметры Номер тестового задания, ті
14 2 18 5 22 26 3 8
1 2 3 4 5 6 7 8 9
К 27 27 27 27 27 26 26 26
а- 3 3 3 3 3 4 4 4
р, 0,9 0,9 0,9 0,9 0,9 0,87 0,87 0,87
ч, 0,1 0,1 0,1 0,1 0,1 0,13 0,13 0,13
Мв 22,56 22,52 22,59 22,63 22,52 22,62 22,85 22,7
Мн 14 14,33 13,67 13,33 14,33 15,75 14,25 15,3
КЬіз 0,46 0,44 0,48 0,5 0,44 0,42 0,52 0,45
Рлі 8 8 8 8 8 8 8 8
Рх, 5 5 5 5 5 5 5 5
РСЗ, 0,38 0,38 0,38 0,38 0,38 0,38 0,38 0,38
Продолжение табл.
Номер тестового задания, ті
30 19 11 7 24 28 10 23 17 4 13
10 11 12 13 14 15 16 17 18 19 20
26 26 25 25 25 25 24 24 24 24 24
4 4 5 5 5 5 6 6 6 6 6
0,87 0,87 0,83 0,83 0,83 0,83 0,8 0,8 0,8 0,8 0,8
0,13 0,13 0,17 0,17 0,17 0,17 0,2 0,2 0,2 0,2 0,2
22,8 22,73 22,92 22,92 22,9 22,76 22,88 22,88 22,92 23 23,29
14,8 15 15,6 15,6 15,8 16,4 17 17 16,83 16,5 15,33
0,49 0,47 0,49 0,49 0,47 0,43 0,42 0,42 0,44 0,47 0,57
8 8 8 8 8 8 8 8 7 8 8
5 5 5 5 5 5 5 4 3 4 4
0,38 0,38 0,38 0,38 0,38 0,38 0,38 0,5 0,5 0,5 0,5
9 20 1 29 25 12 27 6 15 21 16
21 22 23 24 25 26 27 28 29 30 31
23 22 20 19 18 18 14 12 8 7 5
7 8 10 11 12 12 16 18 22 23 25
0,77 0,73 0,67 0,63 0,6 0,6 0,47 0,4 0,27 0,23 0,17
0,23 0,27 0,33 0,48 0,4 0,4 0,53 0,6 0,73 0,77 0,83
23,22 23,59 23,6 23,58 23,9 23,8 24,36 24,42 25,6 26 27
16,71 16,5 17,9 18,45 18,4 18,5 19,38 19,89 20,3 20,4 20,64
0,49 0,56 0,48 0,44 0,48 0,47 0,45 0,4 0,42 0,43 0,43
8 8 8 7 7 8 7 5 5 4 4
4 4 4 2 3 3 1 1 1 0 0
0,5 0,5 0,5 0.63 0,5 0,63 0,75 0,5 0,5 0,5 0,5
Надежность характеризует точность теста как измерительного инструмента, его устойчивость к действию помех (состояние испытуемых, их отношение к процедуре тестирования и т.п.). Определение надежности тестов было проведено по методу Дж. Ф. Кудера и М.В. Ричардсона КЯ-20 (цифра 20 означает порядковый номер опубликованных этими авторами различных моделей для расчета надежности):
г(1 -
1=1
-)’
(1)
т — 1' Бх2 где т - число заданий в тесте;
Р] - относительная частота правильных ответов; qj - относительная частота неправильных ответов;
Бх2 - дисперсия.
В результате проведенных расчетов гНТ =0.907, что позволяет отнести разработанные тесты ко второму классу надежности [4].
Зная надежность теста гН Т , был спрогнозирован истинный балл Хист. 1-го
испытуемого, а также определен его доверительный интервал (рис. 1, 2). Значения Хист считаются заслуживающими большего доверия, чем значения Х,.
Рис. 1. График прогнозируемого истинного балла 1-го испытуемого
Рис. 2. Истинный балл и его доверительный интервал для каждого испытуемого
т
Валидность результатов теста - способность измерять педагогические показатели личности, а именно, знания по дисциплине. Валидность теста имеет несколько составляющих, первая из которых - валидность заданий по концепции, т.е. их соответствие концепции описанного знания проверяемой дисциплины, вторая -различающая способность заданий.
Для определения валидности заданий по концепции был выбран метод корреляции _)-го задания с суммарным баллом, характеризующим знание дисциплины. В качестве меры валидности задания был взят биссериальный коэффициент корреляции:
где МВ - средний арифметический балл по всему тесту у испытуемых, успешно ответивших на _)-е задание;
МН - средний арифметический балл по всему тесту у испытуемых, не ответивших на _)-е задание.
В случае положительной корреляции _)-го задания с суммой баллов и при Я.ш >0.4 задание считалось «работающим». При Яш <0.4 задание считалось «не работающим» и
от него избавлялись. С помощью подсчета значений коэффициента биссериальной корреляции оценивалась валидность всех заданий теста. Используя значения биссериальных коэффициентов корреляции тестовых заданий и их различающих способностей, проводились мероприятия по повышению надежности теста.
Различающую способность ]-го задания РСЗ] оценивали методом Девиса:
где РЛ] - относительная доля лучших 27 % испытуемых, правильно ответивших на ]-е задание;
Р] - относительная доля худших 27 % испытуемых, правильно ответивших на ]-е задание.
Различающая способность ]-го задания есть вероятная характеристика, изменяющаяся от 0 до 1. Приблизительно при РСЗ] < 0.3 можно говорить о том, что ]-е задание плохо различает хороших и плохих испытуемых и претендует на исключение из теста. Проведенные расчеты показывают, что все задания удовлетворяют данному критерию валидности и хорошо различают хороших и плохих испытуемых.
Разработанные тесты по дисциплине водоснабжения и водоотведения являются научнообоснованными, внедрены в учебный процесс и используются для тренировочного, промежуточного и итогового контроля знаний, а также для обучения и самоподготовки студентов.
1. Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. - М.: Логос, 2002. - 432 с.
2. Поддубная Л.М., Татур А.О., Челышкова М.Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. - М.: МИФИ, 1995.
3. Тестовые задания по курсу водоснабжения и водоотведения. Методические указания к контролю и самоконтролю знаний для студентов специальности 270109, 270106, 270115/ Сост.: А.Б. Адельшин, С.В. Пирогова, И.Г. Шешегова, А.А. Хамидуллина. - Казань: КГАСУ, 2009. - 54 с.
4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М.: ИЦ, 2002. - 296 с.
(2)
(3)
Список литературы
Khamidoullina A.A. - senior lecturer
E-mail: [email protected]
Sheshegova I.G. - applicant, associate professor
E-mail: [email protected]
Kazan State University of Architecture and Engineering
The organization address: 420043, Russia, Kazan, Zelenaya st., 1
Development and inculcation of test-control at the department of water supply and water sewerage of Kazan state university of architecture and engineering
Resume
Article focuses on the development of educational tests and implementation of test control on department of «Water supply and water sewage» of Kazan State University of Architecture and Engineering. As a result of this work three major problems were solved. The first is the rationale for selecting content of the test, second - relates to bringing tasks to the level of form demands a test of technology, and third - is focused at analyzing the results of empirical tests data processing. The processing of results on a computer, associated matrix results in tabular form were obtained in which quantitative data are presented in systematic compressed form, to ensure their further processing and interpretation. Under the terms of the test technology, all the tests were checked for the necessary requirements: safety and validity. After researches the tests were obtained, that are relating to the second class of safety. Compiled tests by subjects are science-based. They help to determine, whether the student possesses the basic concepts, regularities, can be correct to write the formula and apply gained knowledge in solving practical problems.
Keywords: tests, test control, safety, validity, true score, biserial correlation factor.
References
1. Chelyshkova M. B. Theory and practice of designing pedagogical tests: The grant. - M.: Logos, 2002. - 432 p.
2. Poddubnaya L.M., Tatur A.O., Chelyshkova M.B. Tasks in the test form for automated control of students knowledge. - M: MIFI, 2005.
3. Test tasks at the rate of «Water supply and water sewerage». Guidelines for monitoring and self-knowledge for students majoring 270109, 270106, 270115 / Compilers: A.B. Adelshin,
S.V. Pirogova, I.G. Sheshegova, A.A. Khamidullina, - Kazan: KSAbA, 2009. - 54 p.
4. Mayorov A.N. Theory and practice of tests creation for the education system. - M.: IC, 2002. - 296 p.
