Исследование эффективности контроля освоения темы «Рынок труда» при обучении учителей экономики Текст научной статьи по специальности «Науки об образовании»

Баранов А.В.1, Чучкалова С.И.2 ©

1К.э.н., доцент кафедры социально-экономических дисциплин; Магистрант факультета экономики, истории и права Филиал Кубанского государственногог университета в городе Славянске-на-Кубани, Россия

ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ КОНТРОЛЯ ОСВОЕНИЯ ТЕМЫ «РЫНОК ТРУДА» ПРИ ОБУЧЕНИИ УЧИТЕЛЕЙ ЭКОНОМИКИ

Аннотация

В статье исследуется эффективность контроля освоения темы «Рынок труда» Обоснован метод использования корреляционного анализа для повышения валидности и надежности тестовых заданий.

Ключевые слова: тестовые задания, корреляция, рынок труда. bywords: test tasks, correlation, labour market.

Во время прохождения практики на базе филиала ФГБОУ ВО «Кубанский государственный университет» в г. Славянске-на-Кубани было проведено исследование в группе Д-11-Э направления «Педагогическое образование», профиль «Экономика». Данное исследование проводилось на основе практического занятия на тему «Рынок труда и его особенности» в рамках дисциплины «Экономическая теория» (Макроэкономика). [3,254].

Цель исследования состояла в выявлении эффективности контроля освоения указанной темы. На лекционном занятии были рассмотрены: понятие рынка труда, факторы, влияющие на спрос и предложение на рынке труда, особенности рынка труда в России, модели рынка труда. Для контроля освоения темы студентам было предложено решить задания в тестовой форме по теме «Рынок труда и его особенности» после прочтения лекции, до и после проведения практического занятия. Всего было разработано 15 тестовых заданий для двадцати испытуемых.

Рассмотрим результаты первого тестирования до практического занятия. Ответы студентов на тестовые вопросы представлены в таблице 1. Средний процент правильных ответов составил 55%.

Таблица 1

Результаты первого тестирования

№ Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 X11 X12 X13 X14 X15 Yi pi qi pi/qi ln pi/qi

1 1 0 1 0 0 1 0 1 0 1 1 0 0 1 1 8 0,53 0,47 1,13 0,12

2 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 14 0,93 0,07 13,3 2,6

3 1 0 1 1 0 1 0 1 1 0 0 0 1 0 0 7 0,47 0,53 0,9 -0,11

4 1 1 1 0 0 1 0 1 1 1 0 0 1 0 8 0,53 0,47 1,13 0,12

5 0 0 0 1 1 1 1 1 0 1 0 1 1 0 8 0,53 0,47 1,13 0,12

6 1 0 0 1 0 1 1 1 1 0 0 0 0 0 1 7 0,47 0,53 0,9 -0,11

7 1 1 1 1 0 1 0 1 1 1 1 1 0 1 11 0,73 0,27 2,7 0,99

8 0 0 1 0 1 1 1 1 1 0 0 0 1 0 7 0,47 0,53 0,9 -0,11

9 1 1 1 0 1 1 0 1 1 1 1 0 1 1 1 12 0,8 0,2 4 1,39

10 1 0 1 1 0 1 0 1 1 1 0 0 0 1 1 9 0,6 0,4 1,5 0,40

11 1 0 0 0 1 0 1 1 1 1 0 0 0 1 7 0,47 0,53 0,9 -0,11

12 1 0 1 1 0 1 1 1 0 0 1 1 1 0 9 0,6 0,4 1,5 0,40

13 1 0 0 0 0 1 1 1 1 0 0 0 1 0 1 7 0,47 0,53 0,9 -0,11

14 0 0 1 1 1 1 1 1 1 1 1 0 0 1 1 11 0,73 0,27 2,7 0,99

15 0 0 1 0 0 1 1 1 0 1 0 0 1 0 6 0,4 0,6 0,67 -0,40

16 0 0 0 1 1 1 1 1 0 0 0 0 0 1 6 0,4 0,6 0,67 -0,40

17 1 0 1 1 0 1 0 1 1 1 1 0 1 0 0 9 0,6 0,4 1,5 0,40

18 1 0 0 0 0 1 1 0 1 0 0 0 1 1 1 7 0,47 0,53 0,9 -0,11

© Баранов А.В., Чучкалова С.И., 2016 г.

19 0 1 0 1 0 1 0 1 1 1 1 0 0 0 1 8 0,53 0,47 1,13 1,12

20 0 0 0 0 0 0 0 1 1 1 0 0 0 1 1 5 0,33 0,67 0,5 -0,7

12 6 11 11 5 17 9 19 16 12 11 3 9 12 13 16 6

8 14 9 9 15 3 11 1 4 8 9 17 11 8 7 М= 166 =8,3 20

0,6 0,3 0,5 5 0,5 5 0,2 5 0,8 5 0,4 5 0,95 0,8 0,6 0,55 0,15 0,45 0,6 0,65

qj 0,4 0,7 0,4 5 0,4 5 0,7 5 0,1 5 0,5 5 0,05 0,2 0,4 0,45 0,85 0,55 0,4 0,35

^ qi 0,2 4 0,2 1 0,2 48 0,2 48 0,1 88 0,1 28 0,2 48 0,04 8 0,16 0,24 0,24 8 0,12 8 0,24 8 0,24 0,228

qj/ Pi 0,6 7 2,3 3 0,8 2 0,8 2 3 0,1 8 1,2 2 0,05 0,25 0,67 0,82 5,67 1,22 0,67 0,54

1п qj/ Pi 0,4 0 0,8 5 0,2 0 0,2 0 1,1 0 1,7 1 0,2 0 -2,99 -1,39 -0,40 -0,20 1,74 0,20 -0,40 -0,62

1 - балл за правильный вариант ответа; 0 - балл на неправильный вариант ответа; У( - тестовый балл испытуемого;

^ - число правильных ответов, полученных по каждому заданию; Pj - доля правильных ответов; qj - доля неправильных ответов; М - среднее арифметическое балла;

- мера трудности задания.

Можно проанализировать индивидуальный уровень знаний учащихся:

- самый высокий процент правильных ответов составил 93 % - у испытуемого № 2 и 80 % - у испытуемого № 9;

- самый низкий процент правильных ответов составил 33% и 40%, его дали испытуемый № 20 - 33 % и испытуемый № 16 — 40 %.

Определим сложность тестовых вопросов:

- самым сложным вопросом оказался вопрос № 12, в котором учащиеся должны были определить, согласно какой модели на рынке труда отсутствуют условия совершенной конкуренции, процент правильных ответов по этому вопросу составил - 15 %;

- самым легким вопросом оказался вопрос № 8, где требовалось дать определение понятию «трудовые ресурсы», процент правильных ответов по этому вопросу составил - 95 %.

Обычно исследователи ограничиваются средним процентом правильных ответов и основываются на нем при продолжении эксперимента. Однако, по-нашему мнению, этого недостаточно, так как этим не проверена взаимосвязь тестовых заданий друг с другом, их надежность и валидность, для чего необходимо использовать метод корреляции. Обработка результатов тестирования проведена по методике профессора Аванесова В.С [1,178], результаты которой представлены в таблице 2.

Определяем средний арифметический тестовый балл в данной группе испытуемых:

М = 166 /20 =8,3 (1) [5,81],

где: М - средний арифметический тестовый балл.

Далее определяем сумму квадратов отклонений значений баллов от среднего арифметического тестового балла по формуле:

8Эу= I (¥1 - Му) 2 (2) [2,14],

ББу = Х(8-8,3)2+(14-8,3)2+(7-8,3)2+(8-8,3)2+(8-8,3)2+(7-8,3)2+(11-8,3)2+(7-8,3)2+(12-8,3)2+(9-8,3)2+(7-8,3)2+(9-8,3)2+(7-8,3)2+(11-8,3)2+(6-8,3)2+(6- 8,3)2+(9-8,3)2+(7-8,3)2+(8-8,3)2+(5-8,3)2=94,2.

При анализе используют второй показатель - делят ББу на число испытуемых в группе. В результате получается стандартный показатель вариации тестовых баллов, называемый дисперсией Бу2 или вариацией.

Дисперсия вычисляется таким образом:

8у2= 88у (3) [3,18],

(N-1)

где: Бу - стандартное отклонение тестовых баллов;

ББу - сумма квадратов отклонений баллов испытуемых от среднего арифметического

балла.

При N=20 дисперсия равна 8у2=94,2:(20-1)=5.

Стандартное отклонение Бу является общепринятой мерой вариации тестовых баллов и определяется по формуле:

8у= VSSy/(N-1) (4) [3,16 ],

где: Бу= ^94,2/(20-1)=2,23.

Для проверки меры связи ответов испытуемых по всему тесту строится вспомогательная таблица 2 (приведены данные для примера по 7 вопросу).

Таблица 2

Данные для расчета коэффициента корреляции при первом тестировании

Х7 У Х7У X2 У2

0 8 0 0 64

0 14 0 0 196

0 7 0 0 49

0 8 0 0 64

1 8 8 1 64

1 7 7 1 49

0 11 0 0 121

1 7 7 1 49

0 12 0 0 144

0 9 0 0 81

0 7 0 0 49

1 9 9 1 81

1 7 7 1 49

1 11 11 1 121

1 6 6 1 36

1 6 6 1 36

0 9 0 0 81

1 7 7 1 49

0 8 0 0 64

0 5 0 0 25

1= 9 166 68 9 1472

Коэффициент корреляции определяется по формулам:

1. Сумма квадратов отклонений баллов испытуемых от среднего арифметического балла в интересующем задании:

887=1X72 - (У,Х7)2 = 9-92/20 = 4,95 (5) [5,189]. N

2. Сумма квадратов отклонений тестовых баллов испытуемых от среднего арифметического балла по всему тесту:

р^= 88у= 94,2.

3. Скорректированная на среднее значение сумма произведений X и У:

8Рху= !ХУ - (УХ)(УУ) (6) [3,11].

N

БРху= -6,7

4. Коэффициент корреляции:

Гху=_8Гху__ (7) [3,10].

VSSx *88у

гху= -6,7 / -^4,95x94,2= -0,3.

Чем выше значение гху, тем больше вероятность превращения задания в тестовой форме в тестовое задание, то есть быть включенным в тест. Если взять значение г2*100%, то получим значение так называемого коэффициента детерминации, выраженного в удобной для интерпретации процентной мере связи задания с суммой баллов. Получаем: (-0,3)2 х100% = 9%.

Рассчитаем коэффициенты корреляции по всем пятнадцати представленным тестовым заданиям по формуле:

Грь = М1-Мо^у xVnonl/n(n-1) (8) [3,12],

где: Грь- коэффициент корреляции;

М1 - среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию один балл;

М0 - среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию ноль баллов;

п1 - число испытуемых, получивших в задании один балл;

п0 - число испытуемых, получивших в задании ноль баллов.

Таблица 3

Коэффициенты корреляции при первом тестировании

Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 X11 X12 X13 X14 X15 I ГрЬ

r cr 0,4 0,9 0,6 0,3 0,5 0,5 -0,2 0,1 -0,2 0,44 0,5 0,6 0,41 0,2 0,2 5,05

Из данных таблицы видно, что вопросы № 7 и № 9, № 8, № 14 и № 15 оказались наименее сочетаемыми с другими вопросами.

Отрицательное значение корреляции, говорит о том, что эти задания не выдержали эмпирической проверки, поэтому задания № 7, № 9, № 8, № 14 и № 15 следует заменить на другие тестовые вопросы. Остальные задания составлены в правильной форме и являются доступными для учащихся.

Вычитанием из максимального значения тестового балла минимального значения получаем одну из характеристик вариации - размах баллов испытуемых, что лучше выразить следующим образом:

RA= Ymax-Ymin (9)

RA= 14 - 3=11, следовательно, при прочих равных условиях лучше тот тест, у которого размах баллов больше.

Расчет коэффициента надежности теста выполним по формуле Kuder - Richardson 8 (KR-8).

rKR-8 = sy2 - I pjqj/ 2 sy2 + [(Sy2 - I pjqj/ 2 Sy2)2 + Ir2xjypjqj/2 Sy2]1/; (10) [4,112]

Практическое применение данной формулы для оценки надежности измерения знаний дает нам в результате rKR-8 = 5,8. Это говорит о надежности теста. Они могут быть использованы для расчета так называемой стандартной ошибки измерения (se):

Se = SyV 1- Гхх (11) [4,117],

где: sy - стандартное отклонение тестовых баллов испытуемых;

rxx- коэффициент надежности измерения.

Подстановка в эту формулу полученных уже ранее данных дает

se = 2,23^1-5,8=1,02.

Полученное значение se является положительным результатом, то есть тест надежный, и это значение используется для построения доверительного интервала, в пределах которого находится, вероятнее всего, истинное значение тестового балла испытуемого. Доверительный интервал определяется из выражения:

ш= Yi+/- tSe (12) [4,184].

Таким образом, истинный балл первого испытуемого может варьироваться от 3 до 9.

Следовательно, можно сказать о том, что в предложенном тесте почти все вопросы оказались доступными для понимания студентов. Вопросы № 2, 5, 12 являются менее валидными (набрали меньшее количество ответов).

На практическом занятии по данной теме был закреплен пройденный материал решением соответствующих задач и после него проведено второе тестирование по скорректированному тесту, результаты которого приведены в таблице 4.

Самый высокий процент правильных ответов среди студентов оказался 87 %. Такие результаты показали испытуемые № 1, 16, 17, 20. Процент правильных ответов на тестовые задания колеблется у 15 студентов от 67 % до 80 %. Менее содержательным оказался результат испытуемого № 8 - всего 53 %. Средний процент правильных ответов среди студентов составил 75,5 %.

Рассчитаем коэффициент корреляции по тестовым вопросам. Результаты данных расчетов представлены в таблицах 4, 5, 6, 7.

Таблица 4

Результаты второго тестирования

№ Х 1 Х 2 Х 3 Х 4 Х 5 Х 6 Х 7 Х 8 Х 9 Х1 0 Х1 1 Х1 2 Х1 3 Х1 4 Х1 5 У 1 Р1 Я1 Р/Я1

1 1 1 0 1 1 1 1 1 1 0 1 0 1 1 1 1 0, 8 0,2 4

2 1 1 1 0 1 1 1 0 1 1 1 1 1 1 1 1 0, 87 0,1 3 6,7

3 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 0, 73 0,2 7 2,7

4 1 1 1 0 1 1 1 1 1 1 1 1 0 0 1 1 0, 73 0,2 7 2,7

5 1 0 1 1 1 1 1 0 1 1 1 1 1 1 0 1 0, 8 0,2 0 4

6 1 1 1 1 0 1 1 1 1 0 0 1 1 1 1 1 0, 8 0,2 0 4

7 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 1 1 0, 73 0,2 7 2,7

8 1 0 1 0 1 1 0 1 1 1 1 0 0 0, 53 0,4 7 1,13

9 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 0, 73 0,2 7 2,7

10 1 1 1 1 0 1 1 1 1 0 1 1 0 1 0 1 1 0, 73 0,2 7 2,7

11 1 1 1 1 0 1 1 1 1 0 1 1 0 1 0 1 1 0, 73 0,2 7 2,7

12 1 1 1 1 0 1 1 0 1 1 0 1 1 1 0 1 1 0, 73 0,2 7 2,7

13 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0, 8 0,2 0 4

14 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 0, 73 0,2 7 2,7

15 1 0 1 1 1 1 0 1 1 1 1 1 1 0, 73 0,2 7 2,7

16 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 1 0, 87 0,1 3 6,7

17 1 1 1 0 1 1 1 1 1 1 0 1 1 1 1 1 0, 87 0,1 3 6,7

18 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1 1 0, 73 0,2 7 2,7

19 1 0 1 1 1 1 0 1 0 1 1 1 0 1 1 1 1 0, 73 0,2 7 2,7

20 1 1 1 1 1 1 1 1 1 0 1 1 0 1 1 1 3 0, 87 0,1 3 6,7

19 16 17 13 13 17 16 14 17 11 15 16 16 14 14 2 2 8

1 4 3 7 7 3 4 6 3 9 5 4 4 6 6

Р) 1 0, 8 0, 85 0, 65 0, 65 0, 85 0, 8 0, 7 0, 85 0,5 5 0,7 5 0,8 0,8 0,7 0,7 М = 228/20 = 11,4

Ч) 0 0, 2 0, 15 0, 35 0, 35 0, 15 0, 2 0, 3 0, 15 0,4 5 0,2 5 0,2 0,2 0,3 0,3

Р)Ч) 0 0, 16 0, 13 0, 23 0, 23 0, 13 0, 16 0, 21 0, 13 0,2 5 0,1 9 0,1 6 0,1 6 0,2 1 0,2 1 Е 2, 5 6

Ч/Р ) 0 0, 25 0, 18 0, 54 0, 54 0, 18 0, 25 0, 43 0, 18 0,8 2 0,2 9 0,2 5 0,2 5 0,4 3 0,4 3

Таблица 5

Расчет показателей вариации тестовых баллов при втором тестировании

ББу Яу2 Яу

27 1,42 1,2

Таблица 6

Расчет коэффициента корреляции и детерминации при втором тестировании

8Б8К ч2 БРху гху Коэффициент детерминации (%)

4,2 2,56 14,4 1,4 9

Таблица 7

Коэффициенты корреляции при втором тестировании

Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 Х11 Х12 Х13 Х14 Х15

ГрЬ 0, 3 0,4 0,2 1 0,3 0, 1 0, 7 0,2 3 0,3 0,1 4 0 0,5 0,4 0,7 0,6 0,5

I ГрЬ 5,38

Я А 13 - 8 = 5

Согласно расчетов из 15 тестовых заданий вопрос № 5 и 10 не сочетаются с другими. Эти задания необходимо пересмотреть, либо заменить. По всем остальным вопросам коэффициент корреляции является приемлемым. По сравнению с первым тестированием суммарный коэффициент корреляции вырос на 0,33. При условии, что размах баллов по данному тестированию равен 5, то можно сказать, что второе тестирование оказалось лучше первого.

Результаты расчетов коэффициентов надежности теста: Расчет по формуле (10)

г кя-9 = 1,2-2,56/2,4+ [(1,2-2,56/2,4)2 + 13,98*2,56/1,2]* = -0,75 + -^0,57 + 16,2456 = 4,12

Коэффициент надежности измерения теста составляет 4,12 (гхх = 4,12). Стандартная ошибка измерения результатов тестирования формуле (11) составляет Бе = 1,2*^1-4,12 = 3,7. Значит, истинный балл первого испытуемого может варьироваться от 10 до 15 (по формуле 16 =3,7=12+/-3).

Следовательно, можно сказать о том, что в предложенном тестировании почти все вопросы оказались доступными для понимания студентов. Вопросы № 4, 5, 10 являются менее валидными (набрали меньшее количество ответов). Все вопросы, предложенные в тесте после его корректировки, являются эффективными и подтверждают пригодность к контролю и результативность. После проведения практического занятия доля правильных ответов в тесте повысилась.

Таким образом, проведенное исследование показало, что использование

корреляционного анализа позволяет создавать более валидные и надежные тесты, что

позволяет улучшить контроль освоения темы.

Литература

1. Аванесов, В. С. Форма тестовых заданий: учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2-е изд., перераб. и расширенное / В. С. Аванесов. М. - 2013.

2. Аверкин, В. Н. Из опыта работы по разработке нормативов бюджетного финансирования [Текст] : учеб. пособие для вузов / В. Н. Аверкин. - М. : Экономика образования. - 2013. - 38 с.

3. Анисимова, Т. С. Измерение латентных переменных в образовании / Т. С. Анисимова. - М. : Исследовательский центр проблем качества подготовки специалистов. - 2009. - 148 с.

4. Бабич, A. M., Павлова, А. H. Государственные и муниципальные финансы [Текст] : учебник для вузов / А. М. Бабич., А. Н. Павлова - М.: ЮНИТИ-ДАНА. - 2013. - 703 с.

5. Башаров, О. Г. Разработка системы экономических показателей для оценки эффективности деятельности учреждений образования // Экономический анализ: теория и практика. - 2013. - 120 с.

6. Финансы: Учеб. пособие / Под ред. А.М. Ковалевой - М.: Финансы и статистика. - 2014.