CC BY
21
знания о ребенке, умения и навыки (подготовленность) применения педагогически целесообразных методов, средств, форм и технологий воспитания, образования и развития несовершеннолетних.
Анализ современного состояния педагогической культуры родителей несовершеннолетних правонарушителей и лиц, их заменяющих, результаты исследования, проведенного автором, показывают, что в основном уровень её невысок. Половина из них - это неполные семьи, испытывающие финансовые трудности, эпизодически занимающиеся воспитанием подростков, глубоко не знающие и не учитывающие их возрастных особенностей. Они плохо знают достоинства и недостатки своих детей, поверхностно судят об их интересах. С учётом изложенного необходимо отметить, что вклад семьи в успешную реализацию принудительных мер воспитательного воздействия на несовершеннолетних правонарушителей незначителен. Она сама нуждается в социально-педагогической помощи, в т.ч. специальном обучении.
В настоящее время сотрудники подразделений по делам несовершеннолетних территориальных органов МВД России, родители и другие субъекты практической реализации принудительных мер воспитательного воздействия испытывают трудности в осуществлении полноценной воспитательной работы с несовершеннолетними правонарушителями в процессе практической реализации этих мер, т.к. практически не готовы к специфическому виду педагогической деятельности. Они не обладают необходимыми психолого-педагогическими знаниями, умениями и навыками; не оснащены соответствующим научно-методическим инструментарием исполнения этих мер. Их деятельность в сфере исполнения принудительных мер воспитательного воздействия на несовершеннолетних правонарушителей слабо организована и не обеспечена соответствующим педагогическим сопровождением.
С целью повышения уровня педагогического потенциала сотрудников ПДН, осуществляющих реализацию принудительных мер воспитательного воздействия на несовершеннолетних правонарушителей, автором был подготовлен и апробирован курс специальной подготовки для сотрудников ПДН «Педагогическое обеспечение принудительных мер воспитательного воздействия», а также разработаны методические рекомендации по организации индивидуальной воспитательной работы с данной категорией подростков, которые являются содержательной основой для проведения различных занятий в рамках служебной подготовки, служебных совещаний, индивидуальных и групповых бесед с сотрудниками ПДН.
Список литературы
1. Ожегов, С. И., Шведова, Н. Ю. Толковый словарь русского языка. - М., 1998.
2. Казакова, Т. А. Педагогическое обеспечение принудительных мер воспитательного воздействия на несовершеннолетних осужденных : монография. - Рязань: Академия ФСИН России, 2015.
3. Тагирова, Г. С. Психолого-педагогическая коррекционная работа с трудными подростками.
- М.: Пед. об-во России, 2005.
4. Сверчков, В. О. возможности и эффективности освобождения от уголовной ответственности (наказания) в связи с применением принудительных мер воспитательного воздействия // Профессионал.
- 2000. - № 5.
5. Казакова, Т. А. Педагогическое обеспечение принудительных мер воспитательного воздействия на несовершеннолетних осужденных : дис. ... канд. пед. наук. - Рязань, 2012.
6. Казакова, Т. А. Педагогическое обеспечение принудительных мер воспитательного воздействия на несовершеннолетних осужденных : учебное пособие. - Рязань: Академия ФСИН России, 2015.
УДК 37.022, 51-77
В.И. Куватов*, В.С. Потехин**, О.Е. Чудаков***
Статистическая модель оценки результатов тестирования знаний курсантов, студентов и слушателей учебных заведений МВД России
В статье описана модель оценки результатов тестирования знаний курсантов, базирующаяся на теории проверки статистических гипотез. Модель позволяет оценить, на сколько вопросов теста тестируемый ответил правильно потому, что он эти ответы знал, и сколько правильных ответов
* Куватов, Валерий Ильич, профессор кафедры специальных информационных технологий Санкт-Петербургского университета МВД России. Адрес: Россия, 198206, Санкт-Петербург, ул. Летчика Пилютова, д. 1. Тел. 8-(812)-300-89-94; 8-911-208-64-39; kyb.valery@yandex.ru.
** Потехин, Владимир Семенович, доцент кафедры специальных информационных технологий Санкт-Петербургского университета МВД России. Адрес: Россия, 198206, Санкт-Петербург, ул. Летчика Пилютова, д. 1. Тел. 8-(812)-300-89-94; 8-911-244-15-66; vsp1945@gmail.com.
*** Чудаков, Олег Евгеньевич, профессор кафедры специальных информационных технологий Санкт-Петербургского университета МВД России. Адрес: Россия, 198206, Санкт-Петербург, ул. Летчика Пилютова, д. 1. Тел. 8-(812)-300-89-94; 8-921-940-65-45; Oechuda@yandex.ru.
* Kuvatov, Valery Ilyich, Professor of special Department of information technology Saint-Petersburg University of MIA of Russia. Address: Russia 198206, Saint-Petersburg, Pilot Pilutov str., 1. Tel. 8-(812)-300-89-94; 8-911-208-64-39; kyb.valery@yandex.ru.
** Potekhin, Vladimir Semionivich, assistant Professor of special Department of information technology Saint-Petersburg University of MIA of Russia. Address: Russia 198206, Saint-Petersburg, Pilot Pilutov street. 1. Tel. 8-(812)-300-89-94; 8-911-244-15-66; vsp1945@gmail.com.
*** Chudakov, Oleg Eugeniyevich, Professor of special Department of information technology Saint-Petersburg University of MIA of Russia. Address: Russia 198206, Saint-Petersburg, street Pilot Pilutova. 1. Tel. 8-(812)-300-89-94; 8-921-940-65-45; Oechuda@yandex.ru.
© Куватов В.И., Потехин В.С., Чудаков О.Е., 2015
он угадал. В статье приведены результаты эксперимента, которые позволяют сделать вывод о том, что оценки, полученные с помощью данной модели, являются более объективными, чем оценки, полученные с помощью традиционных методов.
Ключевые слова: биномиальный закон, оценка результатов тестирования, статистическая гипотеза, статистическая модель, управляемый эксперимент, уровень значимости.
V.I. Kuvatov*, VS. Potekhin**, O.E. Chudakov***. Statistical model evaluation of the results of testing students' knowledge, students and listeners of educational institutions of the MIA of Russia: 09.03.02 Information systems and technologies. Describes a model of assessment of the results of testing students' knowledge, based on the theory of statistical hypothesis testing. The model allows to estimate the number of test questions test answered correctly because the answers he knew and how many correct answers he guessed. The article presents the results of the experiment, allow us to conclude that the estimates obtained using this model are more objective than estimates obtained using traditional methods.
Keywords: binomial law, evaluation of test results, statistical hypothesis, statistical model, a controlled experiment, the level of significance.
В настоящее время перед вузами МВД России стоит задача повышения качества подготовки курсантов. Качество подготовки во многом определяется эффективностью контроля усвоения учебного материала. Существует достаточно много форм и методов контроля. Однако в большинстве из них оценку качества подготовки курсантов по тому или иному предмету дает тот преподаватель, который данному предмету обучал. Такой подход вызывает определенные сомнения в объективности оценки. Этого недостатка лишен тестовый контроль.
Роль тестового контроля значительно возрастает при блочно-модульной организации построения основных образовательных программ. Применение блочно-модульной организации построения основных образовательных программ, формирование оптимальной последовательности освоения модулей [1; 2] предполагают, что по завершении каждого модуля необходимо оценить знания обучаемого. Для решения данной задачи целесообразно использовать тестовый контроль [3].
Тесты позволяют в максимальной степени формализовать процесс оценки знаний при значительном сокращении длительности этого процесса. Оценка результатов тестирования обычно проводится по схеме: «неудовлетворительно» ставится, если тестируемый правильно ответил менее чем на 30 % вопросов теста, «удовлетворительно» - если он дал от 30 до 50 % правильных ответов, «хорошо» - если от 50 до 80 %, и «отлично» - если более 80 %. Цифры могут быть и другими, но суть данной схемы остается прежней. Эта схема не учитывает общего числа вопросов теста и вероятности того, что правильные ответы на некоторые вопросы теста могут быть получены случайно - в результате угадывания. Ниже предлагается подход, основанный на теории проверки статистических гипотез [4], свободный от указанных недостатков.
Пусть число вопросов теста равно n, в каждом вопросе предлагается v вариантов ответа, один и только один из которых является правильным, и тестируемый правильно ответил на m вопросов из n. Необходимо разработать статистическую модель, с помощью которой можно было бы определить, на сколько вопросов тестируемый ответил правильно потому, что знал ответы, а сколько правильных ответов он угадал.
Если тестируемый знает ответ на вопрос, он отвечает на него правильно. Если тестируемый не знает ответ на вопрос, то он отвечает на него правильно с вероятностью угадывания равной:
P = 1/v. (1)
Очевидно, что закон распределения числа угаданных ответов является биномиальным [5].
Пусть курсант не знает правильного ответа ни на один вопрос теста. Вероятность того, что он угадает ровно b правильных ответов, определяется по формуле:
\п—Ь
Зададимся вероятностью а - вероятностью того, что курсант угадал не менее т вопросов теста из п. Найдем максимально возможную величину т, такую, что
и
Пара формул (3), (4) позволяет вычислить пороговое значение числа правильных ответов - т из п, при котором мы с вероятностью а можем допустить, что тестируемый знает правильный ответ хотя бы на один вопрос теста. Следовательно, если количество правильных ответов тестируемого Ь больше или равно т, то с вероятностью а мы можем утверждать, что он знает ответ хотя бы на один вопрос теста, если же Ь меньше т, то все правильные ответы им угаданы.
Пусть тестируемый в ходе эксперимента правильно ответил на Ь вопросов. Выдвинем две гипотезы, основную:
- Н0 - тестируемый знает ответ, по крайней мере, на один вопрос теста, и альтернативную:
- Н - тестируемый не знает ответа ни на один из вопросов теста, и все Ь правильных ответов он угадал.
Если Ь больше или равно т, то из формулы (3) следует
IiU ад(1 - РуУ~1 < а
(5)
и мы с доверительной вероятностью а можем утверждать, что гипотеза Н0 верна - тестируемый знает ответ хотя бы на один из трёх вопросов теста.
Если Ь меньше т, то неравенство (5) не выполняется, и мы с доверительной вероятностью а можем утверждать, что гипотеза Н0 неверна, верна альтернативная гипотеза - тестируемый не знает ответ, ни на один вопрос теста.
Пусть число правильных ответов Ь больше или равно т, и мы приняли гипотезу Н0. Это означает, что курсант знает правильный ответ хотя бы на один вопрос теста. В этом случае анализ необходимо продолжать. Обозначим нижнюю границу числа вопросов, ответ на которые тестируемый знает, £ Получим £ = 1. Уменьшим число вопросов теста на единицу, п:=п-1. Также на единицу уменьшим число правильных ответов курсанта, Ь:=Ь—1.
Вновь выдвинем две гипотезы, основную:
- Н0 - тестируемый знает ответ, по крайней мере, на два вопроса теста, и альтернативную:
- Н 1— тестируемый знает ответ только на один вопрос теста.
Затем по формулам (3), (4) найдем новое значение числа т и сопоставим с ним новое значение числа Ь. Если новое значение Ь больше нового значения т или равно ему, мы с той же самой доверительной вероятностью 1-а можем утверждать, что новая гипотеза Н0 не противоречит результатам эксперимента, т.е. курсант знает правильные ответы не менее чем на два вопроса теста. Получим £2 = 2.
Если новое значение Ь меньше т, то мы с доверительной вероятностью а можем утверждать, что гипотеза Н0 неверна, верна альтернативная гипотеза Н и курсант знает правильный ответ только на один вопрос теста. На этом анализ заканчивается.
Процесс итерационно продолжается до тех пор, пока п не окажется равным нулю, либо на очередной итерации гипотеза Н1 не будет подтверждена. В результате получим точное значение числа вопросов, ответ на которые тестируемый знает. Достоверность нашего вывода соответствует доверительной вероятности а.
Теперь нам известно число вопросов теста, ответы на которые курсант знает, при условии, что он правильно ответил на Ь вопросов? и число вопросов, правильные ответы на которые он угадал. Следовательно, мы можем поставить курсанту за его знания объективную оценку в соответствии с критериями, предложенными, например, в начале статьи.
Пример. Пусть тестируемому курсанту предъявлено шесть вопросов теста, п = 6. Каждый вопрос предполагает 5 вариантов ответа, V = 5, только один из которых является правильным. Отсюда по формуле (1) получим Р = 0,2. Курсант ответил правильно на три вопроса из шести, Ь = 3. Найдем с помощью вышеописанной статистической модели ответы на то, сколько вопросов тестируемый курсант знал, а сколько - угадал. Примем уровень значимости а = 0,3.
Для решения задачи сформируем табл. 1. В этой таблице п - число вопросов теста, оставшихся без ответа к очередному шагу алгоритма, к - вспомогательное число, необходимое для вычисления т, в клетке таблицы с координатами (п, к) находится число, найденное по формуле
En
i=.
k Qfy(l
РуУ~
Таблица 1
Вспомогательные вычисления для примера
п к
1 2 3 4 5 6
6 0,7379 0,3446 0,0998 0,0169 0,0016 0,00006
5 0,6723 0,2627 0,0579 0,0067 0,0003 -
4 0,5904 0,1808 0,0272 0,0016 - -
3 0,488 0,104 0,008 - - -
2 0,36 0,04 - - - -
1 0.2 - - - - -
Шаг 1. В первой строке табл. 1 (для п = 6) найдем число, ближайшее снизу к а = 0,3. Это число, равное 0.0998, находится в третьем столбце. Следовательно, т = 3. То же самое мы получим по формулам (3), (4). Поскольку Ь = т, в соответствии с формулой (5) приходим к выводу о том, что курсант знал ответ, по крайней мере, на один вопрос.
Шаг2. В соответствии с моделью уменьшим на единицу параметры п и Ь. Получим п = 5, Ь = 2. По методике шага 1 из второй строки табл. 1 находим т = 2. Поскольку Ь = т, в соответствии с формулой (5) приходим к выводу о том, что курсант знал ответ, по крайней мере, на два вопроса теста.
Шаг 3. В соответствии с моделью уменьшим на единицу параметры п и Ь. Получим п = 4, Ь = 1. Отсюда по той же методике получим т = 2. Поскольку Ь < т, в соответствии с формулой (4) приходим к выводу о том, что курсант угадал ответ на третий вопрос.
Таким образом, курсант из трех правильных ответов знал ответы на два вопроса, а ответ на один вопрос угадал.
Из табл. 1 можно найти ответ на поставленный выше вопрос для любого уровня значимости. Так, для а = 0.2 получим следующие результаты. На первом шаге: т = 3, Ь = 3, на втором: т = 3, Ь = 2. Таким образом, для данного уровня значимости получим, что тестируемый знал правильный ответ только на один вопрос теста при двух угаданных ответах. Для а = 0.2 на первом же шаге получим: т = 4. Т.е. для данного уровня значимости получим, что тестируемый все три правильных ответа на вопросы теста угадал. По этой причине выбор уровня значимости является исключительно ответственной задачей.
На решении этой задачи мы остановимся позже, а пока перейдем к описанию программы, реализующей описанный выше подход к оценке результатов тестирования. Программа отличается исключительно простым, интуитивно понятным интерфейсом (рис. 1).
Рис. 1. Интерфейс программы оценки результатов тестирования
Работа с программой состоит из трех шагов. На первом шаге необходимо задать число тестируемых, число вопросов теста, число вариантов ответа в каждом вопросе, уровень значимости и граничные условия для оценок - см. левую часть окна программы под надписью «Исходные данные» (рис. 1). Затем следует нажать кнопку «Ввести данные». В результате будет сформирована пустая таблица «Данные ответов тестируемых». Число строк этой таблицы равно числу тестируемых. На втором шаге необходимо вручную заполнить эту таблицу результатами, полученными в ходе тестирования. На третьем шаге необходимо нажать кнопку «Рассчитать оценки».
В первом столбце таблицы «Результаты расчетов» дублируется число правильных ответов, показанных в таблице «Данные ответов тестируемых», во втором оценки, полученные за эти ответы по схеме, заданной на первом шаге (см. раздел «Граничные условия» окна программы). В третьем столбце указано рассчитанное по модели число вопросов теста, ответы на которые тестируемый знал, в четвертом столбце - оценка, полученная тестируемым за это число правильных ответов.
В программе предусмотрено изменение части исходных данных. Так, мы можем изменить уровень значимости, нажать кнопку «Ввести данные», а затем - кнопку «Рассчитать оценки». В результате будут получены новые оценки.
Для проверки адекватности описанной выше статистической модели был проведен так называемый управляемый эксперимент. Суть его заключается в следующем. Тестируется группа из двадцати курсантов. Каждому выдается тест с 25 вопросами. Каждый вопрос имеет пять вариантов ответа, только один из которых является правильным. В столбце 2 табл. 2 указано количество вопросов, ответы на которые курсант знает. Обозначим число таких ответов к где / - номер курсанта. В столбце 3 указан процент вопросов, ответы на которые каждый курсант знает, а в столбце 4 - объективная оценка его знаний.
Будем считать, что ответы на остальные вопросы курсант угадывает. Примем закон распределения числа угаданных вопросов биномиальным с параметрами: Р = 0.2, п = 25 - к.
С помощью датчика случайных чисел найдем число угаданных каждым курсантом ответов, столбец 5 табл. 3, а в столбце 6 запишем общее число вопросов, на которые курсант ответил правильно. Это число равно сумме числа вопросов, ответ на которые курсант знает, и тех, ответ на которые он угадал. В столбце 7 приведен процент правильных ответов, а в столбце 8 - общепринятая оценка по результатам тестирования. Истинная средняя оценка оказалась равной 3.75, а средняя оценка по числу правильных ответов - 4.2. Расхождение составляет 12 %, что весьма существенно.
Таблица 2
Проверка адекватности статистической модели оценки результатов тестирования
№ курсанта Знает ответов фактически % отчисла вопросов теста Объективная | оценка Угадал ответов Всего 1 правильных ответов % от числа вопросов теста 'Общепринятая оценка Знает ответов по : модели дляос= 0.3 % от числа вопросов теста | Оценка по модели
1 2 3 4 5 6 7 8 9 10 11
1 24 96 5 1 25 100 5 25 100 5
2 24 96 5 1 25 100 5 25 100 5
3 22 88 5 2 24 96 5 23 92 5
4 22 88 5 1 23 92 5 22 88 5
5 20 80 4 2 22 88 5 21 84 5
6 20 80 4 3 23 92 5 22 88 5
7 20 80 4 3 23 92 5 22 88 5
8 18 72 4 2 20 80 4 18 72 4
9 17 68 4 1 18 72 4 15 60 4
10 17 68 4 2 19 76 4 17 68 4
11 15 60 4 4 19 76 4 17 68 4
12 15 60 4 1 16 64 4 13 52 4
13 15 60 4 2 17 68 4 14 56 4
14 12 48 3 3 15 60 4 11 44 3
15 11 44 3 4 15 60 4 11 44 3
16 9 36 3 4 13 52 4 11 36 3
17 9 36 3 4 13 52 4 11 36 3
18 8 32 3 4 12 48 3 10 32 3
19 5 20 2 7 12 48 3 10 32 3
20 5 20 2 5 10 40 3 8 20 2
Зададимся уровнем значимости а = 0,3. С помощью вышеописанной модели рассчитаем число вопросов, которые каждый курсант знает, процент этого числа от числа вопросов теста и оценку, которую каждый курсант должен получить в соответствии с результатами моделирования. Результаты моделирования отражены в 9-11 столбцах табл. 3. Средняя оценка оказалась равной 3.9, а расхождение с истинной оценкой составляет 4 %, что в три раза меньше. Этот результат свидетельствует о том, что использование описанного статистического подхода позволяет существенно повысить объективность оценки знаний курсантов.
Выше было отмечено, что оценки результатов тестирования существенным образом зависят от уровня значимости. В пределе при уровне значимости а = 0 получим, что все вопросы теста угаданы, а при уровне значимости а = 1 - что ответы на все те вопросы теста, на которые тестируемый ответил правильно, он знал. Поэтому в ходе эксперимента была оценена эффективность расчёта вышеприведённых результатов тестирования для различных уровней значимости. В качестве критерия эффективности был выбран квадрат разности между числом вопросов, ответы на которые тестируемый знал фактически (в нашем управляемом эксперименте), столбец 2 табл. 2, и рассчитанным по нашей модели числом вопросов, ответы на которые тестируемый знал, предпоследний столбец таблицы «Результаты оценки знаний»,
(6)
Из формулы (6) следует, что наилучшим будет такое значение а, при котором Кэф окажется
минимальным. Результаты расчёта критерия эффективности для различных уровней значимости отражены в табл. 3. Анализ этих результатов показывает, что наилучшим будет уровень значимости а = 0,3 - 0,4.
Зависимость критерия эффективности от уровня значимости
Таблица 3
Уровень значимости 1 0.8 0.6 0.4 0.3 0.2 0.1 0.05 0.01 0
Критерий 10.3 5.65 3.45 1.75 1.75 1.9 2.95 5.9 15.7 271.9
Выводы
1. Результаты управляемого эксперимента позволяют сделать вывод о том, что оценки, получаемые с помощью статистической модели, значительно точнее оценок, получаемых общепринятым способом.
2. Сложность расчётов по модели может быть существенно снижена за счёт её программной реализации.
3. Оптимальный уровень значимости находится на интервале 0.3 - 0.4.
Список литературы
1. Куватов, В. И., Онов, В. А., Яковлев, Д. В. Технология формирования оптимальной последовательности изучения дисциплин учебного плана вуза // Проблемы управления рисками в техносфере. - 2012. - Т. 23. - № 3. - С. 104-109.
2. Куватов, В. И., Примакин, А. И., Яковлев, Д. В. Метод формирования оптимальной последовательности изучения модулей учебной дисциплины на основе кривых забывания // Вестник Санкт-Петербургского университета МВД России. - 2013. - № 2 (58). - С. 172-178.
3. Примакин, А. И. Универсальная система тестирования для организации мониторинга знаний учащихся в рамках дистанционно-модульной подготовки специалистов по информационной безопасности в учебных заведениях системы МВД России : материалы VII Санкт-Петербургской межрегиональной конференции «Информационная безопасность регионов России (ИБРР-2011)». Санкт-Петербург, 26-28 октября 2011 г. / СПОИСУ. - СПб., 2011. - С. 47-48.
4. Гмурман, В. Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 2001. - 480 с.
5. Свиридов, А. П. Введение в статистическую теорию обучения и контроля знаний. - Ч. 1. -М.: МЭИ, 1974. - 135 с.
УДК 37.017.7 Е.Э. Остапенко*
Проблемы межкультурного взаимодействия в деятельности сотрудников органов внутренних дел Российской Федерации
Изложен авторский взгляд на проблемы межкультурного взаимодействия в деятельности сотрудников органов внутренних дел Российской Федерации. Рассмотрены различные аспекты межкультурного взаимодействия в ходе выполнения служебных задач.
Ключевые слова: межкультурное взаимодействие, этнические преступные формирования, профессиональная компетентность, национально-психологические особенности.
E.Е. Ostapenko*. Problems of intercultural interaction in activities of employees of the interior of Russian Federation. Set out the author's view of the problems of intercultural interaction in the activities of employees of the Interior of Russian Federation. The various aspects of intercultural communication in the performance of official tasks are considered.
Keywords: cross-cultural interaction, ethnic criminal groups, professional competence, national psychological features.
События последнего десятилетия - террористические акты в России, США и других странах, гражданская война на Украине, политические, экономические и национально-культурные кризисы - повысили актуальность проблем межкультурного взаимодействия. При ускорении процессов глобализации и увеличении потоков миграции по всему миру особую значимость приобретает формирование культуры межнациональных отношений, способности народов к диалогу, позволяющей мирно сосуществовать в условиях непрерывного изменения среды жизнедеятельности, ее стремительного усложнения для восприятия и оценки человеком. Согласно докладу за 2013 г. Генерального Секретаря
* Остапенко, Елена Эдуардовна, адъюнкт кафедры педагогики и социальной психологии Санкт-Петербургского университета МВД России. Адрес: Россия, 198206, Санкт-Петербург, ул. Летчика Пилютова, д. 1. Тел.: 8(911)244-65-30. E-mail: lena_ostapenko@mail.ru.
* Ostapenko, Elena Eduardovna, рostgraduate student of the department of pedagogy and social psychology of the St.-Petersburg university of the Ministry of internal Affairs of Russia. Address: Russia, 198206, St.-Petersburg, Pilot Pilyutov str., 1. E-mail: lena_ostapenko@mail.ru.
© Остапенко Е.Э., 2015
