CC BY
21
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
И УПРАВЛЕНИЕ
О. М. Булгаков,
доктор технических наук, профессор, Краснодарский университет МВД России
А. И. Ладыга,
кандидат экономических наук, Краснодарский университет МВД России
О. Н. Рябошапко,
Краснодарский университет МВД России
ОБОБЩЕННАЯ МОДЕЛЬ ОТБОРА СОДЕРЖАНИЯ КОНТРОЛЯ
ОСТАТОЧНЫХ ЗНАНИЙ
COMMON APPROACH TO FORMING OF CONTENT SELECTION OF RESIDUAL KNOWLEDGE CONTROL
Рассмотрены два подхода к формированию фонда оценочных средств и оцениванию остаточных знаний обучающихся, призванных обеспечить одновременно объективность полученных оценок и их удовлетворительную корреляцию с результатами промежуточной аттестации. Первый подход ориентирован на изменение оценочной шкалы на основе математической модели забывания знаний, второй предполагает применение такой модели при реструктуризации фонда оценочных средств по уровням сложности заданий.
Two approaches to the constructing of the evaluation fund and testing of residual knowledge of students, to simultaneously ensure objectivity of the results and their satisfactory correlation with the data of the interim evaluation are considered. The first approach focuses on changing the assessment scale on the basis of mathematical model of knowledge forgetting, the second involves the use of such models in the restructuring of the evaluation fund into task complexity levels.
Контроль остаточных знаний (КОЗ) получил широкое распространение в процедурах внешнего и внутреннего аудита реализаций образовательных программ, системах мониторинга качества учебного процесса, создаваемых образовательными организации, играет важную роль в комплексных проверках и аттестационных (аккредитационных) мероприятиях [1—3]. Как правило, основными анализируемыми показателями, получаемыми по итогам КОЗ, являются: средний балл, качество знаний (процент хороших и отличных оценок), процент неудовлетворительных оценок. В системах внутреннего аудита в дополнение к перечисленным востребованы такие результаты КОЗ, как проценты (баллы) освоения дидактических единиц (ДЕ) дисциплин учебного плана или компетенций Федерального государственного образовательного стандарта (ФГОС), а также показатели, характеризующие отличие оценок КОЗ и промежуточной аттестации [4]. Основным форматом КОЗ являются компьютерные тесты, что обеспечивает минимизацию трудоемкости этого вида контроля знаний и автоматизацию обработки его результатов [5, 6].
Как показывает практика применения КОЗ в образовательном процессе Краснодарского университета МВД России, на индивидуальную оценку КОЗ определяющее влияние оказывают три фактора:
знания и умения испытуемого;
мотивация испытуемого;
содержание и уровень сложности теста.
Очевидно, два последних фактора могут сказаться негативным образом на достоверности полученных результатов КОЗ. Так, низкая мотивация испытуемого гарантированно приводит к занижению оценки освоения им проверяемой учебной дисциплины или компетенции. Решением этой проблемы является повышение статуса КОЗ, например, учет его результатов наравне с результатами промежуточной аттестации в рейтинговых оценках освоения образовательных программ, применение мер поощрения к испытуемым, показавшим хорошие и отличные результаты, и др.
Отбор содержания теста может оказывать на результат КОЗ двоякое влияние: слишком простые задания приводят к завышению оценок, слишком сложные или содержательно некорректные - к занижению, и даже совпадение оценок КОЗ и промежуточной аттестации может быть не следствием корректного содержания теста, а результатом взаимной компенсации некорректности обоих типов.
Таким образом, отбор содержания теста или базы заданий для обеспечения объективности оценок контроля остаточных знаний является комплексной задачей, которая должна решаться как на основе методических подходов, так и с применением математических моделей.
Будем полагать, что одним из желаемых итогов формирования некоторой компетенции ФГОС или освоения учебной дисциплины является некий объем знаний ^з(^) и умений Уу(*;0) в момент завершения формирования компетенции или изучения дисциплины - завершающей промежуточной (итоговой) аттестации.
Будем также полагать, что совокупность Кз(^) и Ку(^) представляется набором ДЕ содержание дисциплины (дисциплин, формирующих компетенцию):
{УЗ(*о);^о)} = {ДЕ1,ДЕ2.....ДЕП).
Пусть для проверки освоения ДЕ^ ¡=1, ..., N используется вопросов (для проверки знаний в составе ДЕ^. Тогда уровни освоения ДЕi могут характеризоваться двояко:
1) в случае, когда все отдельные вопросы Bij (]=1, ..., N3) и задания Зik (к=1, ..., N31) примерно одного уровня сложности:
(^В1(Уп-1)тах < ^В1(Уп) — ^В1(Уп)тах> (1)
где Уп — уровень освоения компетенции; N В1(Уп)тах; М31(Уп)тах — соответственно максимальное количество правильно решенных вопросов и заданий для уровня Уп, ^в1(Уп-1)тах, Nэ1(Уп-1)тах — максимальное количество правильно решенных вопросов и заданий соответственно для предыдущего уровня. Очевидно,
^В1(Уп-1)тах = ^в1(Уп)тт — 1> ^З1(Уп-1)тах = Nз1(Уп)тт — 1,
где МВ1(Уп)т1П; Nз1(Уп)тт — соответственно минимально необходимое для п-го уровня освоения ДЕ количество правильных ответов на вопросы и задания; п=1,..., по,..., Птах, где Птах — количество уровней освоения ДЕ, по - минимально достаточный (приемлемый) уровень освоения ДЕ.
2) в случае, когда Bij и Зik характеризуются несколькими уровнями сложности Ст; т=1, ..., Стах, условиями достижения ^го уровня (т=к) освоения ДЕ могут быть
NВ1 стах NЗ1 стах
X ктт < ^ ' ^ ' • Кт(Ст) + ^ ' ^ ' ^ ] • ^т(^т) — ^ктах(Х), _ )
} = 1 т=1 }=1 т=1 ^ '
где Хкт1П, Хктах — минимальное и максимальное количество баллов, ограничивающих показатель достижения к-го уровня освоения ДЕ. Интерпретации уровней освоения ДЕ могут выражаться следующим образом: «освоена полностью», «освоена в основном», «освоена частично», «не освоена» и т.п.
В выражении (2а) Я) и Rj — соответственно правильные ответы на вопросы из их общего количества и задания общим количеством , Кт(Ст) — весовые коэффициенты, соответствующие уровню сложности т=1, ..., Стах; или:
NВ1 Стах
^ктт < ^ ' ^ ' К] • Кт(Ст) — ^к
(2б)
V • ^т(^т) — Лктах, ] = 1 т=1
NВ1 Стах
^ктт < ^ ' ^ ' • — ^ктах,
] = 1 т=1
где Z|lmin, Z*min — минимальные баллы проверки соответственно знаний и умений, свидетельствующие о достижении к-го уровня освоения ДЕ; 2ктах, 2ктах — максимальные значения диапазонов набранных баллов при проверке соответственно знаний и умений установленных для к-го уровня освоения ДЕ.
Для выражений (2а) и (2б), очевидно, должны выполняться условия:
у _ у .у _ у . у* _ у*
Лктт = лк-1тах; ¿ктт = ^к-1тах ; ^ктт = ^к-1тах.
Введем в рассмотренные модели динамические показатели, характеризующие забывание изученного материала с течением времени.
Пусть в момент времени 1>и) средние остаточные объемы знаний и умений характеризуются величинами УЗ(^) и УУ(^) соответственно.
Очевидно, УЗС^КУзОо); Уу^КУуф),
= ^ЗС^С) • - ^с); УуС^) = ^с) • /уС^1 - *о),
где /ЗС^1 — ^0), УУС^1 — ^С) — значения функций забывания значений /ЗСО и умений /у(0 [7—10] при аргументе ^ — *;с.
Тогда, если мы руководствуемся неравенством (1) при определении уровня освоения ьой ДЕ, то оценки КОЗ будут определятся условием:
|^В1С^п-1)тах < -^¿(^п) < (3)
Здесь 0П — оценка КОЗ в пределах заданной шкалы: п е (птт; Птах}, ^¿(Оп), ^¿(Оп), — количество правильных ответов на вопросы и задания.
Для корректного сопоставления результатов промежуточной аттестации и КОЗ необходимо пользоваться единой оценочной шкалой. В этом случае
= ^В1(уп)тах • /З(^1 — ^С) (4)
1^З1(Оп)тах = ^З1(уп)тах • /у(*1 — ^С)
При данном подходе фонд оценочных средств (ФОС); в данном случае - база вопросов и заданий теста, для КОЗ тождественен ФОС уже промежуточной аттестации, а надежность теста [6], выражающаяся в корректности оценок, определяется корректностью выбора функций забывания /з(0, /у(0 и задания (уточнения) их параметров. Фактически задача сводится к корректному смещению диапазонов оценочной шкалы и ее формальное решение может выглядеть следующим образом. Например, оценки промежуточной аттестации удовлетворяют условиям: свыше 90 % правильных ответов — «отлично», от 70% до 90% — «хорошо», от 50% до 70% — «удовлетворительно», менее 50% — «неудовлетворительно». В соответствии с (4) при том же ФОС для времени ^ условия формирования оценки КОЗ могут быть такими: правильных ответов свыше 60% — «отлично», от 45% до 60% — «хорошо», от 30% до 45% — «удовлетворительно», менее 30 % — «неудовлетворительно», а для времени t2 > свыше 52% — «отлично», от 40% до 52% — «хорошо», от 25% до 40% — «удовлетворительно», менее 25% — «неудовлетворительно» и т.п.
Рассмотрим модель формирования оценок с вопросами и заданиями разного уровня. Степень забывания будет тем выше, чем выше уровень сложности элемента ДЕ (знания, умения), т.е.:
= Уз(^;Ст) • /З(^1 — £о;Ст); (5)
Тогда выражение (2а) применительно к КОЗ трансформируется:
С'тах
1(^1) < ^ ^ • • /з — Ст) +
^тт(ч) < ^ ^ • у=1 т=1
стах (6а)
+ ^ ^ • • /у(^ — ¿о) <
у=1 т=1
Аналогично для совокупности неравенств (2б):
«в; с„
у=1 т=1
«В1 стах
у=1 т=1
(6б)
В отличие от заданий и вопросов одинаковой сложности в ФОС, величины
^¿п^Х ^т^Д ^¿п^Х ^тах^ не Mогут, как в выражении (5) быть рассчитаны как произведение соответствующей величины в момент времени и значения функции забывания /з(^ — *;0). Наиболее простым способом расчета данных величин является использование процедуры вычисления средневзвешенных значений функции забывания в момент времени ^:
/зсв^! — ^о) -
• 2щ=т ^т(^т)
(7а)
V
^т/у^ — ^ ш) • ^т(^т) • ^¿т
/УСВ(*1 — ^0) --?-, (7б)
1 ^ уСтах /"Л Л
где V ¿т, — количество соответственно вопросов и заданий т-го уровня сложности в ФОС. В случае, если количество вопросов и заданий для всех уровней сложности одинаковое:
^¿т = Vз¿т, VVв¿т = ^¿„; Ш, П=1,...,Стах,
/зсв(*1 — *о) = т"1/......" , (7в)
/усв (*1 — т=1 е1...... . (7г)
^т=1 Лт(ит)
С учетом выражений (7а), (7б):
(8)
Обычно ФОС с делением заданий по уровням сложности имеют «пирамидальную» структуру: чем выше сложность заданий, тем меньше их доля: V ¿т > ^¿п, > ^¿п, и>т. Ввиду более интенсивного забывания знаний и умений повышенной сложно-
сти, в ФОС для проверки остаточных знаний нецелесообразно включать лишь минимальное количество заданий повышенной сложности. Следовательно, исходные значения ХкттО^г), ^кттО^г), будут достигаться испытуемыми за счет большего про-
цента верных ответов на вопросы и задания низших уровней сложности. В этой связи большое значение приобретает корректность определения весовых коэффициентов
Вывод. Корректность (валидность, надежность) теста для проверки знаний и умений в значительной мере зависит от квалификации разработчика. Если результаты тестирования свидетельствуют о некорректности оценки, то время на переработку теста может превысить период актуальности его применения. Тесты для проверки остаточных знаний в данном аспекте представляются вдвойне неустойчивыми к непрофессионализму разработчика: вначале на этапе отбора общего содержания вопросов и заданий, затем на этапе выбора их сложности. Предлагаемый нами подход к формированию ФОС для проверки остаточных знаний позволяет минимизировать ошибки разработчика, во-первых, за счет использования ФОС, уже апробированного при промежуточной аттестации или проверке сформированности компетенции ФГОС, во-вторых, за счет применения корректного математического аппарата - математических моделей забывания знаний, в-третьих, за счет возможности взаимопроверки результатов применения тестов, сформированных на основе различной иерархии сложности заданий.
ЛИТЕРАТУРА
1. Ершиков С. М., Иванова И. В. Мониторинг уровня остаточных знаний студентов медицинского университета // Ярославский педагогический вестник. — 2017. — № 5. — С. 139—144.
2. Гибадуллина Р. Н. Контроль остаточных знаний // Вестник Казанского государственного энергетического университета. — 2013. — № 4. — С. 113—115.
3. Денисова О. П. Подготовка студентов к контролю остаточных знаний на основе обобщающего повторения // Вектор науки Тольяттинского государственного университета. — 2012. — № 4. — С. 86—88.
4. Булгаков О. М., Ладыга А. И., Рябошапко О. Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. — 2018. — № 2. — С. 38—44.
5. Майер Р. В. Учет изменения прочности знаний при обучении: моделирование в электронных таблицах Excel // Современные научные исследования и инновации. — 2015. — № 1. Ч. 3 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2015/01/45010 (дата обращения: 27.03.2019).
6. Булгаков О. М., Дедикова А. О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. — 2017. — № 4. — С. 214—221.
7. Майер Р.В. Компьютерная двухкомпонентная вероятностная модель изучения дисциплины // Современное образование. — 2015. — № 1. — С. 42—52. — URL: https://nbpublish.com/library_read_article.php?id=13701
8. Модели забывания учебной информации для системы подготовки персонала / В. Ю. Строганов [и др.] // Материалы IX Международной заочной научно-практической
конференции молодых ученых «Теория и практика применения информационных технологий в промышленности и на транспорте» / г. Москва, 12 ноября 2013 г. — URL: auts.esrae.ru
9. Буймов А. Г. Закономерности поведения кривых забывания // Доклады ТУСУР.
— 2017. — Том 20. — № 4. — С. 138—141.
10. Майер Р. В. Имитационное моделирование изучения студентами вузовского курса, учитывающее психологические закономерности усвоения и забывания // Научно-методический электронный журнал «Концепт». — 2015. — № 12 (декабрь). — С. 116— 120. — URL: http:e-koncept.ru/20l5/l5430.htm.
REFERENCES
1. 1. Ershikov S. M., Ivanova I. V. Monitoring urovnya ostatochnyih znaniy studentov meditsinskogo universiteta // Yaroslavskiy pedagogicheskiy vestnik. — 2017. — # 5. — S. 139—144.
2. Gibadullina R. N. Kontrol ostatochnyih znaniy // Vestnik Kazanskogo gosudarstven-nogo energeticheskogo universiteta. — 2013. — # 4. — S. 113—115.
3. Denisova O. P. Podgotovka studentov k kontrolyu ostatochnyih znaniy na osnove obobschayuschego povtoreniya // Vektor nauki Tolyattinskogo gosudarstvennogo universiteta.
— 2012. — # 4. — S. 86—88.
4. Bulgakov O. M., Ladyiga A. I., Ryaboshapko O. N. Interpretatsiya rezultatov kontrolya ostatochnyih znaniy s primeneniem elementov korrelyatsionnogo analiza i ma-tematicheskoy statistiki // Vestnik Voronezhskogo instituta FSIN Rossii. — 2018. —# 2. — S. 38—44.
5. Mayer R. V. Uchet izmeneniya prochnosti znaniy pri obuchenii: modelirovanie v el-ektronnyih tablitsah Excel // Sovremennyie nauchnyie issledovaniya i innovatsii. —2015. — # 1. Ch. 3 [Elektronnyiy resurs]. URL: http://web.snauka.ru/issues/20l5/0l/450l0 (data obrascheniya: 27.03.2019).
6. Bulgakov O. M., Dedikova A. O. O primenimosti metodologicheskogo apparata teorii nadezhnosti k otsenke kachestva testov dlya proverki znaniy // Vestnik Voronezhskogo instituta FSIN Rossii. — 2017. — # 4. — S. 214—221.
7. Mayer R.V. Kompyuternaya dvuhkomponentnaya veroyatnostnaya model izucheniya distsiplinyi // Sovremennoe obrazovanie. — 2015. — #1. — S. 42—52. — URL: https://nbpublish.com/library_read_article.php?id=l370l
8. Modeli zabyivaniya uchebnoy informatsii dlya sistemyi podgotovki personala / V. Yu. Stroganov [i dr.] // Materialyi IX Mezhdunarodnoy zaochnoy nauchno-prakticheskoy konferentsii molodyih uchenyih «Teoriya i praktika primeneniya informatsionnyih tehnologiy v promyishlennosti i na transporte» / g. Moskva, 12 noyabrya 2013 g. — URL: auts.esrae.ru
9. Buymov A. G. Zakonomernosti povedeniya krivyih zabyivaniya // Dokladyi TU-SUR. — 2017. — Tom 20. — # 4. — S. 138—141.
10. Mayer R. V. Imitatsionnoe modelirovanie izucheniya studentami vuzovskogo kursa, uchityivayuschee psihologicheskie zakonomernosti usvoeniya i zabyivaniya // Nauchno-metodicheskiy elektronnyiy zhurnal «Kontsept». — 2015. — # 12 (dekabr). — S. 116—120.
— URL: http:e-koncept.ru/20l5/l5430.htm.
СВЕДЕНИЯ ОБ АВТОРАХ
Булгаков Олег Митрофанович. Первый заместитель начальника университета. Доктор технических наук, профессор.
Краснодарский университет МВД России. E-mail: ombfrier@yandex.ru
Россия, 350005, г. Краснодар, ул. Ярославская, д.128. Тел. (861) 258-43-95.
Ладыга Антон Игоревич. Начальник управления учебно-методической работы. Кандидат экономических наук.
Краснодарский университет МВД России. E-mail: evan-evans@yandex.ru
Россия, 350005, г. Краснодар, ул. Ярославская, д.128. Тел. (861) 258-50-79.
Рябошапко Олеся Николаевна. Заместитель начальника управления учебно-методической работы. Краснодарский университет МВД России. E-mail: lesenocek11@mail.ru
Россия, 350005, г. Краснодар, ул. Ярославская, д.128. Тел. (861) 258-51-82.
Bulgakov Oleg Mitrofanovich. First Deputy Head of the University. Doctor of Technical Sciences, Professor.
Krasnodar University of the Ministry of Internal Affairs of Russia. E-mail: ombfrier@yandex.ru
Work address: Russia, 350005, Krasnodar, Yaroslavskaya Str., 128. Tel. (861) 258-43-95.
Ladyga Anton Igorevich. Head of the department of educational and methodical work. Candidate of Economic Sciences.
Krasnodar University of the Ministry of Internal Affairs of Russia. E-mail: evan-evans@yandex.ru
Work address: Russia, 350005, Krasnodar, Yaroslavskaya Str., 128. Tel. (861) 258-50-79.
Ryaboshapko Olesya Nikolaevna. Deputy head of the department of educational and methodical work. Krasnodar University of the Ministry of Internal Affairs of Russia. E-mail: lesenocek11@mail.ru
Work address: Russia, 350005, Krasnodar, Yaroslavskaya Str., 128. Tel. (861) 258-51-82.
Ключевые слова: остаточные знания; корреляция оценок; уровень освоения дидактической единицы; весовые коэффициенты; математическая модель забывания; модель формирования оценок; фонд оценочных средств.
Key words: residual knowledge; evaluations correlation; the level of the didactic unit achievement; weights; mathematical model of forgetting; model to generate estimates of; evaluation fund.
УДК 378.146
