CC BY
9
УДК 378.126
Разработка фонда оценочных средств и оценка сформированности компетенций на основе матричной модели процесса обучения
В.П. Жуков
ФГБОУВО «Ивановский государственный энергетический университет имени В.И. Ленина»,
г. Иваново, Российская Федерация E-mail: zhukov-home@yandex.ru
Авторское резюме
Состояние вопроса: В настоящее время в соответствии с требованиями новых нормативных документов необходимо дифференцированно учитывать полученные студентами знания, умения, навыки и уровень формирования определенной социально-личностной компетенции. Классифицировать все измерительные материалы по уровням обученности и затем отслеживать для каждого студента этот уровень является трудоемким мероприятием, требующим кратного увеличения временных и информационных ресурсов для проведения контроля и хранения его результатов. Для многоуровневой оценки обученности по ограниченной выборке задач в тесте адекватная оценка становится практически невозможной или требует существенного расширения числа предлагаемых для тестирования задач. Разработка ресурсосберегающих технологий получения дифференцированной оценки многоуровневой обученности является актуальным направлением проведения эффективного реформирования высшей школы. В связи с этим необходима разработка методики формирования фонда оценочных средств и оценки этапов формирования компетенций на основе моделирования процесса обучения. Материалы и методы: Для разработки модели оценки обученности и модели процесса обучения применяются методы математического моделирования, а также методы математической статистики и теории вероятности, которые хорошо себя зарекомендовали при решении прикладных задач.
Результаты: Разработана методика формирования фонда оценочных средств для дифференцированной оценки знаний, умений и навыков и уровней формирования компетенций обучающегося, построенная на матричной модели процесса обучения и позволяющая при ограниченной выборке задач в тесте формировать многоуровневую оценку обученности студентов.
Выводы: Предложенная методика на основе ограниченной выборки задач теста позволяет обоснованно в рамках сделанных допущений проводить многоуровневую оценку обученности студента и определять этапы формирования у него определенной социально-личностной компетенции. При приемлемом уровне затрат временных и информационных ресурсов методика позволяет решать задачи, сформулированные в нормативных документах.
Ключевые слова: фонд оценочных средств, уровень обученности, знания, умения, навыки, формирование компетенций, математическое моделирование, образовательный процесс.
Development of a set of assessment tools and competence assessment based on a matrix model of the educational process
V.P. Zhukov
Ivanovo State Power Engineering University, Ivanovo, Russian Federation E-mail: zhukov-home@yandex.ru
Abstract
Background: New government regulators require differential assessment of the knowledge, ability, skills and level of a certain social and personal competence. Classification of all measuring materials by proficiency level and then tracking this level for every student is a time- and labour-consuming activity requiring a multiple increase in time resources for monitoring and storage. However, it is almost impossible to make a multi-level assessment of the proficiency by a limited problem sampling or it requires a considerably larger number of test problems. That is why it is quite urgent to develop low-cost technologies for differentiated assessment of multi-level proficiency in order to reform higher education effectively. All this makes it necessary to develop a technique for forming a set of assessment tools and assessing competence formation stages based on education process modeling.
Materials and methods: Methods of mathematical modeling, mathematical statistics and probability theory have been used to develop the model of proficiency assessment and the model of educational process as these methods have proved their efficiency in solving applied problems.
Results: An effective and resource-saving methodology has been developed for formation of a set of assessment tools for a differentiated assessment of knowledge, abilities, skills and stages of students' competence formation. Conclusions: The proposed method based on limited test problem sampling allows us to make a multi-level differentiated assessment of a student's proficiency based on some assumptions and to determine their social and personal competence of a certain type. The method saves time and information resources and allows solving problems formulated in the regulatory documents.
Key words: set of assessment tools, proficiency level, knowledge, abilities, skills, formation of competences, mathematical modeling, teaching process.
DOI: 10.17588/2072-2672.2017.5.053-058
Введение. Главной особенностью федеральных государственных образовательных стандартов (ФГОС) нового поколения является ориентация не на содержание, а на результат образования, выраженный через компетентности специалистов 1. При этом под компетенцией понимается способность применять знания, умения и личностные качества для успешной деятельности в определенной области 2.
Согласно новой нормативной базе [1-3], компетенции могут быть сформированы на различных уровнях (этапах): пороговый, базовый и повышенный. При проведении оценки обученности для каждого конкретного этапа (уровня) обучения или освоения компетенции выделяются категории «знать», «уметь», «владеть», в которые вкладывается следующий смысл: «знать» -воспроизводить и объяснять учебный материал с требуемой степенью научной точности и полноты; «уметь» - решать типичные задачи на основе воспроизведения стандартных алгоритмов решения; «владеть» -решать усложненные задачи на основе приобретенных знаний, умений и навыков, их применять в нетипичных ситуациях.
В соответствии с требованиями ФГОС для аттестации обучающихся на соответствие их учебных достижений требованиям основной образовательной программе (ООП) создаются фонды оценочных средств (ФОС), которые являются составной частью нормативно-методического обеспечения системы оценки качества освоения ООП и входят в состав рабочей программы соответствующей дисциплины (РПД). Фонд оценочных средств представляет собой контрольные задания, а также описание форм и процедур, предназначенных для определения степени сформированности результатов обучения студента по конкретной дисциплине [2, 3].
Классифицировать все измерительные материалы по уровням обученности и затем отслеживать для каждого студента этот уровень является трудоемким мероприятием, требующим кратного увеличения временных
1 Федеральный закон от 29.12.2013 № 273-Ф3 (редакция от
31.12.2014 года) «Об образовании в Российской Федерации» (с изменениями и дополнениями, вступившими в силу
31.03.2015 года).
2 Приказ Минобрнауки России от 19.12.2013 № 1367 «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры».
ресурсов для проведения контроля и хранения его результатов. Разработка на основе математических моделей образовательного процесса ресурсосберегающих технологий дифференцированной оценки многоуровневой обученности является актуальным направлением успешного реформирования высшей школы.
В качестве объекта исследования рассматривается методика разработки фонда оценочных средств, состоящего из измерительных материалов, методики их разработки и методики проведения контроля с использованием этих измерительных средств.
В качестве предмета исследования рассматривается модель образовательного процесса, позволяющая на ее основе учитывать формирование знаний, умений и навыков обучающегося.
Методы исследования. В качестве методов исследования используется матричная модель оценки обученности и матричная модель процесса обучения, а также методы и подходы математической статистики и теории вероятности.
Методы формирования оценочных средств и их использования разрабатываются в рамках известной матричной модели образовательного процесса [4-6]. Существующие традиционные оценочные средства ориентированы на шкалу оценок «отлично», «хорошо», «удовлетворительно», «неудовлетворительно». В рамках новых стандартов регламентируется разработка ФОС для дифференциальной многоуровневой оценки «знаний», «умений» и «навыков» студентов. Хотя интуитивно категории «знания», «умения» и «навыки» понятны, попытка формализовать и количественно их оценить вызывает определенные трудности особенно при использовании уже имеющихся измерительных средств.
Результаты. Ниже предлагается два варианта методики многоуровневой оценки обученности, которые соответствуют двум вариантам используемых исходных данных. В первом варианте в качестве исходных данных используются «традиционные» оценки, по которым с помощью математической модели восстанавливается искомая многоуровневая оценка обученности. Во втором варианте предлагается методика разработки структуры измерительных материалов на основе предварительного ранжирования задач по уровням сложности или обученности.
Вариант 1. Методика многоуровневой оценки обученности на основе «традиционных» оценок. В основу методики оценки знаний, умений и навыков студента положены матричная модель обученности и матричная модель процесса обучения [4], а также первичные результаты измерения обу-ченности, полученные в рамках традиционного подхода.
Основные используемые положения матричной модели обученности и процесса обучения студентов [4] могут быть кратко сформулированы следующим образом. Обу-ченность предлагается моделировать с помощью распределения студентов по числу решенных задач, которое будем называть «вектором знаний» и записывать в виде матрицы-столбца. Эта матрица f = {//} имеет размер т*1, где т - число уровней оценки знаний (например, число решенных задач). Численное значение элементов данной матрицы / для группы студентов показывает долю студентов, решающих / задач контроля.
В процессе обучения объем знаний и навыков студентов увеличивается и, соответственно, растет число решаемых ими задач. Для описания трансформации знаний в процессе обучения предложена матричная модель обучения, которая по известному вектору знаний до обучения позволяет рассчитать вектор знаний после обучения. Матричное уравнение модели процесса обучения имеет вид
Г = Вк Г, (1)
шкала традиционных оценок («отл.», «хор.», «удовл.» и «неудовл.») соотнесена со шкалами оценок «знает», «умеет», «владеет». Для установления указанной связи делаются некоторые допущения, которые, по нашему мнению, не противоречат здравому смыслу и интуитивным оценкам. Обоснование этих допущений проиллюстрировано на рис. 1, где приведен пример распределения студентов по знаниям после контроля /(л). По оси абсцисс откладывается число решенных задач л, а по оси ординат - плотность вероятности их решения /(л) [8]. На оси абсцисс также нанесены пороговые значения и диапазоны варьирования л, соответствующие оценкам по традиционной и новым шкалам оценок. Значение определенного интеграла функции /(л) по бл в пределах интегрирования, выбранных по пороговым значениям оценки, показывает вероятность получения студентами этой оценки. Приведенные зависимости позволяют при выбранном числе решенных задач в контроле (л) определить оценку по всем перечисленным шкалам оценок. Например, при правильном решении 80 задач теста (л = 80), проводя на рис. 1 вертикальную линию через четыре шкалы оценок, получаем соответственно для разных шкал четыре оценки: «хор.», «знает», «умеет», «не владеет». Принятые допущения о соотношении перечисленных шкал оценок в интегральном виде приведены в табл. 1.
Таблица 1. Принятый вариант соответствия традиционной и предлагаемых шкал оценок обученности студентов
где г, г - распределения студентов по знаниям (вектора знаний) до и после к повторений обучения соответственно; В = {Ьц} -
матрица обучения размера т*т; т - число классов знаний. Значение элемента матрицы обучения Ьу показывает долю студентов, которые, находясь до обучения в у-м классе знаний, после обучения перешли в /-й класс.
Матрица обучения, полученная в рамках специальных исследований на основе энтропийного подхода [7], записывается следующим образом:
|0, /< 1,
ьи =\ '
1 11/(т +1-Ц),1 > Ц.
0 59 60 74 75 84 85 100 Диапазон числа решаемых задач, %
Неуд. Удовл. Хор. Отл. Шкала традиционных оценок
Не знает Знает Шкала знания
Не умеет Умеет Шкала умения
Не владеет Владеет Шкала навыки
(2)
Результаты расчетных исследований, выполненных согласно модели (1)-(2), приведены на рис. 2 в виде зависимости доли знающих, умеющих и владеющих навыками студентов от числа повторений при обучении.
Для использования представленной матричной модели знаний студентов выполнена ее адаптация к новой шкале оценок:
f(n)t
100г
90 -80 -70 60 50 40 30 20 10
2/
/ 3/
/
/
</....
V г
10 15 20 число повторений
25
30
Рис. 2. Расчетные зависимости оценок «знаний» (1), «умений» (2) и «навыков» (3) от числа повторений материала при обучении
Таблица 2. Соотношение «традиционной» шкалы оценок, используемой в Ивановском государственном энергетическом университете, с оценками «знаний», «умений», «навыков»
Рис. 1. Распределение студентов по числу выполненных заданий и различные шкалы оценок знаний: а - «традиционная» шкала; б - шкала «знаний»; в -шкала «умений»; г - шкала «навыков»; штриховыми линиями показаны пороговые значения числа решенных тестов
Считая в дальнейшем, что эволюция знаний у студента от числа повторений описывается аналогичным образом, определяем уровень обученности студента. Алгоритм определения уровней обученности по одной известной традиционной оценке показан на рис. 2 пунктирными линиями со стрелками. При получении по традиционной шкале оценок результата 85 % определяем число повторений (k = 4), а затем для этого числа повторений находим уровень умений (65 %) и уровень навыков (35 %). Итоговые результаты пересчета оценок во всем диапазоне приведены в табл. 2.
№ Традиционная оценка Оценка знания Оценка умения Оценка навыков
% % % %
1. 100 отл. 100 отл. 100 отл. 100 отл.
2. 99 99 93,8 75,5 хор.
3. 98 98 91 69 удовл.
4. 97 97 87 61
5. 96 96 84 хор. 56 неудовл.
6. 95 95 82 55
7. 90 90 71 удовл. 44
8. 85 85 63 35
9. 80 хор. 80 хор. 55 неудовл. 29
10 75 75 50 26
11 70 удовл. 70 удовл. 45 20
12 65 65 40 18
13 60 60 34 15
14 55 неудовл. 55 неудовл. 32 13
15 50 50 28 12
16 40 40 20 8
17 30 30 15 6
18 20 20 10 4
19 10 10 5 2
20 0 0 0 0
Вариант 2. Методика многоуровневой оценки обученности после предварительного ранжирования задач. Для повышения точности оценки обученности предлагается предварительно формировать структуру измерительного материала. Использование методики сопоставления шкал традиционных и новых оценок знаний, умений и навы-
0
0
5
ков студента позволяет сформулировать некоторые рекомендации для разработки ФОС:
• при разработке тестовых заданий в один билет целесообразно включать задачи разной сложности, как это сделано, например, в заданиях ЕГЭ и вузовских интернет-тестирований. Рекомендуемый набор задач: 60 % заданий на тестирование «знаний» основ курса; 15 % усложненных заданий на тестирование «умений» и 25 % более сложных заданий на тестирование «навыков»;
• традиционная оценка обученности, представленная в процентах, может быть пересчитана для оценки «знаний», «умений» и «навыков» с использованием табл. 2 или рис. 2. Пороговые значения оценок выбраны в данном случае согласно табл. 1 и могут быть уточнены по желанию преподавателя под конкретную дисциплину.
Матричная модель оценки формирования компетенций. Предложенная методика оценки знаний, умений и навыков студента позволяет также оценить формирование компетенции в ходе процесса обучения. Рассматривается наиболее сложный случай формирования одной компетенции в ходе изучения нескольких дисциплин. Для учета формирования компетенций предлагается ее оценка в виде трехмерного массива Р = /ук}, где /¡к - оценка по /-му предмету, у-му контролю (тк, пк) и к-й шкале оценок (к = 1 - знаний, к = 2 - умений и к = 3 - навыков). Полученный трехмерный массив оценок позволяет, суммируя их по разным индексам, получать срезы оценок по предметам, шкалам, видам контроля. Соответственно, сравнивая полученную оценку с выбранными пороговыми значениями, делается вывод о степени формирования анализируемой компетенции в ходе учебного процесса. Если различные оценки имеют различную с точки зрения формирования компетенции ценность, то эти различия легко учитываются введением соответствующих коэффициентов ценности.
Выводы. В ходе проведенных исследований получены следующие результаты:
1. Разработанная методика многоуровневой оценки обученности по известной «традиционной» шкале оценок обученности, используемой в Ивановском государственном энергетическом университете позволяет при приемлемом уровне затрат временных и информационных ресурсов решать задачи, сформулированные в нормативных министерских документах.
2. Разработанные рекомендации по структурированию измерительных материалов позволяют уточнить оценки обученности путем предварительного ранжирования задач по уровням обученности.
3. Предложенная матричная модель оценки поэтапного формирования компетенций в ходе образовательного процесса способствует осуществлению эффективного реформирования высшей школы.
Список литературы
1. Ефремова Н.Ф. Организация оценивания компетенций студентов, приступающих к освоению основных образовательных программ вузов. - М.: Исследовательский центр проблем качества подготовки специалистов, 2010. - 132 с.
2. Ефремова Н.Ф. Проблемы формирования фондов оценочных средств вузов // Высшее образование сегодня. - 2011. - № 3. - С. 17-21.
3. Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетент-ностном подходе / В.А. Богословский, Е.В. Караваева, Е.Н. Ковтун и др. - М.: Изд-во МГУ, 2007. - 148 с.
4. Математическое моделирование и структурная оптимизация образовательных технологий / В.В. Комлев, В.П. Жуков, В.Е. Мизонов, Г.Г. Кадамцева // Вестник ИГЭУ. - 2006. - № 3. - С. 55-58.
5. Структурная оптимизация и управление качеством образовательных технологий / В.В. Комлев, В.П. Жуков, В.Е. Мизонов, Г.Г. Кадамцева // Современные наукоемкие технологии. - 2006. - № 1. - С. 20-23.
6. Оптимизация структуры вузовского образования / Г.Г. Кадамцева, В.П. Жуков, В.Е. Мизонов, В.В. Комлев // Математические методы в технике и технологиях ММТТ-19: материалы XIX Междунар. конф. - Воронеж, 2006. - Т. 4. - С. 182-183.
7. Вильсон А. Энтропийные методы моделирования сложных систем. - М.: Наука, 1978. - 248 с.
8. Вентцель Е.С. Исследование операций: задачи, принципы, методология. - М.: Дрофа, 2004. -207 с.
References
1. Efremova, N.F. Organizatsiya otsenivaniya kompetentsiy studentov, pristupayushchikh k osvoyeniyu osnovnykh obrazovatel'nykh programm vuzov [Organization of competence assessment of students starting basic educational programs of universities]. Moscow, Issledova-tel'skiy tsentr problem kachestva podgotovki spetsialistov, 2010. 132 p.
2. Efremova, N.F. Vysshee obrazovanie segod-nya, 2011, no. 3, pp. 17-21.
3. Bogoslovskiy, V.A., Karavaeva, E.V., Kovtun, E.N., Melekhova, O.P., Rodionova, S.E., Tarlykov, V.A., Shekho-nin, A.A. Metodicheskie rekomendatsii po proektirovaniyu otsenochnykh sredstv dlya realizatsii mnogourovnevykh ob-razovatel'nykh programm VPO pri kompetentnostnom podk-hode [Guidelines for developing assessment tools for implementing multi-level educational programs of HPE according to the competence approach]. Moscow, Izdatel'stvo MGU, 2007. 148 p.
4. Komlev, V.V., Zhukov, V.P., Mizonov, V.E., Ka-damtseva, G.G. Matematicheskoe modelirovanie i struk-
turnaya optimizatsiya obrazovatel'nykh tekhnologiy [Mathematical modeling and structural optimization of educational technologies]. Vestnik IGEU, 2006, issue 3, pp. 55-58.
5. Komlev, V.V., Zhukov, V.P., Mizonov, V.E., Ka-damtseva, G.G. Strukturnaya optimizatsiya i upravlenie kachestvom obrazovatel'nykh tekhnologiy [Structural optimization and quality management of educational technologies]. Sovremennyye naukoyemkiye tekhnologii, 2006, no. 1, pp. 20-23.
6. Kadamtseva, G.G., Zhukov, V.P., Mizonov, V.E., Komlev, V.V. Optimizatsiya struktury vuzovskogo obrazo-vaniya [Optimization of the structure of higher education].
Materialy XIX Mezhdunarodnoy konferentsii «Matemati-cheskie metody v tekhnike i tekhnologiyakh MMTT-19» [Proceedings of the XIXth International conference «Mathematical methods in engineering and technologies MMTT-19»]. Voronezh, 2006, vol. 4, pp. 182-183.
7. Vilson, A. Entropiynye metody modelirovaniya slozhnykh system [Entropy methods for modeling complex systems]. Moscow, Nauka, 1978. 248 p.
8. Venttsel, E.S. Issledovanie operatsiy: zadachi, printsipy, metodologiya [Operations Research: Tasks, Principles, Methodology]. Moscow, Drofa, 2004. 207 p.
Жуков Владимир Павлович,
ФГБОУВО «Ивановский государственный энергетический университет имени В.И. Ленина»,
доктор технических наук, профессор, зав. кафедрой прикладной математики,
адрес: г. Иваново, ул. Рабфаковская, д. 34, кор. А, ауд. 202,
телефон (4932) 26-97-45,
e-mail: zhukov-home@yandex.ru
Zhukov Vladimir Pavlovich,
Ivanovo State Power Engineering University,
Doctor of Engineering Sciences (Post-doctoral degree), Professor, Head of the Applied Mathematics Department,
address: Ivanovo, 34 Rabfakovskaya St., Building A, Room 202,
tel.: (4932) 26-97-45,
e-mail: zhukov-home@yandex.ru
