CC BY
13
Е.Е. НАУМЧИК (Санкт-Петербург)
методика оценивания уровня сформированного компетенций в процессе обучения специалистов по эксплуатации вооружения, военной и специальной техники
Рассматривается способ решения задачи по оцениванию уровня сформированности компетенций в процессе обучения у специалистов по эксплуатации вооружения, военной и специальной техники (ВВСТ). Разработана методика оценивания уровня сформированности компетенций в процессе обучения, определены количественные значения показателей уровня профессиональной и личной компетентности у военных специалистов по эксплуатации ВВСТ.
Ключевые слова: методика оценивания, зачетная единица, учебная дисциплина, ранжирование, сформированность компетенции, шкала оценивания.
Введение. В настоящее время на вооружение поступают сложные военно-технические системы, эффективность функционирования которых во многом определяется качеством подготовки эксплуатирующих их специалистов. В связи с этим возрастает практическая необходимость в обосновании и разработке требований к системе оценивания уровня освоения вооружения, военной и специальной техники (ВВСТ), обосновании классификационных и квалификационных требований к отбору, уровню подготовки специалистов и срокам их обучения, в оценке и совершенствовании учебно-тренировочных средств, разработке методов их использования. Необходимость решения подобных научных задач прежде всего обусловлена нарастающей сложностью ВВСт, возрастающей мощностью информационных потоков в системе эксплуатации ВВСт, сокращением времени, необходимого на разработку и постановку на вооружение новых образцов техники [4-6]. Перечисленные тенденции в целом подразумевают все более жесткие требования к уровню подготовки военных специалистов, вовлеченных в процессы эксплуатации ВВСт. Переход к новым
федеральным государственным стандартам высшего образования (ФГОС ВО 3++) требует определения количественных значений показателей уровня освоения компетенции (компетенций) у специалистов по эксплуатации ВВСт.
таким образом, решение задачи оценивания уровня освоения компетенций, сформированных в процессе обучения у специалистов по эксплуатации ВВСт, является актуальным. Спектр компетенций для военных специалистов весьма широк и включает десятки компетенций, уровень сформированности которых представляется исключительно важным.
Перечень компетенций, которые необходимы для эксплуатации ВВСт, приведен во ФГОС ВО 3++, в частности для специалистов, выпускников ВКА имени А.Ф. Можайского, эксплуатирующих ракетно-космическую технику, во ФГОС ВО 3++ по специальности 24.05.01 «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов» [10], а также в квалификационных требованиях к военно-профессиональной подготовке выпускников (КТ). Однако то, как оценить степень их освоения, не уточняется.
На текущий момент уровень сформиро-ванности компетенций оценивается опосредовано по результатам сдачи зачетов и экзаменов по конкретным учебным дисциплинам. В результате формальная оценка сформированно-сти компетенций у военных специалистов не обязательно приводит к появлению интегральной способности применять на практике навыки, подготовку, образование и опыт, необходимые для выполнения их функций и обязанностей, и выполнять сложные задачи профессиональной направленности на высоком уровне мастерства.
Исходя из изложенного, можно сделать вывод о необходимости определения количественных значений показателей уровня профессиональной и личной компетентности у военных специалистов по эксплуатации ВВСТ в процессе обучения и разработки соответствующей методики оценивания.
Методика оценивания уровня сформированности компетенций. Анализ публикаций в этой области реализации образовательного процесса в вузе на базе ФГОС ВО 3++ позволил сформулировать ряд аспектов, препятствующих решению обозначенной задачи [1-3; 7; 9]:
- упор сделан на результаты обучения, а содержание дисциплин уходит на второй план;
О Наумчик Е.Е., 2021
ПЕДАГОГИЧЕСКИЕ НАУКИ
- компетенции формируются несколькими дисциплинами поэтапно;
- сложность в определении учебных дисциплин, которые формируют отдельно взятую компетенцию.
Согласно требованиям ФГОС ВО 3++, для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей образовательной программы вуз создает и утверждает фонды оценочных средств для проведения текущего контроля успеваемости и промежуточной аттестации. Эти фонды могут включать контрольные вопросы и типовые задания для практических занятий, лабораторных и контрольных работ, коллоквиумов, зачетов и экзаменов; тесты и компьютерные тестирующие программы; примерную тематику курсовых работ, рефератов и т. п., а также иные формы контроля, позволяющие оценить степень сформирован-ности компетенций у обучающихся.
Вузу также рекомендуется на основе требований ФГОС ВО 3++ по соответствующему направлению подготовки разработать:
- матрицу соответствия компетенций, составных частей образовательной программы и оценочных средств;
- методические рекомендации преподавателям по разработке системы оценочных средств и технологий для проведения текущего контроля успеваемости по дисциплинам (модулям) образовательной программы (заданий для контрольных работ, вопросов для коллоквиумов, тематики докладов, эссе, рефератов и т. п.);
- методические рекомендации преподавателям по разработке системы оценочных средств и технологий для проведения промежуточной аттестации по дисциплинам (модулям) образовательной программы (в форме зачетов, экзаменов, курсовых работ / проектов и т. п.) и практикам.
Рис. 1. Методика оценивания уровня сформированности компетенций в процессе обучения
Предлагаемая методика оценивания уровня сформированности компетенций у военных специалистов учитывает перечисленные аспекты при определении количественных значений показателей уровня профессиональной и личной компетентности в процессе обучения и включает следующие этапы (рис. 1):
1) ранжирование компетенций по их роли в формировании профессиональной компетентности у военного специалиста и распределение учебного времени на формирование компетенций.
2) распределение учебного времени между учебными дисциплинами для их успешного освоения.
3) оценивание сформированности компетенций по результатам промежуточных аттестаций; разработка шкал оценивания компетенций.
4) определение общего уровня профессиональной компетентности у специалиста; разработка шкалы оценивания профессионального уровня специалиста-выпускника.
Для решения поставленной задачи предлагается на первом этапе произвести ранжирование компетенций по их роли в формировании профессиональной компетентности у военного специалиста, вовлеченного в процессы эксплуатации ВВСТ. Возникает непростая задача в достаточно надежном определении компетенций, которые в значительной степени влияют на уровень профессиональной подготовки специалиста, во избежание упущения наиболее существенных из них и в выделении для формирования этих компетенций достаточного количества учебного времени. Поэтому необходимо заблаговременно, до начала учебного процесса, из всего множества компетенций, которые устанавливаются ФГОС ВО 3++ и КТ, выделить такое их подмножество, которое вносит существенный вклад в формирование профессиональной компетентности у во-
енного специалиста, при этом обеспечивая качественное формирование всех компетенций.
Для этого мы воспользуемся методом экспертных оценок с последующей проверкой степени согласованности мнений специалистов с помощью метода ранговой корреляции [8]. Пусть имеем совокупность компетенций х1, х2, ..., х . Специалистам т предлагается проранжировать компетенции, расположив их в ряд в соответствии с возрастанием (убыванием) степени их влияния на формирование профессиональной компетентности у специалиста. Результаты ранжирования могут быть представлены в виде табл. 1.
Если компетенции проранжированы в порядке возрастания степени их влияния на уровень формирования профессиональной компетентности у специалиста, то наибольшую сумму будет иметь компетенция, сильнее других влияющая на профессиональный уровень его подготовки. Поэтому компетенциям, набравшим большее количество баллов (рангов), необходимо уделять больше времени и, соответственно, для них выделяется больше зачетных единиц.
При таком ранжировании могут происходить сбои, вызванные квалификацией и опытом специалистов, их объективностью и т. д. Поэтому тщательный отбор специалистов и увеличение их количества повышает степень доверия к полученным результатам. В качестве экспертов возможно привлечение не только преподавателей, ведущих учебные дисциплины, но и преподавателей выпускающей кафедры, а также представителей профессиональной среды. Отобранные специалисты должны быть объективны, компетентны и независимы друг от друга.
В результате опроса мнения специалистов в отношении некоторых компетенций будут расходиться, поэтому суммы рангов по компетенциям окажутся разными. Конечная сумма
Таблица 1
Ранжирование компетенций
Специалисты Компетенции
х1 х2 х3 х4 х5 х к
1 х11 х21 х31 х41 х51 х , к1
2 х12 х22 х32 х42 х52 х , к2
3 х13 х23 хзз х43 х53 хкз
4 х14 х24 х34 х44 х54 хк4
5 х15 х25 х35 х45 х55 х . к5
т х, 1т х2т х3т х4т х, 5т х кm
рангов будет основанием для определения количества зачетных единиц, необходимых для качественного формирования компетенций.
По результатам ранжирования определяем количество зачетных единиц, необходимых для формирования каждой компетенции:
где I - общее количество зачетных единиц, которые устанавливаются ФГОС ВО; Л7 -
сумма рангов по i-ои компетенции
сум-
Г
¿—4=1
где 8. - количество зачетных единиц по учебной дисциплине, выделенное на формирование компетенции.
Величина 8. определяется аналогично а. с учетом матрицы компетенций, входящей в со-
став основной профессиональной образовательной программы.
• Определяем относительную оценку ) по каждой учебной дисциплине с учетом коэффициента значимости:
(3)
где х. - это оценка по учебной дисциплине, выставленная на промежуточной аттестации.
• Определяем итоговую оценку (5) по сформированной компетенции:
ма рангов по всем компетенциям.
Таким образом, использовав метод экспертных оценок, с последующей проверкой степени согласованности мнений специалистов с помощью метода ранговой корреляции, распределяем учебное время между всеми компетенциями в зависимости от их вклада в формирование профессиональной компетентности у военного специалиста, эксплуатирующего ракетно-космическую технику.
На втором этапе, используя описанный выше метод, распределяем учебное время на освоение учебных дисциплин, участвующих в формировании компетенций, или осуществляем подбор необходимых для организации учебного процесса дисциплин.
На третьем этапе количественно оцениваем уровень сформированности компетенций у выпускников и определяем итоговую оценку за сформированную компетенцию по результатам промежуточных аттестаций. С этой целью делаем следующее.
• Определяем коэффициент значимости каждой учебной дисциплины (ш,-тг):
<5г
= —- (2)
-ь
(4)
¡= 1
Разрабатываем шкалы оценивания компетенции.
На четвертом этапе определяем уровень профессиональной компетентности у специалиста.
Определим вес (V) каждой дисциплины в сформированной компетенции в баллах следующим образом:
где п0- повышающий коэффициент, например п0 = 100.
В заключение разрабатываем шкалы оценивания профессионального уровня специалиста-выпускника.
Разработанную методику рассмотрим на частном примере для ФГОС ВО 3++ по специальности 24.05.01 «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов». Допустим, 3 специалиста ранжируют 11 универсальных компетенций, установленных ФГОС ВО 3++ по специальности 24.05.01. Ранжирование производится в порядке возрастания степени влияния компетенции на уровень профессиональной подготовки специалиста от 1 до 11. На формирование всех компетенций выделено 30 зачетных единиц. Результаты ранжирования представлены в табл. 2.
Таблица 2
результаты ранжирования компетенций
Компетенции
Специалисты ■ 2 ■ 3 ■ ■ 5 ■ vo ■ ■ 8 ■ 9 ■ 0 11
> >
1 11 11 8 5 10 8 5 8 4 11 9
2 9 8 9 5 11 7 6 8 3 10 9
3 10 9 9 4 8 9 5 7 4 9 10
По формуле (1) рассчитаем количество зачетных единиц а,, оптимально необходимое для формирования каждой компетенции, что представлено в табл. 3 и на рис. 2.
Для нашего примера оценим степень согласованности мнений специалистов с помощью метода ранговой корреляции [1]. Для этого определим среднее значение ряда, составленного из сумм в столбцах табл. 2, которое будет равно
1
* = -т(к + 1),
где т - число специалистов; к - число компетенций.
Следовательно, при т = 3 и к = 11 Л" = 18.
Вычитаем из каждого числа ряда (табл. 2) среднее значение (X. - х) = й . и возведем полученное значение в квадрат, находим величину й2 (табл. 4).
Сложив числа последней строчки, находим величину 2^=1 —803.
Для оценки степени согласия рядов ранжирования всех специалистов будем использовать коэффициент конкордации (согласия)
IV
Ц=1
-Ю-т Т,™=± -
где . - число повторений одинаковых рангов у .-го специалиста. В нашем примере:
1 [(23-2)+2(33-3)] = 4,5;
/■ =
12
[(23-2)+(33-3)] = 2,5;
1= 12 [2(23-2)+(43-4)] = 6.
12
Таким образом, коэффициент согласия будет равен Ж = 0,82.
Необходимо проверить значимость величины IV с помощью критерия . Поскольку к> 7, используем %2-критерий. Для 5-процентного уровня значимости и числа степеней свободы / = к-1 = 10 табличное значение критерия
Хтл6п=16;9. Чтобы коэффициент согласия был значимым, необходимо выполнение условия
X Хтаол" Вычисленное значение данного критерия определим по формуле
= 25,3 > 16,9.
Следовательно, согласие в мнениях специалистов есть, и гипотезу о согласии на 82% можно принять.
Далее осуществляем распределение учебного времени на освоение учебных дисциплин, участвующих в формировании компетенций. В качестве примера рассмотрим одну из одиннадцати рассмотренных выше компетенций -УК-1, на гЬппмипование которой необходимо выделить 1= 3,48 ЗЕ.
Для формирования компетенции УК-1 необходимо освоить 6 учебных дисциплин:
- «Философию» (Ф);
- «Правоведение» (П);
- «Экономику» (Э);
- «Психологию и педагогику» (ПП);
- «Историю» (И);
- «Военно-политическую работу в ВС РФ» (ВПР).
Распределим учебное время на освоение учебных дисциплин, участвующих в формировании компетенции УК-1, используя метод экспертных оценок и модель (2-5), рассмотренные выше. Определим итоговую оценку по сформированной компетенции по результатам промежуточных аттестаций (табл. 5).
таким образом, итоговая оценка по сформированной компетенции УК-1 по результатам промежуточных аттестаций с учетом веса каждой учебной дисциплины - «хорошо» ^ = 3,98). Определим зависимость между количеством зачетных единиц, выделенных на освоение учебных дисциплин, и уровнем сформированности компетенции.
В качестве примера рассмотрим учебную дисциплину «Военно-политическая работа в ВС РФ» и определим зависимость между количеством выделенных на ее освоение зачетных единиц и итоговой оценкой по сформированной компетенции УК-1 (рис. 3).
Получили, что при изменении количества зачетных единиц по дисциплине «Военно-политическая работа в ВС РФ» итоговая оценка по сформированной компетенции по результатам промежуточных аттестаций может меняться кардинально (при 5( = 0,1 ЗЕ получили г = 3,49, а при 5, = 1,0 ЗЕ - Г = 4,0).
Далее для определения уровня профессиональной компетентности специалиста разработаем шкалы оценивания компетенций. Для этого определим вес (V) каждой учебной дисциплины при формировании компетенции в баллах по формуле (5) (см. табл. 6).
Таблица 3
количество зачетных единиц, оптимальное для формирования каждой компетенции
Компетенции
Специалисты ■ <ч ■ 3 ■ 4 ■ ■ 6 ■ ■ 8 ■ 9 ■ 0 1
> >
X. 1 30 28 26 14 29 24 16 23 11 30 28
щ 3,48 3,24 3,01 1,62 3,36 2,78 1,85 2,67 1,27 3,48 3,24
Таблица 4
результаты расчетов
Компетенции
1 > УК-2 УК-3 4 - У УК-5 6 - У УК-7 8 - У УК-9 УК-10 УК-11
d. 1 12 10 8 -4 11 6 -2 5 -7 12 10
¿1 144 100 64 16 121 36 4 25 49 144 100
рис. 2. Количество зачетных единиц, оптимальное для формирования каждой компетенции
Сложив числа нижней строки, получили максимальное возможное количество баллов, необходимое для формировании компетенции УК-1, равное 264. Учитывая вес каждой учебной дисциплины при формировании компетенции УК-1 (табл. 6), построим шкалу оценивания данной компетенции (табл. 7).
Для перехода от 5-балльной к многобалльной системе (компетенция УК-1) воспользуемся формулой линейной интерполяции. Тогда при z = 3,98, получим кх = 215. Другими словами, полученная итоговая оценка «хорошо» по компетенции УК-1 при z = 3,98 соответствует 215 баллам.
Аналогичным образом определяются итоговые оценки и строятся шкалы оценивания всех компетенций, которые приведены во ФГОС ВО3++ и КТ. Это дает возможность определить общий уровень профессиональной компетентности специалиста, для чего необходимо просуммировать количество баллов по результатам оценивания сформированно-сти всех компетенций, как представлено, например, на рис. 3.
Таким образом, предлагаемая методика оценивания уровня сформированности компетенций у специалистов по эксплуатации РКТ в процессе обучения позволяет численно оценить не только сформированность компетенций, но и общий уровень профессиональной компетентности.
Заключение. Квалификационные требования к военно-профессиональной подго-
товке выпускников обусловливают необходимость решения задачи оценивания уровня освоения компетенций, сформированных в процессе обучения специалистов по эксплуатации ВВСТ. Сейчас уровень сформирован-ности компетенций оценивается опосредовано по результатам сдачи зачетов и экзаменов по учебным дисциплинам. Исходя из этого, можно сделать вывод о необходимости определения количественных значений показателей уровня профессиональной и личной компетентности военных специалистов по эксплуатации ВВСт в процессе обучения и разработки соответствующей методики оценивания.
Разработанная методика включает этапы по ранжированию компетенций согласно их ролям в формировании профессиональной компетентности военного специалиста. Это позволяет не упустить наиболее существенные из них, построить шкалы оценивания компетенций, определить вес каждой дисциплины в сформированной компетенции с привлечением экспертов, определить итоговую оценку по сформированной компетенции по результатам промежуточной аттестации и уровню профессиональной компетентности специалиста-выпускника. В работе показана зависимость между количеством зачетных единиц, выделенных на освоение учебной дисциплины, и уровнем сформированности компетенции.
Методика по завершению освоения основной профессиональной образовательной программы позволяет:
ПЕДАГОГИЧЕСКИЕ НАУКИ
Высокий профессиональный уровень специалиста
Базовый профессиональный уровень специалиста
Низкий профессиональный уровень специалиста
10 000- 11 999баллов
Рис. 4. Общая шкала оценивания профессиональной компетентности специалиста
Определение итоговой оценки по компетенции
Таблица 5
Параметр Ф П Э ПП И ВПР
1. 5 . 0,3 0,25 0,45 0,65 0,65 0,94
2. т . 0,0926 0,0772 0,1389 0,2006 0,2006 0,2901
3. х. 3 5 3 3 4 5
4. г . 0,2778 0,3858 0,4167 0,6019 0,8025 1,4506
г = 3,98
Таблица 6
Определение веса учебных дисциплин при формировании компетенции УК-1
"—-—^^^^ Дисциплина Параметр ■——^^ Ф П Э ПП И ВПР
V 30 25 45 65 5 94
Таблица 7
Шкала оценивания компетенции УК-1
5-балльная система Многобалльная система Оценка
4,5 - 5 231-264 5
3,5 - 4,49 201-230 4
2,5 - 3,49 171-200 3
1) оценить сформированность всех компетенций, установленных ФГОС и квалификационными требованиями к военно-профессиональной подготовке выпускников;
2) оценить общий профессиональный уровень подготовки специалиста-выпускника вуза.
На частном примере для ФГОС ВО 3++ 24.05.01 рассмотрен механизм применения
предлагаемой методики оценивания уровня сформированности компетенций у специалистов по эксплуатации РКТ в процессе обучения.
список литературы
1. Аглямова З.Ш., Камашева Ю.Л., Шевченко Д.В. Об одном подходе к измерению сформированности компетенций // Азимут научных исследований: педагогика и психология. 2018. Т. 7. № 2(23). С. 15-18.
2. Братищенко В.В. Измерение сформирован-ности компетенций студентов по данным текущей успеваемости // Университетское управление: практика и анализ. 2019. № 23(3). С. 69-78.
3. Бурцева Л.П. Проектирование компетент-ностно-ориентированных заданий для развития и оценивания общих и профессиональных компетенций обучающихся // Знание. 2016. № 11-3(40). С. 66-69.
4. ГОСТ Р ИСО 9000-2015. Системы менеджмента качества. Основные положения и словарь. М., 2018.
5. ГОСТ Р ИСО 9001-2015. Системы менеджмента качества. Требования. М., 2015.
6. ГОСТ Р ИСО 9004-2010. Менеджмент для достижения устойчивого успеха организации. Подход на основе менеджмента качества. М., 2011.
7. Гравченко Ю.А., Гранкин Б.К., Козлов В.В. Частные показатели уровня освоения компетенции специалистом по эксплуатации ракетно-космической техники // Труды Военно-космической академии имени А.Ф. Можайского. 2020. Вып. 672. С. 273-281.
8. Жигилей В.С. Основы теории планирования многофакторных испытаний: учеб. пособие. СПб., 1994.
9. Литвинов В.А., Баумтрог В.Э. Оценка сфор-мированности компетенций обучающихся на основе его портфолио // Современное образование. 2017. № 1. С. 88-98.
10. Федеральный государственный образовательный стандарт высшего образования по специальности 24.05.01 «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов»: утв. приказом Министерства науки и высшего образования Российской Федерации от 12 авг.а 2020 г. № 964 [Электронный ресурс]. URL: http://base.garant.ru/74568286 (дата обращения: 01.03.2021).
* * *
1. Aglyamova Z.Sh., Kamasheva Yu.L., Shev-chenko D.V. Ob odnom podhode k izmereniyu sfor-mirovannosti kompetencij // Azimut nauchnyh issle-dovanij: pedagogika i psihologiya. 2018. T. 7. № 2(23). S. 15-18.
2. Bratishchenko V.V. Izmerenie sformirovanno-sti kompetencij studentov po dannym tekushchej
uspevaemosti // Universitetskoe upravlenie: praktika i analiz. 2019. № 23(3). S. 69-78.
3. Burceva L.P. Proektirovanie kompetentnost-no-orientirovannyh zadanij dlya razvitiya i ocenivaniya obshchih i professional'nyh kompetencij obucha-yushchihsya // Znanie. 2016. № 11-3(40). S. 66-69.
4. GOST R ISO 9000-2015. Sistemy menedzhmenta kachestva. Osnovnye polozheniya i slovar'. M., 2018.
5. GOST R ISO 9001-2015. Sistemy menedzhmen-ta kachestva. Trebovaniya. M., 2015.
6. GOST R ISO 9004-2010. Menedzhment dlya dostizheniya ustojchivogo uspekha organizacii. Podhod na osnove menedzhmenta kachestva. M., 2011.
7. Gravchenko Yu.A., Grankin B.K., Kozlov V.V. Chastnye pokazateli urovnya osvoeniya kompetencii specialistom po ekspluatacii raketno-kosmicheskoj tekhniki // Trudy Voenno-kosmicheskoj akademii ime-ni A.F. Mozhajskogo. 2020. Vyp. 672. S. 273-281.
8. Zhigilej V.S. Osnovy teorii planirovaniya mno-gofaktornyh ispytanij: ucheb. posobie. SPb., 1994.
9. Litvinov V.A., Baumtrog V.E. Ocenka sformi-rovannosti kompetencij obuchayushchihsya na osnove ego portfolio // Sovremennoe obrazovanie. 2017. № 1. S. 88-98.
10. Federal'nyj gosudarstvennyj obrazovatel'nyj standart vysshego obrazovaniya po special'nosti 24.05.01 «Proektirovanie, proizvodstvo i ekspluataciya raket i raketno-kosmicheskih kompleksov»: utv. pri-kazom Ministerstva nauki i vysshego obrazovaniya Rossijskoj Federacii ot 12 avg.a 2020 g. № 964 [Elek-tronnyj resurs]. URL: http://base.garant.ru/74568286 (data obrashcheniya: 01.03.2021).
Methodology of evaluation of the level of competencies development in teaching the specialists of armaments and military and special purpose equipment
Th article deals with the way of solving the tasks of the evaluation of the level of the competencies development in teaching the specialists of armaments and military and special purpose equipment. There are developed the teaching methods of the evaluation of the level of the competencies' development in teaching process, there are defined the quantitative meanings of the indicators of the level of the professional and personal competence of the military specialists of armaments and military and special purpose equipment.
Key words: methodology of evaluation, credit, educational subject, ranking, development of competencies, grading system.
(Статья поступила в редакцию 19.07.2021)
