CC BY
46Методика
Методика оценки и анализа уровня сформированности компетенций по результатам прохождения производственной практики
Александр Рыбанов,
заведующий кафедрой информатики и технологии программирования Волжского политехнического института (филиал) Волгоградского государственного технического университета, доцент, кандидат технических наук
На примере направления подготовки бакалавриата 231000.62 «Программная инженерия» приводится анализ формируемых в результате прохождения производственной практики компетенций и источников информации для оценки их качества. Описана методика оценки расчёта весовых коэффициентов компетенций и групп общекультурных и профессиональных компетенций на основе алгоритма Саати. Предлагается методика количественной оценки и анализа уровня сформи-рованности компетенций по результатам прохождения производственной практики.
Ключевые слова: производственная практика, компетенции, оценка, методика, уровень сформированности
Введение
Необходимость разработки фонда оценочных средств (ФОС) по производственной практике для оценки качества подготовки студентов направления бакалавриата 231000 «Программная инженерия» обусловлена введением
нового поколения ФГОС в практику высшего профессионального образования. Согласно подходам разработчиков ФГОС обучающиеся должны владеть совокупностью компетенций ОК-3, ОК-4, ОК-8, ПК-20, ПК-22, ПК-23, ПК-24, ПК-25, ПК-26, ПК-27, оценка уровня сфор-мированности1 которых должна проводиться по результатам прохождения производственной практики.
Для аттестации студентов по результатам производственной практики должны быть созданы фонды оценочных средств2, обеспечивающие с высокой объективностью, обоснованностью и сопоставимостью3 оценки уровня приобретенных компетенций в процессе прохождения производственной практики.
Постановка задачи
Целью разработки методики оценки и анализа уровня сформирован-ности компетенций по производственной практике студентов направления бакалавриата 231000 «Программная инженерия» является повышение надёжности, валидности и сопоставимости оценки уровня приобретенных общекультурных и профессиональных компетенций в процессе прохождения производственной практики.
Для достижения поставленной цели необходимо решение следующих задач:
1) анализ источников информации для оценки качества сформиро-ванности компетенций по результатам производственной практики;
2) разработка методики оценки расчёта весовых коэффициентов4 компетенций и групп общекультурных и профессиональных компетенций;
3) разработка критериев оценки уровня сформированности общекультурных и профессиональных компетенций по результатам прохождения производственной практики;
4) разработка методики оценки и анализа уровня сформированности компетенций по результатам прохождения производственной практики;
5) модификация отзыва руководителя производственной практики в соответствии с потребностями методики оценки уровня сформиро-ванности компетенций по результатам прохождения производственной практики.
Формируемые в результате прохождения производственной практики компетенции и источники информации для оценки их качества
В результате прохождения производственной практики у студента должны сформироваться компетенции, представленные в табл. 1.
Основой для оценки качества компетенций, приобретенных в
1 Рыбанов А.А., Любимова О.В. Программный модуль мониторинга образовательного процесса формирования компетенций на основе контрольных карт / // Информатика и информационные технологии в образовании, науке и производстве : сб. науч. ст. Ч. I / Издательство научной литературы Нобель Пресс. - [Волжский], 2014. - C. 158-161.
2 Рыбанов А.А., Любимова О.В. Разработка и исследование алгоритмов автоматизированной системы измерения качественной и количественной оценки компетентности студентов технических вузов // Двадцатая межвузовская научно-практическая конференция молодых учёных и студентов (г. Волжский, 26-30 мая 2014 г.) : тез. докл. / Филиал МЭИ в г. Волжском [и др.]. - Волжский, 2014. - C. 20-22.
3 Рыбанов А. Повышение качества и достоверности компьютерной оценки знаний в автоматизированных системах контроля и обучения // Педагогические измерения. - 2014. - № 2. - C. 14-28.
4 Рыбанов А. Определение весовых коэффициентов сложности тем учебного курса на основе алгоритма Саати // Педагогические измерения. - 2014. - № 4. - C. 21-28.
Таблица 1
Требования ФГОС 231000 «Программная инженерия» к процессу формирования компетенций в процессе прохождения производственной практики
Код компетенции по ФГОС 231000 Формулировка компетенции
Общекультурные компетенции
ОК-3 готов к кооперации с коллегами, работе в коллективе
ОК-4 способность находить организационно-управленческие решения в нестандартных ситуациях и готовность нести за них ответственность
ОК-8 осознание социальной значимости своей будущей профессии, обладание высокой мотивацией к выполнению профессиональной деятельности
Профессиональные компетенции
ПК-20 навыки проведения практических занятий с пользователями программных систем
ПК-22 понимание классических концепций и моделей менеджмента в управлении проектами
ПК-23 понимание методов управления процессами разработки требований, оценки рисков, приобретения, проектирования, конструирования, тестирования, эволюции и сопровождения
ПК-24 понимание основ групповой динамики, психологии и профессионального поведения, специфичных для программной инженерии
ПК-25 понимание методов контроля проекта и умение осуществлять контроль версий
ПК-26 понимание основных концепций и моделей эволюции и сопровождения программного обеспечения
ПК-27 понимание особенностей эволюционной деятельности, как с технической точки зрения, так и с точки зрения бизнеса (работа с унаследованными системами, возвратное проектирование, реинженеринг, миграцию и рефакторинг)
Таблица 2
Источники оценки качества приобретенных компетенций в процессе прохождения производственной практики
Кодкомпетенции по ФГОС 231000 Источник оценки качества приобретенных компетенций в процессе прохождения производственной практики
Общекультурные компетенции
ОК-3 отзыв представителя организации - базы практики
ОК-4 отзыв представителя организации - базы практики
ОК-8 отзыв представителя организации - базы практики
Профессиональные компетенции
ПК-20 отзыв представителя организации - базы практики
ПК-22 отзыв представителя организации - базы практики отчёта студента по производственной практике
ПК-23 отзыв представителя организации - базы практики отчёта студента по производственной практике
ПК-24 отзыв представителя организации - базы практики отчёта студента по производственной практике
ПК-25 отзыв представителя организации - базы практики отчёта студента по производственной практике
ПК-26 отзыв представителя организации - базы практики отчёта студента по производственной практике
ПК-27 отзыв представителя организации - базы практики отчёта студента по производственной практике
результате прохождения производственной практики, является отзыв представителя организации-базы практики и отчёта студента по производственной практике (табл. 2).
Методика оценки расчёта весовых коэффициентов компетенции и групп общекультурных и профессиональных компетенции
Для определения весовых коэффициентов; как компетенций, так и групп общекультурных и профессиональных компетенций, предлагается использовать алгоритм Саати.
Алгоритм Саати основан на автономном сравнении сложности формирования компетенций (групп компетенций) в рамках прохождения производственной практики, выполняемом одним экспертом. Для каждой пары компетенций эксперт указывает, в какой степени формирование одной из них сложнее другой.
Рассмотрим применение этого метода на следующем примере.
Пример. Необходимо определить веса сложности формирования компетенций на основе консультации с экспертом, руководителем производственно практики от предприятия.
Принятие решения о назначении весов сложности формирования компетенций в процессе прохождения производственной практики на основе алгоритма Саати выполняется в следующем порядке:
Шаг 1. Экспертом заполняется матрица парных сравнений размером п х п, где п - количество компетенций. Матрица заполняется по правилам, приведённым в табл. 3.
Если сложность формирования 1-й компетенции меньше, чем j-й, то указываются обратные оценки (1/3, 1/5, 1/7, 1/9). Могут использоваться промежуточные оценки (2, 4, 6, 8 и 1/2, 1/4, 1/6, 1/8), например, если формирование 1-й компетенции совсем немного сложнее j-й, то можно использовать оценку хц = 2 (тогда х{: = 1/2). На главной диагонали ставя тся единицы.
Таблица 3
Правила заполнения матрицы парных сравнений сложности формирования компетенций (групп компетенций) для алгоритма
Саати
X Значение
1 формирование г-й и _/-й компетенции имеют примерно одинаковую сложность
3 формирование г-й компетенции немного сложнее _/-й
5 формирование г-й компетенции сложнее _/-й
7 формирование г-й компетенции значительно сложнее !-й
9 формирование г-й компетенции явно сложнее !-й
Пусть эксперт заполнил матрицы парных сравнений общекультурных, профессиональных компетенций, а также групп компетенций следующим образом (табл. 4-6).
В табл. 5, например, элемент х51 = 7 означает, что формирование компетенции ПК-25, по мнению эксперта, значительно сложнее, чем компетенции ПК-20. Элемент х23= 1/5 означает, что формирование компетенции ПК-22 легче, чем компетенции ПК-23. Элемент
х42 = 3 означает, что формирование компетенции ПК-24 немного сложнее, чем компетенции ПК-22.
Шаг 2. Вычисляем оценки сложности формирования компетенций (для каждой матрицы) - средние геометрические строк матрицы парных сравнений:
Iп
К = П Г] Х! ,
где п - количество компетенций (групп).
Таблица 4
Матрица парных сравнений общекультурных компетенций
ОК-3 ОК-4 ОК-8
ОК-3 1 1/7 1/5
ОК-4 7 1 3
ОК-8 5 1/3 1
Таблица 5
Матрица парных сравнений профессиональных компетенций
ПК-20 ПК-22 ПК-23 ПК-24 ПК-25 ПК-26 ПК-27
ПК-20 1 3 1/5 1/5 1/7 1/5 1/7
ПК-22 1/3 1 1/5 1/3 1/7 1/3 1/9
ПК-23 5 5 1 5 5 5 1/7
ПК-24 5 3 1/5 1 1/5 1/7 1/9
ПК-25 7 7 1/5 5 1 1/3 1/5
ПК-26 5 3 1/5 7 3 1 1/7
ПК-27 7 9 7 9 5 7 1
Таблица 6
Матрица парных сравнений групп компетенций
Общекультурные компетенции Профессиональные компетенции
Общекультурные компетенции 1 1/7
Профессиональные компетенции 7 1
Нормализованную оценку для 1-й компетенции (группы) рассчитываем по следующей формуле:
к =
к
I к
г=1
где I - обозначение компетенции по строке в матрице парных срав-
нений. Пользуясь способом приближенного вычисления собственных элементов матрицы парных сравнений, определим собственный столбец (вектор приоритетов) для рассматриваемых компетенций. Далее необходимо осуществить операцию нормализации вектора приоритетов, что отражено в табл. 7-9.
Таблица 7
Нормализованные оценки вектора приоритетов для общекультурных компетенций
Компетенция ОК-3 ОК-4 ОК-8
Вектор приоритета к. 0,31 2,76 1,19
Нормализованные оценки вектора приоритета к. 0,07 0,65 0,28
Таблица 8
Нормализованные оценки вектора приоритетов для профессиональных компетенций
Компетенция ПК-20 ПК-22 ПК-23 ПК-24 ПК-25 ПК-26 ПК-27
Вектор приоритета к i 0,34 0,27 2,39 0,51 1,18 1,37 5,43
Нормализованные оценки вектора приоритета к. 0,03 0,02 0,21 0,04 0,10 0,12 0,47
Нормализованные оценки вектора приоритетов для групп компетенций
Таблица 9
Группа компетенций Общекультурные компетенции Профессиональные компетенции
Вектор приоритета к. 0,38 2,65
Нормализованные оценки вектора приоритета к. 0,13 0,87
Нормализованные оценки вектора приоритетов и являются весами компетенций (групп).
Рассмотренный подход соответствует процедуре установления относительной важности объектов по методу Т. Саати.
Для данного метода возможна проверка экспертных оценок на непротиворечивость. Проверка позволяет выявить ошибки, которые мог допустить эксперт при заполнении матрицы парных сравнений. Ошибки (противоречия) могут быть сле-
дующими: например, эксперт указывает, что формирование 1-й компетенции легче 2-й компетенции, 2-й легче 3-й, и в то же время формирование 1-й компетенции сложнее 3-й.
Рассмотрим проверку на непротиворечивость для задачи определения весов компетенций:
Шаг 1. Находим суммы столбцов матрицы парных сравнений (табл. 10-12):
к=1
Сумма столбцов матрицы парных сравнений для общекультурных компетенций
Таблица 10
Общекультурные компетенции О^3 О^4 О^8
М. ! 13,00 1,48 4,20
Таблица 11
Сумма столбцов матрицы парных сравнений для профессиональных компетенций
Профессиональные компетенции П^20 П^22 П^23 П^24 П^25 П^26 П^27 П^20
М. ! 30,33 31,00 9,00 27,53 14,49 14,01 1,85 30,33
Таблица 12
Сумма столбцов матрицы парных сравнений для групп компетенций
Группа компетенций Общекультурные компетенции Профессиональные компетенции
М. ! 8,00 1,14
Группа компетенций Общекуль- вания произведений сумм столбцов
турные компетенции Профессио- матрицы на веса альтернатив: нальные компетенции М. 8,00 1,14 п
Шаг 2. Рассчитываем' вспомога- Ь = ^ к! ■Ы!.
тельную величину путем суммиро- !=1
Вспомогательная величина Общекультурные компетенции Профессиональные компетенции Группы компетенций
Ь 3,05 8,52 2,03
Шаг 3. Находим величину, называе- ИС = ^
мую индексом согласованности (ИС):
п -1
Вспомогательная величина Общекультурные компетенции Профессиональные компетенции Группы компетенций
ИС 0,02 0,25 0,03
Шаг 4. В зависимости от размер- гласованности (СлС). Значения СлС ности матрицы парных сравнений приведены в табл. 13. находится величина случайной со-
Таблица 13
Величины случайной согласованности
Размерность матрицы 2 3 4 5 6 7 8 9 10
СлС 0,37 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49
В данном примере:
• для матрицы общекультурных компетенций (п = 3) СлС = 0,58;
• для матрицы профессиональных компетенций (п = 7) СлС = 1,32;
• для групп компетенций (п = 2) СлС = 0,37.
Шаг 5. Находим отношение согласованности:
ОС =
ИС СлС'
Вспомогательная величина Общекультурные компетенции Профессиональные компетенции Группы компетенций
ОС 0,03 0,19 0,08
Если отношение согласованности превышает 0,2, то требуется уточнение матрицы парных сравнений.
В данном случае индексы согласованности для всех матриц попарных сравнений меньше 0,2. Таким образом, уточнение экспертных оценок в данном случае не требуется.
Таким образом, получены весовые коэффициенты компетенций (групп компетенций), которые могут быть использованы в процессе получения качественных оценок формирования компетенций в рамках производственной практики.
Методика оценки и анализа уровня сформированности компетенций по результатам прохождения производственной практики
Шаг 1. Вводим следующие обозначения для компетенций, представленных в табл. 1:
• общекультурные компетенции, формируемые при прохождении производственной практики обозначим как О, (I = 1 , к);
• профессиональные компетенции, формируемые при прохождении производственной практики, обозначим как Р, () = 1 , т ).
Шаг 2. По результатам опроса экспертов, в качестве которых, как правило, выступают руководители практик от предприятий по направлению подготовки 231000 «Программная инженерия», определяется вес каждой компетенции (ЯО ,ЯР ).
Сумма весов общекультурных компетенций должна быть равна единице:
к
= 1.
г=1
Сумма весов профессиональных компетенций также должна быть равна единице:
т
]Гя, =1
}=1
Весовые коэффициенты для оценки компетенций приведены в табл. 3-4.
Таблица 14
Весовые коэффициенты общекультурных компетенций
Обозначение компетенции О1 02 03
Код компетенции по ФГОС ОК-3 ОК-4 ОК-8
Вес компетенции (таблица 7) 0,07 0,65 0,28
Таблица 15
Весовые коэффициенты профессиональных компетенций
Обозначение компетенции Р1 Р2 Р3 Р4 Р5 р6 Р7
Код компетенции по ФГОС ПК-20 ПК-22 ПК-23 ПК-24 ПК-25 ПК-26 ПК-23
Вес компетенции (табл. 8) 0,03 0,02 0,21 0,04 0,10 0,12 0,47
Весовые коэффициенты групп компетенций
Таблица 16
Обозначение компетенции О Р
Группа компетенций по ФГОС Общекультурные компетенции Профессиональные компетенции
Вес компетенции (табл. 9) 0,13 0,87
Шаг 3. Руководителем практики по стобалльной шкале заполняются оценки (в0 ,вР ) в таблице компетенций студен то в (Oj , Р), приобретённых в ходе производственной прак-
тики, на основании отзыва представителя организации-базы практики и отчёта студента о выполненной работе (табл. 17).
Таблица 17
Пример таблицы оценки компетенций студента направления 231000 «Программная инженерия»
ОХ, ПK по ФГОС Обозначение компетенции Вес Оценка приобретённых компетенций
ОК-3 0,07 90
ОК-4 °2 0,65 70
ОК-8 О3 0,28 90
ПК-20 р1 0,03 80
ПК-22 Р2 0,02 72
ПК-23 Р3 0,21 82
ПК-24 Р4 0,04 78
ПК-25 Р5 0,10 82
ПК-26 Р6 0,12 77
ПК-27 Р6 0,47 76
к
Шаг 4. Определяется качество (0о =
общеобразовательных (^) и про- ¿=1
фессиональных (Qp) компетенций к
для каждого студента по стобалль- ()Р = ^ вР -ЛР .
ной шкале: в=1 ' '
По данным, представленным в табл. 4, оценки качества компетенций, приобретенных в ходе производственной практики, следующие:
а = 90-0,07 + 70-0,065 + + 90-0,28 = 77 баллов,
Ор
= 80-0,03 + 72-0,02 + 82-0,21 + '+78-0,04 + 82-0,10 + 77-0,12 = = 76-0,47 = 77,34 балла.
Т.е. по стобалльной шкале (61-75 баллов - «удовлетворительно», 76-89 баллов - «хорошо», 90-100 баллов - «отлично») качество формирования в процессе производственной практики:
• общекультурных компетенций -«хорошо»;
• профессиональных компетенций -«хорошо».
Итоговая оценка по производственной практике, может быть определена как:
Рис. 1. Диаграмма оценок компетенций, приобретенных
в процессе прохождения производственной практики
О = а-Оо +
■р>
где ах,а2 — веса групп общекультурных и профессиональных компетенций, а\аХ= 0,13, аа = 0,87.
Таким образом, итоговая оценка по производственной практике, может быть определена как:
О = 77-0,13 + 77,34-0,87 = 77,3 балла, т.е. «хорошо».
Шаг 5. Для графического отображения качества компетенций студентов, приобретенных в ходе производственной практики, рекомендуется строить диаграмму. Диаграмма строится для каждого студента, а также в среднем по направлению 231000 (рис. 1-2).
■ ок
■ПК
9 10 11 12 13 14 15 16 17 18 19 20 21 Студенты
Рис. 2. Диаграмма оценок компетенций по группам: общекультурные и профессиональные
Шаг 6. Проводится сравнительная оценка диаграммы качества компетенций студента с диаграммой качества компетенций в среднем по направлению 231000 (рис. 3).
Рис. 3. Сравнительный анализ оценок компетенций, приобретенных в процессе прохождения производственной практики
Шаг 7. Научно-методической комиссией по направлению подготовки 231000 делается вывод об уровне компетенций студентов, приобретенных в ходе производственной практики.
Форма отзыва руководителя производственной практики от организации в соответствии с ФГОС и методикой оценки и анализа уровня
сформированности компетенций по результатам прохождения производственной практики
Для количественной оценки качества компетенций студентов, приобретенных в ходе прохождения производственной практики, необходима форма отзыва руководителя производственной практики от организации, ориентированная на компетенции, указанные в ФГОС.
Оценки в отзыве руководителя производственной практики от организации ставятся по стобалльной шкале (61-75 баллов - «удовлетворительно», 76-89 баллов - «хорошо», 90-100 баллов - «отлично»).
Форма отзыва приведена ниже.
Достигнутые результаты
Разработана методика оценки и анализа уровня сформированности компетенций по производственной практике.
В рамках выполненной научно-методической работы получены:
1) научно-обоснованная методика оценки расчёта весовых коэффициентов компетенций и групп общекультурных и профессиональных компетенций, основанная на аналитической процедуре Саати;
2) весовые коэффициенты для общекультурных и профессиональных компетенций, а также групп компетенций, соответствующих производственной практике на-
правления 231000 «Программная инженерия»;
3) система критериев оценки уровня сформированности общекультурных и профессиональных компетенций по результатам прохождения производственной практики;
4) методика оценки и анализа уровня сформированности компетенций по результатам прохождения производственной практики;
5) модифицированный отзыв руководителя производственной практики в соответствии с потребностями методики оценки уровня сформированности компетенций по результатам прохождения производственной практики.
отзыв
руководителя производственной практики от организации
студент
(Фамилия, Имя, Отчество студента полностью)
обучающийся по направлению 231000.62 «Программная инженерия», проходил производственную практику в период с «_»_201_г. по «_»_201_г. на
(полное название организации, учреждения)
(название структурного подразделения организации, учреждения) В период прохождения практики _
работал(а)
(Ф.И.О. студента)
на неоплачиваемой (оплачиваемой) должности _
Уровень профессиональной подготовки, продемонстрированный за время прохождения практики, можно оценить следующим образом:
1. Готов к кооперации с коллегами, работе в коллективе_
2. Способен находить организационно-управленческие решения в нестандартных ситуациях и готовность нести за них ответственность_
3. Осознает социальную значимость своей будущей профессии, обладает высокой мотивацией к выполнению профессиональной деятельности_
4. Имеет навыки проведения практических занятий с пользователями программных систем_
5. Понимает классические концепции и модели менеджмента в управлении проектами
6. Понимает методы управления процессами разработки требований, оценки рисков, приобретения, проектирования, конструирования, тестирования, эволюции и сопровождения_
(по стобалльной системе)
(по стобалльной системе)
(по стобалльной системе)
(по стобалльной системе)
(по стобальной системе)
(по стобалльной системе)
7. Понимает основы групповой динамики, психологии и профессионального поведения, специфичных для программной инженерии_
8. Понимает методы контроля проекта и умеет осуществлять контроль версий_
9. Понимает основные концепции и модели эволюции и сопровождения программного обеспечения_
10. Понимает особенности эволюционной деятельности, как с технической точки зрения, так и с точки зрения бизнеса (работа с унаследованными системами, возвратное проектирование, реинженеринг, миграцию и рефакторинг)_
11. Недостатки и замечания:_
(по стобалльной системе)
(по стобалльной системе)
(по стобалльной системе)
(по стобалльной системе)
12. Краткие сведения о выполненном задании:
13. Предложения вузу:
Руководитель учебной практики от организации:
(Фамилия, Имя, Отчество, место работы, должность) Печать организации
201
(Подпись)
Заключение
Предлагаемая методика оценки и анализа уровня сформированности компетенций по результатам прохождения производственной практики может применяться в учебном процессе российских вузов, в других учебных заведениях, на выпускающих кафедрах.
На основе предлагаемой методики планируется разработка автоматизированного рабочего места «Производственная практика», ориентированная на информационную поддержку процесса оценки и анализа уровня сфор-мированности компетенций по результатам прохождения производственной практики.
