CC BY
37Модель оценки компетенций обучающихся в условиях цифровизации образования
Дядькин Юрий Алексеевич,
старший преподаватель, кафедра информатики и методики обучения информатике, ФГБОУ ВО «Иркутский государственный университет» E-mail: dyadkin_ua@inbox.ru
Статья посвящена рассмотрению вопроса оценки компетенций обучающихся высших учебных заведений. Автор предлагает математическую модель оценки компетенций, основанную на положениях современной теории тестирования (Item Response Theory). В статье обозначены недостатки существующих подходов к оцениванию уровня сформированности компетенций студентов, которые также базируются на теории тестирования. Одним из таких недостатков существующих методик является необоснованное выделение единственной, так называемой ключевой компетенции, оценка которой и принимается за показатель готовности выпускника вуза к профессиональной деятельности. Подобное упрощение является некорректным и не позволяет получить достоверные данные об уровне владения системой компетенций, обозначенных в стандартах высшего профессионального образования. В статье предлагается решение данной проблемы с помощью расширения современной теории тестирования (Multidimensional Item Response Theory) для задачи оценки компетенций обучающихся образовательных организаций, основываясь на данных промежуточной и итоговой успеваемости. Автором представлена многомерная латентная модель промежуточной и итоговой успеваемости, разработанная на основе многомерной модели частичного оценивания - Multidimensional Within-Item Partial Credit Model. Эту модель рекомендуется применять как математическое обеспечение в создании программных комплексов или модулей оценки компетенций в системах дистанционного обучения и цифровых образовательных платформах.
Ключевые слова: современная теория тестирования, компетенции, оценка компетенций, IRT, MIRT, Multidimensional Within-Item Partial Credit Model.
о с
CJ
В настоящее время основой для составления федеральных государственных образовательных стандартов (ФГОС) [5] является компетентност-ный подход в образовании [1, 2]. Его суть состоит в том, чтобы подготовить специалиста в соответствии с системой компетенций, которые представляют собой интеграционные качества обучающегося, проявляющиеся при решении профессиональных задач, основываясь на знаниях, умениях и практическом опыте.
Эта идея была заложена в двух последних версиях стандартов профессионального образования [5], в частности, в ФГОС 3++. Формирование компетенций происходит в рамках дисциплин, обозначенных в учебных планах, с помощью различных учебных задач, обладающих практической направленностью. Также в стандартах последнего поколения четко обозначено требование, состоящее в том, что должны быть созданы объективные процедуры оценки уровня знаний и умений обучающихся и их компетенций.
Оценка знаний и умений выполняется с помощью фонда оценочных средств (ФОС), включающих наряду с показателями сформированности компетенций критерии выставления оценки. Однако весь перечень оценок промежуточной и итоговой аттестации по дисциплинам не позволяют дать объективную оценку уровня сформированно-сти той или иной компетенции конкретного студента. Но, как было отмечено, эта процедура оценки компетенций должна быть реализована. Кроме того, необходимость в разработке технологии уров-невой оценки сформированности компетенций, по нашему мнению, уже продиктованы последними стандартами. В этих стандартах обозначено такое понятие как «индикаторы достижения компетенций» (ИДК) [5]. ИДК, по своей сути, являются одним из признаков проявления компетенции. Одна компетенция может содержать несколько признаков ее проявления, и по полноте проявленных признаков в принципе можно судить о том, что компетенция сформирована на том или ином уровне.
Методологической основой работ, связанных с оценкой компетенций, послужила современная теория тестирования (^Т). Анализ исследований показывает, что все авторы применяли одномерные модели теории ^Т, допуская, что индикаторное задание направлено на формирование главным образом одной ведущей компетенции. Однако, по мнению автора, такой подход оправдан, если образовательная организация самостоятельно принимает это допущение в ходе образовательного процесса.
Таким образом, задача упрощается и искусственно создается ограничение - одно задание принимает участие в формировании одной компетенции.
При этом за каждой дисциплиной в учебном плане закреплено, как правило, более одной компетенции, которые формируются при изучении данной дисциплины, и выделять среди них ведущую компетенцию не совсем корректно. Особенно это касается таких элементов учебного плана, как итоговая государственная аттестация и различного вида практики.
Таким образом, возникает объективное противоречие между требованиями современных образовательных стандартов и отсутствием адекватных моделей и методик оценки уровня сформиро-ванности компетенций.
По мнению автора, решение этой проблемы можно осуществить с помощью расширения современной теории тестирования - IRT (Item Response Theory), то есть многомерной теории современного тестирования - MIRT (Multidimensional Item Response Theory) [7]. Где под многомерностью понимается снятие ограничения моделей IRT, связанного с тем, что можно сразу оценить несколько латентных переменных, что подразумевает оценку нескольких компетенций при выполнении одного итогового задания.
Рис. 1. Переход от использования моделей ^Т к моделям М^Т
Также следует отметить, что на сегодняшний день реализуется национальный проект «Образование» [3]. В рамках данного проекта утверждена целевая модель цифровой образовательной среды (ЦОС) [4]. Данная целевая модель ЦОС предполагает «... реализацию образовательных программ с применением электронного обучения, дистанционных образовательных технологий, с учетом функционирования электронной информационно-образовательной среды». В частности, одной из целей внедрения ЦОС является наличие «средств оценки компетенций обучающихся» [4]. В современных реалиях, учитывая активное внедрение систем электронного и дистанционного обучения, задача оценки компетенций также предполагает автоматизацию данного процесса. Автоматизированная обработка данных
с целью последующей оценки компетенций основывается на данных педагогических измерений, которые фиксируются в базах данных цифровых платформ и системах дистанционного обучения. Многие из таких систем предполагают хранение размеченных данных, то есть данные классифицированы относительно компетенций, формируемых в процессе обучения. Однако, в таких системах, как правило, отсутствуют модули, позволяющие производить оценку компетенций в автоматическом режиме. В связи с чем возникает необходимость в разработке архитектур таких модулей и их внедрения в цифровые платформы и системы дистанционного обучения.
Представляется возможным рассмотреть задачу оценки уровня сформированности компетенций обучающихся с помощью применения многомерной латентной модели промежуточной и итоговой успеваемости, исключив допущение о ведущей компетенции и считая все компетенции равнозначными. Причем, в качестве исходных данных для решения этой задачи могут послужить оценки промежуточного и итогового контроля, полученные обучающимися согласно критериям ФОС.
В качестве основы для разработки многомерной латентной модели промежуточной и итоговой успеваемости может быть взята многомерная модель частичного оценивания - MPCM (Multidimensional Partial Credit Model), которая описывается следующим выражением [6]:
Р(иц = k\Q j, bi) =
lb -bk
I
„Е -br )w
(1)
r=0
Здесь параметры модели в контексте применения ее для оценки компетенций студентов можно интерпретировать следующим образом:
- и - первичный балл, полученный у-м студентом за выполнение /'-го задания, ] = 1,N, N - число студентов; i = 1,М , М - число заданий;
- к - значение балла из множества возможных баллов за выполнение задания (категории задания), к = 02 ;
- 0j - вектор уровней подготовленности студента у
по компетенциям, где 01 =(0д,0у2,...,0¡т);
- 0jl - значение уровня подготовленности студента у
по компетенции I; I = 1, т ;
- т - количество оцениваемых компетенций с помощью сформированного набора заданий;
- Ь. - вектор уровней трудности задания /; / = 1, М;
Ь =(Ьш ) I = 1т; Г = Щ ;
- Ь.1к (Ьй) - значение уровня трудности задания / по категории к(г) в рамках компетенции I;
- КI - максимально возможный балл, который может получить студент за выполнение /-го задания;
- w = Щш)I = 1М; I = 1, т; г = 1, К - тензор, элементы которого №ак характеризуют факт оценивания категории к задания / в рамках компетенции I;
- матрицы W = (WiIk) I = 1, т; к = 1,3 , / = 1, М устанавливают связь между заданием и компетенциями, которые проявляются в ходе выполнения этого задания.
го -п
I I I
ы
А
О ет
З
со о 00 А
Проведем модификацию модели в отношении параметров Ь.1к (Ьл) и 1%. Поскольку модель МРСМ используется в теории тестирования для оценки латентных свойств испытуемого (измерений/направлений), а также для оценки трудности тестового задания, то отдельно взятая матрица, связывающая тестовое задание с множеством измерений, на проверку которых направлено данное задание, будет динамически изменяться в зависимости от числа наблюдаемых измерений. В нашем случае, когда решается задача оценки компетенций, матрицы имеют непосредственную связь с матрицей компетенций образовательной программы, а значит размер матриц, которые формируются для каждой дисциплины в отдельности, будет одинаковый. Таким образом, у параметров Ь.ш (Ьа) индекс I, может быть убран. Роль данных матриц указать, формируется ли 1-ая компетенция при изучении /-ой дисциплины.
В связи с этим модель примет вид:
Р(щ = к|9у, Ь,) = , (2)
Z
k ет -b к '
r=0
Данную модель будем называть многомерной
латентной моделью промежуточной и итоговой
успеваемости, и будем использовать ее в дальнейшем для оценки компетенций студентов. Данная модель позволяет:
- установить взаимосвязь между учебным планом и матрицей компетенций;
- производить оценку компетенций, принимая во внимание тот факт, что разные баллы, полученные обучающимся, за итоговое задание предполагают различный уровень сформиро-ванности компетенций;
- учитывать сложность получения той или иной оценки.
Литература
1. Байденко В.И. Компетентностный подход к проектированию государственных образовательных стандартов высшего профессионального образования (методологические и методические вопросы): метод. пособие / В.И. Байденко. - М.: Исследовательский центр проблем качества подготовки специалистов, 2005. -114 с.
2. Байденко В.И. Россия в Болонском процессе: проблемы, задачи, перспективы / В.И. Байденко, Н.А. Гришанова, В.Ф. Пугач // Высш. образование сегодня - 2005. - № 5. - С. 16-21.
3. Паспорт национального проекта «Образование» (утв. президиумом Совета при Президенте Российской Федерации по стратегическому развитию и национальным проектам (протокол от 24 декабря 2018 г. N16)) [Электронный ресурс]. - Режим доступа: https://base.garant. ru/72192486. Дата обращения: 28.08.2021.
4. Приказ Министерства просвещения РФ от 2 декабря 2019 г. N649 «Об утверждении Целевой модели цифровой образовательной среды» [Электронный ресурс]. - Режим доступа: https://www.garant.ru/products/ipo/prime/ doc/73235976/. Дата обращения 26.08.2021.
5. Федеральные государственные образовательные стандарты [Электронный ресурс] // ФГОС. - Режим доступа: https://fgos.ru. Дата обращения: 15.04.2021.
6. Reckase M.D. Multidimensional Item Response Theory. / M.D. Reckase. - London: Springer, 2009. - 364 p.
7. Yao L. A multidimensional item response modeling approach for improving subscale proficiency estimation and classification / L. Yao, K. Boughton // Applied psychological measurement. - 2007. -Vol. 31. - № 2. - P. 1-23.
MODEL OF STUDENTS' COMPETENCIES EVALUATION IN THE CONTEXT OF DIGITALIZATION OF EDUCATION
Dyadkin YuA
Irkutsk State University
The article deals with the issue of evaluating the competences of higher education students. The author proposes a mathematical model for assessing competencies based on the provisions of modern testing theory (Item Response Theory). The article identifies disadvantages of existing approaches to assessing the level of competences of students, which are also based on the testing theory. One of the disadvantages of the existing methods is the unjustified singling out of a single, so called core competence, the assessment of which is taken as an indicator of a university graduate's readiness to professional activities. Such simplification is incorrect and does not allow obtaining reliable data on the level of mastering the system of competencies, specified in the standards of higher professional education. The paper proposes a solution to this problem by extending the modern testing theory (Multidimensional Item Response Theory) for the task of assessing the competence of students of educational organizations based on the data of intermediate and final performance. The author presents a multidimensional latent model of intermediate and final learning outcomes developed on the basis of Multidimensional Within-Item Partial Credit Model. This model is recommended to be used as mathematical support in creating software complexes or modules of competence assessment in distance learning systems and digital educational platforms.
Keywords: modern testing theory, competencies, competency assessment, IRT, MIRT, Multidimensional Within-Item Partial Credit Model.
References
1. Baidenko V. I. Competence Approach to Designing State Educational Standards of Higher Professional Education (Methodological and Methodological Issues): Methodical Guide / V.I. Baidenko. - M.: Research Center for Quality Problems of Specialists' Training, 2005. - P. 114.
2. Baidenko V.I. Russia in Bologna Process: Problems, Tasks, Prospects / V.I. Baidenko, N.A. Grishanova, V.F. Pugach // Higher Education Today - 2005. - № 5. - pp. 16-21.
3. The Passport of the national project "Education" (approved by the Presidium of the Presidential Council of the Russian Federation for Strategic Development and National Projects (Minutes of December 24, 2018 N16)). [Electronic resource]. - Mode of access: https://base.garant.ru/72192486. Date of appeal: 28.08.2021.
4. Order of the Ministry of Education of the Russian Federation of December 2, 2019 N649 "On Approval of the Target Model of Digital Educational Environment". [Electronic resource]. -Mode of access: https://www.garant.ru/products/ipo/prime/ doc/73235976/. Date of appeal 26.08.2021.
5. Federal State Educational Standards [Electronic resource] // FSES. - Access mode: https://fgos.ru. Date of appeal: 15.04.2021.
6. Reckase M.D. Multidimensional Item Response Theory. / M.D. Reckase. - London: Springer, 2009. - 364 p. 94
7. Yao L. A multidimensional item response modeling approach for improving subscale proficiency estimation and classification / L. Yao, K. Boughton // Applied psychological measurement. -2007. - Vol. 31. - № 2. - P. 1-23. 104
