CC BY
33УДК 331.108.2:656.6
Е.Ю. Кунц1, А.Н. Полетайкин2
'Сибирский государственный университет телекоммуникаций и информатики,
Новосибирск, 630102 e-mail: zentcova@sibsutis. ru;
2Кубанский государственный университет, Краснодар, 350040 e-mail: alex.poletaykin@gmail.com
ОРГАНИЗАЦИЯ ЦИФРОВОГО ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПОДГОТОВКИ СПЕЦИАЛИСТОВ ВОДНОГО ТРАНСПОРТА
В статье представлено решение актуальной в сфере высшего образования задачи организации цифрового фонда оценочных средств (ФОС) по направлению подготовки. Представлена схема организации ФОС, которая включает три уровня организации: планирование, разработку и реализацию. Основным компонентом цифрового ФОС обозначена дескрипторная модель компетенций. Дескрипторная модель на уровне планирования структурирует компетенции в виде наборов индикаторов достижения компетенций, а также дескрипторов оценивания их выраженности. На уровне разработки дескрипторы обретают логическую структуру, выражающую критерии оценивания выраженности индикаторов и организуются в виде нечеткой дескрипторной модели. На уровне реализации ФОС дескрипторная модель осуществляет объективное оценивание сформированности компетенций.
Ключевые слова: компетентностная модель, индикатор достижения компетенций, дескрипторная модель, фонд оценочных средств, уровень организации.
E.Yu. Kunts1, A.N. Poletajkin2
'Siberian State University of Telecommunications and Information Science,
Novosibirsk, 630102 e-mail: zentcova@sibsutis. ru;
2Kuban State University, Krasnodar, 350040 e-mail: alex.poletaykin@gmail.com
ORGANIZATION OF THE DIGITAL ASSESSMENT FUND FOR THE TRAINING OF WATER TRANSPORT SPECIALISTS
The article presents a solution to the urgent task of organizing a digital fund of assessment tools in the field of study in higher education. The scheme described in the article includes three levels of organization: planning, development and implementation. The main component of the digital fund of assessment tools is the descriptor model of competencies. The descriptor model at the planning level structures competencies in the form of sets of indicators of achievement of competencies, as well as descriptors for rating their importance. At the development level, descriptors acquire a logical structure that expresses criteria for assessing the importance of indicators and are organized as a fuzzy descriptor model. At the level of implementation of the fund of assessment tools, the descriptor model implements an objective assessment of the competencies formation.
Key words: competency model, indicator of achievement of competencies, descriptor model, fund of assessment tools, level of organization.
Проблема повышения качества образования на протяжении долгого времени остается одной из актуальных и трудно решаемых не только в России, но и во всем мире. Решение ее тесно связано с модернизацией содержания, оптимизацией и цифровизацией образования. Все большую важность обретают задачи всестороннего обеспечения высокого уровня подготовки, в первую очередь, посредством качественной организации основных профессиональных образовательных
программ (ОПОП). При этом качество в отношении образования будем понимать в соответствии с п. 29 ст. 2 федерального закона «Об образовании в Российской Федерации» от 29.12.2012 г. № 273-Ф3 [1] как комплексную характеристику образовательной деятельности и подготовки обучающегося, выражающую степень их соответствия федеральным государственным образовательным стандартам (ФГОС), а также потребностям физических или юридических лиц, в интересах которых она осуществляется, в т. ч. степень достижения планируемых результатов ОПОП. Поэтому важным направлением исследований выступает рационализация решений по структуре и ресурсам ОПОП и объективизация оценивания результатов. Усложнение этих задач в связи с развивающейся функционалистской парадигмой высшего образования (ВО) и сопутствующего ей компетентностного подхода обязывает многоаспектно рассматривать цикл ВО с широким применением математических средств и информационных технологий.
Отдельного внимания заслуживает проблематика оценивания результатов обучения (РО), которая в последнее годы активно разрабатывается, как в России (А.В. Хуторской, О.Е. Пермяков, С.В. Минькова, В.П. Беспалько, И.Д. Рудинский и др.), так и за рубежом ИишаеЬег, .Т. Wilkerson и др.). Ни у кого из них нет сомнений в возможности измерения РО через сформи-рованность компетенций. Однако если при проектировании ОПОП влияние субъективности не является очевидным, то при оценивании ее освоения фактор субъективизма становится критическим, так как результат оценивания непосредственно наблюдаем и используется, зачастую в неизменном виде, в задачах управления развитием образовательных и трудовых ресурсов. К тому же в задаче оценивания имеет место множественная нечеткость, обусловленная влиянием человеческого фактора как на процедуру, так и на результат оценивания. Поэтому решение задачи оценивания РО с необходимостью влечет разработку методик и информационных технологий на основе методов и алгоритмов искусственного интеллекта, позволяющих эффективно обработать и учесть указанную нечеткость. Создание такого комплекса может выступить хорошей базой для формирования цифрового фонда оценочных средств (ФОС), что является распространенной и востребованной в вузах задачей в связи с уверенным курсом современного образования на цифровизацию.
Данное исследование направлено на организацию образовательной деятельности (ОД) в части отдельно взятой ОПОП. Данная деятельность является комплексной [2], и поэтому для ее исследования необходим комплексный организационный подход. Под организацией ФОС будем понимать ОД, направленную на создание строгой внутренней упорядоченности, согласованности планомерного взаимодействия более или менее дифференцированных и автономных компонентов ФОС. Это предполагает унификацию и конкретизацию (в смысле детерминации компонентов ОПОП и связей между ними) процедур создания и использования для минимизации неопределенности в этих процедурах и максимально полной их цифровизации.
Организация цифрового ФОС имеет целью повышение эффективности процедур разработки и использования ФОС для оценивания РО в контексте максимальной унификации и оперативности выполнения указанных процедур, а также минимизации субъективизма процедуры оценивания.
ФОС должен быть организован в следующих контекстах:
- изучения отдельных учебных дисциплин (УД);
- формирования отдельных компетенций и их кластеров;
- освоения отдельных трудовых функций (ТФ) и обобщенных трудовых функций (ОТФ).
Для того чтобы решить эту задачу, важно понять, какие имеются принципы организации
ФОС, какие требования (и кем) предъявляются к ФОС, какие есть критерии определения качества ФОС, какие условия предъявляются к использованию ФОС, есть ли какие-то директивно устанавливаемые нормы по организации ФОС, каков элементный состав ФОС?
Обязательные по ФГОС условиями реализации ОПОП включают в себя материально-техническую базу, учебно-методическую базу, наличие нормативных документов, библиотеки, а также требования к кадровому составу. Формирование этих компонентов находится в зоне ответственности органов управления, а их использование - в зоне ответственности ППС.
Процесс формирования учебных планов в связи с введением новых ФГОС ВО 3++ претерпел существенные изменения. Требования стандарта разделены на формальные и содержательные. Формальные требования описывают требования к объему (часы, недели), к абсолютной и относительной трудоемкости, к структуре учебного плана (циклы, разделы, обязательные УД).
Появилось понятие ИДК, определяемое во ФГОС как комплекс характеристик, уточняющих и раскрывающих формулировку компетенции в виде 3УН или (и) конкретных действий, выполняемых выпускником, освоившим данную компетенцию, которые должны быть измеряемы с помощью средств, доступных в образовательном процессе. Из данного определения следует, что ИДК является агрегатной составляющей компетенции.
Учебный план по стандартам нового поколения состоит из УД, закрепленных за семестром и циклом (или разделом) ОПОП. Но в отличие от стандарта второго поколения, где основным условием разработки учебного плана было удовлетворение формальным требованиям, основной задачей при построении учебного плана в соответствии с ФГОС является получение компетенций, которые представлены через ЗУН. А учитывая, что во ФГОС 3++ профессиональные компетенции (ПК) формируются на основе профессиональных стандартов (ПС), соответствующих профессиональной деятельности выпускников, а также анализа требований к ПК, предъявляемых на рынке труда, процесс формирования учебного плана значительно усложняется. Возникают новые предварительные процессы, например технология разработки ИДК и построения дескрипторных моделей (ДМ) компетенций.
Технология разработки ИДК и построения ДМ при формировании ОПОП определяет технологию анализа соответствующей профессиональной области, выбора результатов обучения и их интеграции в ИДК, а также разработки дескрипторов оценивания выраженности ИДК. Разработка ИДК осуществляется ответственными за ОПОП, исходя из формулировок ПК и поставленных им в соответствие ТФ и УД, и с учетом выбранных типов задач профессиональной деятельности. Состав ПС и типы задач профессиональной деятельности зафиксированы в учебном плане ОПОП. Детально алгоритм разработки ИДК рассмотрен в [3]. Систематизированные ИДК являются исходным материалом для распределения ИДК по УД.
Пример ИДК: Знает методы принятия решений и умеет их применять; умеет принимать конкретные решения для повышения эффективности процедур анализа проблем в отрасли водного транспорта.
Пример дескриптора уровня «Высокий»: Демонстрирует глубокие знания методов принятия решений, способен дать исчерпывающие объяснения по технологии принятия решений. Уверенно и профессионально принимает конкретные обоснованные решения, позволяющие вырабатывать высокоэффективные процедуры анализа проблем.
Пример дескриптора уровня «Средний»: Демонстрирует достаточные знания методов принятия решений, способен в достаточной степени объяснить технологию принятия решений. Принимает конкретные, но недостаточно аргументированные решения. Эффективность решений достаточна.
Пример дескриптора уровня «Низкий (пороговый)»: Знания поверхностные и фрагментарные, способен в общем объяснить технологию принятия решений. Принимает решения неуверенно, приводятся минимально необходимые обоснования, эффективность решений сомнительна.
Разработка дескрипторов оценивания выраженности ИДК осуществляется ППС, ответственными за отдельные УД, исходя из формулировок ИДК и составляющих их ЗУН. Дескрипторы разрабатываются для всех категорий компетенций. Число дескрипторов, разрабатываемых для одного ИДК, соответствуют числу уровней их выраженности (как правило, их 3). Совокупность дескрипторов ИДК образуют его дескрипторную модель.
Дескриптор описывает некоторую активность, которую проявляет испытуемый в отношении объектов контроля, определяемых результатами обучения. Для выражения степени активности в описание дескриптора могут быть внесены эпитеты - качественные прилагательные, задающие дифференциацию проявления ИДК по уровням на основе суждений проверяющего. Универсальная формула дескриптора:
Дескриптор = [Эпитет] + Активность + Объект контроля. (1)
Алгоритм разработки дескрипторов для данного ИДК:
1. Выполняется анализ формулировок ИДК и образующих его РО, а также соответствующих им проверяющих заданий. При этом выявляются множества объектов контроля и активностей по отношению к объектам контроля.
2. Для каждого уровня выраженности индикатора строится соответствующее описание ак-тивности(ей), реализуемых в отношении объекта(ов) контроля. При необходимости в описания вводятся уточняющие эпитеты.
3. Для ИДК, разработанных горизонтальным способом, могут быть применены шаблоны.
Дескрипторная модель компетенции представляет собой совокупность дескрипторов всех ИДК ее достижения, которые включаются в паспорт компетенции и могут использоваться для оценивания ее сформированности.
Пример дескрипторной модели представлен в таблице. Дескрипторная модель ИДК, отнесенных к определенным УД, наряду с контрольными заданиями включаются в ОС этих УД и встраиваются в модель оценивания освоения УД. Полностью методика описана в [3].
Таблица
Структура дескрипторной модели оценивания примерного ИДК
Компоненты ИДК Уровень выраженности
Активность Объект контроля Эпитеты
Знает Методы принятия решений Глубоко Высокий
Достаточно Средний
Поверхностно, фрагментарно Низкий
Умеет применять Методы принятия решений Уверенно, профессионально Высокий
Уверенно Средний
Неуверенно, с мелкими ошибками и недочетами Низкий
Способен объяснить Технология принятия решений Исчерпывающе Высокий
Достаточно Средний
В общих чертах Низкий
Умеет принимать решения Принятые решения Конкретные, обоснованные Высокий
Конкретные, недостаточно аргументированные Средний
Неуверенно, минимально необходимые обоснования Низкий
Повышение эффективности Процедуры анализа проблем в отрасли Высоко Высокий
Достаточно Средний
Сомнительно Низкий
Проведение испытания для определения выраженности ИДК заключается в том, что эксперт (III 1С ) выдает задание испытуемому и контролирует его выполнение. Процедура оценивания выраженности ИДК требует от эксперта осмысления решений испытуемого и ввод в систему оценочных суждений в первичном нечетком виде, а в перспективе позволит производить оценивание автоматически без участия эксперта. Подробно процедура оценивания выраженности ИДК рассмотрена в [4].
Схема разработанной модели организации ФОС показана на рис. 1. На схеме выделяется три этапа: планирование, разработка и реализация ФОС. Планирование ФОС проходит в условиях влияния требований внешней среды и формирует системно-деятельностную образовательную модель, которая состоит из блоков: «Органы управления: ректорат, учебный отдел, деканаты», «Профессорско-преподавательский состав» и «Студенты».
Важным компонентом этапа планирования ФОС является Блок «Федеральные государственные образовательные стандарты (ФГОС)», который определяется блоками «Требования контрольно-надзорных и других органов государственной власти» и «Требования работодателей к выпускникам образовательных организаций». Вторым определяющим компонентом этапа планирования выступает блок «Профессиональные стандарты (ПС)», который определяется блоком «Требования работодателей к выпускникам образовательных организаций» и является проводником блока «Тренды рынка труда» внешней среды.
Блок «ФГОС» непосредственно связан с блоком «Органы управления: ректорат, учебный отдел, деканаты» и блоком «Профессорско-преподавательский состав (ППС)». Блок «Материально-техническая база и информационное обеспечение» связан с блоками «Органы управления» и «ППС», а также блоком «ФГОС», чем обеспечивается соответствие ФОС требованиям внешней среды. Блок «Учебно-методическая база» формируется с помощью блоков «Органы управления (ректорат, учебный отдел, деканаты)», и «ППС», а используется блоком «Студенты». Основную стадию планирования ФОС выражает блок «Формирование состава и структуры образовательной программы. Планирование состава компетенций и оценочных средств дисциплин». Все вышеперечисленные блоки формируют этот блок, в том числе блок «Профессиональные стандарты (ПС)», определяющий профессионализацию ОПОП.
Рис. 1. Структурная схема модели организации ФОС
Разработка ФОС предполагает конструирование блоком «Разработка компетентностной модели» профессиональных и общепрофессиональных компетенций. Компетенции конструируются во взаимодействии с блоками внешней среды и создании учебных планов под управлением ППС. Результатные компетенции встраиваются в учебно-методический комплекс дисциплин, представленный блоками «Учебно-методическая база» и «Материально-техническая база и информационное обеспечение», а также поступают в блок «Конструктор индикаторов достижения профессиональных компетенций (ПК) и некоторых общепрофессиональных компетенций
(ОПК)». Блок осуществляет конструирование ИДК под управлением ППС. ППС задают число ИДК mi, индивидуальное для каждой i-й компетенции, исходя из числа учебных дисциплин, формирующих ПК/ОПК. ИДК обрабатываются блоком «Конфигуратор дескрипторов ПК и некоторых ОПК», формируя на выходе дескрипторы соответствующих ИДК. Дескрипторы универсальных компетенций формируются отдельно блоком «Конфигуратор дескрипторов универсальных компетенций (УК) и некоторых ОПК». Оба вида дескрипторов представлены на схеме типовыми комплексными блоками. Каждый дескриптор строится по формуле (1) и оценивается уровнями выраженности ИДК: «Высокий», «Средний», «Низкий» при опосредованном управлении ППС через блок «Конфигуратор КМ».
Реализация ФОС предполагает организацию банка оценочных средств, который представлен одноименным комплексным блоком. Он включает блоки «Формы контроля» и «Контрольно-измерительные материалы (КИМ)». Блок «КИМ» в свою очередь включает блоки «Комплексы ОС», «Оценочные средства», «Категории ОС» и «Элементарные контрольные задания», между которыми установлены отношения композиции. Кроме того с блоком «ОС» установлены отношение типа «Использование» с блоком «Формы контроля», а блок «КИМ» связан с блоками дескрипторов отношением типа «Часть-целое», символизируя таким образом включение дескрипторов в состав КИМ посредством внешнего дополнения. Входящий в банк ОС блок «Нечеткий классификатор элементарных РО», как и формирование КИМ, находится под непосредственным управлением ППС. Банк ОС в целом используется им при решении других задач образовательного процесса, в т. ч. задачи проведения испытания. Данная задача представлена одноименным комплексным блоком, который включает последовательную цепь блоков «Конфигурирование испытания», «Выдача заданий и контроль выполнения» и параллельные блоки «Первичное оценивание элементарных РО» и «Формирование нечетких экспертных суждений». Здесь оценочные средства поступают на вход блока «Конфигурирование испытания». Студенты принимают участие в ходе испытания. ППС контролирует испытание на всех его стадиях, завершая его формированием первичных оценок элементарных РО и экспертных суждений. Последние поступают в блоки дескрипторов ИДК, формируя актуализированные ДМ, которые, наряду с первичными оценками элементарных РО, поступают в блок «Нечеткий контроллер оценивания элементарных РО, ИДК и компетенций», который также получает на вход оценочные средства из банка. Нечеткий контроллер формирует оценки выраженности ИДК и сформированности компетенций, которые представлены блоком «Результаты обучения (РО)». Этот блок связан управляющими связями с блоками «Органы управления», «ППС» и «Студенты», а также с блоками внешней среды, отражая, таким образом, обратную связь по направлению к вышестоящим контрольно-надзорным органам.
Построенная модель организации ФОС позволяет реализовать автоматизированный режим разработки оценочных средств определения выраженности ИДК, а также процедуру оценивания этой выраженности. Получена новая модель, учитывающая неопределенность материалов и процедур ФОС и объективизирующая процедуру оценивания. Модель может быть реализована в любой образовательной организации для организации ФОС по любому направлению подготовки, для которой разработаны ФГОС ВО 3++.
Литература
1. Федеральный закон от 29 декабря 2012 г. № 273-Ф3 «Об образовании в Российской Федерации» [Электронный ресурс]. - URL: httpi/^TS^^/zakonodatelstvo/federalnyy-zakon-ot^-dekabrya-2012-g-no-273-fz-ob-obrazovanii-v-rf (дата обращения: 20.07.2019).
2. Новиков Д.А. Теория управления организационными системами / Д.А. Новиков. - 3-е изд. -М.: Физматлит, 2012. - 604 с.
3. Кулешова Н.В. Методика разработки индикаторов достижения профессиональных компетенций и построения дескрипторной модели компетенций / Н.В. Кулешова, А.Н. Полетайкин // Качество высшего и среднего профессионального образования в условиях перехода на федеральные государственные образовательные стандарты нового поколения: Материалы IX науч.-метод. конф. - Новосибирск: СибГУТИ, 2019. - C. 112-118.
4. Полетайкин А.Н. Нечеткая дескрипторная модель оценивания выраженности индикаторов достижения компетенций / А.Н. Полетайкин, В.В. Подколзин, Н.В. Кулешова, Е.Ю. Кунц // Прикаспийский журнал: управление и высокие технологи. - 2019. - № 3 (47). - С. 55-69.
