КОЛИЧЕСТВЕННЫЕ МЕТОДЫ ОЦЕНКИ УРОВНЯ КОМПЕТЕНЦИЙ ДЛЯ СИСТЕМ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ Текст научной статьи по специальности «Науки об образовании»

Количественные методы оценки уровня компетенций для систем управления качеством образования

I!)« sovman.ru/article/5105/

Отправить статью мне на email Авторы

Гусятников Виктор Николаевич

доктор физико-математических наук, профессор, заведующий кафедрой прикладной математики и информатики

Россия, Саратовский социально-экономический институт РЭУ им.Плеханова [email protected]

Безруков Алексей Иосифович

кандидат экономических наук, доцент кафедры прикладной математики и информатики

Россия, Саратовский социально-экономический институт РЭУ им. Плеханова [email protected]

Каюкова Инна Викторовна

аспирант кафедры прикладной математики и информатики

Россия, Саратовский социально-экономический институт РЭУ им. Плеханова

[email protected]

Аннотация

Предметом исследования является процесс оценки качества образования в высшем учебном заведении. Уточнено понятие качества обучения, которое рассмотрено с точки зрения всех заинтересованных сторон в виде наборов показателей и в состав которого включены дополнительные показатели, связанные с внешней оценкой со стороны работодателей, выпускников и всего общества. Модернизирована модель Раша для оценки качества обучения, путем введения в нее дополнительных параметров, характеризующих нестандартность заданий теста и их практическую значимость, что позволило использовать модель для прогнозирования вероятности проявления отдельных составляющих компетенции. Построен агрегированный показатель, позволяющий оценивать уровень совокупности формируемых компетенций. Проведена оценка погрешности реальных измерений. Результаты могут быть использованы в системе оценки качества образования при переходе к новым образовательным стандартам.

Ключевые слова

образовательный процесс, компетенция, оценка качества образования, система управления качеством образования

Читайте также

Статья также доступна (this article also available):

• ^ Русский

I- English (Английский)

Финансирование

Работа поддержана грантом РФФИ 14-06-00339. Рекомендуемая ссылка

Гусятников Виктор Николаевич , Безруков Алексей Иосифович , Каюкова Инна Викторовна

Количественные методы оценки уровня компетенций для систем управления качеством образования// Современные технологии управления. ISSN 2226-9339. — №3 (51). Номер статьи: 5105. Дата публикации: 2015-03-08 . Режим доступа: https://sovman.ru/article/5105/

Введение

Повышение качества высшего образования является актуальной задачей для большинства ведущих стран мира, экономика которых основана на производстве новых знаний (инновационном развитии). В связи с этим во всем мире идут процессы модернизации систем высшего образования, направленные на удовлетворение меняющихся запросов общества. Важное значение в этих процессах имеет построение современных систем управления качеством образования. Общие принципы и подходы к построению таких систем хорошо известны и подробно изложены в стандартах серии ИСО 9000. Исходя из требований этих стандартов, для эффективного управления качеством учебного процесса необходимы инструменты, которые позволяют объективно контролировать уровень образовательных достижений, своевременно измерять динамические характеристики образовательного процесса и прогнозировать его конечные результаты [4]. При этом, согласно современным представлениям, критерием качества высшего образования является уровень компетенции, достигнутый выпускниками ВУЗа, т.е. их способность применить полученные знания, умения и навыки в своей профессиональной деятельности.

Принятые в России федеральные государственные образовательные стандарты (ФГОС), зафиксировали переход на компетентностный подход к оценке качества высшего образования и установили перечень обязательных компетенций для каждого направления подготовки. К сожалению, существующие стандарты, в том числе и самые последние (ФГОС 3+), не содержат описания методик для объективного количественного измерения уровня формируемых компетенций. Не содержат таких методик и профессиональные стандарты, разработанные для многих областей деятельности в последние годы. Однако построение современной системы управления качеством образования невозможно без применения объективных методов количественного измерения уровня компетенций, формируемых в процессе обучения. Именно поэтому проблема объективной оценки компетентности вызывает сегодня повышенный интерес. В многочисленных публикациях, посвященных педагогическим измерениям [1, 5-6], предлагаются содержательные трактовки самого понятия «компетентность» и методы количественной оценки ее уровня у студентов. Однако объективных общепризнанных практических методик пока не создано. По мнению авторов, одной из причин этого является отсутствие адекватных математических моделей столь сложного и многогранного понятия как компетентность.

Целью работы является изучение методов количественного измерения и прогнозирования уровня компетенций, формируемых в процессе обучения, основанных на модернизированной модели Раша-Бирнбаума.

Основные разделы

В предыдущих работах [2-4] приводится анализ средств оценки качества образования, а также рассматривается международный опыт исследований PISA, TIMSS, отечественные исследования в рамках проекта ФЭПО и предложения о введении в вузах итогового государственного экзамена по типу ЕГЭ. В этих исследованиях для измерения уровня компетентности студентов с помощью тестов предлагается использовать многоуровневые тестовые задания, которые проверяют способности обучаемых на различных уровнях, например, репродуктивном, конструктивном и творческом. Задания последних уровней представляются кейсами и ситуационными заданиями, моделирующими реальные жизненные ситуации, выполнение которых предполагает применение системных знаний и комплексных умений, а также самостоятельное конструирование способа решения.

Практическое применение такого рода тестовых заданий связано со сложностями при их разработка и валидация, что делает этот процесс дорогостоящим. Кроме этого данный подход является своего рода «взглядом педагогов» на проблему измерения уровня компетентности, так как сами тесты разрабатываются, как правило, преподавателями-предметниками. Вместе с тем специалистам практикам хорошо известно, что далеко не всегда, человек, достигший творческого уровня при выполнении тестовых заданий, будет успешным в своей профессиональной деятельности, особенно, если она напрямую не связана с творчеством.

В работах [2-3] был предложен другой подход к оценке компетенций, позволяющий максимально использовать возможности существующих банков тестовых заданий. Следует пояснить, что используемая сегодня стандартная тестовая методика оценки качества обучения, основанная на теории педагогических измерений и моделях Раша и Бирнбаума предполагает, что все задания в тесте равномерно распределены по трудности, измеряемой в логитах. Вероятность выполнения у-го задания трудности вУ студентом с уровнем подготовки q в модели Бирнбаума оценивается следующим образом:

где - вероятность угадывания правильного ответа у'-го задания, -чувствительность у-го задания, функционально связанная с дисперсией результатов выполнения задания (для единичной дисперсии а» 1=677 ).

Предложенный подход позволяет измерить уровень умению решать трудные задачи. Важным качеством может оказаться умение реагировать на нестандартные ситуации, умение видеть кратчайшие пути к достижению цели, системность знаний и т.д. Совокупность этих показателей позволяет рассматривать компетентность студента как сложный многомерный объект.

Предлагается модернизировать предложенную в ранних работах методику, включив дополнительные характеристики нестандартности задания и его практической значимости. Таким образом, из результатов одного теста можно оценить умение выполнять задания: трудные, нестандартные и необходимые в профессиональной деятельности. Для каждой дополнительной характеристики производится модернизация модели Раша-Бирнбаума.

Тогда формулы для вероятности правильного ответа /-го испытуемого на некоторое задание, если не учитывать возможность угадывания, примут вид:

где 0/1, 0/2, 0/3 - уровень подготовленности /-го испытуемого к решению трудных, нестандартных и практически значимых задач соответственно; ¡51, ¡52, (33 - уровень трудности, нестандартности и практической значимости данного задания соответственно.

По аналогии с таксономией Блума в работе использована 6-ти уровневая шкала для экспертной оценки уровня нестандарности заданий и 4-х уровневая шкала для экспертной оценки практической значимости тестовых заданий. Экспертные оценки пересчитывались в шкалу логитов по стандартной методике.

Ранее, на примере общекультурной компетенции ОК-13 (ФГОС по направлению «Бизнес-информатика») «владение навыками работы с компьютером как средством управления информацией, способность работать с информацией в глобальных компьютерных сетях» и на выборке результатов тестирования по информатике более 200 студентов, нами было показано, что измеренные таким образом характеристики отражают разные аспекты компетенции студентов [2].

Еще одной характеристикой, связанной с компетентностью обучаемого, которую можно оценить из результатов тестирования, является структура знаний и навыков обучаемого. При этом измеряемой величиной может быть степень отклонения структуры знаний от некоторой, задаваемой априорно «эталонной» структуры, планируемой как результат обучения. Под структурой в данном случае понимается некоторое обобщающее понятие, которое характеризует как процесс обучения «от простого к сложному», так и наличие в структуре знаний определенных разделов и дидактических единиц конкретной дисциплины. Подробная методика расчета данного показателя приведена в работе [2].

Кроме структуры знаний в процессе тестирования можно контролировать сам процесс решения и время выполнения каждого задания. Наиболее подходят для этой цели тестовые задания с выбором нескольких правильных ответов, а также задания на соответствия и на упорядочивание. Алгоритм расчета характеристики был рассмотрен в работе [2].

Современные системы тестирования не учитывают разницу в траекториях формирования ответа, что приводит к некорректным выводам. Однако наблюдаемое различие может нести информацию о степени профессионализма и уровне компетенции испытуемого. Анализ хода выполнения задания можно проводить, сравнивая траекторию получения испытуемым конечного результата при выполнении задания с эталонной траекторией, которую демонстрируют при выполнении данного задания люди с известным уровнем компетентности.

Таким образом, в ходе одного сеанса тестирования можно получить независимые оценки пяти рассмотренных выше характеристик, каждая из которых некоторым образом связана с уровнем компетенции испытуемого. При этом компетенция может рассматриваться как многомерный объект, а каждая характеристика является проекцией этого объекта на некоторую ось. Т.е. по результатам одного теста испытуемый получает пять оценок, из анализа которых производится оценка его компетентности. Каждая из оценок пересчитывается в единую шкалу логитов по стандартной методике.

При использовании тестирования в качестве инструмента измерения уровня компетенций важным является вопрос о достоверности полученных результатов и погрешности оценок уровня компетентности. Несмотря на широкое применение тестов в педагогических измерениях, эти вопросы до сих пор остаются слабо изученными.

Для выявления зависимости погрешности тестов от способа их формирования и методов обработки результатов тестирования построена имитационная модель тестирования, включающая процедуру формирования группы «студентов» с заданным распределением их уровня подготовленности. Тест моделируется перечнем заданий, для каждого из которых указываются параметры модели Бирнбаума. Имитация тестирования проводится как случайный процесс, в котором результаты ответа каждого студента на каждый вопрос разыгрываются в соответствии с моделью Бирнбаума. Анализ погрешности проведен для четырех методов оценки уровня подготовленности «студентов».

1) Доля правильных ответов. Уровень подготовки студента определяется количеством заданий с которыми студент справился.

где: Мтах и Мт/п соответственно максимальное и минимальное число выполненных заданий; М/ - число заданий выполненных /-м студентом;

Dmax и Dmin соответственно максимальная и минимальная трудность задания, выраженные в логитах.

2) Взвешенная доля правильных ответов (сумма баллов). Учитывается различная сложность заданий.

где: — бинарная матрица = +_2_

результатов тестирования ( р~ =1 если ^ "^¡г.

студент / справился с заданием у);

Wj. — вес задания (число баллов, полученных студентов при выполнении этого задания);

^тах и Wmin - соответственно максимальный и минимальный вес, которые теоретически можно набрать, выполняя данный тест.

3. Метод максимального правдоподобия. Пусть Р(в._6.) — вероятность выполнения студентом с уровнем подготовки дзадания с уровнем трудности , заданная моделью Раша или моделью Бирнбаума. Уровень подготовки студента 0 находится как аргумент, при котором достигается максимум функции правдоподобия:

где р. = Р(в._Д) , если задание] было выполнено и , если ^ ^ ^

студент не справился су-м заданием. ~~

4. Метод скользящего интервала. При выполнении тестов с большим числом заданий нередко возникают ситуации, когда слабый студент случайно отвечает на сложный вопрос (угадывает ответ), а сильный студент, сосредоточив внимание на трудных вопросах, делает досадные ошибки, или просто не успевает справиться с простыми заданиями. Для компенсации этих проблем предлагается модифицировать метод максимального правдоподобия: не учитывать ответы на трудные задания при оценке правдоподобия в диапазоне низких да, при оценке диапазоне высоких д, не учитывать ответы на простые задания. Таким образом, при вычислении L(q) учитывается не весь диапазон вопросов, а только некий интервал, границы которого зависят от д.

В качестве критерия достоверности каждого метода предложено использовать среднеквадратическое отклонение оценки, полученной данным методом от априорного (заданного в модели) значения уровня:

где п -количество тестируемых студентов;

01 — априорное значение уровня.

Для оценки зависимости К от параметров тестов и характеристик группы тестируемых были проведены серии экспериментов, в которых варьировались исследуемые параметры модели, а результаты тестирования обрабатывались всеми перечисленными методами.

Показано, что наилучшие результаты дает метод максимального правдоподобия. Отклонение оценок от истинного значения в неравномерно в интервале уровня подготовки студентов. Стандартное отклонение 0" , отражающее случайные ошибки измерения, минимально на краях интервала и достигает значении 0,8 логит в центре интервала. Систематическая ошибка, наоборот, наименьшая в середине интервала. При этом, все методы дают завышенную оценку слабым и заниженную хорошо подготовленным студентам.

Наличие столь высокой погрешности особенно важно учитывать в квалификационных тестах, используемых для отсева студентов не способных продолжать образование или для формирования элитных групп. В этих случаях сами тесты и методы обработки результатов тестирования должны быть ориентированы на минимизацию ошибок первого и второго рода (соответственно, продолжение образования плохо подготовленного студента и отсев перспективного студента).

г — измеренное значения уровня подготовки /-го студента;

Рис.1. Стандартное отклонение оценки в в различных интервалах трудности

задания

-ДрГР ГфОН№НЬОС _Ч1Ы1_' С_ . .Супла Саггс-Е

' 1и-~г ыасе. граедэгздэС.

. _ . .Ь'ет^д эсзпылцегэ^КрЕрвагв.

-4 -Д5 -3 -2,5 -Л ,Е -Л -О.Б О О, Б 1 1,5 2 £.5 3 3,5 4

Трудаоотп- : ня Ди-литя \

Рис.2. Систематические ошибки методов в различных интервалах трудности

задания.

Результаты, полученные на имитационной модели, могут быть использованы для оценки погрешности реальных измерений.

В качестве примера применения предлагаемого подхода приведем результаты оценки по этим характеристикам и варианты интерпретации результатов тестирования по дисциплине «Информатика». Тесты для этой дисциплины были сформированы в соответствии с требованиями модели Раша. Каждое задание в тесте получило оценку по трем аспектам. Трудность задания определена из статистики решаемости данного задания. Нестандартность и практическая значимость каждого задания оценивалась экспертно.

На рис. 3 в виде лепестковых диаграмм отображены индивидуальные результаты измерения каждой из пяти характеристик для шести различных студентов (графики а, б, в, г). Пунктирным многоугольником обозначены усредненные результаты теста

по всей выборке студентов. Ниже приведены индивидуальные характеристики подготовленности каждого студента, сделанные из анализа представленных на рисунке результатов.

Студент а). Его можно характеризовать как «обученного троечника». Благодаря качественной системе обучения, студент получил (вернее, заучил) систематизированные знания. Однако применить их он не может.

Студент б). Умение нестандартно мыслить позволяет данному студенту справляться с достаточно трудными заданиями даже при недостатке знаний и навыков. Это креативный студент, который после восполнения пробелов в знаниях и навыках решения задач сможет справиться с достаточно трудными заданиями.

Студент в). Студент обладает систематизированными знаниями и навыками решения стандартных задач, его можно характеризовать, как «теоретика». Однако практические и нестандартные задачи его мало интересуют. Если не исправить положение, такой выпускник будет испытывать трудности, сталкиваясь с реальными задачами в своей практической деятельности.

Студент г). Скорее всего, данный студент привык к самостоятельному освоению учебной программы без участия преподавателя. Даже не имея системных знаний, практически мотивированный и весьма способный студент справляется с трудными учебными заданиями, возможно интуитивно «нащупав» правильную методику их решения. Требуется мотивировать такого студента на получение систематических знаний, которые, несомненно, потребуются ему в практической деятельности.

Рис. 3. Характеристики студентов, полученные по результатам тестирования

Приведенные характеристики напрямую связаны с возможностью успешной профессиональной деятельности данных студентов, т.е. с уровнем их компетентности в исследуемой области. Однако для этого требуется провести дальнейшие лонгитюдные исследования профессиональных траекторий выпускников с привлечением методик, разработанных в области психологии [7].

Заключение

В отличие от традиционных методов педагогический измерений, рассматривающих уровень подготовленности как одномерную величину, предлагаемая в статье модифицированная модель позволяет получить более полную и разностороннюю оценку компетентности студентов по результатам тестирования. Проведенный анализ показывает, что использование методов тестирования и статистических и математических методов обработки с использованием предлагаемых подходов позволит решить проблему объективной оценки компетентности обучающихся и выпускников с требуемой точностью и достоверностью.

Библиографический список

1. Большаков А.А., Вешнева И.В., Мельников Л.А., Перова Л.Г. Метод оценки профессиональных компетенций, основанный на лингвистическом подходе для системы управления вузом // Системы управления и информационные технологии. 2013. Т. 52. № 2.1. С. 116-120.

2. Гусятников В.Н., Безруков А.И., Каюкова И.В. Методы оценки уровня формируемых компетенций на основе модернизированной модели Раша // Современные проблемы науки и образования. 2014. № 6. С. 1704.

3. Гусятников В.Н., Безруков А.И., Соколова Т.Н. Проблемы формирования компетенций в области информационной безопасности // Информационная безопасность регионов. 2014. №2. С. 27-31.

4. Гусятников В.Н., Соколова О.Ю., Соколова Т.Н., Каюкова И.В. Построение моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования // Вестник Саратовского государственного социально-экономического университета. 2009. № 04. С. 197-200.

5. Елисеев И.Н. Методология оценки уровня компетенций студента // Информатика и образование. 2012. № 4. С. 80-85.

6. Звонников В.И., Челышкова М.Б. Оценка компетентности менеджеров // Высшее образование сегодня. 2013. № 4. С. 14-19.

7. Ушаков Д.В. Тесты интеллекта, креативности и экспертные оценки // Психология. Журнал Высшей школы экономики. 2004. Т. 1. № 4. С. 28-37.