CC BY
50
Инженерная педагогика
УДК 378.005
ОЦЕНКА КОМПЕТЕНЦИЙ КАК МЕХАНИЗМ УПРАВЛЕНИЯ КАЧЕСТВОМ ИХ ФОРМИРОВАНИЯ В ВУЗЕ С.И. Тормасин, Н.П. Пучков
Кафедра «Высшая математика», ФГБОУ ВПО «ТГТУ»; topm.dahaka@mail.ru
Ключевые слова и фразы: компонентный состав компетенции; оценка качества обучения; потенциал компетенции; статистические методы в педагогике; условия реализации компетенции; факторный анализ.
Аннотация: Предлагается методика оценки качества компетенций, основанная на их представлении в виде двух составляющих - потенциала, формируемого в вузе, и реализации в профессиональной деятельности. Рассматриваются вопросы корреляции оценок этих составляющих и поиска механизмов управления их качеством.
1. Введение
В последнее время и в научной среде, и в сфере практики преодоление методологического кризиса в образовании связывается с внедрением моделей, основанных на понятии компетенции [1].
Компетенции являются естественными характеристиками социальных действий, в отличие от действий предметных, которые описываются в терминах знаний, умений и навыков. Умение (исполнения действий в деятельности) и понимание (инструмент для формирования умений), если рассматривать их как способности использовать соответственно навыки (исполнение действий «самопроизвольно») и знания (инструмент для формирования навыка), в деятельности оказываются, по большому счету, общими компетенциями.
Сфера образования находится в сложном положении, поскольку вынуждена ориентироваться не на текущие, а на будущие потенциально возможные компетенции учащихся. Образование предшествует очевидным проявлениям компетенций и должно быть способно предвосхитить и создать питательную среду для их формирования и развития.
Компетенции - это инструмент, с помощью которого можно описать образ «идеального работника» для данной деятельности или рабочего места и оценить способность конкретного работника эффективно выполнять конкретную работу.
В то же время можно утверждать, что компетенции, в классическом понимании, - это несколько наиболее общих характеристик социального поведения, которые наблюдаемы, измеряемы, проверяемы. Образно выражаясь, их проверка -это организация социального ЕГЭ.
Без знаний и умений компетенции не сформируешь. Компетенции можно наблюдать, но достаточно сложно оценить: они не сводятся к знаниям и умениям, но именно последние являются формой их проявления.
Все эти рассуждения наталкивают на мысль о наличии единства двух составляющих: потенциала компетенции (знания, умения, навыки, личностные качества) и ее проявления, реализации (способность использовать потенциал в определенных условиях как социальное действие). В этом же плане следует осуществлять и оценку компетенции. Эта оценка не должна быть только качественной, так как структура, сущность компетенции будет проявляться более выпукло, если использовать количественную оценку всех ее компонентов, найти возможности их измеримости, математического анализа результатов измерений.
Следует отметить, что здесь присутствует трудность инструментального характера, так как предполагается оценка всевозможных качеств субъекта деятельности, влияющих на ее эффективность, и самой деятельности (ее нормирование). Возникает вопрос: можно ли быть уверенным, что внешние наблюдения и измерения позволят адекватно судить о том, что происходит между субъектом и деятельностью, какого рода отношения их связывают? Подход, ориентированный на внешнюю оценку, вынуждает сводить это отношение к его видимым «очевидным» проявлениям, которые можно померить (сравнить), а все внутренние проявления, такие, например, как создание различного рода ценностей, выводить из того, что поддается измерению.
Для того чтобы преодолеть эти трудности, необходимо методологически корректно построить систему оценки как субъекта деятельности, так и ее самой, иначе понятие компетенции останется чисто инструментальным и под ее «маской» выступят уже известные понятия.
В рассматриваемой ситуации оценка компетенции не имеет в качестве основной цели аттестацию выпускника вуза, специалиста: результаты оценки (измерений) служат основой для управления качеством образовательного процесса в вузе за счет целенаправленного изменения содержания и методики обучения.
Достижению этой же цели (управления) способствует и предлагаемая идея представления процесса формирования компетенции в виде двух составляющих: создание потенциала и его реализации в профессиональной деятельности.
Решение задачи оценки компетенции, как и в случае любой оценки, сопряжено с выбором показателей. Первоначальный выбор показателей в большей степени осуществляется на интуитивном уровне, а затем уточняется по результатам «проявления» этих показателей на практике. Исследуется влияние различных факторов на численные значения показателей и, в результате, определяются весовые коэффициенты этих факторов. Если факторы имеют субъективный характер, то возможно изменение их содержательного наполнения в «нужном» направлении, управление обстоятельствами формирования самих факторов.
2. Оценка потенциала компетенции
Потенциал компетенции можно представить как совокупность следующих компонентов: знания, умения, навыки (ЗУН) и личностные качества (коммуникативные способности, интеллектуальная лабильность, познавательные способности, способность к рефлексии и др.), которые можно считать в большей степени инвариантными относительно условий их проявления (условий реализации компетенции). Все указанные компоненты можно рассматривать как критерии оценки потенциала компетенции. Оценка соответствующих им показателей не вызывает
особых затруднений (в первую очередь ЗУН), так как это достаточно проработанная проблема [2, 3]. Оценка показателей личностных качеств более проблематична, хотя бы по причине обеспечения полноты выбранных для потенциала компетенции качеств. Но, тем не менее, можно воспользоваться результатами таких исследований, как [4, 5], чтобы получить достаточно объективную картину оценки данного компонента.
Самостоятельной проблемой в этой ситуации является проблема эффективной оценки компетенции на основе оценки всех ее показателей.
Формализованное представление компетенции удобно, на наш взгляд, давать в известных понятиях математики, а именно: предполагаем, что каждая компетенция в качестве основных имеет следующие компоненты: ЗУН и личностные качества (например, познавательные способности, готовность к сотрудничеству, интеллектуальная лабильность и т. д.), обусловливающие социальное и рефлексивное поведение. Можно рассматривать «интегрированное личностное качество». Такой подход правомерен хотя бы по той причине, что количество личностных качеств, как правило, окончательно неопределенно.
В свою очередь, каждый компонент имеет несколько показателей своего проявления. Их количество у различных компонентов может быть различным. Если обозначить через mi - количество показателей ,-го компонента, р,у -у-й показатель ,-го компонента, то сам компонент можно представить как вектор
Ъ = (Р1 Р^-Рт, X , = 1,4 .
Последовательность показателей компонента компетенции можно задавать в зависимости от их значимости (эмпирически определенным «весом»): р- не
менее значим, чем р+1 (, = 1,4; у = 1, т, -1). Например, компетенция ПК-2
ФГОС ВПО для бакалавров по направлению подготовки 230100 «Информатика и вычислительная техника» имеет формулировку «осваивать методики использования программных средств для решения практических задач» [6]. Ее первый компонент «знания» представляется как трехэлементный вектор, включающий следующие показатели: «знать основные положения теории алгоритмизации»; «знать основные положения теории информации»; «знать форматы представления данных в ЭВМ». Такой вектор можно обозначить, как ^ = (рц, р^, Р13); здесь рц (знать основные положения теории алгоритмизации) имеет не меньший вес, чем р12 (знать основные положения теории информации), который, в свою очередь, не менее значим, чем р^ (знать форматы представления данных в ЭВМ).
Аналогично для других компонентов компетенции, наряду с вектором ^
знания, можно определить вектора: k2 умения, kз навыки, k4 личностные качества.
Для указанной выше компетенции ПК-2 запишем их конструктивно (табл. 1).
Эту таблицу для удобства дальнейших рассуждений можно представить в матричной форме, где первый столбец - перечень компонентов
(і
K =
«нули» в этой матрице означают отсутствие показателей.
kl Pll pl2 pl3
k2 p2l p22 G
k3 p3l p32 G
k4 P41 P42 P43
Л
(l)
Матрица компетенции ПК-2
Таблица 1
^ знания р11 - знать основные положения теории алгоритмизации р12 - знать основные положения теории информации р13 - знать форматы представления данных в ЭВМ
k2 умения р21 - уметь разрабатывать алгоритмы решения задач р22 - уметь разрабатывать, отлаживать и тестировать программы на языке Си -
kз навыки р31 - владеть навыками разработки, отладки и тестирования программ на языке Си р32 - владеть навыками работы в среде операционной системы Ьших -
k4 личностные качества: когнитивный аспект р41 - интеллектуальная лабильность р42 - способность к логическому мышлению р43 - способность к восприятию
В принципе каждый показатель может оцениваться по «своей» шкале. На практике, естественно, целесообразно иметь единую шкалу как на уровне компонентов, так и всей компетенции, например все показатели компонента «знание» оценивать с помощью тестирования по 100-балльной шкале.
В то же время, если использовать известные, неоднократно апробированные оценочные методики, то можно «столкнуться» со шкалами другой размерности. Поэтому важным аспектом проблемы оценки потенциала компетенции является необходимость обеспечения соответствия размерности оценочных шкал для различных показателей компонентов и самих компонентов компетенции, приведения их к оценке по единой, назовем ее Ь-балльной, шкале Ь = шшМу , где Му - ко-
i,}
личество баллов шкалы, используемой для оценки р,у .
*
Если обозначить Ьу - оценка показателя ру , новые оценки Ьу вычисляются по формуле
* у *
Ь* =-, Ь* е 2 ,
му
то есть, по сути дела, происходит сжатие экспериментальных данных к самой «короткой» шкале.
Описанное нисходящее приведение оценок в случае округления значений новых оценок может привести к потере точности оценки, если размерность шкал сильно отличается, поэтому в такой ситуации следует акцентировать внимание на оптимальном выборе методик оценки показателей с позиции «ширины» оценочной шкалы и адекватности оценки показателя по избираемой методике.
Чтобы найти количественную оценку - число Р потенциал, соответствующую матрице К компетенции (1), необходимо оценить каждый элемент матрицы -показатель ру , где , - число строк; у - число столбцов матрицы.
Оценка матрицы (потенциала) осуществляется покомпонентно. Например, если оценивается вектор ^ знания, то в результате этому вектору будет поставлен в соответствие вектор
Ь1 = (Ь11, Ь12, Ь1з),
где Ь11 - количество баллов, выставленных за знание этики делового общения; Ь12 - количество баллов, выставленных за знание особенностей речевого этикета; Ь1З - количество баллов, выставленных за знание различных видов и форм делового общения.
Если, кроме того, задан (известен) уровень значимости каждого показателя, например, как вектор
__ 3
а1 = (ап, а12, ап), ^а,у = 1, у=1
то скалярное произведение векторов
(а1, Ь1) = а11Ь11 +а12Ь12 +a13Ь13, (2)
определяет числовую величину, например К1 , выражающую эмпирическую оценку первого компонента компетенции - «знания».
К примеру, если оценка знаний студента по первому показателю - 75 баллов, по второму - 80 баллов, по третьему - 84 балла, Ь1 = (75,80,84), а а = (0,45, 0,4, 0,15), то К1 = (а^, й[) = 0,45 • 75 + 0,4 • 80 + 0,15 • 84 = 33,75 + 32 + +12,6 = 78,35 и 78 баллов.
Таким же образом можно найти оценку компонентов «умения», «навыки», «личностные качества»: К 2, К3, К 4.
В зависимости от условий реализации компетенции, ее различные компоненты также могут быть различны. Поэтому, наряду с вектором К = (К1, К 2, К3, К 4), _ 4
рассматриваем вектор р = (Р1,Р2,Р3,Р4), ^р, = 1 весовых коэффициентов. То-
,=1
гда скалярное произведение
_____К
Р = (Р, К) = ^ Р,К, = Р1К1 + Р2 К 2 + Р3К3 + Р4 К4, (3)
,=1
соответствует оценке Р всей компетенции (оценке ее потенциала).
3. Моделирование условий реализации компетенции и оценка качества этой реализации
Предложенная методика оценки позволяет, на наш взгляд, сравнивать результаты учебной деятельности студентов в овладении компетенцией в содержательном аспекте, однако, не является исчерпывающей. Дело в том, что реализация компетенции зависит от условий, которые хотя и можно в какой-то степени предвидеть, но очень сложно комплексно учесть. Поэтому приведенные выше рассуждения и расчеты можно отнести к нахождению оценки «потенциала компетенции» -
совокупности знаний, умений, навыков, личностных качеств, достаточных для реализации компетенции в некоторых «усредненных», нормальных условиях осуществления определенной деятельности.
Естественно, качество реализации компетенции следует оценивать в реальных производственных условиях, что непросто смоделировать в вузе, особенно, если помнить о том, что компетенции - это естественные характеристики социальных действий, характеристики отношений субъекта и деятельности, когда деятельность является способом существования субъекта.
Учитывая тот факт, что компетенции проявляются в способности найти и сконструировать наиболее оптимальную последовательность действий по достижению цели (решение, например, профессиональной задачи), в качестве условия реализации компетенций при обучении в вузе можно выбирать такую квазипро-фессиональную деятельность, когда студенты выполняют имитационные упражнения - набор специально подобранных заданий, которые моделируют реальные задачи профессиональной деятельности, принимают в соответствии с ними такие формы взаимодействия, как индивидуальные и групповые деловые игры, презентации, групповые дискуссии и т. д.; при этом каждая компетенция оценивается не менее чем двумя имитационными упражнениями, ни одна из имитаций не должна оценивать более пяти (в идеале три) компетенций [7].
Условия оценки реализации компетенций отличаются от условий оценки потенциала компетенции (широко применяемых вузовских методов контроля) доминированием социальных факторов, проблем инновационного характера, вариативностью ролей, обусловленных видом профессиональной деятельности и положением на карьерной лестнице. Оценка реализации компетенции по отношению к оценке ее потенциала более комплексная, так как включает самооценку, оценку руководством, коллегами по работе, потребителями и, наконец, более «коллективная», так как чаще всего производится не одним человеком (преподавателем), а группой экспертов. Последнее рекомендуется и стандартами ВПО третьего поколения.
Рассматриваемый далее пример наглядно демонстрирует ситуацию, где значимы социальные факторы. Пусть выпускник вуза, поступивший на работу в компанию, занимающуюся разработкой программного обеспечения, имеет должностные обязанности, предполагающие общение с заказчиками по составлению технического задания и непосредственно разработку программы. Здесь весьма значимой является инициативность сотрудников. Работник может внимательно выслушать клиента, сформировать техническое задание и «дисциплинированно» выполнить проект. С другой стороны, он может предложить и обосновать иные варианты решения поставленных задач (например, более эргономичный интерфейс), позволяющие либо увеличить прибыль, либо сократить издержки (последнее означает, что, проявив инициативу, разработчику будет легче создать программный продукт за более короткий срок, после чего он сможет приступить к новым заказам, а клиент получит готовую разработку раньше; объективно, работник будет более высоко оценен руководством). Таким образом, качество реализации компетенции во втором случае будет оценено выше. Проработка таких ситуаций в имитационных упражнениях, с нашей точки зрения, повышает объективность оценки качества реализации компетенций в вузе.
Социализации среды реализации компетенций, повышению их эффективности способствует, на наш взгляд, деятельность, предполагающая анализ заданий, требуемых для получения вакантной должности, например, в фирмах, занимающихся разработкой программного обеспечения, систем автоматизированного проектирования и т.д., более тесное сотрудничество образовательных учреждений с работодателями.
Не вдаваясь в подробности реализации конкретной компетенции ввиду многообразия соответствующих условий, полагаем, что посредством известных методик экспертной оценки производственной (профессиональной) деятельности получены оценки Я1, ..., Яп качества реализации исследуемой компетенции у п участников педагогического эксперимента. Каковы дальнейшие действия?
4. Системный анализ результатов оценки потенциала компетенции и качества ее реализации; выбор механизмов управления
Итак, мы предлагаем оценивать компетенцию с помощью ее двух количественных показателей Р - потенциал и Я - качество ее реализации. Величины Р и Я, имеют, вообще говоря, стохастическую связь: каждому значению - потенциалу Р может соответствовать совокупность значений Я,, , = 1, п (оценки результатов деятельности различных п обучающихся при одном и том же потенциале Р; деятельность может осуществляться в различных условиях) и наоборот. Поэтому исследованию могут подлежать уравнения корреляции Р = М(Я,), где М(Я,) - усредненное значение для параметра Я, или уравнение Я = М(Р,): усредненному значению различных потенциалов соответствует одна и та же оценка эффективности ее реализации.
Учитывая тот факт, что оценка результатов деятельности (реализации потенциала) - итоговая оценка качества профессиональной подготовки студента в вузе - является, по существу, функцией потенциала компетенции (сформированных ЗУН и личностных качеств), которые могут рассматриваться как аргументы этой функции, чаще приходится исследовать именно зависимость Я = М(Р,) и выяснять, какую роль по значимости играет потенциал компетенции в обеспечении качества ее реализации и какие именно компоненты потенциала компетенции в наибольшей степени значимы в обеспечении этого качества.
Оценки результатов формирования потенциала компетенции, даже при максимально достоверном уровне выполнения всех необходимых условий, являются по своей сути случайными величинами. Их значимость подтверждается, в определенной мере, достаточным уровнем корреляции с оценкой качества реализации компетенции. Так, если Р1, Р2, ..., Рп- оценки потенциалов компетенции у п студентов, а Я1, Я2, ., Яп - соответствующие оценки качества реализации этой компетенции, то показателем объективности оценки потенциала компетенции и соответственно организации образовательного процесса в вузе является высокий уровень корреляции значений случайных величин Р (Р1, ., Рп) и Я (Я1, ., Яп).
В этом можно убедиться, если оценить корреляционное отношение для этих величин или использовать коэффициент корреляции. Если корреляция слабая, в чем дополнительно можно убедиться, используя критерии согласия, например X , то исследованию подлежит процесс выявления факторов, наиболее значимых для результатов оценок потенциалов Ру (у < п), «выпадающих» из корреляционного поля (Я, Р). Это можно осуществить, используя такой известный в математической статистике метод, как однофакторный дисперсионный анализ.
На практике обычны ситуации, когда реализация одной и той же компетенции в разных условиях дает отличающиеся результаты. Это говорит о наличии неучтенных (недооцененных) факторов среды реализации. Используя экспертную оценку, возможно определить значимость влияния каждого выявленного фактора на качество реализуемой компетенции и даже оценить эту значимость. Это, в свою очередь, влияет на оценку уровней сформированности компетенций, каждый из которых привязан к возможности выполнения определенных ключевых
задач профессиональной деятельности. Если влияние дополнительных, ранее не учтенных, факторов значимо, итоговая оценка реализации компетенции должна учитывать оценку и этих факторов.
Возникающая при этом проблема уточнения оценки потенциала компетенции разрешается путем включения в ее структуру новых компонентов, компенсирующих влияние неучтенных факторов, что делает возможным описание более высоких уровней сформированности компетенции, достаточных для эффективной деятельности в условиях выделенных факторов. Таким образом, оцениваемая компетенция и новые компоненты определяют процесс, описанный нами ранее [7, 8] как интеграцию компетенций.
После выявления таких факторов осуществляется исследование их содержательного наполнения (в рассматриваемом случае это ЗУН и личностные качества обучаемых), их корректировка и таким образом управление процессом обеспечения качества формирования профессиональных компетенций.
5. Экспериментальная проверка методики оценки компетенции
В качестве экспериментального апробирования рассмотренной методики была выбрана группа студентов, численностью 30 человек, учебная дисциплина -«Информатика» и компетенция - «осваивать методики использования программных средств для решения практических задач» (ПК-2) [6]. Векторы-компоненты и матрица показателей компетенции (1) описаны в параграфе 3.
На основе экспертной оценки определена матрица значимости показателей
а11 а12 £ = а21 а 22 а31 а32
уа41 а 42
«нули» в последней матрице следует понимать как отсутствие показателя.
Оценка знаний осуществлялась в форме тестирования по 100-балльной шкале. Умения и навыки оценивались преподавателем в процессе выполнения обучающимися практических и лабораторных работ, включающих задания по каждому умению, навыку, при этом использовались шкалы оценки различной размерности. Так, например, умение Р21 (уметь разрабатывать алгоритмы решения задач) оценивалось по шкале от 0 до 20 во время практических работ. Оценка умения Р22 (уметь разрабатывать, отлаживать и тестировать программы на языке Си) выставлялась по 100-балльной шкале на лабораторных работах. Оценка каждого умения (навыка) складывалась из баллов за выполнение заданий, проверяющих различные его аспекты.
Оценка личностных качеств: познавательных способностей осуществлялась по методикам Мюнстерберга (от 0 до 5 баллов - низкий уровень избирательности и концентрации внимания; 6-13 - средний; 14-19 - высокий; 20 - очень высокий) [9], «Сложные аналогии» (логическое мышление оценивается по шкале от 0 до 20 баллов) [10], методика В.Т. Козловой «Интеллектуальная лабильность» (от 0 до 25 баллов (верных ответов) - малоуспешен в любой деятельности в плане ее освоения и качества трудовой практики; от 26 до 30 - низкая лабильность, трудности в переобучении; от 31 до 35 - средняя лабильность; от 36 до 40 - высокая лабильность, хорошая способность к обучению) [10, 11].
В качестве ^-балльной, выбрана 21-балльная шкала (от 0 до 20 баллов).
43
М3
fG,45
G,6
G,S
G,4
G,4
G,2
G,15' G G
G,65 G,25 G,1
Для оценки реализации компетенции (ПК-2) использовались два имитационных упражнения (в форме индивидуальных лабораторных работ), результаты которых оценивались самим обучающимся, одногруппниками и группой экспертов (в качестве них выступали преподаватели - 3 человека). Оценка последних играла наиболее значимую роль. Обобщенная структура примененных имитационных упражнений:
1) обработать в соответствии с выданным вариантом набор данных, содержащийся во входной файле. Результат записать в выходной файл. Формат входных и выходных данных определяется вариантом;
2) используя доступные источники информации (книги, справочники, ресурсы сети Интернет, сведения, полученные от экспертов и т.д.), осуществить с использованием ЭВМ расчет в соответствии с вариантом (например, определить жидкость, в которую полностью погружено тело заданных размеров и формы). Формат входных и выходных данных определяется вариантом. Данное упражнение носит проблемный характер.
Более высокие баллы выставляются за скорость выполнения заданий, оптимизацию программного кода (по показателям: лаконичность, ясность, ускорение работы разрабатываемого приложения, уменьшение объема памяти, занимаемой программой).
Произведя соответствующие измерения (оценки) компонентов исследуемой компетенции и обработав их с использованием формул (2) и (3), найдены оценки Р, потенциала компетенции для каждого ,-го студента, , = 1,30, а при оценке их квазипрофессиональной деятельности - оценки Я, реализации компетенции (табл. 2).
Решались две проблемы.
1. Насколько результаты оценки потенциала компетенции согласуются с оценками ее реализации (гарантирует ли вуз компетентность выпускников, объективны ли оценки?).
2. Насколько значимы сформированные умения для обеспечения качества реализации компетенции (так как бытует мнение о наиболее тесной связи умений с компетенциями).
Считая, что распределение случайных величин Р и Я подчиняется нормальному закону на статистическом уровне проверялись гипотезы: о равенстве их дисперсий Б(Р) = -О(Я); и выборочных средних М(Р) = М(Я) (так как именно эти параметры полностью определяют нормальный закон распределения).
Предварительно оценивалась теснота связи величин Р и Я, определялся коэффициент их корреляции
г(Р, Я)= ^ - ,
СТ Р СТ Я
Таблица 2
Оценка потенциала компетенции и качества ее реализации
N студ, i 1 2 3 4 5 6 7 S 9 1G 11 12 13 14 15
P, 16 15 11 19 14 1S 9 19 16 1G 1G 16 1S 1G 16
R, 14 15 14 17 11 19 S 17 14 9 S 17 17 11 14
N студ, i 16 17 1S 19 2G 21 22 23 24 25 26 27 2S 29 3G
Pi 1G 13 13 1G 9 17 1G 17 19 13 13 11 13 16 16
Ri 1G 11 16 S 11 11 14 15 14 11 14 13 11 12 14
где Р - среднее выборочное значение оценки потенциала, Р = — X Р, =13,9;
,=1
3G
Я - среднее выборочное значение оценки качества реализации, Я = 30 X Я, =13;
,=1
РЯ - среднее выборочное произведения, РЯ = — X Р,Я, и 187,6;
,=1
3G
стР = -30 ХЯ - РУ = 10,62 - выборочная дисперсия для величин Р;
1 хЯ - Р У
1=1
1 30 / _____^
—Х\Я, - Я У и 8,47 - выборочная дисперсия для величин Я.
30 .
,=1
187,6 -13,9 -13
В этом случае г(Р,Я) =---------------------и 0,73 .
3,26 • 2,91
Значимость коэффициента корреляции г(Р, я) (его отличие от нуля), под-
г^/п - 2
тверждена тем, что статистика I = , - при данных г и п имеет значение
2
0,73730-2
=—, - и 5,61; в то же время критическое значение /-распределения
V
2
1 - 0,73
Стьюдента составляет 2,05.
Для оценки уровня согласованности распределений случайных величин Р и Я, использован критерий Пирсона - х2. Гипотеза Н0: эмпирическое распределение Р не отличается от распределения Я; альтернативная гипотеза Нх: распределения отличаются. Алгоритм вычисления критерия х2 выражался формулой [12]
(n2m, - nlS, )2
n1n2 i=1 mi + si
Так как n1 = n2, то
х2 =Х
(mi - si)2
mi + si
i=1 i i
где к - количество разрядов признака; , - порядковый номер разряда; и si - час-
тоты из распределений Р и Я соответственно (табл. 3).
Частоты распределений P и R по интервалам
Таблица 3
Порядковый номер разряда Интервал mі Si
1 [S; 11) S 5
2 [11; 14) 7 9
3 [14; 17) S 11
4 [17; 2G) 7 5
СТ D =
Сравнивая %^мп = 1,75 с критическим значением при уровне значимости
2
а = 0,1 и V = к - 1 = 4 - 1 = 3 степеней свободы %кр = 6,25, получаем
Хэмп
С2р
^кр
заключаем, что эмпирическое распределение Р не отличается от распределения Я на уровне значимости а = 0,1.
Гипотеза Н0: разность между дисперсиями двух выборок (зависимых) равна нулю: -О(Р) = -О(Я), Н1: Б(Р) Ф О(Я) - проверялась с помощью критерия Стьюден-та для статистики
2 2 ст Р -ст Я
4стР СТЯ
п - 2
10,62 - 8,47 ЛОО „
В нашем случае /эксп = ---------- - и 0,88 . В то же время по
14 -10,62 -&47 ( - 0,732 ) р
30 - 2 ' '
таблицам распределения Стьюдента для числа степеней свободы V = 30 - 2 = 28 и уровня значимости а = 0,1, / = 1,70. Так как |/эксп| < /кр, то приходим к выводу,
что гипотеза Н0 не отвергается, то есть разность между дисперсиями незначима.
Проверка гипотезы о средних значениях также учитывает тот факт, что выборки зависимые. Поэтому использована статистика
1 п -1
где п - число пар данных; ё - разность между результатами в каждой паре; Её -
сумма частных разностей; Е *2 - сумма их квадратов.
27
Вычислим значение /эмп = , » 2,11.
30-183 - 729
30 -1
В то же время по таблицам распределения Стьюдента для числа степеней свободы V = 30 - 1 = 29 и уровня значимости а = 0,1 найдем /кр = 1,70. Поскольку
|/эмп| > /кр, разница средних достоверна, и можно с уверенностью у = 1 - а = 0,9
считать, что усредненные оценки потенциалов компетенции и ее реализации на статистическом уровне отличаются и средняя оценка потенциала выше.
Как видно из полученных результатов проверки уровня корреляции потенциала компетенции Р и качества ее реализации Я, этот уровень можно считать приемлемым, но недостаточно высоким, поэтому возникает вопрос, связанный с выяснением степени зависимости качества реализации компетенции от отдельных компонент ее потенциала. Например, интересным оказался вопрос о наличии влияния сформированности умений, определяемых компетенцией ПК-2 (представленной в начале данного раздела) на качество реализации данной компетенции. Формирование этих умений, на наш взгляд, можно осуществлять на трех уровнях, назовем их: А, В и С (А - на практических занятиях, В - в условиях олимпиадного движения по программированию (при подготовке к олимпиадам по программированию), С - при проектировании). Оценка результатов реализации компетенции осуществлялась 4 раза по 21-балльной шкале.
ґзмп
Ставилась задача выяснить на уровне значимости а = 0,05 существенно ли влияние уровней сформированности умений на качество реализации компетенции (набранные студентами баллы).
Исходные результаты эксперимента представлены в табл. 4.
Полученная таблица значений имеет размерность п = гхр= 3 х 4. Ее можно
мыслить как матрицу X = [, у ] . Обозначим хі , і = 1, 2, 3 - групповые (по
группам А, В, С) средние, тогда хі = — (12 +13 +14 +13) = 13; аналогично Х2 = 15 ;
4
х3
= 13,75 ; а общее выборочное среднее х =1 (13 +15 +13,75) и 13,92 .
[13].
Для решения поставленной задачи используем идеи однофакторного анализа Факторная дисперсия (влияние фактора «умение»)
Qф =Хр(-х)=Х4(-И 8,17.
I=1 I=1
Остаточная дисперсия (не факторная) равна
Qост = (хг/ — Х1У = 4,75 .
I=1 /=1
Статистика Фишера для эмпирических значений дисперсии
р = (п — г^ф (12 — 3) 8,17 И 774
-^эмп И /,/4 .
(г — 1)Qост (3 — 1) 4,75
В то же время, по таблицам распределения Фишера для а = 0,05 (у = 0,95) и степеней свободы к\ = г - 1 = 2; к2= п - г = 9 находим критическое значение
^кр = ^а;к1,к2 = 4,26 .
Так как ^эмп > Fа.;k1,k2 , то гипотеза Н0 о равенстве групповых дисперсий отклоняется, другими словами, можно утверждать, что «качество» реализации компетенции зависит от уровней сформированности умений. Оценим степень этой зависимости с помощью коэффициента детерминации
6ф
Qф + &
8,17
12,92
; 0,63.
Это означает, что 63 % общей вариации качества реализации компетенции связано с уровнем сформированности умений. Усиление этого фактора путем совершенствования процедуры формирования умений может заметно повлиять на качество формирования всей компетенции, то есть обеспечить более высокий уровень качества подготовки выпускника вуза.
Таблица 4
Оценка умений, сформированных на различных уровнях
Уровень умении № контроля
1 2 3 4
А 12 13 14 13
В 14 15 15 16
С 13 14 14 14
6. Заключение
Рассмотренная процедура оценки компетенции не имеет своей основной целью получение абсолютных результатов, необходимых для аттестации выпускников вуза, хотя ее результаты вполне объективны и представительны. Основная цель - поиск механизмов управления качеством подготовки специалистов. Условное выделение двух процессов: накопление (создание) потенциала компетенции и ее реализации, а также дальнейший сравнительный анализ результатов их оценки дает ключ к разрешению этой проблемы (качества).
Использование математических методов при внедрении моделей, основанных на понятии компетенции, обогащает педагогические механизмы управления качеством профессиональных компетенций, делает их более действенными за счет повышения как точности оценочных процедур, так и их репрезентативности. А вопрос о педагогической аргументации, о ее основах и принципах, которые единообразно понимаемы и убедительны для всех, получает содержательное и неформальное разрешение.
Список литературы
1. Меськов, В.С. Образование для обществ знания: когнитивно-
компетентностная парадигма образовательных процессов / В.С. Меськов,
A. А. Мамченко // Ценности и смыслы. - 2010. - №4(6). - С. 46-58.
2. Архангельский, С.И. Элементы теории дидактических измерений /
С.И. Архангельский // Теория и практика высшего педагогического образования : межвуз. сб. науч. тр. / отв. ред. В. А. Сластенин. - М. : Просвещение, 1991. -
С. 142.
3. Талызина, Н.Ф. Теоретические основы контроля в учебном процессе / Н.Ф. Талызина. - М. : Знание, 1983. - 96 с.
4. Рыбников, В.Ю. Психодиагностические методики оценки профессионально важных качеств личного состава ВМФ / В.Ю. Рыбников.- М. : Воениздат, 1991. - 152 с.
5. Васильков, A.M. Принципы и методические основы изучения и оценки психофизиологических качеств человека [Электронный ресурс] / A.M. Васильков,
B.Г. Белов. - Режим доступа : http://www.nedug.ru/lib/lit/psych/01oct/psych132/ psych.htm. - Загл. с экрана.
6. Федеральный государственный образовательный стандарт высшего профессионального образования. Направление подготовки бакалавра 230100 «Информатика и вычислительная техника» : приказ М-ва образования и науки РФ от 09.11.2009 г. № 553 [Электронный ресурс] // М-во образования и науки РФ. -Режим доступа : http://mon.gov.ru/dok/fgos/7198/. - Загл. с экрана.
7. Тормасин, С.И. Оценка интегрированных компетенций в системе обеспечения качества образования / С. И. Тормасин, Н. П. Пучков // Менеджмент качества в образовании: теория и практика : мат. межвуз. науч.-практ. конф., 4 марта 2011 г. XVIII Рязанские педагогические чтения, посвященные памяти профессора А.Н. Козлова / отв. ред. В.В. Страхов, Е.А. Кирьянова / Ряз. гос. ун-т. им.
C. А. Есенина. - Рязань, 2011. - С. 23-24.
8. Тормасин, С.И. Информационное обеспечение процесса проектирования интегрированных компетенций / С.И. Тормасин, Н.П. Пучков // Гаудеамус : псих.-пед. журн. - 2011. - № 2(18). - С. 82-85.
9. Методика Мюнсерберга [Электронный ресурс] / Персональный сайт Е.Ю. Бруннера // Психология. - Режим доступа : http://brunner.kgu.edu.ua/-index.php/psy-metodiks/32/463-myunsterberg. - Загл. с экрана.
10. Карелин, А.А. Большая энциклопедия психологических тестов / А. А. Карелин. - М. : Эксмо, 2006. - 416 с.
11. Методика «Интеллектуальная лабильность» [Электронный ресурс] // Психология. - Режим доступа : http://azps.ru/tests/tests3_labilnost.html. - Загл. с экрана.
12. Солодовникова, Е.Н. К вопросу повышения достоверности результатов педагогических экспериментов / Е.Н. Солодовникова, Н.П. Пучков // Вестн. Тамб. гос. техн. ун-та. - 2011. - Т. 17, № 4. - С. 1099-1110.
13. Кремер, Н.Ш. Теория вероятностей и математическая статистика : учебник для вузов / Н.Ш. Кремер. - 2-е изд., перераб. и доп. - М. : Юнити-Дана, 2004. - 573 с.
Estimation of Competencies as the Mechanism of their Formation Quality Management in the University
S.I Tormasin, N.P. Puchkov
Department “Higher Mathematics”, TSTU; topm.dahaka@mail.ru
Key words and phrases: component structure of competence; conditions of the realization of competence; estimating the quality of teaching; statistical methods in pedagogy; potential of competence; factor analysis.
Abstract: The paper presents the method of estimating the quality of competencies based on their representation in the form of two components - the potential which is formed in high school and realization in the professional activity. The questions of correlation of estimates of these components and searching for their quality control mechanisms are considered.
Einschatzung der Kompetenzen als Mechanismus der Steuerung von der Qualitat ihrer Formierung in der hochschule
Zusammenfassung: Es wird die Methodik der Einschatzung der Qualitat der Kompetenzen, die auf ihrer Darstellung in der Form der zwei Komponenten - des in der Hochschule formierenden Potentials und der Realisierung in der professionellen Tatig-keit gegrundet ist, vorgeschlagen. Es werden die Fragen der Korrelation der Einschat-zungen dieser Komponenten und der Suche der Mechanismen der Steuerung von ihren Qualitat betrachtet.
Estimation des competences comme mecanisme de la gestion de la qualite de leur formation dans un etalissement de l’enseinement superieur
Resume: Est proposee la methode de l’estimation de la qualite des competences fondee sur leur presentation en vue de deux composantes - potentiel forme dans un etalissement de l’enseinement superieur et realisation dans l’activite pratique. Sont examinees les questions de la correlation des estimations de ces composantes et de la recherche des mecanismes de la gestion de leur qualite.
Авторы: Тормасин Сергей Игоревич - аспирант кафедры «Высшая математика»; Пучков Николай Петрович - доктор педагогических наук, профессор, заведующий кафедрой «Высшая математика», ФГБОУ ВПО «ТГТУ».
Рецензент: Молоткова Наталия Вячеславовна - доктор педагогических наук, профессор, проректор по довузовскому образованию, ФГБОУ ВПО «ТГТУ».
