CC BY
36
Исключительно, наверное - да. Но обладание компетенцией неразрывно связано с профессиональным творчеством, которое является производной эффективного обучения, и поэтому в процессе оценки компетенций обязательно должны быть заложены методики, учитывающие способность нестандартно мыслить, находить решения в условиях дефицита информации и т.п.
Проще всего оценить уровень сложившейся компетенции в ходе практической деятельности, где работает старый принцип: «критерий истинности - практика». Но здесь как раз встает вышеотмеченная академическая проблема - как организовать площадку, воспроизводящую реальную бизнес-среду для такой проверки. Опять же «судьи кто»? Теоретически ответ на этот вопрос уже найден - создание технопарков, где образование рука об руку идет параллельно с бизнес-процессами. Но это возможно только тогда, когда компании будут действительно заинтересованы в подготовке специалистов для себя. И это вопрос государственный. Необходима системная проработка такого сотрудничества. Вселяющей надежду тенденцией можно считать курс на развитие социального партнерства в рамках совершенствования структуры системы трехсторонних социально-трудовых отношений - работников, работодателей и образовательных учреждений. Пока же заказчик не присутствует при «приемке» выпускника и не оценивает степень и полноту его готовности, дистанцирование преподавателя от экзамена по его предмету, якобы в целях объективности оценки, приведет к прямо противоположным результатам. Либо преподаватель начнет работать только «на тест», механически натаскивая студентов (а что ему остается - его работу будут оценивать по тому, как студенты написали этот тест), либо студенты начнут «выпадать» из учебного процесса (а зачем им проблемные лекции, если их оценивает тест). В этой ситуации пропадает самая главная ценность российского образования, традиционно поддерживаемая еще с советских времен - живое общение с преподавателем, обмен мыслями, чувствами, культурой. А вместе с ней ускользает и главный смысл - развитие мышления. Большой вопрос, как сохранить эти национальные ценности в новой системе, остается открытым.
Литература
1. Ефимова Е.М. Взаимодействие рынка образовательных услуг и рынка труда. // Вестник Военного университета. 2011. № 1.
2. Челышкова М.Б. Измерения в образовании, надежность и валидность оценок компетенций. - Выступление на семинаре в ФГБОУ ВПО «Государственный университет управления». - 17-19.06.2013.
М.В. Гуськова А.М. Челохьян
МНОГОСТАДИЙНЫЕ МОДЕЛИ ОЦЕНКИ КОМПЕТЕНЦИЙ УПРАВЛЕНЦЕВ MULTISTAGE MODEL TO ASSESS THE COMPETENCIES OF MANAGERS
Аннотация: рассматриваются модели многостадийных измерений, предназначенных для аттестации выпускников вузов. Анализируются преимущества многостадийных измерений и обосновывается необходимость их использования в рамках компетентностного подхода. Представлен опыт Ростовского государственного университета путей сообщения в области разработки
© М.В. Гуськова, А.М. Челохьян, 2013
инструментария на основе моделей многостадийных измерений. Обсуждаются проблемы установления пороговых баллов для многостадийных измерений.
Ключевые слова: многостадийные измерения, компетентностный подход, модель измерителя, шкалирование, пороговый балл.
Abstract: the models of multistage measurements intended for certification of high school graduates are considered. The advantages of multistage measurements are analyzed and the necessity of their using in context of competency is proved. The experience of the Rostov State University of Communication in the field of working out of tool for assessment on the basis of multistage models is presented. The problems of threshold points for multistage measurements are discussed.
Keywords: multistage measurements, competency approach, measuring model of tool, scaling, threshold point.
Среди сообщества специалистов в области педагогических измерений давно утвердилось понимание того, что многостадийные измерения, включающие несколько измерительных средств и этапов их применения, всегда лучше одноразового измерения. Эта точка зрения особенно важна в тех случаях, когда результаты измерений используются для принятия ответственных административно-управленческих решений, например, в случае проведения экзаменов высокой значимости при аттестации выпускников вузов (английский аналог термина «экзамены высокой значимости» - High Stakes Testing) [1]. Возможности современных компьютеров и аппарата педагогических измерений подкрепляют рекомендации специалистов по использованию многостадийных измерений, однако, практики нередко пренебрегают ими для снижения стоимости и трудозатрат на проведение оценочных процедур.
Потребность в многостадийных измерениях резко возросла в связи с введением ФГОС в системе высшего образования, предполагающих в процессе аттестации оценку соответствия подготовленности выпускников вузов требованиям, сформулированным в форме совокупности компетенций. Трудности оценивания компетенций, вызванные их междисциплинарным характером, длительным периодом формирования и отсроченным проявлением, вынуждают принимать меры по усложнению измерительных процедур, повышению их надежности и увеличению числа оцениваемых переменных. Аттестационные решения в рамках компетентностного подхода должны быть основаны на более достоверных источниках информации, чем разовая процедура выполнения теста с выбором ответов. Необходимо получать и принимать во внимание другую релевантную информацию, которая повышает обоснованность управленческих решений и может быть получена только на основе многостадийных измерений.
К преимуществам многостадийных измерений можно отнести:
• стимулирование освоения требований ФГОС всеми студентами;
• стимулирование преодоления пороговых баллов всеми студентами;
• получение множественных высококачественных оценок, обеспечивающих достоверность решений при аттестации, эвалюации и принятии управленческих решений в образовании;
• возможность оценки прогресса учебных достижений студентов на протяжении определенного промежутка времени;
• возможность увеличения числа измеряемых переменных.
4-й этап: собеседование с экзаменуемыми, не прошедшими за пороговый балл, по результатам тестирования
3-й этап: мини-кейсы (не менее 3-5)
2-й этап: тест, содержащий компетентностные задания с развернутыми ответами (не менее 5-7 заданий)
1-й этап: Тест с выбором ответов (не менее 25 заданий)
-►
Наблюдаемый балл
Рис. Четырехстадийная модель измерителя для оценки профессиональных компетенций выпускников бакалавриата
Реализация этих преимуществ требует обращения к специальным многостадийным моделям измерения, представленным в статье В.И. Звонникова и М.Б. Челышковой [4], где для оценки профессиональных компетенций выпускников бакалавриата предлагается модель с четырьмя стадиями измерений (рис.).
Для реализации этой модели и формирования банка компетентностно-ориентированных измерителей преподаватели ряда выпускающих кафедр, ведущих подготовку менеджеров в Ростовском государственном университете путей сообщения (РГУПС), вошли в состав группы разработчиков, созданной из числа представителей вузов УМО по образованию в области менеджмента на базе Государственного университета управления (ГУУ). В соответствии с подходами, предложенными разработчикам многостадийных измерителей, каждый вуз-участник работ по созданию банка измерителей должен предоставить компетентностно-ориентированные задания и мини-кейсы не менее чем по трем дисциплинам профессионального цикла структуры основной образовательной программы ФГОС высшего образования по направлению подготовки «Менеджмент». Итоги работ вузов будут способствовать дальнейшему развитию и совершенствованию научно-обоснованной системы оценки качества образования по направлению подготовки бакалавров «Менеджмент» на основе эффективного функционирования процедур аттестации студентов и выпускников в соответствии с требованиями ФГОС и в условиях единого системного подхода.
На сегодняшний день в Ростовском государственном университете путей сообщения сформированы авторские коллективы, которые прошли обучение в ГУУ, выполнили разработку спецификаций измерителей и авторских версий компетентностных заданий и мини-кейсов в соответствии с моделью, представленной на рис. Многостадийные измерители разрабатываются по направлению «Менеджмент», профиль «Логистика и управление цепями поставок» на основе единой спецификации содержания по дисциплинам «Маркетинг», «Микроэкономика» и др. Всего было создано 7 вариантов по каждой дисциплине, содержание каждого варианта было
л а б й ы в о т с
е Те
структурировано в соответствии с единой спецификацией, все варианты имели одинаковое число заданий, трудность заданий с одинаковыми порядковыми номерами в разных вариантах была одинаковой в пределах ошибки измерения. По результатам апробации измерителей на выборке студентов РГУПС в дальнейшем будут собраны эмпирические данные, необходимые для коррекции заданий и установления пороговых баллов.
Проблеме установления пороговых баллов, определяющих стандарты выполнения измерителей и позволяющих дифференцировать испытуемых по уровням освоения компетенций, нередко придают неоправданную трактовку, полагаясь исключительно на работу экспертов либо считают, что стандарты можно определить авторитарным путем, договорившись на уровне руководства вуза о критериях оценки компетенций. И в первой, и во второй точках зрения есть очень незначительная доля истины. Несомненно, что для установления пороговых баллов следует принимать во внимание мнение экспертов и политические последствия выбора критериев оценки, связанные с числом не аттестованных студентов по результатам применения критериев. Однако, это только фрагмент большого цикла работ, проведение которых требует обращения к принятой в мире научно-обоснованной практике установления стандартов выполнения измерителей.
Определение пороговых баллов проводится для конкретного инструментария на представительных выборках студентов и строятся на сочетании количественных и качественных подходов. Экспертные оценки - это только первый шаг в общем цикле работ, поскольку они подлежат обязательной эмпирической валидизации. Процесс установления пороговых баллов в теории педагогических измерений называется шкалированием, которое значительной усложняется при обращении к практике оценивания компетенций на основе многостадийных измерений. Исследователи и практики должны совместно решать единый набор технологических проблем, комбинируя данные, полученные при многостадийных измерениях, с целью определения пороговых баллов для классификации групп испытуемых. Эти проблемы необходимо решать в соответствии с определенным образовательным контекстом, которым является компетентностный подход, целями оценивания и предполагаемыми политическими последствиями выбора того или иного порогового балла.
В любом измерении первоначально результаты испытуемых получают в виде сырых баллов, которые подсчитывают как простую сумму дихотомических и политомических оценок по заданиям отдельных компонентов измерителя. При переходе к производным баллам, обеспечивающим удобство интерпретации результатов испытуемых при аттестации, приходится принимать решения о выборе шкалы. Вид шкалы определяется не только и, даже, не столько путем соглашений, сколько зависит от методологии измерений, выбранной в качестве основополагающей при разработке и применении измерителя. Если используется классическая теория измерений, то производная шкала может быть лишь порядковой или номинальной. Обращение к теории ГОТ позволяет получить производные баллы в метрической шкале логитов.
Значение при принятии решения о выборе теории имеет не уровень измерений, а особенности теории ГОТ, которая обладает важным преимуществом, связанным с возможностью представления оценок параметров подготовленности испытуемых и трудности заданий измерителя в единой шкале логитов [2]. Поскольку компетентностный подход предполагает построение уровневой шкалы, позволяющей выделить диапазоны освоения компетенций, то преимущество теории ГОТ приобретает особую важность. На уровневой шкале располагаются величины логитов, переведенные в стобалльную шкалу, и оценки трудности заданий с соответствующими номерами. Поскольку единицы измерения одинаковые, можно соотнести трудность заданий отдельных компонент измерителя с нужными диапазонами шкалы и планируемыми диапазонами освоения компетенций. Таким образом, перевод в единую шкалу логитов
оценок параметров трудности заданий многостадийных измерителей и оценок компетентности студентов, в основном, предназначается для выравнивания компонентов измерителя по трудности на этапе разработки инструментария для эвалюации.
Дальнейшие шаги должны быть предназначены для установления пороговых баллов и классификация испытуемых по диапазонам компетентности. Среди наиболее часто применяемых подходов к установлению порогового балла часто называют метод Ангофа (Ап§ой:), метод Недельски (КеёеЬку) и их различные модификации. Однако они не могут применяться непосредственно для установления пороговых баллов при многостадийных измерениях, когда оценки испытуемых являются комбинацией результатов по отдельным стадиям измерений. Таким образом, ни метод Ангофа, ни метод Недельски не могут быть применены к составным оценкам, что не исключает их использование для установления пороговых баллов по каждому компоненту измерителя отдельно.
Существует три общие стратегии, которые можно положить в основу разработки подхода к установлению пороговых баллов при многостадийных измерениях [3]. Это дизъюнктивная стратегия, конъюнктивная стратегия и компенсационная стратегия. В дизъюнктивной и конъюнктивной стратегиях стандарты выполнения измерителей устанавливаются отдельно по индивидуальным баллам по каждому компоненту измерителя. В компенсационной стратегии для установления стандартов выполнения измерителей используются составные оценки, отражающие результаты выполнения всего измерителя.
В рамках первой дизъюнктивной стратегии студенты классифицируются как полностью прошедшие за пороговый балл, если они выполнили любой из компонентов измерителя, с помощью которого они оцениваются. Этот подход вполне подходит в тех случаях, когда в измерителе в качестве составляющих его компонентов используются параллельные формы или компоненты несколько по-разному, как полагают разработчики, измеряют одну и ту же переменную. Дизъюнктивный подход редко используют на практике, за исключением тех случаев, когда в программах аттестации студентам позволяют забирать неудачно выполненные тесты или их части до тех пор, пока они не наберут достаточно баллов для превышения стандарта выполнения измерителя. Такое ограниченное применение вполне объяснимо недостаточной обоснованностью принимаемых аттестационных решений. Например, применение дизъюнктивной стратегии к ситуации, когда при многостадийных измерениях выделяются диапазоны освоения учебного материала (минимальный уровень, базовый уровень и продвинутый уровень или другие), приведет студента, прошедшего за пороговый балл по любому компоненту измерителя, к его помещению в самую высокую категорию - для данного примера - продвинутый уровень. Поэтому данный подход не годится при проведении аттестации выпускников вуза на основе многостадийных измерений.
В конъюнктивной стратегии студенты относятся к категории прошедших за пороговый балл в многостадийных измерениях только в том случае, если они преодолели пороговые баллы каждого компонента измерителя. Использование конъюнктивной стратегии представляется наиболее адекватным той ситуации, когда компоненты измерителя оценивают различные конструкты или аспекты одного конструкта, являющегося переменной измерения. Этот подход мало эффективен при аттестации, поскольку требуется значительная работа по классификации студентов на каждом уровне компетентности. Однако при наличии достаточного времени и кадрового состава экспертов его можно принять, поскольку в нем уделяется значительное внимание оцениванию всех требований ФГОС, отображенных в многостадийном измерителе, что и требуется для принятия обоснованных аттестационных решений. Применение конъюнктивной стратегии при выделении на шкале нескольких уровней компетентности будет приводить к тому, что множество студентов попадет на уровень
минимальной компетентности в том случае, если они не справились хотя с одним из компонентов измерителя.
Компенсационная стратегия позволяет классифицировать студентов как прошедших за пороговый балл в многостадийных измерениях на основе комбинации результатов выполнения (прохода за пороговый балл) отдельных компонентов измерителя. В компенсационном подходе данные объединяются с помощью определенных алгоритмов суммирования, который допускает получение высоких баллов (выше порогового балла) по одним компонентам измерителя и одновременное получение низких баллов (ниже порогового балла) по другим. Использование компенсационной стратегии возможно в тех случаях, когда важна совокупная оценка результатов студентов, но решение об аттестации студента нельзя принять по результатам выполнения одного из компонентов измерителя, поскольку ни один из них не имеет самостоятельного значения.
Именно компенсационный подход был выбран для установления пороговых баллов по измерителям, разрабатываемым во РГУПС. При определении баллов для компонент измерителя будет использован метод Недельски (пригоден только для заданий с выбором ответов) и метод Эбеля (пригоден для заданий с конструируемым ответом). На основе эмпирических результатов, полученных на выборке студентов 3-го курса, проводилась апробация методики шкалирования результатов многостадийных измерений в рамках компетентностного подхода, разработанной во РГУПС.
Первоначально осуществлялся подсчет сырых баллов испытуемых по каждому компоненту и по всему измерителю. Затем проводилось преобразование сырых баллов в шкалу логитов, занимающей диапазон от -5 до +5. Построение распределения оценок параметров трудности заданий и компетентности испытуемых в единой шкале логитов позволило провести коррекцию трудности заданий компонентов измерителя таким образом, чтобы задания первого компонента измерителя, имеющие форму с множественным выбором, занимали по трудности нижний диапазон шкалы. Задания с конструируемым ответом были скорректированы таким образом, чтобы они по трудности заняли средний диапазон шкалы логитов в двухсторонней окрестности точки шкалы 0 логитов. Задания мини-кейсов были сделаны наиболее трудными и оценки их трудности пришлись на верхнюю часть шкалы логитов. Анкетные данные, полученные на четвертом этапе измерений, использовались исключительно в целях сбора контекстной информации для интерпретации результатов внедрения ФГОС в учебный процесс вуза.
Перевод оценок шкалы логитов в целые числа в стобалльной шкале позволил повысить интерпретируемость результатов и соотнести их с диапазонами, соответствующими уровням компетентности на стобалльной шкале. На ней экспертным методом были выделены 3 уровня компетентности. По заключениям экспертов интервал шкалы от 0 баллов до 30 баллов, включительно, соответствует минимальному уровню компетентности, интервал (30; 70] - диапазон базовой компетентности и интервал (70; 100] - диапазон высокой компетентности. Задания распределились следующим образом: задания первого компонента измерителя с выбором ответов по оценкам параметра трудности попали в интервал (-5; -2) логита, задания с конструируемыми ответами имели оценки трудности в интервале (-2; +2) логита и задания мини-кейсов по оценкам параметра трудности соответствовали интервалу (+2; +5) логитов. В результате двукратной коррекции измерителя, проделанной его разработчиками, задания первого компонента измерителя оказались соответствующими диапазону минимальной компетентности, задания второго компонента с конструируемым ответом - диапазону базовой компетентности, а задания мини-кейсов предназначались для диапазона высокой компетентности.
Таким образом, при шкалировании и интерпретации результатов оценивания выпускников вуза предполагается использовать единую комплексную систему, основанную на научно-обоснованной технологии шкалирования в многостадийных
измерениях и адекватную модели измерения. В целом, предлагаемые инновации приводят к существенной перестройке контрольно-оценочной системы в вузе. Хотя это означает немалую работу для преподавателей по освоению новой деятельности, но она необходима для обеспечения конкурентоспособности отечественного образования
Литература
1. Гуськова М.В., Звонников В.И. Педагогические измерения в современных системах оценки качества образования // Сборник нормативных, инструктивно-методических и информационных материалов «Гарантии качества профессионального образования». - М.: РАНХиГС, 2012. - С. 90-97.
2. Звонников В.И. Измерения и качество образования. - М.: Логос, 2006. -
312 с.
3. Звонников В.И., Челышкова М.Б. Оценка качества результатов обучения при аттестации: компетентностный подход. Изд. 2-е, перераб. и допол. - М.: Логос, 2012. - 280 с.
4. Звонников В.И., Челышкова М.Б. Оценка компетентности менеджеров // Высшее образование сегодня. 2013. № 4.
В.Г. Антонов Е.М. Ефимова
КОНЦЕПТУАЛЬНЫЕ ОСНОВЫ РАЗРАБОТКИ СТРАТЕГИИ И ОЦЕНКИ СТРАТЕГИЧЕСКОГО ПОТЕНЦИАЛА УНИВЕРСИТЕТА
THE CONCEPTUAL BASIS FOR THE DEVELOPMENT OF STRATEGY AND EVALUATION OF THE STRATEGIC POTENTIAL OF THE UNIVERSITY
Аннотация: главным содержанием новой, системной концепции управления конкурентоустойчивостью университета является переход к стратегическому управлению. Автором раскрыта экспериментально апробированная концептуальная схема управления образовательным учреждением на основе восьми макроподсистем или направлений деятельности, которая позволяет применить системный подход в стратегическом управлении университетом. В статье отмечено, что с теоретической и методологической точки зрения более проработанными являются вопросы разработки стратегии университета. Для оценки стратегического потенциала университета в статье предложена адаптированная британско-российская методика оценки стратегического потенциала компаний, в основе которой Базовая многофакторная модель анализа качества целеполагания, ресурсной базы и эффективности системы в достижении результатов. Использование данной методики, по мнению автора, даст возможность провести явную градацию по уровню востребованности того или иного высшего учебного заведения и, следовательно, выявить наиболее перспективные направления, требующие интенсивного развития и государственной поддержки.
Ключевые слова: стратегия университета, стратегическое управление университетом, стратегический потенциал, внешняя среда, внутренняя институциональная среда, базовая многофакторная модель университета.
Abstract: the main content of the new, system management concepts konkurentoustoychivostyu University is the transition to strategic management . The author
© В.Г. Антонов, Е.М. Ефимова, 2013
