CC BY
73
Приглашаем к дискуссии
Л.А. ЖИГУН
Оценочный потенциал методики ФЭПО-5
Даются анализ и оценка возможностей выявления уровня освоения студентами дидактических единиц дисциплин и его соответствия требованиям ГОС ВПО посредством Федерального Интернет-экзамена.
В качестве средства внешней оценки уровня подготовки студентов российских вузов на соответствие требованиям государственных образовательных стандартов (ГОС) Национальное аккредитационное агентство в сфере образования (Росаккредагентство) предложило введение Федерального экзамена (ФЭПО) в сфере высшего профессионального образования (ВПО) по совокупности образовательных программ или одной образовательной программе. Его основу представляет применение компьютерного Интернет-тестирования посредством аттестационно-педагогических измерительных материалов (АПИМ).
Разработчики Интернет-тестирования считают, что цель ФЭПО -объективно оценить степень соответствия содержания и уровня подготовки студентов требованиям ГОС ВПО. Критериальной основой оценки служит сравнение результатов освоения стандарта студентами данного вуза с результатами других вузов по укрупненным группам специальностей (УГС).
Результаты ФЭПО оформляются в виде информационно-аналитической карты, содержащей материалы, предназначенные для принятия решений в системе внутривузовского управления качеством подготовки, а также при самообследовании для комплексной оценки вуза.
Предполагается, что участие вузов в ФЭПО способствует созданию системы обеспечения качества подготовки студентов на основе независимой внешней оценки.
Причиной введения ФЭПО послужило применение вузами разных тестовых материалов с различными критериальными показателями, не позволяющими корректно сравнивать полученные результаты не только с результатами других вузов, но даже порой и с главным критерием - государственными образовательными стандартами.
Методологическую основу ФЭПО представляют «критериальноориентированные тесты» (Domain Referenced Testing). Их коррект-
ными синонимами служат термины «образовательные» или «дидактические». Подобные тесты имеют ряд функциональных ограничений. Как отмечает В.С. Аванесов, в случае применения «критериально-ориентированных тестов» невозможно говорить о тестах как методе объективного и эффективного измерения испытуемых с разным уровнем подготовленности в строгом смысле понятия «тест». Этот подход выработан для органов управления образованием, стоящих перед необходимостью в короткое время проверить состояние образования в большом количестве учебных заведений и не позволять последним опускаться ниже предельно допустимого уровня требований [1]. Тестирование выступает в качестве инструмента диагностирования уровня развития в освоении дидактических единиц (ДЕ), достигнутого специалистами в ходе обучения.
Вывод по результатам ФЭПО-тестирования выстраивается вдоль логической цепочки: задания-ответы-выводы о соответствии испытуемого заданному критерию. Под критериально-ориентированной интерпретацией имеется в виду сравнение содержания аттестационных материалов с результатами тестирования и вывод - что из заданного стандарта (в смысле требований) и на каком уровне реально усвоено. Здесь ответы оцениваются относительно не всей области (Domain) требуемых знаний, а только ограниченной конкретным стандартом или уровнем (критерием) знаний. Интерпретация полученных результатов ведется на языке учебной дисциплины, но уже преимущественно работниками органов управления образованием и теми педагогами, на мнения которых управленцы опираются при аттестации [1].
По мнению Джефри Вялфорда, критериально-ориентированные педагогические тесты применяются для того, чтобы интерпретировать результат тестирования в соответствии с уровнем обученности испытуемых на хорошо определенной области содержания аттестации результатов испытуемого в соответствии с областью определенных знаний, умений и навыков (ЗУНов). Он полагает, что результаты критериально-ориентированного тестирования могут быть использованы с целью:
оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения;
отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции;
оценки эффективности программы обучения в том или ином учебном заведении [2].
Вместе с тем критериально-ориентированное тестирование по АПИМ ФЭПО не обеспечивает оценки всей полноты требований к уровню подготовки выпускника по специальности. Например, в основной образовательной программе (ООП) по специальности 080507.65 «Менеджмент организации» к числу требований по уровню подготовки специалиста относятся: 1) приобретение теоретических знаний,
трансформированных в представления; 2) понимание экономических процессов в современном мире, их связи с другими процессами, происходящими в обществе; 3) формирование комплекса умений сознательного выполнения требуемых действий, связанных со специальностью; 4) владение навыками профессиональной аргументации при разборе стандартных ситуаций в сфере предстоящей деятельности, самостоятельного освоения новых знаний на основе современных образовательных технологий.
Опыт проведения в ТГЭУ ФЭПО-5 по предложенным Росаккре-дагентством АПИМ показывает, что тесты к дисциплине «Менеджмент» позволяют оценивать лишь первый и второй пункты требований, т. е. знания, представления, понимание. Кроме того, АПИМ ФЭПО-5 также позволяют оценить качество соответствия преподавания в вузе дисциплин, предусмотренных ГОС ООП, его требованиям по укрупненным дидактическим единицам. Однако оценки по третьему и четвертому пунктам ГОС ООП специальности оказываются вне досягаемости критериально-ориентированного тестирования по АПИМ.
В ходе самообследования ТГЭУ по технологии ФЭПО-5 экзамену по дисциплине «Менеджмент» были подвергнуты 193 студента семи ООП (табл. 1). Общий объем заданий АПИМ на ФЭПО-5 для конкретных ООП колебался от 18 до 22. Предел времени тестирования для каждого испытуемого составлял 45 мин.
Таблица 1
Факторы, повлиявшие на Интернет-экзамен в ТГЭУ по дисциплине «Менеджмент», май 2007 г.
Фактор Номер студенческой группы
132К 131 121А 122 А 121Ст 132Б 131Б 121Ф 521МО
Количество заданий в АПИМ, ед. 18 22 22 22 18 22 22 22 18
Общая продолжительность тестирования, мин 593 666 676 733 766 440 707 711 460
Численность тестируемых, чел. 20 19 25 22 18 13 27 28 21
Количество правильно выполненных заданий, ед. 265 304 398 346 227 206 412 418 292
Количество дидактических единиц 4 5 5 5 4 5 5 5 4
На сайте информационно-методической поддержки Интернет-экзамена ФЭПО-5 оценочный критерий на уровне, соответствующем требованиям ГОС в освоении дисциплины, имеет значение 50 %, т. е. не менее половины студентов должны освоить все дидактические единицы дисциплины, чтобы аттестовать оцениваемую ООП [3]. Для проверки гипотезы о соответствии величины показателя освоения дисциплины критериальному значению введено критическое значение показателя освоения дисциплины, зависящее, в частности, от количества тестируемых. Если значение показателя освоения дисциплины для данной ООП выше критического, то не отвергается гипотеза о равенстве показателя освоения дисциплины критериальному значению. В модели оценки выполнения ГОС в качестве критериального значения принята величина 50 %, а критическое значение показателя освоения дисциплины рассчитывается с надежностью 0,9 и составляет 45 %.
Итоговая оценка уровня подготовки студентов ТГЭУ на соответствие требованиям ГОС ООП по дисциплине «Менеджмент» была осуществлена Национальным аккредитационным агентством в сфере образования Рособрнадзора по доле студентов тестируемых групп, ответивших на 100 % дидактических единиц. По различным ООП он варьировал от 59 до 90 %, что по заключению агентства соответствует требованиям ГОС (табл. 2).
Таким образом, согласно методике, поддерживаемой Федеральной службой по надзору в сфере образования и науки, уровень подготовки студентов по дисциплине «Менеджмент» семи ООП ТГЭУ, представленных в табл. 2, соответствует требованиям ГОС.
Из четырех возможных типов заданий АПИМ включал только два: 1) закрытые и 2) на соответствие. Такие задания позволяют выявлять знания и - за редким исключением - представления, поскольку АПИМ в лучшем случае включали от 1 до 2 заданий второго типа. Однако второй тип заданий в общих результатах тестирования не выделялся. Следовательно, формально можно было оценивать только знания тестируемых.
Как отмечалось, критериальной основой оценки служит сравнение результатов освоения стандарта ООП студентами проверяемого вуза с результатами других вузов. На рис. 1 приведена диаграмма такого сравнения в форме ранжирования показателей освоения дисциплины для ООП вузов по УГС 030000 «Гуманитарные науки»; 080000 «Экономика и управление». На ней представлены результаты освоения дисциплины «Менеджмент» на соответствие требованиям ГОС для 492 ООП из 299 вузов, участвовавших в Интернет-экзамене. Серым тоном выделены результаты участников Интернет-экзамена в статусе «университет» или «академия». Показатели освоения ГОС для ООП вуза Тихоокеанский государственный экономический университет выделены темным тоном и на общем фоне находятся: для ООП 080507.65, 080111.65, 080502.65 - в первой четверти выборки; для ООП 080601.65, 080301.65, 080105.65, 080109.65 - в средней части выборки.
Таблица 2
Сводные результаты Интернет-экзамена в ТГЭУ по дисциплине «Менеджмент», май 2007 г.
Дидактическая единица Освоение ДЕ ГОС ООП студентами, %
080301.65 «Коммерция (торговое дело)» С ти етк кар | 5 6. 01 8 0 а £ я о а э нии о К £ « й К * § 1 - ^1 ^ ~ к ° 8 ев 05 на 8 0 китис ита т О 5 6. 01 6 0 8 0 080109.65 «Бухгалтерский учет, анализ и аудит» 080105.65 «Финансы и кредит» 080507.65 «Менеджмент организации»
Основы управления организацией 95 89 96 95 89 100 78 86 100
Функции менеджмента 95 95 92 100 83 92 93 82 100
Разработка управленческого решения 95 100 100 95 100 - - 93 100
Организационные процессы 80 95 100 86 94 100 93 93 90
Управление персоналом - 89 88 100 - 100 85 - -
Особенности менеджмента отдельных видов деятельности и отраслей - - - - - 69 89 82 -
Итого ДЕ, % 70 79 80 77 72 62 59 61 90
Построение диаграммы ранжирования ООП на рис. 1 только фиксирует значения результирующего показателя, не давая представления о том, при каких нормативных требованиях они должны быть получены и какова реальная ситуация в освоении требований ГОС, формирующих саму рейтинговую диаграмму. Она всего лишь демонстрирует уровень отдельных ООП в интервале от 0 до 100 % освоения ДЕ на фоне других вузов. Подобные диаграммы не могут дать ответа на вопрос, насколько плохо или хорошо обстоит дело в вузе и в целом по всем вузам с освоением требований ГОС к дисциплине.
ООП
1П 1Л1Л 1Л1П 1Л 1Л
40 40 40 40 40 40 40
100 (N ^ 0 0 10 сК
О 0^00 оо
in 4om
Рис. 1. Диаграмма ранжирования показателей освоения дисциплины «Менеджмент» для ООП вузов - участников Интернет-экзамена
Для обобщения характера освоения ООП целесообразно построение моделей теоретического распределения по уровням освоения дисциплины. На рис. 2 показаны такие модели применительно к 492 ООП по России и 7 ООП ТГЭУ в масштабе, приведенном к 492 ООП. Они равны друг другу по площади, но отличаются по форме в силу качественно различающихся условий их формирования. В результате отличительные особенности в распределениях уровней освоения ООП становятся сопоставимыми по ряду существенных показателей: вариационному размаху, скосу, эксцессу и стандартному отклонению.
Сопоставление теоретических распределений показывает, что размах в основании распределения по 492 ООП почти вдвое шире (от -30 до 120 %), чем по ТГЭУ (от 30 до 110 %). Напротив, вершина распределения по ТГЭУ (частота 196) более чем вдвое выше распределения по 492 ООП (частота 80) и при этом существенно смещена от центра вправо (72 %). Скос вправо от нормального распределения наблюдается по обоим теоретическим распределениям. Однако скос по 492 ООП незначителен (0,02076), что в процентном отклонении от идеального центра составляет 2,5 %. Скос по ТГЭУ (0,2668) приводит к качественному преобразованию распределения, перемещая его от идеального центра на 22 % вправо. Благодаря этому доля дисциплин, превышающих критериальный уровень (50 %), составляет 97 %, тогда как по России - только 47,5 %.
Обе вершины по высоте существенно отклоняются от уровня нормального распределения. Так, эксцесс по 492 ООП равен -0,90135. Следовательно, его вершина значительно ниже вершины нормального
распределения. Эксцесс распределения по ТГЭУ равен -0,53469. Это указывает на то, что хотя его вершина также расположена ниже нормального распределения, все же она существенно ближе к нему.
Уаг 1 = Распределение по 7 ООП ТГЭУ
Освоение дисциплины, %
Рис. 2. Модели распределения уровней освоения дисциплины «Менеджмент» для ООП вузов - участников Интернет-экзамена
В целом среднее значение вариации по ТГЭУ (72,1 %) превышает критериальное (50 %) в 1,44 раза, тогда как по России - лишь в 1,05 раза. Тем самым результаты освоения дисциплины «Менеджмент» в ТГЭУ внешне выглядят существенно лучше общероссийских. Вместе с тем проверка эмпирических значений по правилу 6о показывает большую неоднородность распределения результатов относительно нормального распределения и в ТГЭУ - 1,78 раза (10,68/5,5), и по России - 1,5 раза (25/16,7). Следовательно, хотя средние результаты уровней освоения дисциплины «Менеджмент» в ТГЭУ лучше, тем не менее устойчивость их формирования заметно уступает не только требованиям нормального распределения, но и условиям, реально сложившимся в России. Кроме того, расчет оптимальных значений уровня освоения показывает, что по России он равен 96,2 %, а по ТГЭУ - только 74,6 %. Таким образом, и относительно оптимальной оценки уровень освоения дисциплины «Менеджмент» в ТГЭУ уступает общероссийскому.
В целом оценка соответствия требованиям ГОС только по критериальному уровню в 50 % нам представляется неполной, т. к., безусловно, указывает лишь пороговый уровень, допустимый в освоении дисциплин. Он удовлетворяет требованиям отраслей народного хозяйства, функционирующим в условиях, не превышающих традиционно сложившиеся. Этот уровень (50 %) неприемлем для оценки уровня подготовки специалистов, удовлетворяющего более высоким запросам современных инновационных отраслей. Такому повышен-
ному уровню может соответствовать значение не менее пропорции «золотого сечения» - 62 % из 100 %. С учетом вероятности его достижения 95,4 % допустимое отклонение от него не должно быть ниже 60 %.
На основании изложенного полагаем целесообразным наряду с критерием равным 50 % («соответствует требованиям ГОС») ввести показатель на уровне 60 % («удовлетворяет инновационным требованиям отраслей»), осуществлять оценку устойчивости результатов, демонстрирующих освоение ООП на соответствие ГОС, а также производить расчет оптимального уровня освоения дисциплины.
Основой ФЭПО-5 для анализа результатов педагогических измерений по отдельным ООП служат рейтинг-листы - первичные результаты тестирования в виде списков тестируемых, упорядоченных по проценту выполнения заданий теста. По ним рекомендуется строить гистограмму плотности распределения результатов педагогических измерений. По гистограмме производится оценка плотности распределения данных по проценту набранных баллов. Каждый столбик на гистограмме (рис. 3) показывает число студентов, результаты оценки которых лежат в 5%-ном интервале.
35 30 я 25 н 20
н
8
¡Г1
15
10
5
0
33
29 28 31
21
16
9 10 9
1 2 2 1 1 0 0 0 0 1 0 1 —1—1—1— 1—1 1 1 1 11 1 11—11 1
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
Выполненные задания, %
Рис. 3. Гистограмма плотности распределения результатов педагогических измерений по всей совокупности тестируемых ТГЭУ
По гистограмме оценивается характер распределения результатов для выбранной группы тестируемых, и могут быть выделены подгруппы студентов с различным уровнем подготовки. Для студентов, освоивших дисциплину на уровне требований ГОС, гистограмма должна быть смещена в сторону высоких процентов выполненных заданий (т. е. большинство результатов - выше 70 %). По результатам тестирования в ТГЭУ таких студентов оказалось 106 чел. (54,9 %). Таким
образом, опираясь на методику оценки результатов ФЭПО-5 по АПИМ, следует утверждать, что более половины студентов, подвергнутых тестированию, освоили дисциплину на уровне требований ГОС. Между тем, как отмечалось выше, по предложенным тестам можно оценить только уровень знаний, т. е. всего лишь часть требуемого по ГОС уровня подготовки.
После оценки гистограммы методикой ФЭПО-5 рекомендуется приводить таблицу разбиения плотности результатов по 4 интервалам (до 40 %, от 40 до 60 %, от 60 до 80 % и от 80 % и выше) (табл. 3). Методикой указывается, что результаты педагогических измерений в этих интервалах могут соответствовать шкале «неудовлетворительно-удовлетворительно-хорошо-отлично». Таблица 3 дополнена нами этими оценками.
Таблица 3
Разбиение плотности результатов по 4 интервалам
Выполненные задания, % Количество студентов Оценка плотности результатов
чел. %
От 80 до 100 47 24 Отлично
От 60 до 80 121 63 Хорошо
От 40 до 60 24 12 Удовлетворительно
До 40 1 1 Неудовлетворительно
Всего 193 100
Предложенная методикой ФЭПО-5 градация используется в ходе традиционной оценки освоения дисциплин на соответствие требованиям ГОС. В этом случае, вопреки предыдущей рекомендации порогового значения в 70 %, уже не 54,9, а 87 % протестированных могут быть оценены как овладевшие знаниями на хорошем и отличном уровне, что ставит под вопрос либо качественные характеристики предлагаемой ФЭПО-5 шкалы оценок, либо интервал изменения уровней предлагаемых критериев.
Более того, в обычной практике, даже если знания студента оценены на «удовлетворительно», то считается, что он владеет достаточным уровнем подготовки, требуемым по ГОС. Тогда, руководствуясь традиционной пороговой оценкой «удовлетворительно», можно утверждать, что уже не 54,9, а 99 % тестируемых освоили дисциплину на уровне требований ГОС.
Таким образом, разбиение плотности результатов по 4 интервалам без учета 70%-ного критерия выполненных заданий АПИМ приводит к противоречию внутри самой методики оценки результатов ФЭПО-5 на соответствие уровня подготовки студентов требованиям ГОС.
Следующим шагом методики ФЭПО-5 служит построение графика карты коэффициентов решаемости заданий по темам. Этот график (рис. 4) предназначен для содержательного анализа
уровня подготовки студентов по контролируемым темам дисциплины. По вертикальной оси отложены значения коэффициентов решаемости заданий, номера которых указаны по горизонтальной оси (названия тем см. в табл. 5).
Номер задания
Рис. 4. Карта коэффициентов решаемости заданий по темам для ООП 080109.65: 1 - ООП 080109.65 ТГЭУ; 2 - обобщенные результаты по 76 вузам
Как видно из рис. 4, значения коэффициентов решаемости заданий по 22 темам для ООП 080109.65 «Бухгалтерский учет, анализ и аудит» у студентов ТГЭУ в основном превышают обобщенные результаты тестирования по аналогичной программе в 76 вузах России. Только по трем заданиям (12, 17, 19) они незначительно ниже.
В методической поддержке к ФЭПО-5 указывается, что эта процедура используется для оценки освоения дисциплины на соответствие уровню требований ГОС. В случае соответствия ГОС «все задания должны иметь коэффициент решаемости не ниже 0,7». Следует заметить, что в подобной редакции произведена подмена понятия «тема» понятием «задание». В целом же при установленном пороговом значении 0,7 решаемость по 8 темам (38 %) из 22 была оценена так: «решались на невысоком уровне». Как такая оценка соотносится с требованиями ГОС, заключением Рособрнадзора не объясняется.
В связи с этим возникает резонный вопрос, заключающийся в следующем.
Для анализа решаемости заданий по результатам тестирования методикой ФЭПО-5 предлагается строить таблицу разбиения решаемости заданий по 3 уровням их трудности (табл. 4).
Таблица 4
Разбиение решаемости 22 заданий АПИМ ООП 080109.65 по уровням их трудности
Коэффициенты решаемости заданий Задания Оценка уровня трудности заданий
Кол-во заданий %
[0,7; Ц 14 64 Легкие
[0,4; 0,7] 8 36 Средней трудности
[0; 0,4] 0 0 Повышенной трудности
При анализе результатов педагогических измерений по карте коэффициентов решаемости методикой ФЭПО-5 рекомендуется придерживаться следующей классификации уровней трудности заданий: легкие задания - коэффициент решаемости от 0,7 до 1,0; задания средней трудности - от 0,4 до 0,7; задания повышенной трудности -менее 0,4. Таблица 4 дополнена нами этими оценками.
Таким образом, 64 % заданий АПИМ по темам 2, 3, 5, 6, 8, 9, 11, 13-16, 18, 20, 22 оказались легкими для тестируемых ТГЭУ. Задания по темам 1, 4, 7, 10, 12, 17, 19, 21 были средней трудности. Полученные оценки уровня трудности позволяют устанавливать и уровень трудности дидактических единиц, представленных в табл. 5. Так, его вариация по ТГЭУ приводит к трем уровням трудности с коэффициентами 0,25 (легкие: ДЕ-3, ДЕ-4), 0,33 (средней трудности: ДЕ-2) и 0,5 (трудные: ДЕ-1, ДЕ-5).
Вместе с тем по заключению Рособрнадзора решаемость номеров заданий к темам, получивших коэффициент менее 0,7, оценена не как средней трудности, а как выполненная на невысоком уровне. Следовательно, между оценкой, применяемой Росаккредагентством, и рекомендуемыми им оценками налицо несоответствие. Оно возникает из неясности того, как между собой соотносятся карта коэффициентов решаемости заданий по темам и предлагаемая таблица по оценке трудности заданий.
Другое несоответствие наблюдается при построении карты коэффициентов решаемости. В частности, по горизонтальной оси вместо обозначения «Номер темы» применено обозначение «Номер задания». Следовательно, вновь производится подмена понятий - «тема» на «задание». В тематической же структуре АПИМ применяется словосочетание «Тема задания» (табл. 5).
Есть и еще одно несоответствие. Так, целью ФЭПО-5 заявлено осуществление оценки ООП, а в действительности результаты решаемости заданий приводятся по группам вузов, а не ООП.
Таким образом, рекомендации к ФЭПО-5 вызывают следующие вопросы. Во-первых, для чего вводится показатель «уровень трудности заданий» и каким образом он связан с требованиями ГОС? Насколько известно, в требованиях ГОС он нигде не приводится.
Во-вторых, почему предлагается оценивать только легкие задания (значение коэффициента решаемости заданий 0,7 и выше) в качестве удовлетворяющих уровню требований ГОС и исключать из оценки решение заданий средней и повышенной трудности? Чем обусловлено, что по методике ФЭПО-5 специалисты не должны уметь решать задания средней и повышенной трудности? Применение порогового значения решаемости заданий в целом приводит к искажению оценки уровня освоения дидактических единиц ГОС ВПО по ООП.
В-третьих, почему на карте коэффициентов решаемости заданий по темам даже не обозначается необходимость осуществления анализа освоения тестируемыми приведенных в ней тем проверяемой дисциплины?
Нам представляется, что вариация в карте решаемости заданий только при специальной регистрации и определенном образе подбора тестов может давать информацию о трудности заданий. В своей обычной форме она указывает на равномерность освоения тем дисциплины и позволяет судить о степени ориентированности кафедр вузов в организации учебного процесса на соблюдение требований ГОС по полноте состава дидактических единиц, освоенных тестируемыми. Отвлечение же внимания на оценку трудности заданий по предлагаемой к его применению методике, по нашему мнению, не только частный вопрос - он выходит за рамки задач, связанных с проверкой соблюдения требований ГОС. В нем произведена подмена задачи оценки «освоенности тем» на оценку трудности «заданий». В результате он представляет напрасную трату усилий, приводящих к противоречащим логике выводам.
Предложение. Если руководствоваться логикой здравого смысла в оценке решенных заданий, то задания повышенной трудности должны иметь поправочный коэффициент равный 1,0; задания средней трудности - 0,6 и легкие задания - 0,4. Исходя из такого подхода, суммарный коэффициент решаемости заданий по ООП 080109.65 составит 0,47. Такое его значение указывает, что около половины студентов способны решать задания любой трудности. Тем самым корректнее осуществлять оценку выполнения АПИМ по суммарному коэффициенту решаемости с оценкой уровня способности студентов решать задания любой трудности.
Примененные в ФЭПО-5 задания отчасти позволяют оценить полноту охвата ДЕ, предусмотренных ГОС ВПО в уровне подготовки специалистов, продуктивность и эффективность их ответов. Основанием к нему служит пороговое значение коэффициента правильно выполненных заданий. Началом этого этапа оценки полноты охвата ДЕ является построение карты коэффициентов освоения ДЕ дисциплины (рис. 5). Она имеет вид, аналогичный виду карты решаемости отдельных заданий, и позволяет проанализировать освоение выделенных для контроля ДЕ дисциплины. Форма группи-
ровки заданий по ДЕ и соответствующие значения критерия освоения ДЕ представлены в структуре педагогических измерительных материалов (табл. 5).
Номер ДЕ
Рис. 5. Карта коэффициентов освоения ДЕ дисциплины «Менеджмент» по ООП 080109.65 «Бухгалтерский учет, анализ и аудит»
Значения коэффициентов освоения ДЕ дисциплины выражаются через долю студентов, преодолевших критерий освоения конкретной ДЕ дисциплины. Как правило, в качестве критерия берется выполнение не менее 60-70 % заданий из их общего числа в ДЕ. Вместе с тем у тестируемых по ООП 080109.65 «Бухгалтерский учет, анализ и аудит» встречаются результаты, когда регистрируется освоение ДЕ 100 % всего лишь при 54 % правильно выполненных заданий (12 из 22). Такое возможно только в случае, когда из пяти ДЕ в четырех выполнено по 50 % и в одной - 60 % заданий.
В методических рекомендация говорится, что для группы студентов, освоивших дисциплину на уровне требований ГОС, коэффициенты освоения ДЕ должны быть не ниже 0,8. Тем не менее в рамках проводимого эксперимента критерий освоения ДЕ был понижен, что позволило провести сравнение показателя освоения ГОС для ООП вузов -участников эксперимента. Вероятно, поэтому по ООП 080109.65 «Бухгалтерский учет, анализ и аудит» в 1-й и 6-й дидактических единицах уровень освоения по табл. 2 составляет только 78 и 69 %.
Следующим шагом в методике служит построение графика освоения дисциплины на основе выполнения совокупности ДЕ (рис. 6). Этот график представляет собой построение кумуляты по частоте освоения ДЕ. В рекомендациях к ФЭПО-5 говорится, что он предназначен для анализа уровня подготовки студентов данной ООП в целом по дисциплине на соответствие требованиям ГОС. Однако в заключении Рособрнадзора график строится не по ООП, реализуемой в вузе, а отдельно по каждой из тестируемых групп.
Таблица 5
Тематическая структура АПИМ ООП 080109.65
Номер ДЕ Наименование дидактической единицы ГОС Номер задания Тема задания
1 Основы управления организацией: к=0,85 1 Введение в менеджмент
2 Природа управления и исторические тенденции его развития
3 Организация как система управления
4 Методология менеджмента
2 Функции менеджмента: к=0,925 5 Сущность и классификация функций менеджмента
6 Планирование и прогнозирование в системе менеджмента
7 Организация как функция менеджмента
8 Мотивация деятельности в менеджменте
9 Координация и контроль в системе менеджмента
10 Эффективность менеджмента
3 Организационные процессы: к=0,95 11 Информационно-коммуникационное обеспечение менеджмента
12 Власть и влияние
13 Управление конфликтами в организации
14 Самоменеджмент и имидж руководителя
4 Управление персоналом: к=0,90 15 Основы управления персоналом
16 Кадровая политика в организации
17 Функции кадровой службы в организации
18 Управление карьерой в организации
5 Особенности менеджмента отдельных видов деятельности и отраслей: к=0,825 19 Функциональное управление организацией и отраслевые особенности менеджмента
20 Стратегический менеджмент
21 Инновационный менеджмент
22 Международный менеджмент
Построение графика производится в системе координат, где ординатой служит накопленный процент студентов по данным рейтинг-листа либо теоретической модели, изменяющийся от 0 до 100 %, а абсциссой - количество освоенных ими ДЕ дисциплины.
Точка с наименованием «Модель критерия освоения дисциплины» соответствует 50 % студентов, полностью освоивших все ДЕ дисциплины.
Количество освоенных ДЕ
—•— Экспериментальная кривая —Модель критериальной кривой 5 ДЕ
Рис. 6. График освоения дисциплины на основе выполнения совокупности ДЕ по ООП 080109.65 «Бухгалтерский учет, анализ и аудит»
На рис. 6 доля студентов, освоивших дисциплину в полном объеме на уровне требований ГОС, выше критерия освоения дисциплины. Исходя из методических рекомендаций это означает, что уровень подготовки студентов ООП 080109.65 соответствует требованиям ГОС по дисциплине «Менеджмент» согласно модели освоения совокупности ДЕ.
Построение графиков освоения дисциплины «Менеджмент» по другим ООП показывает, что по форме экспериментальные кривые освоения могут быть прямыми, выпуклыми, вогнутыми, синусоидальными; опережать, запаздывать или неоднократно пересекать кривую модели освоения дисциплины. Однако все эти особенности формы экспериментальной кривой освоения дисциплины и ее отношения к модели критериальной кривой остаются без оценки.
Другое несоответствие. Предлагаемый методикой ФЭПО-5 к построению график освоения дисциплины на основе выполнения совокупности ДЕ среди инструментов графического анализа известен также как диаграмма Парето по причинам. В этой интерпретации она отражает причины проблем, возникающих в ходе формирования явления, и используется для выявления главной. Тем самым диаграмма Парето служит эффективным средством определения того, какие факторы в наибольшей степени влияют на контролируемый параметр. Она показывает, сколько результатов было вызвано каждой из рассмотренных причин по трем блокам: А-В-С, составляющим 80, 15 и 5 %
оцениваемого из 100 % результата. Отсюда другое название диаграммы: АВС-анализ. Аналитической основой графика Парето служит правило «80-20»; 80 % проблем являются результатом, 20 % - причины. Ничего подобного методикой ФЭПО-5 анализировать не предлагается.
По методике ФЭПО-5 весь анализ графика сводится к сопоставлению только фактически полученного по рейтинг-листу уровня освоения тестируемой группой всех ДЕ с критериальным значением -50 %. Тогда остается неясным, для чего методикой ФЭПО-5 рекомендуется строить график освоения дисциплины на основе выполнения совокупности ДЕ? Полагаем, что его построение в предлагаемой форме избыточно. Считаем целесообразным вместо него построение АВС-графика и его дальнейшего анализа с картой коэффициентов решаемости заданий по темам.
В целом на основе анализа рейтинг-листов, полученных от Национального аккредитационного агентства в сфере образования, выявлено, что уровень подготовки студентов ТГЭУ семи рассмотренных ООП согласно модели освоения совокупности дидактических единиц соответствует требованиям ГОС ВПО по дисциплинам «Менеджмент».
Таким образом, проведение ФЭПО-5 служит полезным инструментом как в системе менеджмента качества вузов, так и оценки ООП на соответствие требованиям ГОС ВПО. Анализ его методики генерирует ряд дискуссионных моментов, затронутых в статье, и получаемых на их основе предложений. Обсуждение затронутых вопросов может способствовать их уточнению и выработке более адекватных оценок как соблюдения требований ГОС, так и достоверного уровня подготовки специалистов в отдельных вузах и в целом по системе высшего образования.
Литература
1. Аванесов В.С. Теория и методика педагогических измерений / В.С. Аванесов // Педагогические измерения. 2004. № 1. - Режим доступа: http://testolog.narod.ru/Theory.html
2. Вялфорд Дж. Современная типология педагогических тестов. Великобритания / Дж. Вялфорд; Пер и адаптация к отечествен. терминологии В.Г. Кузнецова. - Режим доступа: http://www. scool3. org/index
3. Наводнов В. Об Интернет-экзамене в сфере профессионального образования / В. Наводнов, А. Масленников // Высшее образование в России. 2006. № 4. C. 15-19. - Режим доступа: http://www. fepo.ru/ index.php?menu=method_forms
© Жигун Л. А., 2007 г.
