CC BY
61ВНЕШНЯЯ ОЦЕНКА УЧЕБНЫХ ДОСТИЖЕНИЙ В ВЫСШЕМ ОБРАЗОВАНИИ
АБДИЕВ КАЛИ СЕИЛЬБЕКОВИЧ
директор РГКП «Национальный центр тестирования» Минобрнауки Республики Казахстан, доктор пед. наук E-mail: k.abdiev@ncgsot.kz Астана, Республика Казахстан
ИНТЫМАКОВ ТУРАКТЫ ЖУМАДИЛЬДАЕВИЧ
заместитель директора РГКП «Национальный центр тестирования» Минобрнауки Республики Казахстан, канд. техн. наук E-mail: t.intymakov@ncgsot.kz Астана, Республика Казахстан
АЛТЫБАЕВА ШУГЫЛА БОЛАТОВНА
руководитель Управления по организации тестирования в высшем образовании РГКП «Национальный центр тестирования» Минобрнауки Республики Казахстан E-mail: shugla@mail.ru Астана, Республика Казахстан
АННОТАЦИЯ. В данной статье рассмотрены задачи, этапы и результаты промежуточного государственного контроля (ПГК) и переход от ПГК к внешней оценке учебных достижений (ВОУД). Рассмотрены цели, задачи и этапы введения ВОУД. Проанализированы характерные особенности ПГК и ВОУД при оценке качества организации учебного процесса и проведении мониторинга качества образования. Приведены сопоставительные характеристики методов оценивания учебных достижений.
КЛЮЧЕВЫЕ СЛОВА: мониторинг качества образования, промежуточный государственный контроль, внешняя оценка учебных достижений, кластеризация.
Качество образования в Евразии
35
EXTERNAL ASSESSMENT OF LEARNING ACHIEVEMENTS IN HIGHER EDUCATION
KALI ABDIYEV
Director of National Testing Center of the Ministry of Education and Science of the Republic of Kazakhstan, Doctor of Science (Education)
E-mail: k.abdiev@ncgsot.kz Astana, Republic of Kazakhstan
TURAKTYINTYMAKOV
Deputy director of National Testing Center of the Ministry of Education and Science of the Republic of Kazakhstan, Ph.D. in Technology E-mail: t.intymakov@ncgsot.kz Astana, Republic of Kazakhstan
SHUGYLA ALTYBAYEVA
Head of Department for testing in higher education, National Testing Center of the Ministry of Education and Science of the Republic of Kazakhstan E-mail: shugla@mail.ru Astana, Republic of Kazakhstan
ABSTRACT. The article examines the objectives, stages and results of intermediary state control of learning achievements, and shifting to external assessment. It also considers major goals, objectives and stages of such transition. The authors analyze main features of intermediary state control comparing to external assessment model in such fields as quality assessment measurement and monitoring. The paper provides a comparative study of education quality assessment methods.
KEYWORDS: education quality monitoring, intermediary state control, external assessment of learning achievements, clusterization.
36
Качество образования в Евразии
Абдиев К.С. | Интымаков Т.Ж. | Алтыбаева Ш.Б. М
Залогом успешного функционирования механизма образовательного устройства многих ведущих стран мира является наличие национальной системы оценки качества образования, созданию которой послужили тенденции в мировых образовательных системах, а также социальнополитические и экономические причины. Исходя из деятельности сегодняшних национальных систем оценки качества образования можно констатировать высокую степень важности качества образования и его оценки для многих стран мира, поскольку образование на современном этапе развития общества рассматривается как главное условие социально-экономического прогресса, а уровень образования населения является важнейшим фактором устойчивого развития постиндустриального государства. В связи с чем качественное образование становится объектом государственного управления, что служит причиной становления национальных служб контроля и оценки качества образования [1].
Одним из важных факторов в совершенствовании системы высшего образования в Казахстане выступает мониторинг качества образования, отслеживающий соответствие выпускников учебных заведений требованиям, предъявляемым обществом и рынком труда.
В ходе внешней оценки осуществляется государственный контроль путем стандартизированного тестирования, направленный на выявление соответствия качества образования государственным общеобязательным стандартам образования по единым заранее определенным критериям [2].
С 2004 года был введен новый механизм системы внешнего контроля качества знания - промежуточный государственный контроль студентов 2-х (3-х) курсов вузов, который осуществлялся в централизованном порядке, базирующийся на единых принципах и подходах проведения. ПГК не подлежали только студенты специальностей искусства и студенты ускоренных форм обучения. Основанием для проведения промежуточного государственного контроля обучающихся в организациях образования Республики Казахстан послужили Закон Республики Казахстан «Об образовании», послание Президента Республики Казахстан народу Казахстана 2004 года «К конкурентоспособному Казахстану, конкурентоспособной экономике, конкурентоспособной нации» и Государственная программа развития образования в Республике Казахстан до 2010 года.
Отметим, что промежуточный государственный контроль обучающихся являлся одним из компонентов созданной в республике национальной системы оценки качества образования.
Целью промежуточного государственного контроля являлось произвести контроль на промежуточном этапе обучения студентов, то есть оце-
37
Качество образования в Евразии
► Внешняя оценка учебных достижений в высшем образовании
нить качество подготовки студентов вузом, для дальнейшего обучения по специальности.
В задачи ПГК входило:
• оценка эффективности организации учебного процесса;
• совершенствование государственных общеобязательных стандартов образования;
• устранение влияния негативных факторов и субъективизма на образовательный процесс и качество подготовки студентов;
• проведение сравнительного анализа качества образовательных услуг, предоставляемых вузами.
Процедура ПГК внедрялась поэтапно. В качестве пилотного проекта в 2004 году была проведена промежуточная аттестация обучающихся (ПАО), позже переименованная в ПГК. Благодаря пилотному проекту были переработаны Технология проведения ПГК и Правила проведения ПГК, уточнены функции задействованных в организации и проведении ПГК лиц и учреждений, установлены пороговый балл студента и предельное количество не прошедших ПГК студентов для определения вузов, подлежащих внеочередной государственной аттестации.
Государственное регулирование осуществлялось путем установления порогового балла. Пороговый балл ежегодно определялся из анализа результатов тестирования предыдущих лет, начиная с 40% (48 баллов) до 60% (75 баллов) для медицинских специальностей и с 30% (38 баллов) до 40% (50 баллов) для других специальностей. Качество предоставляемых вузами образовательных услуг определялось по следующему принципу:
1) если 7% обучающихся специальности не преодолевали пороговый балл, то данная специальность считалась не прошедшей ПГК;
2) если таких специальностей оказывалось 25% и более, то вуз подлежал внеочередной государственной аттестации.
ПГК проводился в форме комплексного тестирования по пяти дисциплинам общеобязательного и базового цикла обязательного компонента ГОСО, всего 125 тестовых заданий; в каждой дисциплине по 25 заданий. Время тестирования - 180 минут (3 часа). В дисциплины ПГК общеобязательного цикла входили «Информатика», «Философия», «Иностранный язык». Дисциплины базового цикла предлагались Республиканским учебно-методическим советом (РУМС). При выборе базовых дисциплин ПГК РУМС руководствовался требованиями к специальностям по основным предметным знаниям.
База тестовых заданий ПГК ежегодно обновлялась и совершенствовалась. Прежде чем ввести новые тестовые задания, проводились неодно-
38
Качество образования в Евразии
Абдиев К.С. | Интымаков Т.Ж. | Алтыбаева Ш.Б. М
Таблица 1. Этапы внедрения ПГК
Этапы и время внедрения Особенности и изменения в этапе внедрения Пороговый уровень
Для медицинских специальностей Для других специальностей
1 этап 2004 г. • Промежуточная аттестация обучающихся (ПАО) • В 2004 году в режиме эксперимента ПАО проводилась для студентов специальностей очной формы обучения четырех направлений: педагогическое, экономическое, юридическое, медицинское 40% (48 баллов) 30% (38 баллов)
II этап 2005 г. • ПАО была переименована в промежуточный государственный контроль (ПГК) • В ПГК были охвачены все гражданские специальности очной формы обучения 40% (50 баллов) 30% (38 баллов)
III этап 2006 г. • Включены специальности направления «Военное дело и безопасность» 50% (63 балла) 35% (44 балла)
IV этап 2007 г. • ПГК проводился для студентов всех специальностей очной формы обучения, а также для студентов заочной формы обучения по трем направлениям: педагогическое, экономическое, юридическое 50% (63 балла) 35% (44 балла)
V этап 20082011 гг. • ПГК проводился для студентов всех специальностей очной и заочной формы обучения 60% (75 баллов) 40% (50 баллов)
кратные экспертизы и апробации, где экспериментальным путем подтверждались их объективность и надежность. На содержание тестовых заданий дисциплин ПГК влияли инновационные изменения разных сфер жизни (экономика, право, информатизация и т.д.), а также изучение и анализ тестовых заданий, представленных апелляционными комиссиями.
Сложность, специфичность и большой объем работы требовали профессионального подхода при формировании базы тестовых заданий. Для разработчиков и экспертов тестовых заданий ежегодно организовывались обучающие семинары по вопросам теории и методики педагогических измерений. Сотрудники НЦТ проходили курсы повышения квалификации по вопросам анализа качества тестовых материалов и администрирования теста. Разработанный НЦТ порядок и принципы создания тестовых заданий обеспечивали объективность оценивания; результаты тестирования позволяли повысить эффективность организации учебного процесса, улучшить качество знаний обучающихся.
Качество образования в Евразии
39
► Внешняя оценка учебных достижений в высшем образовании
Результаты ПГК использовались в анализе работы вузов в ходе аттестации и аккредитации, а также при определении рейтинга организаций образования.
На пороге реформирования системы образования в 2005 году ПГК имел стратегически важное значение. Благодаря ему были выявлены множественные недостатки в обучении студентов, в организации учебного процесса и др. Так, можно выделить следующие серьезные недочеты:
1) во многих вузах обучение велось по программам, не соответствующим государственным общеобязательным стандартам образования (ГОСО):
• не проводились занятия по некоторым дисциплинам обязательного компонента ГОСО;
• содержание дисциплин не соответствовало минимальной программе ГОСО;
2) в контингенте студентов вузов обнаружились «мертвые души» - студенты, официально числившиеся в вузе, однако совсем не посещающие занятия и даже экзаменационные сессии;
3) по результатам ПГК определился список вузов, подлежащих внеочередной государственной аттестации, которые показали низкое качество предоставляемых образовательных услуг;
4) многие вузы, в особенности частные, имели сеть филиалов и представительств по всей стране, в которых обучение практически не велось. В 2005 году действовали 160 гражданских вузов, 45 филиалов и пять представительств вузов; итого - 210 образовательных пунктов. По итогам ПГК в 2007 году была проведена внеплановая проверка вузов, вследствие чего запрещена деятельность всех филиалов и представительств.
Первоначально результаты ПГК влияли на успеваемость студентов, так как им выдавался сертификат с баллами ПГК; при балле ниже порогового студент не мог перейти на следующий курс и лишался государственного образовательного гранта. С 2008 года по предложению вузов и согласованию с Министерством образования и науки РК данная мера была упразднена, разрешив участие в ПГК 70% контингента студентов вуза.
Статистические данные по результатам ПГК (рис. 1) показывают, что с течением времени уменьшилась доля студентов, не набравших пороговый балл.
В целом внедрение ПГК оказало положительное влияние на качество предоставляемых вузами образовательных услуг, способствовало выявлению и устранению множественных недостатков в организации учебного процесса и в обучении студентов. Вузы повысили требования к препо-
40
Качество образования в Евразии
Качество образования в Евразии
85
80
75
70
65
60
2004 ПАО 2005 2006 2007 2008 2009 2010 2011
(эксп.) (205 вузов) (215 вузов) (216 вузов) (205 вузов) (142 вуза) (132 вуза) (140 вузов) (181 вузов)
(Участвовало ■ Не прошло порог, чел. Средний балл
Рисунок 1. Результаты ПГК 2004-2011 гг.
Абдиев К.С. | ИнтымановТ.Ж. \ Алтыбаева Ш.Б.
► Внешняя оценка учебных достижений в высшем образовании
давателям, которые, в свою очередь, усилили контроль над знаниями со стороны студентов.
Таким образом, ПГК обеспечил:
• оценку учебных достижений студентов после 2-го (3-го) курса обучения;
• динамику контингента студентов 2-го (3-го) курсов и контингента студентов, набравших пороговый уровень по ПГК;
• мониторинг качества предъявляемых вузами знаний по специальностям;
• оценку качества знаний по дисциплинам ПГК по республике и вузам;
• определение среднего балла вузов по направлениям;
• мотивацию на обучение неуспевающих студентов;
• устранение влияния негативных факторов и субъективизма на образовательный процесс и качество подготовки студентов;
• проведение сравнительного анализа качества образовательных услуг, предоставляемых вузами республики.
Анализ результатов ПГК свидетельствует о том, что внедрение ПГК как системы внешней оценки качества образования оказало положительное влияние на повышение уровня высшего образования. Выполнив свои основные цели и задачи, ПГК утратил свою актуальность. Требования времени показывают, что наиболее эффективным в определении качества образовательных услуг, предоставляемых вузами, является осуществление государственного контроля «на выходе» - освоение выпускниками образовательных программ специальности.
Действительно, вуз, имея целью подготовку кадров, должен в своей работе: в организации учебного процесса, в обеспечении материальной базы, учебной литературой, лабораторного, технического и программного оснащения - ориентироваться на результат, то есть на конкурентоспособного востребованного специалиста. Именно по выпускникам вузов общество судит о качестве подготовки специалистов, определяя тем самым рейтинг вузов.
Ежегодное проведение внешней оценки качества знаний всех выпускников вузов наиболее полно отобразит уровень качества высшего образования в целом и позволит вести сравнительный анализ вузов. При этом данная оценка позволит вести мониторинг учебных достижений обучающихся по каждому направлению подготовки специалистов, оценку эффективности организации учебного процесса и проведение сравнительного анализа качества образовательных услуг, предоставляемых организациями образования.
42
Качество образования в Евразии
Абдиев К.С. | Интымаков Т.Ж. | Алтыбаева Ш.Б. М
Внешняя оценка учебных достижений студентов выпускного курса (ВОУД) введена в 2012 году и осуществляется путем стандартизированного тестирования. В ВОУД участвуют студенты, обучающиеся по всем формам обучения в высших учебных заведениях, независимо от формы собственности и ведомственной подчиненности.
ВОУД проводится в форме комплексного тестирования по четырем дисциплинам. Дисциплины выбраны из циклов базовых и профилирующих дисциплин обязательного компонента ГОСО. Количество тестовых заданий по каждой дисциплине - 25; всего в тесте 100 заданий. Общее время тестирования - 150 минут (2,5 часа).
Организацию и координацию работы по проведению ВОУД на местах в качестве администраторов тестов осуществляют представители Министерства образования и науки РК совместно с территориальными органами Комитета по контролю в сфере образования и науки. Представители министерства выбираются из профессорского преподавательского состава национальных и государственных вузов.
В 2012 году был определен принцип поэтапного введения ВОУД, начиная с наиболее престижных образовательных программ специальностей бакалавриата педагогического, юридического и экономического направлений. В 2013 году было полностью охвачено направление Образование, а также введены специальности направлений Сельскохозяйственные науки и Естественные науки. При этом в 2012 году ВОУД проводилась только среди студентов дневной формы обучения, а в 2013 году тестирование было распространено на все формы обучения.
На первоначальном этапе ВОУД в 2012 году оценка знаний выпускников выполнялась тестовыми заданиями с выбором трех правильных ответов из восьми предложенных вариантов. Преимуществами таких заданий являются технологичность и возможность исключения элементов субъективизма в оценивании, так как они осуществляют более глубокий срез проверки знаний.
С целью обеспечения эффективности государственного мониторинга в организациях высшего образования ВОУД в 2013 году была использована форма тестовых заданий с выбором одного или нескольких правильных ответов из нескольких предложенных вариантов ответа. Такая форма тестовых заданий предполагает наиболее полную, глубокую и объективную оценку знаний, исключив угадывание правильных ответов. Оценка осуществлялась следующим образом: за выбор всех правильных ответов студент получает 2 балла, за одну допущенную ошибку - 1 балл, за допущенные 2 и более ошибки - 0 баллов.
Качество образования в Евразии
43
Качество образования в Евразии
и
100
По респуб- Националь- Государствен- Междуна- Акциониро- Негра- Частный
лике ный ный родный ванный жданский 57 вузов
106 вузов 6 вузов 25 вузов 1 вуз 13 вузов 4 вузов 20084 студ.
53398 студ. 6052 студ. 20940 студ. 1054 студ. 4424 студ. 844 студ.
■ «2» И«3» В«4» И«5» Средний балл
Рисунок 2. Кластерный анализ результатов ВОУД 2013 года по статусу вузов
► Внешняя оценка учебных достижений в высшем образовании
Абдиев К.С. | Интымаков Т.Ж. | Алтыбаева Ш.Б. М
При подсчете результатов ВОУД ВО 2013 года использована шкала перевода баллов на шкалу кредитной системы оценок. При определении шкалы оценивания результатов тестирования были изучены материалы в области тестологии и шкалирования известных ученых (Пру Андерсен, Джордж Морган, Винсент Грини и др.) и ведущих организаций в этой области (ECTS, CICED, ФИПИ), использованы методы математической статистики и теории вероятности.
По результатам ВОУД проведены статистические анализы с учетом кластерных характеристик: направлениям подготовки, формам обучения, статусу вузов и по контингенту студентов.
Кластерный анализ по статусу вузов проводился в разрезе 106 вузов: национальных вузов - 6, государственных - 25, международных - 1, акционированных - 13, негражданских - 4, частных - 57. Средний балл по республике составляет 69,40, высокий средний балл показали студенты акционированных (85,5) и национальных вузов (79,6) (рис. 2).
Для сравнения сопоставим данные очной и заочной форм обучения. Средний балл студентов очной формы обучения - 74,31, средний балл студентов заочной формы обучения - 59,21. Сравнительный анализ показал, что результаты студентов заочного отделения ниже результатов студентов очного отделения (рис. 3).
80 ■
69,40
73,31
60
40
20
0
3,87 ННн 4,69 по республике очная
«2» ■ «3» ■ «4» ■ «5» Средний балл
заочная
Рисунок 3. Сравнительный анализ результатов студентов очной и заочной форм обучения в разрезе традиционной оценки
Качество образования в Евразии
45
Качество образования в Евразии
■ «2» И«3» И«4» И«5» Средний балл
Рисунок 4. Кластерный анализ результатов ВОУД 2013 года по статусу вузов в разрезе направления
«Социальные науки, экономика и бизнес»
► Внешняя оценка учебных достижений в высшем образовании
Абдиев К.С. | Интымаков Т.Ж. | Алтыбаева Ш.Б. М
Кластерный анализ по статусу вузов можно проводить и в разрезе направлений подготовки студентов. Так, анализ направления «Социальные науки, экономика и бизнес» показывает, что большая доля студентов данного направления получили оценку «2» и «3», высокий средний балл показали студенты национальных (95,31) и акционированных вузов (92,34) (рис. 4).
Также по результатам ВОУД проведен сравнительный анализ по вузам, направлениям подготовки, специальностям и дисциплинам. В качестве примера для сравнения сопоставлены результаты ВОУД направления «Социальные науки, экономика и бизнес» по республике с результатами отдельных вузов (рис. 5). В данной диаграмме можно увидеть, что доля (%) студентов, получивших оценку «2», намного меньше, а коли-
Средний
балл
«2»
- По республике -А- Вуз 1 Вуз 2
Рисунок 5. Сравнительный анализ результатов ВОУД 2013 года по направлению «Социальные науки, экономика и бизнес»
Качество образования в Евразии
47
► Внешняя оценка учебных достижений в высшем образовании
УЧЕТ И АУДИТ
Средний
балл
ФИНАНСЫ
Средний
балл
■ По республике
Вуз 1
Рисунок 6. Сравнительный анализ результатов ВОУД 2013 года по специальностям «Учет и аудит» и «Финансы»
48
Качество образования в Евразии
Абдиев К.С. | Интымаков Т.Ж. | Алтыбаева Ш.Б. М
чество студентов, получивших оценки «4» и «5», намного больше, чем результаты ВОУД по республике.
Сравнительный анализ можно проводить также по специальностям и даже дисциплинам. Для сравнения приведены данные результатов ВОУД одного вуза по двум специальностям: «Учет и аудит» и «Финансы» (рис. 6). В данной диаграмме видно, что уровень подготовки двух специальностей одного вуза и одного направления разный. Результаты ВОУД дают возможность проводить сравнительные анализы по уровню подготовки студентов в разрезе специальностей внутри вуза.
В заключение можно сказать, что ВОУД как форма государственного мониторинга позволяет проводить различные анализы по его результатам, дает возможность оценить качество образовательных услуг вузов и определить рейтинг вузов. Использование анализов по результатам ВОУД во внутривузовском контроле качества образования должно способствовать эффективности организации учебного процесса и, следовательно, повышению конкурентоспособности вузов.
СПИСОК ЛИТЕРАТУРЫ
1) Болонская декларация : совместная декларация министров образования Европы, г. Болонья, 19 июня 1999 г. // Российское образование для иностранных граждан [Электронный ресурс] : информацион.-аналитич. система / Минобрнауки России, Международный департамент. - Режим доступа : http://www.russia.edu.ru/information/legal/law/inter/bologna/.
2) Национальная система оценки качества образования: принципы и перспективы развития : науч.-практич. изд. / Ж. К. Туймебаев, Т. О. Балыкбаев, С. М. Омирбаев, И. У. Сагиндиков, Л. В. Нефедова. - Астана : Сарыарка, 2007. - 272 с.
Качество образования в Евразии
49
