CC BY
80
с
N
НА ПЕРЕКРЕСТКЕ МНЕНИЙ
Л.Ф. ШМОНИН, доцент, декан факультета
А.Н. ШКРЕБКО, профессор, проректор по учебной работе
И.В. ИВАНОВА, д. мед. н., секретарь Ученого Совета факультета Е.С. УГЛОВ, доцент Ярославская государственная медицинская академия
Рейтинговая оценка качества подготовки выпускников вуза
В статье описывается опыт использования рейтинговых механизмов для оценки качества подготовки специалистов при итоговой аттестации выпускников медицинского вуза. Представленные данные доказывают целесообразность формирования итоговой аттестационной оценки на основании показателей предэкзаменационного рейтинга, отражающего качество работы студентов при освоении профильных дисциплин, и экзаменационного рейтинга, в основу которого положена многокомпонентная система начисления баллов на итоговом междисциплинарном экзамене.
Ключевые слова: рейтинговая система оценивания, итоговая аттестация, выпускник, качество образования.
Балльно-рейтинговая система оценки является одним из ведущих механизмов управления качеством образовательного процесса в высшей школе, в том числе в системе высшего медицинского образования [1—3]. В современных условиях преимущества рейтингового подхода при текущем контроле успеваемости и промежуточной аттестации студентов не вызывают сомнений. Непрерывный характер, единые и четкие правила контроля, ранжирование обучающихся по уровню успешности, составляющие основу рейтинговой системы, дают возможность повысить активность и дисциплинированность студентов, их мотивацию кполучению качественных и прочных знаний при освоении дисциплин, формирующих профессиональную компетентность будущих медицинских специалистов [4-7]. Рейтинговая система позволяет не только объективно оценивать уровень учебных достижений студентов, но и вносить коррективы в организацию учебного процесса, совершенствовать технологии обучения, методы и способы контроля, то есть предоставляет широкие возможности для
своевременной модернизации образовательных программ в соответствии с изменяющимися требованиями [4, 6]. Указанные преимущества определяют перспективность использования балльно-рейтинговой системы в рамках всех учебных циклов и разделов образовательного процесса медицинского вуза, в том числе при итоговой оценке качества подготовки выпускников.
Начиная с 2010 г. на педиатрическом факультете Ярославской государственной медицинской академии оценка профессиональной компетентности выпускников в ходе итоговой государственной аттестации производится в соответствии с рейтинговыми принципами. На факультете разработано и введено в действие Положение о рейтинговой оценке учебных достижений студентов при итоговой государственной аттестации по специальности «Педиатрия».
В соответствии с действующим Положением рейтинг студентов при итоговой аттестации формируется на основании рейтинга по итоговому государственному меж-дисциплинарномуэкзамену (экзаменационный рейтинг) и рейтинга по основным пе-
диатрическим дисциплинам профессионального цикла образовательной программы (предэкзаменационный рейтинг). Такой подход позволяет учитывать не только успешность студентов на итоговом экзамене по специальности, но и результативность их обучения на профильных кафедрах в течение всего периода профессиональной подготовки. Соотношение удельного веса экзаменационного и предэкзаменационного рейтингов составляет 40% к 60%, что, в соответствии с данными литературы и собственным практическим опытом использования рейтинга, позволяет максимально полно учитывать результаты текущей успеваемости студентов по педиатрическим дисциплинам при сохранении необходимой значимости итогового контроля (междисциплинарного экзамена) [6, 7] .
Рейтинг студентов по итоговому государственному междисциплинарному экзамену формируется в соответствии с порядком его проведения, который предполагает прохождение студентами трех этапов экзаменационных испытаний: междисциплинарного тестирования (1-й этап), оценки практических навыков при работе с пациентом (2-й этап) и собеседования по ситуационным задачам (3-й этап). Результаты 1-го этапа экзамена (тестирование) оцениваются по традиционной схеме: «зачтено» (если число соответствующих эталону ответов в тесте более 70%) или «не зачтено» (если число соответствующих эталону ответов в тесте 70% и менее). До 2-го и 3-го этапов экзамена допускаются только студенты, имеющие положительный результат («зачтено ») на 1-м этапе.
Для оценки показателей успешности студентов на 2-м и 3-м этапах экзамена используется многокомпонентная балльная система оценивания. Оценка практических навыков (2-й этап) проводится при работе студентов с пациентами. При этом в соответствии с утвержденным унифицированным протоколом каждый студент выполняет шесть экзаменационных заданий:
1) объективное обследование пациента с демонстрацией одного из пропедевтических (мануальных) навыков, необходимых для постановки диагноза;
2) запрос и оценка дополнительной информации о пациенте (результатов лабораторного, инструментального обследования), необходимой для диагностического процесса;
3) постановка диагноза;
4) демонстрация практического навыка по дисциплине“Госпитальная педиатрия” или “Инфекционные болезни у детей” (конкретное задание указывается в протоколе);
5) демонстрация практического навыка по дисциплине “Поликлиническая педиатрия” или “Детская хирургия” (конкретное задание указывается в протоколе);
6) демонстрация методики оказания неотложной помощи при одном из неотложных состояний (конкретное задание указывается в протоколе).
Оценка выполнения каждого экзаменационного задания проводится по 5-балльной шкале:
5 - «отлично» (безошибочное выполнение),
4 - «хорошо» (отдельные непринципиальные замечания),
3 - «удовлетворительно» (отдельные несущественные ошибки),
2 - «неудовлетворительно» (существенные ошибки),
1 - «неудовлетворительно» (умение не сформировано),
0 - «неудовлетворительно» (отказ от выполнения задания).
3-й этап экзамена проводится в форме собеседования по ситуационным задачам по разделам «Госпитальная педиатрия», «Инфекционные болезни у детей», «Поликлиническая и неотложная педиатрия», «Туберкулез». Итоговая оценка на 3-м этапе экзамена складывается из нескольких балльных оценок, отражающих качество выполнения экзаменационных заданий по каждой задаче, включая правильность по-
становки диагноза, назначения профилактических, диагностических, лечебных, оздоровительных, реабилитационных мероприятий, оценки результатов дополнительного обследования, правильность ответов на теоретические вопросы задачи.
Оценка выполнения каждого экзаменационного задания на 3-м этапе экзамена проводится по 5-балльной шкале:
5 - «отлично» (безошибочное выполнение заданий, демонстрация врачебного мышления),
4 - «хорошо» (отдельные непринципиальные замечания),
3 - «удовлетворительно» (отдельные несущественные ошибки),
2 - «неудовлетворительно» (существенные ошибки),
1 - «неудовлетворительно» (демонстрация отдельных элементов знаний без существенной основы ответа),
0 - «неудовлетворительно » (отсутствие ответа).
И на 2-м, и на 3-м этапе экзамена по результатам выполнения каждого задания экзаменаторы имеют возможность начисления «промежуточных» баллов: «4,5» «3,5» «2,5».
Для каждого студента по результатам выполнения заданий 2-го и 3-го этапов экзамена и по итогам экзамена в целом вычисляется коэффициент успешности - отношение индивидуальной суммы баллов, набранных студентом, к максимально возможной сумме баллов.
Вторым компонентом итоговой оценки студента по специальности «Педиатрия» является так называемый предэкзаменационный рейтинг, то есть рейтинг по основным («специальным») педиатрическим дисциплинам («Факультетская педиатрия», «Госпитальная педиатрия», «Инфекционные болезни у детей» и «Поликлиническая педиатрия»). Рейтинг рассчитывается как средняя взвешенная итогового рейтинга (коэффициентов успешности) студентов по указанным дисциплинам с учетом числа за-
четных единиц каждой дисциплины, предусмотренного действующим образовательным стандартом. Важно подчеркнуть, что значения предэкзаменационного рейтинга студентов неизвестны преподавателям, принимающим экзамен. Такой подход повышает объективность системы оценивания: экзаменатор начисляет баллы только по результатам экзаменационных испытаний без учета предшествующих показателей успеваемости студента и общих впечатлений, сложившихся о студенте в процессе обучения. В то же время предэкзаменационный рейтинг, в соответствии с принятой системой, не теряет своей значимости. Напротив, система дает возможность более объективно (на основании математических расчетов) учитывать показатели текущей успеваемости студентов, единообразно (одинаково для всех студентов) определять вклад текущей успеваемости в итоговую аттестационную оценку.
Как известно, одной из наиболее распространенных проблем, сопряженных с внедрением рейтинговых принципов оценивания, является необходимость математической обработки информации, причем порядок проведения итогового экзамена предопределяет необходимость расчетов рейтинга для большого числа студентов в сжатые сроки [4] . Выполнение перечисленных условий возможно путем внедрения компьютерной обработки результатов аттестации. Нами используется следующая система расчетов. Заведующие кафедрами, на которых студенты изучают основные («специальные ») педиатрические дисциплины, до начала междисциплинарного экзамена передают сведения о результатах промежуточной аттестации студентов на кафедрах в аттестационную комиссию. Полученные сведения (коэффициенты успешности) заносятся сотрудником, ответственным за расчет рейтинга в ходе итоговой государственной аттестации, в базу данных, сформированную на основе электронной книги Microsoft Excel. При введении соответству-
ющих сведений производится автоматический расчет предэкзаменационного рейтинга студентов. Рейтинговые баллы, набранные студентами на этапах итогового экзамена, фиксируются в специальных протоколах и сразу же переносятся в базу данных, при этом происходит автоматический расчет коэффициентов успешности по 2-му и 3-му этапам экзамена, экзаменационного рейтинга, а также в целом рейтинга студентов по итоговой государственной аттестации по специальности «Педиатрия». Перевод рейтинговой оценки в традиционную аттестационную оценку по специальности «Педиатрия» («отлично», «хорошо», «удовлетворительно ») проводится согласно шкале, составленной на основе международных шкал перевода баллов в буквенные оценки и их числовые национальные эквиваленты [4] (табл. 1).
рейтинг-листов на информационных стендах.
Следует подчеркнуть, что внедрение данной системы стало возможным благодаря единым принципам оценивания учебных достижений студентов на профильных педиатрических кафедрах, что обеспечивает сопоставимость результатов промежуточной аттестации по педиатрическим дисциплинам и возможность их использования при итоговой аттестации по педиатрии, наряду с результатами междисциплинарного экзамена [8].
Использование рейтинговой оценки качества подготовки специалистов при итоговой государственной аттестации выпускников педиатрического факультета в 20092010 и 2010-2011 гг. позволило отметить принципиальную сопоставимость резуль-
Таблица 1
Шкала перевода значений коэффициента успешности в традиционную аттестационную оценку
Значения коэффициента успешности Традиционная аттестационная оценка
0,91-1,00 «Отлично»
0,74-0,90 «Хорошо»
0,61-0,73 « У довлетворительно»
0,00-0,60 «Неудовлетворительно»
Значения рейтинга студентов озвучиваются при обсуждении результатов итоговой государственной аттестации, доводятся до сведения студентов при объявлении итоговых оценок, а также при размещении
татов аттестации с европейскими рекомендациями (табл. 2).
При итоговой государственной аттестации 2010 г. имеющиеся расхождения в основном были обусловлены относитель-
Таблица 2
Значения коэффициента успешности Оценка Традиционная аттестационная оценка % студентов с указанной оценкой
Рекомендации ECTS ИГАВ-2010 ИГАВ-2011
0,60 и ниже F Неудовлетворительно 0 0 0
0,61-0,67 E Удовлетворительно 10 10,0 14,0
0,68-0,73 D 25 25,2 11,9
0,74-0,83 C Хорошо 30 41,0 43,7
0,84-0,90 B 25 15,8 20,0
0,91 и выше A Отлично 10 7,9 10,4
Примечание: ECTS - European Credit Transfer System, Европейская система перевода и накопления кредитов [4], ИГАВ - итоговая государственная аттестация выпускников.
но более низким, по сравнению с европейскими рекомендациями, процентом студентов, продемонстрировавших уровень подготовленности “А” и “В” («отлично» и «очень хорошо ») при относительно более высоком проценте студентов, продемонстрировавших уровень подготовленности “С” («хорошо»). Наличие в электронной базе сведений о балльных оценках студентов по каждому компоненту аттестационных испытаний итогового экзамена и о предэкзаменационном рейтинге позволило нам провести анализ причин установленного несоответствия. Результаты анализа показали, что несоответствие было обусловлено преимущественно низкими балльными оценками студентов по компонентам «объективное обследование пациента с демонстрацией одного из пропедевтических навыков, необходимых для постановки диагноза», «демонстрация методики оказания неотложной помощи при одном из неотложных состояний» на 2-м этапе экзамена и «назначение лечебных мероприятий, рецептура» на 3-м этапе экзамена. Эти же компоненты были отмечены как наиболее «проблемные» у студентов с итоговым рейтингом, соответствующим категориям ‘^” и “Е”. На основании полученных данных было принято решение о необходимости внесения коррекции в процесс преподавания указанных разделов на соответствующих кафедрах.
Эффективность предпринятых корректирующих действий была доказана результатами итоговой государственной аттестации 2011 г., в ходе которой имело место повышение среднего рейтингового балла (с
0,77 в 2010 г. до 0,79 в 2011 г.), а также увеличение числа студентов с рейтингом, соответствующим градации “А” - «отлично» и “В” - «очень хорошо» (в сумме с 23,7% до 30,4%, р=0,065 при проведении статистического анализа с использованием критерия х2 в модификации Пирсона), и уменьшение числа студентов с рейтингом, соответствующим градации “Е” и “D” -«удовлетворительно » (в сумме с 35,2% до 25,9%, р=0,062 по критерию %2 в модификации Пирсона). Число студентов с рейтингом “С” («хорошо») в 2011 г., как и в 2010 г., по-прежнему превышало показатель, рекомендованный положением ECTS.
Анализ результатов итоговой государственной аттестации 2010 и 2011 гг. также позволил установить значимость включения текущего рейтинга в формирование итоговой оценки по специальности. В частности, было продемонстрировано положительное влияние стабильно высокого текущего рейтинга на итоговую оценку по педиатрии в случае получения студентом- «отличником » относительно невысоких рейтинговых баллов на экзамене (пример 1). И напротив, было наглядно доказано, что даже высокие рейтинговые баллы на экзамене не дают воз-
Студент А. Коэффициент успешности на 2-м этапе экзамена - 0,83 («хорошо») Коэффициент успешности на 3-м этапе экзамена - 0,93 («отлично») Коэффициент успешности экзаменационный - 0,89 («хорошо») Коэффициент успешности предэкзаменационный - 0,96 («отлично») ИТОГОВЫЙ РЕЙТИНГ - 0,93 («отлично») Пример І
Студент К. Коэффициент успешности на 2-м этапе экзамена - 1,00 («отлично») Коэффициент успешности на 3-м этапе экзамена - 0,93 («отлично») Коэффициент успешности экзаменационный - 0,96 («отлично») Коэффициент успешности предэкзаменационный - 0,81 («хорошо») ИТОГОВЫЙ РЕЙТИНГ - 0,87 («хорошо») Пример 2
можности получения итоговой оценки «отлично» при сравнительно низкой текущей успеваемости (иример2).
Таким образом, выбранный подход не только дает возможность проводить более объективное оценивание качества подготовки будущих специалистов, но и является мощным стимулирующим фактором, повышающим мотивацию студентов к регулярной и качественной текущей подготовке в течение всего периода освоения профильных дисциплин.
В целом на основе опыта использования рейтинговых механизмов оценивания при итоговой государственной аттестации выпускников выделены следующие преимущества разработанной системы.
1. Введение многокомпонентной системы начисления баллов за конкретные компоненты аттестационных испытаний на итоговом междисциплинарном экзамене повышает объективность оценивания ответов студентов экзаменаторами.
2. Включение в структуру комплексной оценки по специальности компонентов предэкзаменационного рейтинга позволяет проводить более объективное оценивание уровня освоения студентами профильных дисциплин и повышает мотивацию студентов к регулярной и качественной подготовке в течение всего периода обучения.
3. Использование предложенных механизмов комплексного многокомпонентного оценивания открывает широкие возможности для анализа имеющихся несоответствий и коррекции процесса преподавания и контроля качества подготовки специалистов.
Литература
1. Верещагин Ю.Ф., Ерунов В.П. Рейтинговая
система оценки знаний студентов, деятельности преподавателей и подразделений вуза. Оренбург: Изд-во ОГУ, 2003. 105 с.
2. Ветрова А.А. Рейтинговая методика в ос-
нове мониторинга и управления качеством образования // Высшее образование сегодня. 2005. № 7. С. 8-10.
3. Конопля А.И. Компетентностная модель под-
готовки специалиста-медика // Высшее образование в России. 2010. № 1. С. 98-101.
4. Бадарч Д., Сазонов Б.А. Актуальные воп-
росы интернациональной гармонизации образовательных систем. М.: Бюро ЮНЕСКО в Москве; ТЕИС, 2007. 190 с.
5. Малишевский М.В. Анализ внедрения бал-
льно-рейтинговой системы на клинической кафедре медицинского вуза // Высшее образование сегодня. 2010. № 2. С. 90-95.
6. Иванова И.В., Черная Н.Л., Щапов А.Н.
Рейтинговые технологии оценивания при изучении клинических дисциплин в медицинском вузе // Инновационные педагогические технологии в медицинском образовании. Вузовская педагогика: Материалы всероссийской научно-педагогической конференции. Красноярск, 2010. С. 177-183.
7. Углов Е.С., Кратнов А.Е., Андреева Н.Н.,
Шкребко А.Н. Особенности балльно-рейтинговой системы оценки знаний на клинической кафедре // Современные механизмы контроля качества подготовки специалистов в медицинских вузах: адаптация к международным стандартам: Материалы заочной Всероссийской научнопрактической конференции. Архангельск, 2010. С. 99-103.
8. Шкребко А.Н., Щапов А.Н., Заманкова И.В.
Стратегии инновационного медицинского образования // Высшее образование в России. 2010. № 2. С. 75-82.
SHMONINL, SHKREBKO A., IVANOVA I, UGLOVE. RATING ESTIMATION OF GRADUATES’ EDUCATIONAL LEVEL
Experience of rating estimation system of graduates’ educational level during final examination in higher medical school is described in the article. The results demonstrate that the final examination rating has to be constructed on the basis of current rating in pediatric disciplines and complex final examination rating.
Key words: rating estimation system, final examinations, graduate, quality of education.
