CC BY
61
ДЛЯ КОРРЕСПОНДЕНЦИИ
Николай Николаевич Алипов — доктор медицинских наук, доцент, профессор кафедры физиологии медико-биологического факультета ГБОУ ВПО «Российский национальный исследовательский медицинский университет им. Н.И. Пирогова» Минздрава России Адрес: 142784, г. Москва, Московский 1 мкр., д. 15, кв. 34 Тел: (495) 424-66-30 E-mail: n-allpov@yandex.ru
Н.Н. Алипов, А.В. Соколов, О.В. Сергеева
Контроль знаний в медицинских вузах: проблемы и пути решения
N.N. Alipov, A.V. Sokolov, O.V. Sergeeva
Control in medical schools: problems and «ways of coping»
Main problems of control in mass education and their solution approaches are considered on example of complex testing system (including oral answers and computer testing) used in the Physiology Department of Pirogov Russian National Research Medical University. Special focus will be on social, psychological, organizational and didactic problems, which neglect can lead to total ineffectiveness of best computer testing systems. The ways of control directly depends on all these aspects and must be different in various educational institutions and in different departments.
Key words
• control
• tests
• computers
• education
• physiology
ГБОУ ВПО «Российский национальный исследовательский медицинский университет им. Н. И. Пирогова», Москва
Pirogov Russian National Research Medical University, Moscow
В статье рассматриваются основные проблемы контроля знаний в обучении и пути их решения на примере комплексной системы (включающей устные ответы и компьютерное тестирование), применяемой на кафедре физиологии медико-биологического факультета РНИМУ им. Н.И. Пирогова. Особое внимание уделено социальным, психологическим, организационным и дидактическим проблемам, без учета которых даже самые совершенные компьютерные контролирующие программы могут оказаться полностью не эффективными. Формы контроля напрямую зависят от этих аспектов и должны различаться в зависимости от специфики конкретного вуза и кафедры.
Ключевые слова
• контроль
• тесты
• компьютеры
• образование
• физиология
#
Введение
"■^лючевое место контроля знаний в обу-Х^лении не вызывает сомнений. Столь же очевидно, что все большую роль в нем играют компьютерные формы, прежде всего в связи с их объективностью, скоростью и возможностью проведения массового контроля, встроенностью в современные электронные обучающие комплексы и т.п. К сожалению, основное внимание при разработке компьютерных систем контроля традиционно уделяют программным технологиям (способам формулировки вопросов и распознавания ответов, в том числе свободно конструируемых, интерфейсу и пр.), однако гораздо большее значение, на наш взгляд, имеют другие проблемы — социальные, психологические, организационные и дидактические. Более того, без учета этих особенностей, порой единственной мельчайшей их детали, даже самая совершенная контролирующая программа может оказаться полностью не эффективной.
В настоящей статье рассматриваются особенности указанных аспектов для преподавания теоретических дисциплин в медицинском вузе, а также в качестве примера — методология применения контроля на кафедре физиологии РНИМУ, с помощью которой мы попытались решить все эти проблемы.
Социально-психологические проблемы
1. Степень и структура мотивации. Очевидно, что строгость и частота применения контроля напрямую зависит от степени мотивации обучаемых и ее структуры, прежде всего преобладания внутренней или внешней мотивации (Deci, Ryan, 1985). Очевидно, например, что лица, добровольно записавшиеся на платные курсы (пользовательских
программ, иностранного языка, вождения), нуждаются лишь в самоконтроле в связи с чрезвычайно высокой мотивацией с преобладанием внутренней мотивации. Напротив, при низком уровне мотивированности с преобладанием внешней мотивации (желание получить диплом, а не знания) необходим постоянный жесткий контроль. Не имея возможности приводить здесь подробные статистические данные, отметим известный всем преподавателям факт, что уровень мотивации среди студентов российских медицинских вузов далек от идеала (об этом красноречиво свидетельствует крайне низкий процент выпускников, работающих далее по специальности — менее 40%, в соответствии с данными, приведенными В.А. Кубышкиным на слушаниях в Общественной палате 15 апреля 2013 г. (ИА К^-пиш, 2013). Кроме того, в структуре мотивации внешняя (стремление получить диплом) часто играет существенную, а порой доминирующую роль, причем эта роль повышается по мере обучения (Лазарев и др., 2006; Копысова, 2009; Костюков, 2009). Наконец недостаточность зрелого самостоятельного отношения к учебе у студен -тов первых курсов, проявляющаяся предпочтением решения ближайших задач при пренебрежении к отдаленным целям, делает структуру мотиваций еще примитивнее, выдвигая на первое место даже не желание получить диплом, а стремление любой ценой, в том числе путем механического зазубривания или списывания, сдать очередной зачет (Костюков, 2009). В этом отношении, к сожалению, российские студенты в основной массе уступают студентам ведущих западных вузов, сознательно нацеленных с первых курсов обучения на успех в будущей профессиональной деятельности. Все это, по крайней мере до коренного изменения ситуации, диктует необходимость:
а) постоянного контроля знаний — текущего, промежуточного и итогового; б) максимальной защиты не только от списывания, но и от возможности бездумного зазубривания.
2. Степень необъективности контроля. Здесь речь идет не только о прямой коррупции, но и о любых видах неформального подхода к выставлению оценки, включая поблажки избранным студентам, личные симпатии или антипатии преподавателя, его субъективный подход к тем или иным вопросам преподаваемой дисциплины и т.п. Это диктует необходимость включения в систему контроля таких форм, которые исключали бы влияние человеческого фактора. В то же время (по крайней мере на сегодняшний день) ни одна компьютерная система контроля по многим причинам не может полностью заменить устный опрос квалифицированным преподавателем (Мизинов, 2008). Выходом может быть сосуществование объективного компьютерного тестирования и устного опроса, при котором каждая форма контроля вносит вклад в суммарную оценку.
Организационные проблемы
Главное, что определяет степень трудности при организации контроля — это степень массовости обучения (количество студентов на курсе), к остальным факторам относятся количество часов, расписание, количество компьютеров, система обучения (модульная или сквозная) и др. Однако очевидно, что в небольшом вузе с несколькими десятками студентов на курсе все эти параметры менять неизмеримо легче, чем в крупном институте, где на курсе обучается более 1000 студентов.
Важно отметить, что от количества студентов зависит не только распределение компьютерного времени, график и режим
работы компьютерного класса и прочие чисто технические моменты, но и сложность в преодолении попыток списывания и иных способов обхода системы. Очевидно, что проследить за работой 10 студентов в течение одного занятия гораздо проще, чем за работой 10 подгрупп по 15 студентов. Соответственно многие программные и организационные особенности контроля направлены именно на четкий контроль над работой в компьютерном классе.
Дидактические проблемы
Главным дидактическим фактором является характер самой дисциплины: степень ее концептуализированности. Известно, что еще О. Конт разделил науки на описательные и объяснительные (Конт О., 2011). Очевидно, что контроль на такой чисто описательной дисциплине, как анатомия, в значительной степени представляющей набор равноценных знаний, существенно отличается от контроля на физике — предельно объяснительного (концептуализированного) предмета с ясным и кратким набором основных закономерностей и параметров: в первом случае критерием академической успешности является владение как можно большим количеством фактов, во втором — основной упор делается на решении задач.
Организация контроля знаний на кафедре физиологии МБФ РНИМУ
С учетом всех этих особенностей на кафедре физиологии МБФ РНИМУ им. Н.И. Пирогова была разработана комплексная система контроля знаний. Эта система испытывалась в реальном педаго-
#
гическом процессе с 1988 г., данные по ней многократно публиковались (Алипов, Соколов, 1989; Алипов, 1990; Алипов, 1991). В последние годы система стала обязательной для всех студентов лечебного и педиатрического факультетов, т.е. существует возможность испытать ее в полном объеме в массовом педагогическом процессе. За этот период система постоянно совершенствовалась в процессе взаимодействия со студентами, в том числе повышения уровня защиты от возможностей обхода системы. Можно сказать, что система с педагогической и организационной точек зрения оказалась эффективной и коррупционно устойчивой. Мы полагаем, как сама система, так и лежащие в основе ее разработки принципы могут быть использованы в преподавании ряда дисциплин, в первую очередь теоретических, в массовом обучении в медицинских вузах.
Дидактические особенности физиологии как учебной дисциплины; формы контроля
Физиология как учебная дисциплина занимает промежуточное положение между исключительно описательной дисциплиной и исключительно объяснительной. Это означает, что в этой физиологии, с одной стороны, имеется некий минимум знаний, необходимый и достаточный для построения физиологических концепций, с другой — есть некий дополнительный багаж знаний, составляющий общую физиологическую эрудицию. Следовательно, на курсе физиологии студенты обязаны:
• владеть необходимым минимумом знаний и достаточной общей физиологической эрудицией;
• уметь оперировать знаниями в пределах основных физиологических концепций, прежде всего путем решения задач;
• уметь связно изложить основные физиологические концепции, т.е. показать понимание закономерностей функционирования организма.
Этим навыкам соответствуют разные формы контроля.
Контроль необходимого минимума знаний. Перед составлением контролирующих программ мы выделили основные абсолютно необходимые элементы знаний, назвав их комплекс профессионально необходимых знаний (КПНЗ). Это самый трудоемкий этап в создании системы контроля.
Контроль знаний в пределах КПНЗ осуществляется путем компьютерного тестирования. Соблюдаются следующие принципы:
• студент обязан знать ВСЕ элементы КПНЗ, незнание хотя бы одного элемента приравнивается к неудовлетворительной оценке;
• студент должен знать, о чем его спросят, но не должен знать, как его спросят. Иными словами, элементы КПНЗ студентам известны, но конкретные вопросы остаются закрытыми (публикуются только типовые вопросы) (Алипов, Соколов, 1989). Алгоритм тестирования представлен на
рисунке.
На каждый пункт КПНЗ составляется определенное количество вопросов (желательно не менее 20), которые делятся на 2 блока — основные и дополнительные. Таким образом, формируется N основных и N дополнительных блоков вопросов, где N — количество пунктов КПНЗ. Количество пунктов КПНЗ в разных темах варьирует от 8 до 15. Студенту в случайном режиме задают вопрос из первого основного блока (на первый элемент КПНЗ). При правильном ответе он переходит к следую-
КПНЗ-1
КПНЗ-2
Неверно
е
Выход
Неверно
е
Выход
Блок-схема контроля первого уровня. КПНЗ - элементы комплекса профессионально необходимых знаний
щему основному блоку, при неправильном ответе — к дополнительному блоку на тот же элемент КПНЗ; при правильном ответе переходит к следующему элементу КПНЗ, при неправильном — выходит из программы, получая «незачет». Таким образом, с одной стороны, проверяется знание всех обязательных элементов знания, с другой — благодаря дополнительным вопросам сводится к минимуму вероятность случайных ошибок (по сути, такая система имитирует диалог экзаменатора со студентом)
Поскольку вопросы выбираются в случайном режиме (более того, при каждом прохождении программы случайным образом меняется порядок предъявления элементов КПНЗ, а также перетасовываются ответы в каждом вопросе), механическое зазубривание номеров правильных ответов
или использование шпаргалок с шаблонами ответов исключено. Поскольку же студент заранее знает не конкретную формулировку вопросов, а содержание необходимого минимума знаний, механическое запоминание отдельных вопросов также невозможно. Тем самым устраняется главный недостаток тестового контроля — заучивание вопросов вместо усвоения знаний.
Контроль общего багажа знаний. Осуществляется с помощью обычных программ, позволяющих выбирать один или несколько правильных ответов, устанавливать последовательность и соответствие чего чему? При этом вопросы и задачи выходят за рамки КПНЗ, но не за рамки содержания курса.
Контроль умения изложить концепции физиологии. Осуществляется с помощью обычного устного опроса.
#
В качестве примера в Приложениях 1 и 2 приведены вопросы первого (на КПНЗ) и второго (на решение задач) уровней одной из тем нормальной физиологии («Физиология возбудимых тканей»). На первый взгляд может показаться, что вопросы первого уровня чрезмерно просты, однако по имеющимся на кафедре физиологии среднестатистическим данным, в среднем на них с первого раза не отвечает около трети всех обучающихся на кафедре студентов. К сожалению, это лишний раз подчеркивает низкий уровень внутренней положительной мотивации у студентов, так как не сдать первый уровень можно только при полном отсутствии самостоятельной подготовки.
Организационные особенности педагогического процесса на кафедре физиологии РНИМУ; виды контроля
На кафедре физиологии одновременно обучаются около 1500 студентов. Одномоментно в течение 3 ч 40 мин (время 1 семинара) присутствует до 10 подгрупп по 15 чел. Текущее тестирование по 1 теме по представленному выше алгоритму (см. рисунок) проходится в среднем за 5 мин (в связи с элементарностью вопросов на КПНЗ подготовившиеся студенты сдают быстро, а не подготовившиеся еще быстрее выходят из программы). Соответственно при наличии стандартного компьютерного класса на 15 компьютеров на каждого студента может выделяться около 20 мин чистого компьютерного времени. При наличии графика и строгом его выполнении этого вполне достаточно, чтобы пройти тестирование по теме текущего занятия и попытаться сдать все имеющиеся задолженности. Таким образом, как показала практика, одного компьютерного класса
на 15 машин достаточно для полного обеспечения текущего тестирования в крупном мединституте, где на одном курсе обучаются более 1000 студентов. В то же время для обеспечения отработок и коллоквиумов одного класса мало (см. ниже).
На кафедре применяется балльно-рейтинговая система, в соответствии с которой после прохождения каждого раздела (4—5 занятий) проводится 3-этапный компьютерный и устный коллоквиум, на котором проверяются все перечисленные в разделе «Дидактические особенности физиологии как учебной дисциплины; формы контроля» компетенции и выставляются тестовый балл (за компьютерные этапы) и общая оценка (суммарная за все этапы). Средние за год тестовые баллы и оценки, полученные за коллоквиумы, влияют на общую годовую оценку, выставляемую на заключительном экзамене.
Текущий контроль
На каждом занятии в течение предо -ставляемого каждой подгруппе компьютерного времени осуществляется компьютерное тестирование на знание КПНЗ по теме занятия с помощью описанных выше программ (см. рисунок).
Результаты текущего компьютерного тестирования автоматически заносятся в электронную базу данных успеваемости всех студентов. К коллоквиуму допускаются только студенты, сдавшие все текущие тесты по темам этого коллоквиума (обычно это 4—5 тестов). Допуск осуществляется автоматически на основании электронной базы.
Поскольку для допуска к коллоквиуму необходимо сдать все тесты по этому коллоквиуму, важна доступность попыток пересдачи. Текущие тесты могут пере-
сдаваться либо на любом занятии у своего преподавателя (как уже говорилось, даже при наличии одного класса компьютерного времени обычно хватает), либо в установленные часы отработок (в настоящее время отработки текущего компьютерного тестирования проводятся ежедневно в течение 2 ч). При неудачной попытке сдать какой-либо тест устанавливается временная задержка, в течение которого повторная сдача данным студентом данного теста не допускается (чтобы не допустить бездумных бесконечных попыток сдачи и нескончаемых очередей на пересдачу). в настоящее время эта задержка равна 2 ч (время, достаточное для повторения материала).
Таким образом, текущий компьютерный контроль имеет значение для допуска к коллоквиуму, но не для оценки знаний на данном занятии (последняя осуществляется преподавателем путем обычного устного опроса).
Промежуточный контроль
Осуществляется в форме 3-этапного компьютерного и устного коллоквиума.
1 этап (компьютерный)— сдача необходимого минимума (КПНЗ), но уже по иной схеме: из всех тем данного раздела формируется обычная линейная контролирующая программа из 20 вопросов. Например, при сдаче модульного экзамена по теме «Кровообращение» программа формируется из вопросов текущих тестов по 5 темам:
1) свойства сердца;
2) методы исследования сердца;
3) регуляция сердца;
4) законы гемодинамики;
5) регуляция гемодинамики.
При этом выбор вопросов осуществляется случайным образом. Студент имеет
право сделать не более 4-х ошибок, в противном случае ему выставляется оценка «неудовлетворительно». Если сделано менее 5 ошибок, студент за каждый правильный ответ получает по 2 балла и переходит на второй этап.
2 этап (компьютерный) — контроль общей физиологической эрудиции и решения задач. Осуществляется обычной линейной программой со случайным выбором вопросов. Студенты предлагается 6 вопросов на общую эрудицию (выходящих за рамки КПНЗ, но не за рамки программы) и 3 задачи. За каждый правильный ответ на вопрос студенту дается 5 баллов, за каждую решенную задачу — 8 баллов. Дальнейшая тактика зависит от количества баллов, набранных на первых двух уровнях:
• <60 баллов — на третьем (устном) этапе студент может получить не больше «удовлетворительно»;
• 60—69 баллов — на третьем (устном) этапе — не больше «хорошо»;
• >69 баллов — на третьем (устном) этапе студент может получить любую оценку.
3 этап (устный). На этом этапе учитывается устный ответ, а также работа на занятиях, доклады и пр., в результате выставляется конечная оценка по обычной пятибалльной системе.
Таким образом: а) компьютерные этапы экзамена устанавливают диапазон, в пределах которого преподаватель выставляет конечную оценку с учетом устного ответа, работы на занятиях и дополнительных достижений; б) по окончании коллоквиума студент получает тестовый балл (результат первых 2 этапов), автоматически заносимый в электронную базу данных, так и обычную оценку по 5-балльной системе. И то, и другое играет важную роль на итоговом экзамене.
Итоговый контроль
Осуществляется путем обычного устного экзамена, однако при его проведении учитывается:
• средний за год тестовый балл, лимитирующий максимальную оценку (<60 — не больше «удовлетворительно», <70 — не больше «хорошо», 70 и больше — любая оценка);
• средняя за год оценка за коллоквиумы, от которой зависит характер опроса. При расхождении более чем на 2 балла между средней оценкой за год и оценкой на экзамене вопрос об оценке решается только комиссией.
из обоих источников во избежание случайного непроставления зачета при прохождении какого-либо тестового контроля (например, при внезапном отключении компьютера). Такая продублированная система, как показала практика, исключает несправедливый недопуск студента к коллоквиуму.
4. Класс работает строго по расписанию. Вне времени, отведенного на пересдачу, контролирующие программы отключаются, а пребывание студентов в классе категорически запрещено. Появление в электронном протоколе отметки о сдаче текущего теста либо экзамена в неурочное время влечет за собой аннулирование теста и констатацию нарушения Устава вуза с вытекаю -щими последствиями.
Защита
#
1. Каждый студент получает уникальный пароль. Вход под чужим паролем в тестирующую систему является серьезным нарушением Устава вуза. В то же время профили всех студентов (количество сданных текущих тестов, оценки за модульные экзамены) полностью открыты.
2. На пересдачу студент допускается по зачетке или студенческому билету с проверкой соответствия фотографии сдающему студенту. в разрабатываемых в настоящее время программах фотография студента будет выводиться на экран по введенному паролю.
3. Результаты прохождения программ записываются в базы данных, а все события, происходящие на всех компьютерах и заканчивающиеся нажатием «Enter» — в протоколы (при включении контролирующих программ автоматически включается протокол, регистрируемый на Интернет-портале). При автоматическом допуске к коллоквиуму используется информация
Заключение
Описываемая здесь система приведена в качестве примера эффективно работающего в массовом обучении контролирующего комплекса. Практика показала, что данная система уменьшает временные затраты на контроль, позволяет проверить знания по всем разделам, повышает подготовленность студентов к занятиям, не допускает коррупции, снижает зависимость студента от субъективности преподавателя, и в то же время исключает явные недостатки исключительно тестового контроля. Многие детали этой системы могут быть, разумеется, изменены в соответствии с особенностями конкретного вуза, конкретной дисциплины и творческими находками преподавателей. Однако хотелось бы подчеркнуть некоторые моменты, которые, как нам кажется, являются обязательными при разработке любых контролирующих систем для массового обучения.
1) Система должна быть комплексной, включающей разные формы контроля для оценки разных знаний и навыков.
2) Система должна быть интегрирована в реальный педагогический процесс. Самые совершенные компьютерные программы неизбежно будут обречены на неэффективность, если не будут продуманы все мельчайшие подробности их включения в расписание, условий работы класса, защиты от любых несанкционированных действий и пр.
3) Важно помнить, что при компьютерном тестировании организационные (в частности степень массовости обучения), социальные (в частности уровень неформальных отношений к отдельным студентам) и психологические (в частности уровень мотивации) факторы играют не меньшую, а даже большую роль, чем алгоритм и дизайн контролирующих программ.
4) Частота и степень контроля напрямую зависит от степени и структуры мотивации, а также социальной зрелости студентов и выраженности неформальных отношений (от прямой коррупции до ненамеренной субъективности). Формы проведения контроля должны гибко адаптироваться к изменениям ситуации в отношении этих аспектов. В идеальном случае контроль в конечном счете должен быть сведен к итоговым экзаменам, как это делается в большинстве зарубежных вузов. Формы контроля должны соответствовать характеру дисциплины, в частности ее положению в континууме описательных и объяснительных наук.
В заключение хочется подчеркнуть еще один важнейший, по нашему мнению, аспект: в настоящее время, особенно в зарубежных вузах, существует множество эффективных, многократно проверенных на практике, профессионально сделанных компьютерных систем контроля (McFadden et al., 2001; Conejoa et al., 2013). Однако их автоматическое неадаптированное перенесение в российские учебные заведения в лучшем
случае может привести к пустой трате средств и времени, а в худшем — к резкому снижению качества контроля, а следовательно, и образования. В связи с этим вспоминается разговор одного из авторов с коллегой, преподающим физиологию в одном из ведущих зарубежных университетов.
Автор: «Скажите, а как вы проверяете готовность студентов к занятиям и какие меры принимаются по отношению к тем, кто оказался не готов?» Коллега: «Как студент может быть не готов к занятию? Он же тогда ничего из занятия не вынесет!» Автор: «Что вы предпринимаете по отношению к уличенным в списывании?» Коллега: «Списывание невозможно. Это кража интеллектуальной собственности, абсолютно не совместимая с нравственными установками». Автор: «Насколько я понял, преподаватель имеет большие полномочия в формировании конечной годовой оценки. А как тогда застраховаться от, скажем так, убедительных просьб пойти навстречу тому или иному студенту?» Коллега: «Такие ситуации у нас очень редко, но бывают. В большинстве случаев они становятся известны. Если просящий занимает по отношению к преподавателю хоть немного более высокое иерархическое положение, то последствия бывают самыми серьезными...»
При такой обстановке в вузе, как нам представляется, большинство сложностей контроля направлены на его ужесточение, строгость, защиту от списывания и т.п., а сам контроль может быть сведен к единственному итоговому экзамену Можно надеяться, что через какое-то время именно так будут обстоять дела в большинстве отечественных медицинских вузов. Однако, пока это время не настало, при организации контроля следует исходить из местных реалий, а не из отдаленных идеалов.
Список литературы опубликован на сайте www.medobr.ru.
