Практика и проблемы тестирования по экономикев вузе Текст научной статьи по специальности «Науки об образовании»

© 2008 г. И.В. Фомичева

ПРАКТИКА И ПРОБЛЕМЫ ТЕСТИРОВАНИЯ ПО ЭКОНОМИКЕ В ВУЗЕ

В современном мире постоянно возрастает значение образования как важнейшего фактора формирования нового качества экономики и общества. В связи с этим перед российской системой образования встает задача глубокой и всесторонней модернизации с выделением необходимых для этого ресурсов и созданием механизмов их эффективного использования. Модернизация образования - это масштабная программа государства, осуществляемая при активном содействии общества. Она должна привести к достижению соответствующего актуальным и перспективным запросам жизни страны качества российского образования, а также повышению его конкурентоспособности. Главная задача российской образовательной политики - обеспечение его высокого уровня на основе сохранения фундаментальности и соответствия потребностям личности, общества и государства.

Одним из приоритетных направлений совершенствования этой сфере является модернизация самой модели управления. В современных условиях управление образованием - прежде всего управление процессом его развития. В отечественном образовании в последнее время этот процесс все чаще связывают с развитием новых образовательных технологий, под которыми понимают комплекс форм и методов обучения, позволяющих активизировать деятельность обучаемого. При этом сами новые технологии принято делить на три большие группы: модульные, личност-но ориентированные и информационные. В последнее время особенно бурно развиваются информационные технологии (ИТ), что обусловлено широким использованием персональных компьютеров и средств коммуникации. Они включают в себя все виды доступа к образовательным ресурсам, в том числе и посредством Интернета (библиотеки, образовательные порталы и оболочки, контроль достижений и т.д.).

Столь широкое вовлечение и востребованность да-ного вида технологий объясняются их высокой экономической эффективностью и относительной мягкостью, так как они ставят всех учащихся в равные условия. Кроме того, при помощи подобного инструмента может быть существенно упрощена и стандартизована процедура аттестации и учащихся, и самих образовательных учреждений. Именно на эту составляющую ИТ и хотелось бы обратить особое внимание.

За последнее десятилетие в практику обучения студентов вузов все шире стали внедряться технологии тестирования как средства контроля знаний. Так, Национальным аккредитационным агентством в сфере образования разработана технология компьютерного тестирования с использованием сети Интернет («Интернет-экзамен в сфере профессионального образования»), которая успешно применяется с 2005 г. [1]. Первостепенной задачей интернет-экзамена является реа-

лизация в системе профессионального образования технологии массового тестирования, позволяющей диагностировать состояние базовой подготовки студентов и оценивать ее на соответствие требованиям образовательных стандартов.

Интернет-экзамен проводится два раза в учебном году (в мае - июне и декабре - январе) и представляет собой компьютерное тестирование студентов, заканчивающих (или закончивших) изучение дисциплины. В мае 2005 г. в нем приняли участие 58 вузов и филиалов из 31 региона России, а в декабре 2007 - январе 2008 г. уже 1054 вузов и филиалов из 82 регионов России [2].

Тульский государственный педагогический университет им. Л.Н. Толстого участвует в интернет-тестировании с 2006 г. Одним из первых в перечень, сдаваемых по Интернету вошел экзамен по экономике в составе блока «Дисциплины общего гуманитарного и социально-экономического цикла» учебных планов. Интернет-экзамен проводился на всех факультетах и специальностях вуза, и опыт, накопленный автором, позволил сделать некоторые выводы и обобщения, а также выявить проблемы в использовании данной технологии.

Перечислим сначала положительные стороны применения интернет-экзамена. Самым замечательным его свойством стал более объективный способ оценки знаний. Не секрет, что иногда существенное влияние на экзаменационную оценку студента оказывают взаимоотношения с преподавателем. Как правило, преподаватели более благосклонно воспринимают студентов, посещающих занятия, и менее благосклонно - пропускающих их (в том числе и по уважительным причинам: состояние здоровья, уход за детьми, работа по специальности и т.д.). В случае сдачи экзамена традиционным способом, такой студент оказывается в сложной психологической ситуации, ведь ему необходимо не только продемонстрировать свои знания, но еще и убедить преподавателя, что пропуски занятий не повлияли на качество знаний.

В случае интернет-экзамена какие-либо «спекуляции» на тему субъективной составляющей исключаются полностью, так как процедура экзамена стандартизована: для всех без исключения студентов отводится одинаковое время, тестовые задания в основном равны по уровню сложности, и их количество также заранее строго определено. В результате психологическая обстановка в аудитории стала намного спокойнее.

Несомненным достоинством является также максимальная открытость процедуры подведения итогов и невозможность влияния на конечный результат, так как и преподаватель, и студенты узнают об итогах экзамена одновременно, после того как вся группа пол-

ностью завершила тестирование.

Еще одно обстоятельство, которое также весьма благотворно может повлиять на учебный процесс в целом - это повышение ответственности преподавателей за результаты своего труда. Традиционные оценки принципиально не позволяют установить, в каких вузах и у каких преподавателей процесс обучения поставлен лучше. Применение же тестирования делает возможным критически оценить вклад каждого преподавателя в учебный процесс, провести сравнения и сопоставления, а также более корректно аттестовать учебное заведение в целом [3, с. 16].

Но кроме положительных сторон у интернет-экзамена имеются и слабые, и даже отрицательные стороны. Рассмотрим их более подробно.

Первое, что сразу же бросается в глаза, - это несоответствие названий учебных пособий [4] в списке рекомендованной литературы и наименования дисциплины. В списке перечислены учебные пособия только по «Экономической теории» (объемом от 460 до 800 !!! страниц) и нет ни одного более или менее «приличного» пособия по «Экономике». И хотя специалисты знают, что разница в содержании учебных пособий невелика, тем не менее, «Экономическая теория» - это фундаментальная дисциплина для будущих специалистов экономического профиля, а «Экономика» - это всего лишь одна из дисциплин общего гуманитарного и социально-экономического цикла учебного плана, т.е. дисциплина, дающая общее представление о современном мире. Разница в наполнении, подходах к изложению и контроле достижений в этих дисциплинах должна быть очевидной!

Более того, анализ содержания рекомендуемых пособий позволяет сделать вывод о том, что для успешной сдачи интернет-экзамена студент должен будет проштудировать не одно, а три или четыре учебных пособия, каждое из которых включает от 500 и более страниц. При этом еще раз подчеркнем, что экономика - дисциплина общегуманитарного, а не профессионального цикла. Если к этому добавить, что в течение семестра студент должен работать над курсовыми работами и сдавать в сессию не один, а несколько подобных экзаменов, то получается, что объем самостоятельной работы, которую должен провести студент, значительно превышает требования и образовательного стандарта, и учебного плана.

Таким образом, для корректного применения технологии контроля с использованием ПЭВМ по дисциплине «Экономика» общего гуманитарного и социально-экономического цикла необходимо разрабатывать единый учебник, который не будет слишком объемным (до 300 стр.) и при этом полностью соответствовать содержанию тестов интернет-экзамена.

Второе обстоятельство, на которое следует обратить внимание и разработчикам аттестационных педагогических измерительных материалов (АПИМ), и пользователям - это несоответствие между заявленными критериями в «Модели оценки выполнения требований ГОС» [5] и реальным содержанием АПИМ. Согласно этой модели, «во всех используемых для оценки освоения ГОС педагогических измерительных материа-

лах (ПИМ) выполнение заданий требует использования знаний и умений в знакомой ситуации, т.е. задания рассчитаны на типовые действия» [5]. Однако более внимательное рассмотрение АПИМ приводит к заключению, что в них встречаются тесты не только на узнавание и репродуктивное действие, но и на 3, и 4-й уровни сложности продуктивного и творческого действий.

Согласно рекомендациям [5, 6], разработка АПИМ должна начинаться с разработки спецификации теста. Такая спецификация представлена в «Кодификаторе элементов содержания дисциплины «Экономика» цикла гуманитарных и социально-экономических дисциплин высшего профессионального образования» [7]. При этом в контролируемом содержании дисциплины заявлено, что: «в дисциплине "Экономика" предложено выделить две группы (1 группа - от 100 до 199 часов, 2 группа -от 200 до 250 часов)» [7]. Всем преподавателям, работающим не первый год в высшей школе, понятно, что выборка, в которой разница в часах составляет 100 % (1-я группа), не может быть признана однородной. Градацию часов во второй группе можно признать удовлетворительной, так как в ней разница составляет 25 %. Таким образом, складывается ситуация, когда и студенты, и целый ряд вузов ставятся в дискриминационные условия, что само по себе противоречит принципам тестирования.

Следовательно, для того чтобы АПИМ, разрабатываемые для первой группы, стали адекватными, необходимо эту большую группу делить на две или три меньших. Деление на три группы выглядит более обоснованным с точки зрения градации, например: 1-я группа - 100-125 ч; 2-я - 126-155; 3-я группа - 156-199 ч (везде разница ~ 25 %).

Таким образом, вместо двух первоначально заявленных аккредитационным агентством, мы получим четыре группы. Однако, по мнению автора, это приведет к возрастанию сложности проведения процедуры тестирования и потребует очень кропотливой работы по сортировке уже имеющихся заданий в соответствии с уровнями усвоения учебного материала.

Более простым, и вместе с тем, учитывающим различные объемы часов, отводимых на изучение экономики в вузах, было бы деление 1-й группы на две и, таким образом, в целом получение трех групп: 1-я группа - 100-150 ч; 2-я - 151-199; 3-я группа - 200-250 ч (разница соответственно 50 %; ~ 33; 25 %).

Как видно, и в этой градации разница в часах в 1-й группе намного превышает разницу в двух других. Однако типовые учебные планы для большинства неэкономических специальностей предусматривают изучение экономики в объеме до 150 ч. В таких обстоятельствах, сокращая по собственной инициативе число часов, отводимых этой дисциплине, вузы сами ставят себя в менее выгодное положение а следовательно, и несут за это ответственность.

Если объем времени, отводимого на изучение экономики, составляет 100-150 ч, то это значит, что аудиторных часов может быть от 40 до 75. При этом нельзя забывать, что в среднем половина из них лек-

ции, половина - практические занятия. Таким образом, экономика изучается в течение одного семестра. Если объем дисциплины составляет от 150 и более часов, то только один лекционный курс будет как минимум 36 ч. Разница существенная!

Для наглядности рассмотрим тему «Монополия и антимонопольное регулирование». В кодификаторе заявлено, что студент должен «знать сущность и виды монополий, антимонопольное регулирование и уметь определять условия равновесия фирмы (достижения оптимального объема производства), уровень монопольной цены, монопольной прибыли, индекс монопольной власти» (код элемента содержания - 1. 2. 08) [7]. Если лекционный курс составляет 20 ч, то данная тема будет рассмотрена за одну лекцию (2 аудиторных часа) в составе модуля «Анализ и регулирование рынков» (т.е. одновременно с совершенной, монополистической конкуренцией и олигополией). Если же лекционный курс 36 и более часов, то на изучение регулирования монополии можно отвести целую лекцию.

В ходе тестирования в январе 2008 г. студентам факультета психологии ТГПУ им. Л.Н. Толстого были предъявлены тестовые задания, в которых на основе графической модели необходимо определить размеры убытков монополии, или с использованием функционального анализа - оптимальные цены и объем производства. Для студентов, изучающих экономику в объеме всего 100 ч, эти задания - 4-го уровня сложности, т.е. эвристического (творческого)!

Кроме того, на основе личного, обширного опыта хочется отметить и еще одну особенность. Студенты, более склонные к техническим и математическим наукам, в целом лучше справляются с тестами по экономике, чем студенты гуманитарии. Это тем более выглядит обоснованным потому, что многие из «гуманитариев», ориентируясь на свои будущие специальности, уже в старших классах школы перестают нормально и в полном объеме заниматься алгеброй и геометрией. А для решения многих задач и тестов по экономике умение работать с графиками и функциями является обязательным.

И, наконец, третье обстоятельство, на которое хочется обратить внимание преподавательского состава вузов и авторов АПИМ - само содержание тестов. Здесь необходимо рассмотреть два аспекта. Первый - это содержательная часть самих АПИМ: грамотность, однозначность ответа, понятная и максимально простая формулировка вопроса или утверждения и т.д. Второе - процентное сопряжение системы знаний и умений с процентным соотношением заданий по дидактическим единицам.

В целом прогресс в этой сфере для тех, кто участвует в тестировании по экономике постоянно, очевиден. Однако он является недостаточным. Если в 2006/2007 уч. г. приблизительные оценки автора и его коллег тестов, не соответствующих требованиям стандарта и спецификации, были на уровне 30 %, то в январе 2008 г. процент «брака» стал значительно ниже. В этом безусловная заслуга сотрудников МарийскогоГТУ, осуществляющих координирование деятельности всех разработчиков АПИМ. Тем не менее, скрининг (экспертиза)

части тестов до сих пор осуществляется весьма поверхностно.

В некоторых тестовых заданиях, предъявленных студентам в январе 2008 г., встречались неоднозначные формулировки или требовались уточнения и пояснения. Например, задания выглядели так:

При обсуждении проблемы экономического роста на первый план обычно выдвигается роль факторов... о спроса о распределения

о предложения о обмена. о Наращивание инвестиций в макроэкономическом масштабе может привести ...

о к сокращению ВВП и инфляции в краткосрочном периоде;

о к дефициту товаров и росту цен; о к росту инфляции и перепроизводству; о к росту ВВП и способствует достижению полной занятости.

Если ставка банковского процента находится на уровне 20 %, а ежегодный доход от использования участка составляет 20 тыс. ден. ед., то цена участка земли равна .

Как видно, в первом тесте однозначный ответ дать невозможно, так как факторы предложения обеспечивают потенциальные возможности роста, а его реальная реализация возможна только при наличии эффективных спроса и распределения. Кто обсуждает проблему роста и под каким углом зрения, студенты могут лишь догадываться. Во втором тесте без уточнения долгосрочности перспективы однозначный ответ тоже дать невозможно, так как и третий, и четвертый варианты являются в принципе правильными. В третьем тесте упоминается «доход от использования». Доход, как известно, это средства, полученные от хозяйственной деятельности (выручка), т.е. сумма затрат и прибыли. Его может получать как арендатор, так и собственник земли. Если 20 тыс. ден. ед. - доход арендатора, то о его затратах и прибыли ничего не говорится, и задача становится бессмысленной, если это доход арендодателя - то такой вид дохода называется рентой или арендной платой и об этом студенту также нужно догадаться.

Кроме рассмотренных ранее, встречались тестовые задания, в которых при корректной формулировке вопроса предлагаются вместо одного правильного ответа и трех дистракторов или два правильных ответа, или ни одного правильного. Точно воспроизвести эти задания автор не имеет возможности, но они встречаются при вычислении потерь по закону Оукена, при определении чистой приведенной стоимости от реализации инвестиционного проекта и при нахождении правильного утверждения.

И, наконец, приведу еще два задания, которые в 6-м этапе ФЕПО можно назвать абсолютными лидерами по отсутствию логики в формулировке задания (ответ и дистракторы не представлены).

Если в земельный участок инвестировали 10 тыс. ден. ед. со сроком окупаемости 5 лет, ежегодная рента составляет 1 тыс. ден. ед., а норма банковского процента - 10 % годовых, то размер ежегодной арендной платы за участок равен ..

В два одинаковых по размеру участка инвестиро-

вали по 100 ден.ед., средняя норма прибыли - 10 %. Урожай на первом участке - 5 т, на втором - 10 т. Размер дифференциальной ренты на втором участке равен...

Для начала не ясна ситуация с землевладением и землепользованием: кто именно вкладывает средства. Далее, если обсуждать вопросы инвестирования средств в земельные участки, то мы приходим к понятиям дифференциальной ренты II и/или приведенных стоимостей. Если речь идет о сроках окупаемости, то, вероятно, должны оговариваться условия амортизации (линейная или ускоренная). Чтобы определить дифференциальную ренту II, необходима информация о предшествующей ситуации (рынок сельхозугодий) или ситуации на рынке сельскохозяйственной продукции (ее в задачах нет). Для решения проблем приведенных стоимостей нужны указания на временной интервал. Таким образом, понять, какую экономическую ситуацию описывал автор данных АПИМ или очень трудно, или практически невозможно. Это означает, что в процессе ответа студент должен «гадать на кофейной гуще», т.е. решать задачу эвристического уровня. Еще раз подчеркну, что это - тесты, рассчитанные на инженеров, педагогов, психологов, искусствоведов, теологов и т.д., изучающих экономику в объеме от 100 ч.

Процентное сопряжение системы знаний и умений с процентным соотношением заданий по дидактическим единицам теорией педагогических измерений жестко не нормируется. Однако в приблизительных оценках большинство авторов сходятся.

Начнем с того, что для осуществления корректного контроля достижений (суммирующий тест) [6, с. 49], длина теста (количество заданий) должна быть от 60 до 80 и время на выполнение должно составлять 2 ч [3, с. 93]. В ходе 6-го этапа ФЭПО количество заданий было 40 и на их выполнение было предоставлено 80 мин.

Второе - необходимо более четко и жестко определить уровни усвоения учебного материала. Требования, представленные в «Модели...» [5], «знать... и

В 1-м столбце таблицы расположены в порядке возрастания планируемые к проверке знания и умения (4 уровня). Во 2-м приведены общие рекомендуемые теорией педагогических измерений соотношения между уровнями усвоения материала. Творческое действие (4-я строка 2-го столбца) выходит за 100%-й объ-

уметь...» никоим образом не ограничивают фантазию разработчиков АПИМ. Понимание уровня «уметь» у каждого автора различное. Достаточно внимательно проанализировать классификацию уровней усвоения учебного материала, представленную А.Н. Майоровым [6, с. 81], чтобы понять, что уровень «уметь», т.е. действовать, может включать в себя действия:

- репродуктивное (по образцу или алгоритму);

- продуктивное (в слегка измененной ситуации);

- творческое (эвристическое, креативное).

Таким образом, следует признать, что некоторые тестовые задания, имеющиеся в базе ФЕПО, значительно превышают заявленный национальным аккредитацион-ным агентством в сфере образования уровень требований к усвоению материала. В подтверждение этого достаточно вернуться к представленным ранее АПИМ на рентные отношения. Данное обстоятельство, вероятно, обусловлено тем, что:

- среди разработчиков АПИМ число авторов, имеющих представления о теории и методике педагогических измерений, очень мало;

- стремление расширить тестовую базу ФЕПО заставляет авторов «изощряться»;

- заказчики АПИМ изначально не представили перечень типовых заданий на уровень «уметь», выходить за пределы которого недопустимо.

Третье - необходимо ознакомить и предоставить на обсуждение заинтересованного педагогического сообщества спецификацию теста целиком. Содержательные линии или разделы дисциплины преподаватели вузов уже сейчас могут самостоятельно вычленить из «Кодификатора» [7], а процентное соотношение между разделами и планируемыми к проверке знаниями и умениями пока можно оценить лишь приблизительно.

Попытки автора произвести подобную оценку дали процентное сопряжение для 1-й группы (100 - 199 ч) заданий представлены в таблице.

ем достижений, т.е. таких достижений, которые характеризуют степень освоения курса. Задание этого уровня сложности может применяться только в случае необходимости дифференциации обучаемых по результатам выполнения теста, т.е. если есть углубленная часть теста. В 3-м столбце на основе соотношения между об-

Спецификация теста по экономике для 1-й группы заданий

Соотношение, %

Уровень усвоения Рекомендуемое соотношение, %

заявленное фактическое

ДЕ 1 ДЕ 2 ДЕ 3 ДЕ 1 ДЕ 2 ДЕ 3

Знание понятий, фактов

20 15 17,5 25 5-10 10 25

Репродуктивное действие

60 2,5 20 20 2 15-20 10-20

Продуктивное действие

20 Не должно быть 5 10

Если есть углубленная часть теста

Творческое действие Не должно быть 5* 5*

* - процент заданий, выходящих за рамки образовательного стандарта конкретной специальности.

щим количеством элементов содержания дисциплины (2-й столбец Кодификатора [7]) и долями, приходящимися на дидактические единицы (ДЕ: введение в экономическую теорию, микроэкономика, макроэкономика), процентные соотношения вычислены автором. В 4-м столбце приведены приблизительные фактические данные о содержании теста. Звездочкой помечены те задания, знание фактического материала которых выходит за рамки требований образовательного стандарта той специальности, которая проходила данное тестирование, т.е. студенты вообще не обязаны знать то, что с них спрашивали. Например, задание на знание определения понятия «производительность труда» (код элемента содержания дисциплины 1.4.03 Кодификатора [7]), или задание на знание понятия и характеристик европейской валютной системы (вообще отсутствует в перечне знаний в Кодификаторе [7]).

Таким образом, для дальнейшего успешного использования технологии интернет-экзамена необходимо заниматься разработкой методического обеспечения для студентов, более качественно осуществлять экспертизу самих АПИМ, проводить обучение авторов методике разработки АПИМ и адаптировать спецификацию (Кодификатор) теста в соответствии с требованиями государственных образовательных стандартов и заявленными Росаккредагентством требованиями к усвоению дисциплины.

Литература

1. Киселева В.П., Масленников А.С., Тикина Г.П. Оценка качества подготовки студентов по результатам интернет-экзамена в сфере профессионального образования // Развитие тестовых технологий в России: Тез. докл. в IX Всерос. науч .-метод. конф. М., 2007. http://www.fepo.ru/index. php?menu=about press го

2. Наводнов В.Г., Масленников А. С., Шарафутдинова Л.Н. Тестирование в сфере профессионального образования с использованием сети Интернет // Там же.

3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. М., 2001.

4. Дисциплина «Экономика». Список литературы // http://www.fepo.ru/index.php?menu=devapim_literature

5. Модель оценки выполнения требований ГОС // http://www.fepo.ru/index.php?menu=method_model

6. Майоров А.Н. Теория и практика создания тестов для системы образования (Как выбирать, создавать и использовать тесты для целей образования). М., 2000.

7. Кодификатор элементов содержания дисциплины «Экономика» цикла гуманитарных и социально-экономических дисциплин высшего профессионального образования // http://www.fepo.ru/index. php? menu=devapim_kodi

Тульский государственный педагогический университет им. Л.Н. Толстого 27 февраля 2008 г.