CC BY
12
Т.Д. Дегтярева, Н.В. Спешилова
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ ПО ДИСЦИПЛИНЕ
«ЭКОНОМИЧЕСКАЯ ТЕОРИЯ»
Информационная технология предназначена для повышения эффективности проведения контрольных мероприятий по усвоению материала по основным вопросам и разделам экономической теории (или для самоконтроля обучающихся) при организации учебного процесса с учетом индивидуальных траекторий обучения.
На современном этапе развития общества все большее значение приобретает задача повышения эффективности процессов организационного управления. Для высшей школы теоретические и методологические аспекты повышения эффективности процесса обучения в этой сфере разработаны недостаточно. Актуальными задачами являются: осуществление анализа деятельности высшего учебного заведения; выявление возможностей повышения эффективности процесса обучения в вузе; разработка информационных технологий организации учебного процесса с учетом индивидуальных траекторий усвоения знаний.
Несомненно, что взаимосвязанность указанных задач требует их комплексного решения. С учетом парадигмы внедрения новых информационных технологий обучения с преломлением к высшей школе, приемлема следующая трактовка: эффективность и качество процесса обучения в вузе должны расти, если организовать построение стратегии обучения с внедрением новых информационных технологий и использованием дифференциации. В соответствии с контекстом представленной темы, остановимся на некоторых аспектах, связанных с подготовкой высококвалифицированных специалистов в области экономики.
На первый курс высших учебных заведений поступает самый разнообразный контингент обучающихся - это и медалисты, и прошедшие по конкурсу, и, так называемый, «коммерческий набор». Среди них - закончившие среднюю школу в городе и селе; получившие аттестат несколькими годами раньше; выпускники техникумов, училищ и т.д. Уровень подготовки у них неравнозначный. К тому же они различаются по умению применять общие правила и закономерности для решения конкретных задач. Еще одна проблема, с которой приходится довольно часто сталкиваться в настоящее время, - это тенденция поступления в вузы на экономические специальности абитуриентов с гуманитарным стилем мышления. Это затрудняет освоение ими экономического анализа, планирования, прогнозирования и т.п., так как изучение пос-
ледних предполагает необходимость использования математических методов.
Успешная работа по повышению качества знаний студентов во многом определяется как уровнем подготовленности поступающих в вузы, так и степенью индивидуального освоения материала данной дисциплины при ее углублении и дифференциации по мере прохождения траектории ее изучения за время всего курса обучения. Рассмотрим сформулированные нами проблемы в свете профессиональной ориентации будущих студентов (еще при обучении в школе) на примере предметов экономической направленности, изучаемых студентами соответствующих специальностей в вузе. Так, в некоторых школах, уже введен в программу курс экономики для классов данной ориентации. В результате учащиеся, поступая в вузы, уже ознакомились с элементарными основами данной дисциплины, что окажет им помощь в дальнейшем. Однако, основная масса абитуриентов экономических специальностей, не знакома с аналогичным материалом. В связи с этим возникает проблема разной скорости усвоения и понимания предмета на занятиях, не говоря уже об индивидуальных психологических особенностях каждого студента.
Что касается проблемы связи между изучаемыми дисциплинами одной направленности, а внутри предметов - между разделами, то следует отметить следующее. Например, на первом курсе студенты изучают «Экономическую теорию», которая включает в себя базовый материал для ряда предметов. Кроме того, читая, например, раздел «Макроэкономика», преподавателю, за давностью информации, приходится либо заново рассматривать ту часть содержания предмета, которая уже была представлена в начальном курсе «Экономической теории» (что не целесообразно, в связи с большой затратой учебного времени), либо отправлять студентов к уже знакомому им материалу (это чревато следующим: во-первых, каждый человек любую проблему видит по-своему и выражает ее в соответствии субъективного восприятия, которое может не совпадать с мнением преподавателя по
данному вопросу рассматриваемой нами дисциплины; во-вторых, основы экономической теории разным студентам одного потока могли читать разные преподаватели, что также может сказаться на уровне знаний отдельно взятой группы студентов и повлечь за собой определенные трудности в работе на занятиях).
С аналогичными неувязками сталкиваемся в цепочках вида: «Экономическая теория» (первый курс) - «Экономика предприятия» (второй курс) -«Менеджмент» (третий курс) и пр. В них во всех, как правило, не хватает промежуточных звеньев -связки, в связи с чем необходим механизм, позволяющий решить эту проблему, основу которого должны составить мероприятия по выявлению начального уровня знаний, умений и навыков по текущему предмету (целесообразна их организация на базе программных тестовых оболочек), проводимые на первом занятии, с учетом результатов которых строилась бы дальнейшая траектория обучения.
Педагогическая диагностика в вузах организуется в основном по двум направлениям: отбор абитуриентов при поступлении в вуз и измерение успеваемости во время учебы в вузе. Для выполнения этой работы необходим соответствующий инструментарий. Контролируя знания и выставляя отметки, преподаватель не может абстрагироваться от социальных, личностных и эмоциональных факторов, которые сопутствуют процессу оценивания. Исключить эти субъективные факторы помогают всевозможные средства тестирования знаний на основе единых критериев и подходов. Одним из таких средств является созданная нами многофункциональная тестовая система автоматизированного контроля и самопроверки знаний.
За последнее время создан достаточно широкий спектр компьютерных обучающих систем, обучающе-исследовательских программ, компьютеризированных учебников и учебных курсов, автоматизированных обучающих систем и прочих программных продуктов, внедряемых в учебный процесс с целью повышения его эффективности. Однако, ощущается дефицит отлаженных с учетом необходимых требований валидности, надежности и пр. компьютеризированных тестовых комплексов по экономическим дисциплинам. Кроме того, следует отметить, что такие комплексы имели бы большое значение в организации процесса обучения категории студентов так называемого второго высшего образования. Данный контингент отличается крайней «разношерстностью» базовых знаний и способностей дальнейшего освоения учебного материала. Наполняемость групп велика
(высок спрос на специалистов экономического профиля), а количество звонковых часов по предметам, согласно учебным планам, мало (двухгодичный срок обучения в вечерней форме), в связи с чем особенно остро встает вопрос объективной оценки знаний при обучении.
Многофункциональная тестовая система предназначена для повышения эффективности организации контроля за усвоением материала разных областей знаний, а также для самоконтроля обучающихся. Данный программный продукт способствует объективизации оценки за счет создания тестов, отвечающих научным принципам. Рекомендуется к использованию в учебных заведениях (особенно вузах), а также в различных организациях, где необходим контроль за усвоением некоторого блока знаний. В соответствии с проблемой подготовки высококвалифицированных специалистов в области экономики разработан блок тестового материала по основным вопросам и разделам экономической теории. Весь тестовый материал разбит на три крупных блока-раздела - «Экономическая теория (общие понятия и термины)» (50 заданий), «Микроэкономика» (52 задания), «Макроэкономика» (53 задания) - каждый из которых в свою очередь разделяется на подразделы. Такое представление тесно взаимосвязано с использованными источниками и рекомендуемой литературой. Блок тестового материала содержит тестовые задания закрытой формы, так как при разработке системы тестирования была ориентация именно на такие задания в связи с удобством статистической обработки (также реализованной в программе) результатов тестирования, организованного в такой форме. Кроме того, задания отвечают ряду необходимых требований, среди которых: объективность, дифференцирующая способность, надежность и валидность. Коэффициент надежности для формируемых на данном материале тестовых вариантов г ? 0,857±0,03. Он определен с помощью блока статистической обработки - наиболее интересной характерной особенностью данного программного продукта - с учетом накопления итогов тестирования и их анализа.
Созданная информационная технология организации многоаспектного педагогического контроля и самоконтроля обучающихся использует алгоритм формирования тестовых заданий и имеет блок помощи, разработанный на основе применения гипертекста. Она включает в себя модифицированную совокупность показателей научных принципов создания тестов и способов их расчета с учетом возможной корректировки последних на основе накоп-
ления статистической информации о результатах тестирования. Разработан блок подготовки, проверки и корректировки тестовых заданий на ЭВМ.
Программа реализована в среде Inpise Delphi 5.0 с применением дополнительных компонент из библиотеки RXLib 2.75.
В состав программного продукта входят: рабочее место студента, рабочее место преподавателя, справочная информация.
Рабочее место преподавателя включает следующие программные модули: базу вопросов, шаблоны тестов, тестовые варианты, результаты опросов, статистической обработки, справочной информации.
Модуль «База вопросов» предоставляет возможность:
- выбрать тему и подтему для редактирования списка вопросов, при этом названия темы и подтемы отображаются на экране;
- добавлять и удалять вопросы в базе данных;
- редактировать существующие вопросы;
- просматривать краткое содержание вопросов и уровень их сложности;
- экспортировать подтемы в файлы на диске, чтобы переносить их на другие компьютеры или сохранять для дальнейшего использования.
Программный продукт ориентирован на применение тестов в закрытой форме и базируется на принципах их формирования, так как именно этот класс поддается наилучшей представленности и формализации в машинном варианте в связи с однозначностью оценивания.
В основу разработанной тестовой системы положена возможность создания заданий с выбором одного или нескольких ответов с последующей статистической обработкой полученных результатов и проверкой тестообразующих свойств сформированных тестов, причем не только тех, которые разрабатывались на базе данной системы, но и других, согласующихся с требованиями нашего программного продукта.
Предварительно с помощью страничного элемента управления преподаватель может выбрать тип вопроса. Поддерживается два типа вопросов -стандартный и с фасетными заготовками.
При составлении базы заданий преподавателю предлагается присвоить каждому вопросу коэффициент его индивидуальной трудности (kD) на фоне всего диапазона тестов, входящих в контролируемый раздел. Если все вопросы равноценны по трудности или отсутствует необходимость такого ранжирования, то данное действие игнорируется. Однако, в соответствии с рекомендациями,
имеющимися в литературе по работе с тестами, целесообразно выстраивание тестовых заданий по возрастающей трудности. Поэтому в системе реализована возможность задания kD как в рамках всего теста, так и внутри каждой отдельно взятой темы (если тест построен с учетом строгого соблюдения последовательности разделов изучения).
Отметим, что в идеале тест должен состоять из заданий различного уровня трудности. Причем их построение осуществляется начиная с самого легкого, на которое должны ответить практически все испытуемые, и заканчивая самыми трудными. Такая организация осуществляется в гомогенных тестах, в которых тест создан с целью проверки знаний по одной учебной дисциплине и все вопросы теста связаны именно с ней. В гетерогенных тестах, состоящих из группы гомогенных тестов, возможна реализация как увеличения трудности по всему тесту (то есть равномерное движение вверх), так и внутри каждой части, его составляющей (то есть поступательное скачкообразное движение). Трудность заданий влияет на надежность и валидность.
Значения коэффициента трудности kD принадлежат промежутку от 0 до 5. Такой диапазон изменения данного коэффициента выбран в соответствии с уровнями усвоения учебного материала. Общепринятая пяти-уровневая модель усвоения знаний модифицирована нами с учетом возможности компьютерной обработки применительно к тестовым заданиям в закрытой форме. Исходя из ограниченной возможности представления творческого уровня обучения в виде такого рода заданий в модели обучения уровни умения и переноса объединены в один уровень применения. Для проверки умения ориентироваться в представленной области знаний для «слабых» групп студентов модель дополнена уровнем представления, который отображают тесты проверки общего, интуитивного знания предмета (использовать или не использовать которые по своей дисциплине решает каждый преподаватель в отдельности).
Таким образом, модель выглядит так:
I. уровень представления;
II. уровень узнавания (различения);
III. уровень воспроизведения (классификации);
IV. уровень понимания;
V. уровень применения (умение + перенос).
С учетом адаптации к тестовым заданиям закрытой формы в первом приближении конкретное значение коэффициента индивидуальной трудности определяется на основе вида мыслительной деятельности, которую выполняет студент при решении теста.
Посредством использования в программе кс формируются тестовые билеты приблизительно равные по среднему уровню трудности, который обеспечен за счет предоставления пользователю возможности выбора равного количества заданий одинаковой трудности в разных вариантах тестов. При необходимости задания перегруппировываются в модуле «Шаблоны тестов».
Таким образом, формируется банк заданий на основе их эмпирической проверки с модификацией и уточнением заданий согласно совокупности соответствующих статистических характеристик заданий, рассчитанных в модуле «Статистика» (таких как надежность, валидность и пр.).
Наличие банка заданий позволяет соединить преимущества неформального тестирования с научной основой при одновременном повышении качества тестирования. Исходя из учебных целей и необходимых для достижения последних характеристик заданий, любой преподаватель может применять тесты, находящиеся в «базе вопросов». В программе присутствует возможность исключения некоторых вопросов из уже имеющихся по данной теме в базе заданий или присоединение части вопросов к тестам. Это позволяет формировать оптимально адаптированные к конкретному занятию задания с учетом их сложности в зависимости от цели конкретного исследования (например, более слабая или сильная группа подвергается проверке). Активное подвижное использование «базы вопросов» по экономической теории было апробировано как на студентах очной формы обучения, так и на контингенте второго высшего образования и ускоренниках. При единообразии тематик в рабочих учебных программах всех перечисленных контингентов обучаемых, на освоение материала дается разное аудиторное время при том же уровне итогового усвоения (перераспределение общего количества часов между звонковыми часами и часами на самостоятельное изучение со смещением в сторону последнего). Возможность гибкого использования «базы вопросов» способствует объективной оценке знаний студентов как со стороны преподавателя, так и оказывает помощь самим обучаемым в определении уровня своего усвоения, например перед экзаменом (что особенно важно для последних двух категорий студентов).
Предварительно преподаватель устанавливает параметры режима тестирования: с оповещением правильного ответа или без оповещения, с возвратом к предыдущим вопросам и возможностью исправления ответов (в этом случае к подсчету принимается последняя, окончательная версия провер-
ки знаний) или без возврата. Поскольку при тестировании важным фактором является время, возможно установление ограничения времени контроля как по каждому отдельному заданию, так и по всему тесту в совокупности.
За счет изменения позиций вопросов и последовательности ответов (верный ответ каждый раз стоит на разном месте в каждом конкретном задании в различных вариантах тестов) достигается значительное снижение вероятности угадывания правильного ответа и повышается объективность и обоснованность аттестации студента.
В редакторе вопросов задаются или модифицируются формулировка вопроса, варианты ответов, первоначальная трудность задания, а также некоторые другие настройки.
Тесты формируются и отлаживаются с помощью модуля «Шаблоны тестов». Шаблон рассматривается как средство генерации равносильных тестов. Под равносильными тестами будем понимать варианты билетов тест-контроля, равные по суммарной трудности отдельных заданий, содержащие одинаковое количество вопросов каждой подтемы и имеющие одно и то же число заданий по видам - стандартный, фасетный. Таким образом, все тесты, созданные по одному шаблону, содержат одинаковое количество вопросов по одним и тем же темам и примерно равны по суммарной трудности. На основе шаблона формируются тесты, поступающие в модуль «Тестовые варианты», в котором возможен их полный просмотр и перевод в «Пакет студента» для опроса на компьютерах или вывод на печать с целью проведения тестирования на бумажных носителях. В последнем случае для компьютерной обработки результатов тестирования, проводимого без использования ЭВМ, необходимо сохранить сформированные для опроса (или создать вновь) карточки студентов в базе данных, чтобы в дальнейшем система могла определить правильность ответов без участия преподавателя.
Если тестирование проводится на компьютерах с непосредственным подключением многофункциональной системы тестирования, то результаты автоматически заносятся в модуль «Результаты опросов». Можно посмотреть для каждого конкретного обучаемого его вариант ответа на любое задание теста. Кроме того, в программе реализована статистическая обработка данных тестирования с постоянным сохранением и накоплением информации. Если данные вводятся вручную, то пользователь должен указать размерность матрицы тестовых результатов (т.е. количество студен-
тов и вопросов), при этом матрица на экране изменяет размеры в соответствии с введенными данными пользователя. Матрица заполняется с помощью выбора ее ячеек, после чего нужно нажать кнопку «Обработать» и переходить к просмотру результатов статистического анализа.
В программном модуле «Статистика» формируется матрица тестовых результатов, которая заполняется автоматически, если тестирование проводилось на компьютерах, в противном случае ввод данных выполняется вручную. Далее обработка проходит в автоматическом режиме. При этом матрица трансформируется в таблицу тестовых результатов, в которой указываются: тестовый балл испытуемых, логит уровня знаний, логит трудности заданий, средний арифметический балл, показатель использования каждого вопроса и количество верных ответов на него, а также рекомендуемый коэффициент кс, полученный на основе статистически накопленных значений показателя.
В этом же модуле определяются другие статистические показатели.
Программный модуль «Статистика» дает возможность автоматического ранжирования студентов с подсчетом рейтинга в двух вариантах: число учащихся меньше 100 (учащиеся распределяются на заданное количество мест по числу студентов в группе) и число учащихся больше 100 (обучающиеся распределяются на сто мест). Таким образом, преподаватель знает место студента в учебной группе и/или на потоке.
Кроме того, на любом этапе использования программы возможно обращение к модулю справочной информации, носящего название «Помощь» и содержащего: общую информацию о системе с набором технических характеристик; описание основных режимов работы программы и рекомендации по их применению; глоссарий терминов, встречающихся при работе с системой тестирования; рекомендации по отладке и улучшению тестового материала с учетом основных элементов теории тестов, фиксируемых в модуле «Статистика», результатов контроля, показателей вычисления стандартной ошибки измерения и доверительного интервала; дополнительную информацию по повышению надежности тестового материала, например, за счет подбора оптимальной длины теста и пр.
Таким образом, исходя из того, что проверка знаний должна быть объективной и давать корректные сведения об итогах процесса обучения, отметим, что с помощью тестов легче всего обеспечиваются надежность измерения, его объективность и, к тому же, они позволяют опросить всех студентов по всем вопросам учебного материала в одинаковых условиях с заранее разработанными, равными критериями оценки. Описанная выше многофункциональная тестовая система контроля и самопроверки знаний является именно таким инструментом. Она дает возможность подойти к формированию тестов с научных позиций и отвечает современному уровню развития теории тестов.
Разработанный блок тестового материала по основным вопросам и разделам экономической теории с соблюдением принципов формирования тестовых заданий с последующей их проверкой на соответствие ряду необходимых требований (среди которых: объективность, дифференцирующая способность, надежность и пр.), прошел необходимую апробацию, в результате чего получены положительные отзывы использования тестов, в том числе на контингенте студентов второго высшего образования.
Разработанная информационная технология была внедрена в ряде вузов г. Оренбурга. Реализованная в программе возможность создания равносильных тестов с последующей статистической обработкой итогов тестирования способствует повышению научного уровня статистического учета успеваемости и позволяет своевременно корректировать учебный процесс, что, в свою очередь, влияет положительно на суммарную эффективность обучения.
В заключении отметим, что организация педагогического контроля на кафедрах и в вузе в целом должна опираться на научные методы. Применение в этой сфере информационных технологий базирующихся на теории формирования тестов и имеющие свое непосредственное преломление в композиции тестовых заданий значительно повышает эффективность обучения. Возможность организации опроса всех студентов по совокупности вопросов учебного материала в одинаковых условиях на основе заранее разработанной единой для всех шкалы оценок способствует объективности и обоснованности оценки знаний студента.
Список использованной литературы:
1. Беспалько В.П. Стандартизация образования: основные идеи и понятия. // Педагогика, 1993 , № 5 . - С.16 - 25.
2. Дегтярева Т.Д., Спешилова Н.В. Автоматизированные информационные технологии в высших учебных заведениях. - Оренбург: ОГАУ, 2001. - 213с.
3. Монахов В.М. Проектирование и внедрение новых технологий обучения. // Советская педагогика, 1990, № 7. - С.17 - 22.
