CC BY
65
Цель учебной программы «Учите слова» (2003) — развитие первоначальных навыков аудирования и говорения. В основе программы лежит метод Flash Cards—упражнения с картинками. Программа состоит из трех разделов: «Обучение», «Игры», «Запись». В разделе «Обучение» учащиеся знакомятся с лексикой по различным темам («Профессии», «Цвета» и т. д.), затем программа предлагает выполнить ряд заданий по изученному материалу. Раздел «Игры» включает 9 игровых упражнений нескольких типов: «Найди картинку», «Подбери пару», «Игра на время». Программа позволяет записать голос учащегося и сравнить его произношение с оригиналом.
Главным достоинством описанных коммуникативных программ является простота в использовании, оригинальность представления лексических единиц, разнообразие упражнений и заданий. Но эти программы сложно отнести к учебным, поскольку они носят игровой, развлекательный характер. Здесь нет четко выстроенной системы тренировочных упражнений, отсутствует комплексный подход к обучению речевой деятельности, т. е. говорение, аудирование, чтение и письмо представляются в разобщенном виде.
Авторы рассмотрели и проанализировали некоторые наиболее популярные компьютерные программы по русскому языку как иностранному. Было установлено, что в зависимости от поставленных целей обучения программы состоят из нескольких модулей, включающих в себя видеоматериалы, аудиодиалоги, словарь в виде гиперссылки, грамматический комментарий, тренировочные задания и упражнения, а также возможность записи и воспроизведения записанной речи и др.
Проведенный анализ показал, что любая учебная компьютерная программа должна включать следующие специфические характеристики:
• многообразие способов предъявления учебного материала: видео, анимация, аудио и т. д.;
• использование различных видов тренировочных упражнений и заданий, основанных на ожидаемых (предсказуемых) ответах учащихся, так как анализ полученных ответов осуществляется путем сравнения с существующими ответами в банке данных компьютера;
• гипертекстовая форма организации всей информации, заложенной в программе, позволяющая осуществлять быстрый переход между разделами программы, оперативно использовать справочный материал, подсказки;
• наличие гипертекстового словаря, как правило, со зрительной семантизацией и аудиозаписью слова;
• возможность сохранения сведений о проделанной работе, ошибках, времени, затраченном на выполнение заданий.
Но в то же время существенным недостатком практически любой компьютерной программы по РКИ является недостаточная коммуникативная практика, что связано, прежде всего, с небольшими техническими возможностями компьютеров в анализе и распознавании звучащей речи.
Таким образом, разработка содержания учебных компьютерных программ на основе отмеченных характеристик позволит преподавателю РКИ самостоятельно создавать учебные программы с использованием программ-конструкторов.
Список литературы
1. Азимов, Э.Г. Теория и практика использования компьютерных программ в преподавании РКИ / Э.Г. Азимов. — М.: Изд-во ГИРЯП, 2000.
2. Компьютерная лингводидактика: теория и практика / М.А. Бовтенко [и др.]. — М.: Изд-во РУДН, 2006.
УДК 378.146:004
И.Ф. Кривчанский, канд. пед. наук, доцент А.С. Симан, аспирант
ФГОУ ВПО «Московский государственный агроинженерный университет имени В.П. Горячкина»
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ПРИ ИТОГОВОЙ ГОСУДАРСТВЕННОЙ АТТЕСТАЦИИ ВЫПУСКНИКОВ ВУЗОВ
Итоговая аттестация выпускников вузов выступает одним из важнейших этапов подготовки специалистов, позволяет оценить качество реализуемой подготовки и эффективность работы высшего учебного заведения в целом.
Государственный экзамен (ГЭ) предусмотрен Государственным образовательным стандартом высшего профессионального образования (ГОС ВПО) в качестве одной из форм, является обязательной составной частью итоговой государствен-
123
Таблица 1
Численность студентов, принявших участие в исследовании
Годы обучения 2001-2006 2002-2007 2003-2008 2004-2009 Всего по годам
Численность студентов 78 92 68 89 327
ной аттестации и предназначен для определения уровня теоретической подготовленности выпускников высшего учебного заведения к выполнению профессиональных задач.
Несмотря на то, что в качестве обязательного для всех вузов государственный экзамен вводится только с введением в действие ГОС ВПО второго поколения, отдельные учебные заведения практиковали гос-экзамен на протяжении всей истории подготовки кадров и к настоящему моменту накоплен значительный опыт его проведения, анализ которого показывает отсутствие единых подходов к организации, содержанию и технологии проведения ГЭ без должного теоретического обоснования. Конкретная технология практической реализации итоговой аттестации на этапе госэкзамена определяется эмпирическим путем.
В последнее время с распространением и расширением новых информационных технологий в образовании для проведения ГЭ все чаще используется компьютерное тестирование. Проверка уровня подготовленности выпускников вузов с помощью тестов достижений в виде компьютерного тестирования позволяет повысить объективность, обоснованность и сопоставимость результатов диагностики.
Однако применение подобной технологии зачастую подвергается критике со стороны научнопедагогического сообщества и общественности в связи с тем, что, по их мнению, не обеспечивает адекватной проверки и уступает традиционным технологиям проведения экзамена по качеству контроля. Аналогичные мысли аргументированно высказываются и оппонентами введенного на государственном уровне для выпускников общеобразовательных школ Единого государственного экзамена, использующего аналогичные технологии контроля и оценки знаний.
В качестве рабочей гипотезы авторы выдвинули предположение о правомерности (возможности и необходимости) использования компьютерного тестирования при итоговой аттестации выпускников вуза на этапе государственного экзамена, а также адекватность и сопоставимость отметок, полученных респондентами при использовании традиционной и инновационной (предлагаемой) технологий контроля знаний.
С 2004 года итоговая государственная аттестация выпускников инженерно-педагогического факультета ФГОУ ВПО «Московский государственный агроинженерный университет имени В.П. Горячкина» на этапе государственного экзамена по специальности 050500 — «Профессиональное обучение» осуществляется с использованием комплексного междисциплинарного тестирования по двум
124
специализациям: «Электрификация и автоматизация сельскохозяйственного производства» и «Механизация сельского хозяйства». Государственный экзамен предусматривает проверку знаний выпускников по циклам общепрофессиональных, отраслевых дисциплин и дисциплин специализации. Конкретный перечень дисциплин, по которым осуществляется проверка, и содержание заданий определяются исходя из требований Государственного образовательного стандарта высшего профессионального образования в соответствии с реализуемой специализацией.
Опытно-экспериментальная работа исследования проводилась на базе инженерно-педагогического факультета (ИПФ) ФГОУ ВПО МГАУ с 2004 по 2010 год*.
За 6 лет на факультете накоплен достаточно большой статистический материал, статистическая обработка которого позволяет подтвердить или опровергнуть правомерность применения тестовых методик для оценки уровня теоретической подготовки специалистов на завершающем этапе обучения.
Исследованием было охвачено более 700 студентов** (табл. 1).
В качестве основных методов математической статистики для подтверждения гипотезы о правомерности применения компьютерного междисциплинарного тестирования выпускников ИПФ на завершающем этапе обучения были использованы:
1. Коэффициент линейной корреляция Пирсона (отражает степень линейной зависимости между двумя множествами данных).
2. Критерий Вилкоксона (позволяет установить не только направленность изменений, но и их выраженность).
Для расчета линейной корреляции Пирсона г были выбраны следующие параметры: средний балл академической успеваемости студентов (за пять лет обучения) и отметка, полученная на государственном экзамене. Таким образом, использование ранго-
* В 2004-2005 гг. проходила апробация разработанных средств диагностики и технологии тестирования, поэтому данные, полученные в результате аттестации в указанный период при оценке правомерности использования предлагаемой методики, не учитывались.
** В исследовании при обработке результатов авторы учитывали показатели только тех студентов, которые освоили полный курс в течение 5-ти лет обучения в вузе (показатели успеваемости студентов, образовательные траектории которых отличаются от указанной не учитывались).
вой корреляции Пирсона направлено на определение статистической связи между уровнем академической успеваемости студентов и результатами, полученными на государственном экзамене с использованием междисциплинарного тестирования.
Для определения среднего балла академической успеваемости были проанализированы и обработаны экзаменационные ведомости с 2001 по 2009 год. По каждому студенту был определен средний балл за пять лет обучения и эти данные соотнесены с отметками, полученными на государственном экзамене, что позволило определить величину линейной корреляции Пирсона по выпуску (2006/07/08/09 гг.) и каждой группе в отдельности.
Расчет данного коэффициента производился по следующей формуле:
ХОх - х) Ы - у)
г ------*=1------------------
Г Гп Гп ,
# х^2 (*-у)2
где — значения, принимаемые в выборке X (средний балл академической успеваемости); у — значения, принимаемые в выборке У (отметка на государственном экзамене); х — средняя по X, у — средняя по У.
В теории психологических измерений принято использовать две системы классификации корреляционных связей по их силе: общая и частная [1]. Эти классификации не совпадают. Первая ориентирована только на величину коэффициента корреляции (тесная, средняя, умеренная, слабая, очень слабая), а вторая определяет какого уровня значимости достигает данная величина коэффициента корреляции при данном объеме выборки (высокая значимая, значимая, тенденция достоверной связи, незначимая).
Для анализа полученных результатов значения линейной корреляции Пирсона необходимо сравнить с критическими значениями для определения тесноты связи и уровня статистической значимости.
Результаты расчетов и сопоставления полученных данных с критическими значениями, определенными для корреляции Пирсона, представлены в табл. 2.
Из полученных эмпирических результатов видно, что в соответствии с общей классификацией корреляционная связь на протяжении рассматриваемых четырех выпусков положительная. В 2006 и 2007 гг. теснота корреляционной связи между рассматриваемыми параметрами определяется как «средняя», а в 2008-2009 гг. — «сильная».
В соответствии с частной классификацией корреляция между рядом результатов, полученных студентами на государственном экзамене с использованием тестирования, и рядом усредненных показателей академической успеваемости каждого из студентов статистически значима, так как все полученные значения находятся на уровне корреляции «высокая значимая». Связь между этими показателями достоверна с вероятностью 99 %. При этом, как показывают результаты статистической обработки полученных данных, корреляционные зависимости являются значимыми и устойчивыми на всех уровнях: вся выборка, годичный выпуск (2006/07/08/09 гг.) и отдельная группа.
Критерий Вилкоксона Т применяется для сопоставления показателей, измеренных в разных условиях на одной и той же выборке испытуемых. Использование в рамках исследования данного критерия необходимо для оценки значимости различий между уровнем среднего значения отметки академической успеваемости студентов и отметкой, полученной в результате тестирования на государственном экзамене.
Для применения критерия Вилкоксона нужно произвести следующие операции [2]:
1) найти разности парных значений;
2) определить ранги полученных разностей (без учета знаков). Пары наблюдений, разности которых оказались равными нулю, из дальнейшей оценки исключаются;
3) определить сумму рангов полученных разностей, имеющих одинаковые алгебраические знаки и взять меньшую из них Тэмп;
4) установить достоверность различий (при количестве наблюдений меньше 26 сравнивают найденную сумму с критическими значениями, соответствующими данному критерию), и построить ось значимости.
Таблица 2
Результаты расчетов
Годы обучения 2001-2006 2002-2007 2003-2008 2004-2009
Корреляция Пирсона г 0,581 0,645 0,711 0,774
Объем выборки 78 92 68 89
Степень или теснота Средняя Средняя Сильная Сильная
корреляционной связи 0,50 < 0,581 < 0,69 0,50 < 0,645 < 0,69 0,711 > 0,7 0,774 > 0,7
Уровень значимости коэффициента корреляции при данном объеме выборки Высокая значимая Высокая значимая Высокая значимая Высокая значимая
Г0,150(р< 0,05) Гкр [0,210(р< 0,01)
Расчет Т-
Таблица 3
■ критерия Вилкоксона 11-51 группа (выпуск 2008 г.)
Средний балл Отметка за ГЭ Сдвиг (^гэ - ^сб) Абсолютное значение сдвига Ранговый номер сдвига
1 3,37 3 -0,37 0,37 2,5
2 4,00 3 -1 1 6,5
3 4,00 3 -1 1 6,5
4 3,88 3 -0,88 0,88 5
5 4,63 5 0,37 0,37 2,5
6 3,84 4 0,16 0,16 1
7 4,24 5 0,76 0,76 4
Сумма рангов нетипичных сдвигов Т : 7,5
Пример расчета данного критерия представлен в табл. 3, а результаты показаны на рис. 1.
Табличные данные критических значений Т при п = 7, где п — объем выборки:
п т кр
0,01 0,05
7 0 3
Поскольку сумма рангов нетипичных сдвигов равна 7,5, то полученное эмпирическое значение Тэмп, в соответствии с установленными критическими значениями, находится в зоне незначимости.
Обобщенные результаты расчета за весь рассматриваемый период представлены на рис. 2.
Из данного графика видно, что в зону значимости попала лишь одна группа испытуемых, следовательно, для них контроль в виде тестирования на государственном экзамене оказался легче контроля, осуществляемого в период их обучения в вузе. Однако следует отметить тот факт, что величина среднего арифметического значения отметок академической успеваемости в данной группе равна 4,4 балла, что говорит о достаточно высоком уровне их подготовленности. Поэтому высокие результаты, полу-
Рис. 1. График оси значимости
1 группа 4 группы 15 групп
Рис. 2. Результаты расчета 126------------------------------------
ченные на государственном экзамене, вполне закономерны.
Таким образом, результаты расчета критерия Вилкоксона позволяют говорить о том, что отметки, полученные по результатам тестирования на государственном экзамене, соответствуют отметкам, выставленным за учебные достижения в течение 5 лет обучения, т. е. тестовый контроль знаний студентов на этапе государственного экзамена с использованием разработанных заданий соизмерим с контролем достижений студентов в период их обучения в вузе, позволяет получить отметку, адекватно отражающую реальный уровень теоретической подготовки выпускников, и может быть использован в качестве одного из элементов итоговой государственной аттестации выпускников по специальности 050500 — «Профессиональное обучение», специализациям «Электрификация и автоматизация сельскохозяйственного производства» и «Механизация сельского хозяйства».
Итоги анализа результатов государственного экзамена показывают, что наряду с обоснованностью, объективностью и сопоставимостью данных диагностики, тестирование обеспечивает достоверность оценки теоретической подготовленности выпускников вузов, что подтверждается проведенными расчетами.
Следует отметить, что используемые методы математической статистики коэффициент корреляции Пирсона и критерий Вилкоксона не позволяют установить причинно-следственные связи между рассматриваемыми параметрами (отметка за государственный экзамен и среднее арифметическое значение отметки академической успеваемости в процессе обучения). Полученные путем анализа результаты говорят только о тесноте связи и уровне значимости корреляции и различий между указанными рядами переменных. Поэтому требуется дополнительная статистическая обработка имеющихся эмпирических данных с более широким применением методов математического анализа для проверки и подтверждения эффективности предлагаемой технологии и инструментария оценки теоретической подготовки выпускников при итоговой государственной аттестации на этапе государственного экзамена.
Список литературы
1. Сидоренко, Е.В. Методы математической обработки в психологии / Е.В. Сидоренко. — СПб.: ООО «Речь», 2007.
2. Занфирова, Л.В. Методы исследования в психологии: практикум / Л.В. Занфирова, Е.Н. Козлёнкова. — М.: ФГОУ ВПО МГАУ, 2008.
