Совершенствование методов и средств контроля знаний в электронной обучающей системе Текст научной статьи по специальности «Науки об образовании»

Общество и реформы

Л.Ю. ШАРАБАЕВА L.YU. SHARABAEVA

СОВЕРШЕНСТВОВАНИЕ МЕТОДОВ И СРЕДСТВ КОНТРОЛЯ ЗНАНИЙ В ЭЛЕКТРОННОЙ

W

ОБУЧАЮЩЕЙ СИСТЕМЕ

IMPROVEMENT OF METHODS AND MEANS OF KNOWLEDGE CONTROL IN E-LEARNING SYSTEM

Ключевые слова:

электронное обучение, автоматизированный контроль знаний, математическая модель, алгоритм, векторная оптимизация

В статье рассматривается проблема реализации автоматизированного контроля знаний для развития электронного обучения. Предлагается использовать метод математического моделирования для формирования оптимальных вариантов тестовых заданий и приводится алгоритм их программной реализации.

Key words:

e-Learning, Computer Aided Testing of knowledge, algorithm, vector optimization

The paper addresses the problem of implementation of the Computer Aided Testing of knowledge for the development of e-learning. It is proposed to use the method of mathematical modeling to create the optimal choices of tests, and the algorithm for their program realization is provided.

В настоящее время мы переживаем очередной этап эволюции сетевых технологий, связанный с понятием электронного обучения (e-Leammg), который, по оценкам экспертов, окажет наиболее существенное влияние на жизнь людей.

Электронное обучение изначально понималось как процесс овладения некоторыми определенными знаниями и умениями на основе информации, представленной в электронном виде. Сегодня, по мере развития технологий электронного обучения, появляется возможность построения стратегии обучения и отображения обучающих материалов, индивидуальных для каждого обучаемого (так называемые адаптивные обучающие системы). Все большее распространение получают не просто электроннометодические комплексы, а так называемые электронные обучающие системы [1].

Электронная обучающая система предоставляет пользователю обучающие материалы, а затем производит автоматизированную диагностику качества полученных знаний.

С учетом современных требований к качеству подготовки по специальности «Государственное и муниципальное управление» все более актуаль-

ной становится задача совершенствования методов и средств контроля усвоения учебного материала студентами. Для управления этим процессом преподаватель должен получать полные, надежные и своевременные сведения о качестве усвоения материала в результате осуществления контроля, а также поддерживать уровень подготовки специалистов в соответствии со всеми предъявляемыми к ним требованиями.

Современные дистанционные технологии также являются основой профессиональной переподготовки и повышения квалификации муниципальных служащих, позволяющей «вовлечь в образовательный процесс широкий круг работников органов местного самоуправления» [2, с. 36].

В процессе обучения между управляющим субъектом и объектом управления устанавливаются связи. Изложение учебной информации от преподавателя к студенту образует прямую связь в обучении. Контроль способствует определению исходного уровня знаний, а также получению информации о состоянии знаний студентов в самом процессе обучения. Таким образом, обеспечивается систематическая обратная связь, которая позволяет, во-первых, строить адаптивную программу обучения и, во-вторых, своевременно корректировать действия преподавателей и студентов в процессе обучения.

Автоматизированный контроль знаний представляет собой одно из ведущих направлений развития электронного обучения как метод интенсификации учебного процесса и как средство гибкого управления учебной деятельностью студентов.

Процесс диагностики качества знаний студентов предусматривает три основных этапа:

1. Тестирование. Используется фонд контрольных заданий, содержащих вопросы, имеющие несколько уровней сложности.

2. Принятие решений. Основано на использовании аппарата экспертного оценивания и включает следующие этапы:

— определение зоны контроля (специальность в целом; дисциплины, изучаемые за определенный учебный год; отдельная дисциплина / тема

курса, вопрос темы, совокупность тем, весь курс);

— выбор вида контроля (входной, промежуточный, итоговый);

— определение коэффициента усвоения учебного материала.

3. Анализ результатов тестирования. Позволяет выявить наиболее трудные для усвоения студентами вопросы курса, что способствует совершенствованию методического обеспечения учебного процесса.

Выбор тем курса для автоматизированного контроля происходит в соответствии со значимостью материала и необходимостью тематического

Шарабаева Л.Ю. Совершенствование методов и средств контроля знаний в электронной обучающей системе

Общество и реформы

контроля. Выбор вида контроля знаний студентов (самоконтроль, входной текущий, тематический, итоговый контроль) осуществляется в соответствии с целями обучения.

Разрабатываемые тесты должны соответствовать следующим основным требованиям:

1. Адекватность (валидность) — точное соответствие содержания задания теста смыслу и содержанию выявляемого признака.

2. Функциональная оценка (теоретический анализ, экспертная оценка структуры и содержания каждого действия или операция эталона, экспериментальный анализ).

3. Содержательная оценка (соответствие содержания теста учебным программам)

4. Прогностическая оценка (связь его с успешностью последующей учебной и профессиональной деятельностью студента).

Валидность теста, содержащего L тестовых заданий (ТЗ), определяется следующим образом [3]:

где Ь — количество ТЗ в тесте; W. — валидность /-го ТЗ.

При определении валидности ТЗ целесообразно учесть различные виды валидности

Ж - + С2^2Г0+С3^3Г0 +СЛ,, (2)

где Ж1(0 — валидность содержания; Ж — валидность соответствия; Ж — прогностическая валидность; — технологическая валидность; С— С4 — коэффициенты, сумма которых равна единице, вычисляемые методом групповых экспертных оценок.

Валидность каждого вида вычисляется по формуле Пирсона:

N^А.В . — ЕАВ

ж = (3)

у

^л^А? — (1а)2) ■ (Л£я/ -(Ев.)2) ,

где N — количество экспертов, участвующих в оценке каждого вида валидности у =1, .„,4; А,, В. — параметры, определяемые экспертами-составителя-ми и экспертами-пользователями соответственно.

Для определения коэффициента надежности используется формула Ка-дера-Ричардсона:

где п — число операций теста; р — доля правильно выполненных операций теста одним испытуемым; q — доля неправильно выполненных операций теста одним испытуемым; а2 — дисперсия результатов выполнения теста испытуемым.

Для повышения надежности теста и увеличения его прогностической внутритестовой валидности используются два способа.

1. Статистический метод. Набор тестов каждого уровня создается по случайному принципу подбора отдельных заданий, при этом отсутствует зависимость между тестами одного и того же уровня, а также межуровневые зависимости.

2. Динамический метод. Каждый следующий тест зависит от решения предшествующего теста, а набор тестов более высокого уровня отражает качество выполнения тестов более низкого уровня.

При составлении тестовых заданий необходимо определить оптимальную сложность задач и степень охвата ими разделов контролируемого материала.

При этом Р.. — вероятность того, что при правильном решении /-той задачи студент освоил у-тую тему; С. — сложность решения задачи — прямо пропорциональна Р .

п 1 _ Ъpq

(4)

п - И а2 ’

п

Общая сложность: С = ^С .

Степень охвата тестовым заданием у-той темы:

пт пт

(5)

/ = 1 у = 1 / = 1 у = 1

тогда

(6)

Шарабаева Л.Ю. Совершенствование методов и средств контроля знаний в электронной обучающей системе

Общество и реформы

Определение оптимальных вариантов ТЗ, обеспечивающих достоверный контроль большого количества студентов по различным разделам изучаемого материала, сводится к задаче дискретной векторной оптимизации, т. к. ТЗ характеризуются несколькими показателями, отражающими охват различных разделов изучаемого материала. Поскольку множество задач дискретно, то для получения оптимальных вариантов необходимо рассмотреть возможно большее число ТЗ. Кроме того, с ростом числа вариантов увеличивается достоверность контроля знаний.

Пусть Y = (у1, ... ум) — исходное множество задач. Каждую задачу характеризует вектор-функция: F= ^, ... FS), степень охвата материала 8- курсов (или разделов курса).

Вариант, состоящий из т-задач множества Y: Am={y*j},y*jеY, j = 1, ... т.

Тогда эффективность варианта Ф = (Ф1, ... Ф8) зависит от соответствующих компонент F и числа задач в варианте

С точки зрения векторной оптимизации задача состоит в нахождении множества Мт вариантов ТЗ с различным числом т-задач в варианте, элементы которого невозможно улучшить путем увеличения всех показателей функции К.

Сравнением векторов F(y*i), 1 = 1, ... N строится матрица доминирования Т, выделяющая задачи, которые по всем показателям эффективнее дру-

Любому варианту А={у. ... у*.т} сопоставляется совокупность индексов ее элементов:

ФЧАт^Ф^Р^), ... (Р(у^т)), j = 1, ... 8.

(7)

гих: Т = | | 1. | |, 1, j = 1, ... N

1, если (у* /) <1 Fk (у* г) , к = 1, 5

0, в противном случае

Ра = {.1, ... .т}, где .г = [1, ... N1, г = 1, ... т.

(9)

Для этого необходимо, чтобы:

где

(10)

.у

Пусть Ф(Ат) е Mm, тогда существует j° е PA, что n[j°] содержит элемент q

Рассматривается вариант А, отличающийся от А тем, что элемент у*]° заменяется на у*д:

тогда Фк(А) < Фк(А), к=1,.. .,8.

При формировании тестовых заданий используется восьмикомпонентная модель

где k — коэффициент решаемости; D. — коэффициент селективности; а. — дифференциальная способность; b. — трудность; p. — количество учебных элементов в задании; ai — уровень усвоения; Pi — ступень абстракции; t — время выполнения.

Математическая модель формирования тестов включает [4]:

1. Функции оценки критериев: надежность R ^ max;

Приближение к заданной форме информационной кривой теста X ^ max, X — наибольшее вещественное число, для которого I — длина теста,

q е [j°], tj°q=1, т.е.РКУ^ Fk(y*j°), k=1, ... s,

(11)

(12)

N

количество заданий X Xn ^ mm

n = 1

N

время решений X Xn t ^ mm

n = 1

значение информационной функции в заданной точке

N

0 : X l (0 )X ^ max.

v-'c n vv-'c/ n

n = 1

N

X Xn = 1, удовлетворяет условию X <

N

, с = 1, ... I.

n = 1

n = 1

1 (0c)

Шарабаева Л.Ю. Совершенствование методов и средств контроля знаний в электронной обучающей системе

Общество и реформы

2. Функции-ограничения: коэффициент надежности п > п*;

ограничения информационной функции в заданных точках:

0. : £ 1.(@Ж > /(©.).

п = 1

общее время решения теста 1:

N

I*< £ 1х < **;

п п 5

п = 1

число заданий в тестах :

N

к*< £ х < к**;

п 5

п = 1

число учебных элементов:

N

р* < £ рхп < р**;

п = 1

использование заданий определенных уровней усвоения а* < ап < а**; использование заданий определенных степеней абстракции в* < вп < в**; использование заданий определенных степеней осознанности т* < тп < т**; время выполнения задания ^ < /п < /**; коэффициент решаемости задания к* < кп < к**; коэффициент селективности задания г* < гп < г**; трудность задания Ь* < Ьп < Ь**.

При создании тестовых заданий используются два подхода. При первом подходе задания формируются из отдельных, не связанных между собой задач, с учетом современных методов их решения. Вторым, наиболее перспективным подходом является формирование задания как комплекса взаимосвязанных задач. В этом случае в определенной степени учитывается вся система деятельности специалиста. Такой подход позволяет оценить умение специалиста связывать между собой отдельные процессы и явления и формировать информацию для решения последующих задач. Это способствует более глубокому и качественному анализу уровня подготовки специалистов. Однако при этом выдвигаются повышенные требования к разработчикам таких тестовых заданий.

Общим этапом является выделение наиболее значимых для данной специальности задач в соответствии с государственным образовательным стандартом.

Первоначально в тест включаются простые понятия, упрощение которых на данном этапе недопустимо (база учебного материала), затем устанавливается их взаимная связь. Количество элементов контроля зависит от объема, содержания, значения разных элементов курса или темы.

Для получения полной информации об усвоении студентами изучаемого материала тесты делятся на четыре группы, определяющие уровень усвоения.

Тесты первого уровня (уровня ознакомления) используются для проверки качества усвоения информации и требуют выполнения задания на опознание, различение, классификацию или соотнесение понятий, объектов и явлений.

Задания тестов второго уровня (уровня воспроизведения) должны позволить проверять качество решения типовых задач без опоры на помощь или подсказку.

Третий уровень тестов (уровень применения) включает нетиповые задачи и предназначен для диагностики возможности применения знаний в реальной практической деятельности.

Тесты четвертого уровня выявляют умение студентов ориентироваться и принимать решения в проблемных ситуациях.

Учебные задания формируются на основе решения задачи математического программирования, и процесс их разработки является итерационным. В итоге, решения на каждой итерации образуют множество заданий, близких по своим характеристикам к оптимальному решению (с точки зрения целевой функции и с учетом налагаемых ограничений).

Автоматизированный контроль знаний занимает одно из ведущих направлений развития обучения как метод интенсификации учебного процесса и как средство гибкого управления учебной деятельностью студентов. Выбор вида контроля осуществляется в соответствии с целями обучения.

Для реализации входного контроля используется модель теста, позволяющая минимизировать ресурсы, затраченные на подготовку и проведение тестирования. Это гарантирует, что точность измерения в фиксированных точках шкалы потенциальных возможностей будет выше заданного значения. Самоконтроль осуществляется на основе тестов ограниченной сверху продолжительности решения с использованием заданий определенного уровня абстракции и максимально возможной априорной надежности. Тесты, используемые при текущем и тематическом контроле, ориентиро-

Шарабаева Л.Ю. Совершенствование методов и средств контроля знаний в электронной обучающей системе

Общество и реформы

Рис.1. Обобщенный алгоритм формирования тестовых заданий

ваны на обучаемых, а также обеспечивают наибольшую точность оценки в области порогового значения. При итоговом контроле оценка качества подготовки специалистов, в первую очередь, предполагает сопоставление степени достижения конечных целей подготовки с фактическим состоянием, т. е. способностью выпускников решать задачи конкретной профессиональной деятельности.

Задача оптимального разделения комплексного теста на подтесты формируется как задача математического программирования.

Предлагаемый обобщенный алгоритм формирования тестовых заданий средствами автоматизированного проектирования представлен на рис. 1.

1. Воробкалов П.Н. Управление качеством электронных обучающих систем. Автореф. дис. ... канд. техн. наук. Волгоград, 2008.

2. Горшков А.С. Совершенствование системы профессионального обучения государственных служащих в условиях административной реформы // Государственная служба. Вестник Координационного Совета по кадровым вопросам, государственным наградам и государственной службе при полномочном представителе Президенте РФ в Северо-Западном федеральном округе. 2006. № 1. С. 28-36.

3. Толмачев С.А. Представление и синтез оптимальной структуры учебного материала в автоматизированных тренажерных системах // Кибернетика и системный анализ. 1993. № 1. С. 183-186.

4. Кострова В.Н., Лысенко А.В. Разработка и технология реализации средств контроля и оценки качества профессиональной полготовки специалистов в вузе // Подходы к построению систем оценки качества в образовании: материалы IX симпозиума. М: ИЦПКПС, 2000. Ч. 3. С. 97-99.

References

1. Vorobkalov P.N. UpravLenie kachestvom elektronnykh obuchayuschikh sistem. Avtoreferat diss. Volgograd, 2008.

2. Gorshkov A5. Sovershenstvovanie sistemy professionalnogo obucheniya gosudarstvennykh sluzhaschikh v usloviyakh administrativnoy reformy // Gosudarstvennaya sluzhba. Vestnik koordinatsionnogo Soveta po kadrovym voprosam, gosudarstvennym nagradam i gosudarstvennoy sluzhbe pri polnomochnom predstavitele Prezidente RF v SZFO. 2006. №1. S. 28-36.

3. Tolmachev 5.A Predstavlenie i sintez optimalnoy struktury uchebnogo materiala v avto-matizirovannykh trenazhernykh sistemakh // Kibernetika i sistemnyy analiz. 1993. №1. S. 183-186.

4. Kostrova V.N., Lysenko A V. Razrabotka i tekhnologiya realizatsii sredstv kontrolya i otsenki kachestva professionalnoy polgotovki spetsialistov v vuze // Podkhody k postroeniyu sistem otsenki kachestva v obrazovanii: Materialy IX simpoziuma. M: ITspKpS, 2000. CH. 3. S. 97-99.

Шарабаева Л.Ю. Совершенствование методов и средств контроля знаний в электронной обучающей системе