Определение качества и эффективности учебных материалов обучающих систем Текст научной статьи по специальности «Науки об образовании»

УДК 004.832.32

ОПРЕДЕЛЕНИЕ КАЧЕСТВА И ЭФФЕКТИВНОСТИ УЧЕБНЫХ МАТЕРИАЛОВ ОБУЧАЮЩИХ СИСТЕМ

Розроблена архітектура навчаючої системи для моніторингу учбових матеріалів, структурна модель дистанційного курсу з ранжируванням дидактичних цілей, запропоновано метод визначення якості та ефективності учбових матеріалів

Ключові слова: дистанційне навчання, моніторинг освіти, статистичний аналіз

□-----------------------------------□

Разработана архитектура обучающей системы для мониторинга учебных материалов, структурная модель дистанционного курса с ранжированием дидактических целей, предложен метод определения качества и эффективности учебных материалов

Ключевые слова: дистанционное обучение, мониторинг образования, статистический анализ

□-----------------------------------□

There are developed the architecture of learning system for the monitoring of educational materials, the structural model of a distance course with ranking didactic purposes, the method for determining the quality and effectiveness of educational materials

Keywords: e-learning, monitoring, statistical analysis

------------------□ □-----------------------

В сфере образования Украины проводится ряд реформ, одна из которых рассматривает дистанционное образование как перспективную форму обучения [4-5]. Концепция развития дистанционного образования в Украине [6] реализует систему непрерывного образования «через все життя», индивидуализацию обучения при массовости образования и предполагает внедрение дистанционных технологий во всех формах обучения: очной, заочной, экстернате.

Концепции развития ведущих высших учебных учреждений страны предполагают эффективное внедрение инновационных технологий обучения в учебный процесс [7], как один из способов достижения непрерывного усовершенствования и повышения качества образовательных услуг.

Достижение высоких показателей качества возможно только в условиях непрерывного мониторинга учебного процесса. Мониторинг в образовании - это система сбора, обработки, хранения и распространения информации об образовательной системе или отдельных ее элементах, ориентированная на информационное обеспечение управления, позволяющая судить о состоянии объекта в любой момент времени и дающая прогноз его развития [8].

Наполнение системы дистанционного обучения (СДО) определяет качество дистанционного обучения. Для управления качеством дистанционного обучения необходимо проведение автоматизированного

А.Л. Данченко

Ассистент* Контактный тел.: 050-655-07-01 E-mail: danchenko.alla@fcs.snu.edu.ua

В.А. Ульшин

Доктор технических наук, профессор, заслуженный деятель науки и техники Украины, заведующий

кафедрой* *Кафедра системной инженерии Восточноукраинский национальный университет имени

Владимира Даля кв. Молодежный, 20а, Луганск, Украина, 91034

мониторинга учебных материалов СДО. Анализ научных работ в области мониторинга образования [1418] показал, что вопрос мониторинга дистанционного обучения недостаточно изучен. Наименее освещен вопрос мониторинга учебных материалов СДО - оценка качества дистанционных курсов чаще выполняется с помощью анкетирования обучаемых и методов экспертной оценки. Эти методы являются неточными и основаны на субъективном мнении экспертов. Для повышения качества дистанционных образовательных услуг необходимы дополнительные исследования в области определения, сбора и анализа статических и динамических характеристик учебных материалов обучающих систем.

Постановка задачи: разработка архитектуры обучающей системы с непрерывным мониторингом учебных материалов, разработка структурной модели дистанционного курса, разработка метода определения эффективности и качества учебных материалов обучающей системы.

1. Архитектура обучающей системы

Согласно стандартам систем управления качеством ^О 9000:2007 [9, 10, 11] и ^О 9001:2008 [12, 13] будем рассматривать дистанционное обучение, для которого используют ресурсы и которым управляют, как об-

Е

разовательную услугу, которая есть процесс передачи знаний, преобразующий Входы в Выходы. Вход - требования заказчика (стандарты образования), Выход

- результаты, удовлетворяющие требованиям заказчика (знания обучаемых, соответствующие стандартам образования).

С учетом стандарта 1484 IEEE [19] расширим описание архитектуры обучающих систем Learning Technology Systems Architecture (LTSA) дополнительными процессами и потоками для мониторинга учебных материалов. Тогда архитектура обучающей системы имеет вид, представленный на рис. 1.

Модифицированная архитектура определяет пять процессов - учащийся, оценка учащегося, оценка учебных материалов, системный инструктор и доставка; три хранилища - база данных записей, библиотека знаний, библиотека стратегий; информационные потоки между компонентами: наблюдение за поведением, сбор экспертных оценок учебных материалов, информация о тестировании, информация об успеваемости, информация об учебных материалах, информация для отчетов, индекс запросов, индекс адресов документов, учебные материалы, мультимедиа.

• Итоговый (ИК).

Пусть структура дистанционного курса (ДК) имеет вид:

eLC = <Lsn,Prp, SubPurp,

R, SubCtrl, Correct, MainCtrl>, (1)

где Lsn - урок, состоящий из последовательности ранжированных целей Prp. Ранг урока определяется максимальным рангом цели;

Prp - дидактическая цель, численно характеризуется максимальным рангом R подцели.

SubPurp - дидактическая подцель, характеризуется рангом R подцели.

R - ранг цели, Re [1..5];

SubCtrl - набор действий по контролю усвоения материала. В ходе изучения курса обучаемый проходит либо не проходит текущий контроль;

Correct - последовательность запланированных действий для коррекции знаний обучаемого. Коррекция выполняется, если обучаемый не прошел текущий контроль SubCtrl по SubPurp. Набор запланированных корректирующих действий гарантирует, что обучаемый обязательно достигает необходимого уровня знаний для продолжения обучения;

MainCtrl - итоговый контроль по завершению ДК. Выполняет проверку по каждой цели.

Определим ранги дидактических целей (ДЦ) согласно уровням усвоения материала [20]. Примем за основу линейное ранжирование уровней:

1. Репродуктивный или ознакомительный (основные индикаторы

- способность студента повторить материал, узнать объект, назвать без объяснений какие-то признаки, имена и т.д.). Ранг ДЦ = 1.

2. Понимание (основные индикаторы - способность объяснить, преобразовать информацию, описать

причинно-следственные связи и т.д.). Ранг ДЦ = 2.

3. Применение (индикаторы - использование знаний в новых ситуациях, способность действовать по алгоритму и адаптировать ситуации). Ранг ДЦ = 3.

4. Аналитический (индикаторы - способность анализировать новые ситуации, классифицировать объекты, определять функциональные зависимости и т.д.). Ранг ДЦ = 4.

5. Творческий и оценочный (индикаторы - способность к обобщению, выработка критериев и оценка фактов и явлений, формулирование выводов и т.д.). Ранг ДЦ = 5.

Преподаватель

Рис. 1. Архитектура обучающей системы с мониторингом учебных материалов

2. Структурная модель дистанционного курса

Обратная связь в учебном процессе обеспечивается средствами контроля знаний. Выделяют три типа контроля:

• Входной (ВК).

• Текущий (ТК).

3. Конечный детерминированный автомат учебного процесса

Пусть процесс изучения ДК есть композиция конечных детерминированных автоматов уроков (АL) [21]:

3

Al =< S, X,Y, б, X>,

(2)

где S - множество состояний автомата, каждое состояние есть УчМ некоторого вида (постановка цели, постановка подчиненной цели, обучение, контроль, коррекция, итоговый контроль):

S = <Prp, SubPurp, Ctrl(SubPurp), Correct>;

X - входной алфавит автомата виде ответов ученика. Пусть Х = {0,1};

Y - выходной алфавит, оценка знаний ученика;

5:SxX^S - функция переходов автомата;

X:SxX^Y - функция выходов.

AL композиция автомата Мили и автомата Мура. Каждая завершающая коррекция текущего контроля есть автомат Мура, который зависит только от состояния. Это соответствует допущению 6, что обеспечивает отсутствие циклов и петель в AL. Тогда сам ДК автомата Мура в виде композиции автоматов AL:

ТКоррт - сумма рангов средств коррекции ошибок, индивидуальная для каждого студента.

На результаты обучения влияют параметры:

• уровень сложности ДК;

• уровень подготовки студентов;

• качество итогового контроля;

• качество текущего контроля;

• качество коррекции ошибок обучаемых;

• качество учебных материалов;

• корреляция текущего и итогового контроля;

• корреляция коррекции и итогового контроля.

Примем ряд допущений:

• Коэффициент уровня сложности ДК КСлДК примем равным 1 (КСлДК £ [1..3]).

• Коэффициент уровня подготовки студентов КпСт примем равным 1 (КПСт £ [1..3]).

• Коэффициент итогового контроля КИТ примем равным 1 (КИТ £ [0..1]).

Среднее усвоенных знаний студентами при прохождении состояний автомата АС:

AC =< SL, XL,YL, SL, XL > ,

(3)

где S = <Lsn, MainCtrl(Prp)>.

Анализ статистических данных о результатах прохождения студентами состояний Ас и индивидуального для каждого студента набора переходов автоматов Аь, соответствующих Ас, позволяет получить полезные динамические характеристики ДК для управления качеством учебных материалов.

4. Анализ статистических характеристик учебных материалов

Качество образования характеризуется показателями качества:

• Показатели качества содержания образования;

• Показатели качества технологий обучения;

• Показатели качества результатов образования.

Использование дистанционных технологий в ВУЗе

предполагает удовлетворительный уровень качества содержания образования, соответствующий установленным стандартам и нормам.

Выполним анализ влияния качества технологий обучения на показатели качества результатов образования. Определим качество курса как совокупность его собственных характеристик, обусловливающих качество знаний студентов в результате изучения данного курса не менее 70%. Обозначим среднее качество знаний студентов по ДК как QESt.

Эффективность курса: uxst

EffДК =Ьц.100%^max , (4)

R

где цИк - усвояемость ДК по результатам итогового контроля,

- ресурсы, затраченные на изучение курса. Ресурсы есть среднее максимальной суммы баллов изучаемых учебных материалов:

О ^ _ т . т

IV Т -I—«ъг

(5)

где Ldk - усвояемость ДК, определенная экспертом-разработчиком,

A = ^KXSt + °.7 ■ ^oopXSt ,

(6)

где Цткх51 - усвояемость по результатам текущего контроля,

ЦКоррХ51 - усвояемость из корректирующих учебных материалов,

0.7 - снижает оценку до допустимого порога знаний,

цКоррХ51 зависит от результатов ТК: неудовлетворительные результаты ТК предполагают коррекцию:

и = LTKSSt ^KSSt

■ ^ KoppsSt 0 7

(7)

где ТТкт - эталонные результаты текущего контроля при 100% усвояемости, определены на этапе ввода ДК.

Тогда, учитывая (6) и (7):

A =^KXSt + °.7 ■(LTKSSt ^KXSt ) =

= 0.7LTKSSt + °.^TKXSt

(8)

Разница ТК изучения ДК и ИК определяется отклонением от эталона:

м — A C^St — д

м ИК^ _ A — д ’

(9)

где

A(цnKzst-ACzSt)2 , A^0.

Если А=0, то ЦИКХ51 ~ Асх5‘ . Тогда возможен расчет фактических результатов по ИК. Итоги изучения корректирующих материалов:

М-к<

~ M~TKZSt

bppZSt

0.7

(10)

Итоги изучения учебных материалов с учетом фактических результатов ТК и ИК:

L

0.7

(11)

же

Коэффициент детерминации определяет тесноту связи ТК и ИК, а также коррекции и ИК будем определять с помощью коэффициента корреляции:

П2 = г2 100%,

где г - коэффициент корреляции. Коэффициент корреляции ТК и ИК:

^(МИК-мИК)(МТК -мтк)

ГТК,ИК = I 2 =2 .

У^(МИК-^ИК) ^(МТК -мтк)

Коэффициент корреляции коррекции и ИК:

ГК-ЦИК)(ЦКорр -ЦКорр)

^К(ЦИК-ЦИК) К^Корр -М~Корр)

(12)

(13)

Корр,ИК

(14)

Качество курса:

кг

QDK _ КИК '

СлДК

к

(qTK + %орр + qУчM ) ,

(15)

где коэффициент качества ТК qTK = -ЦИИК Птк, ик , коэффициент качества коррекции

МИК

а =^Карр 2

НКорр м «орр, ИК >

МКорр

NK

коэффициент качества УчМ qУчM = —тк^—пУчМ, ж .

— TKXSt

Таким образом, основными характеристиками ДК являются эффективность ДК и качество ДК. Отрицательный коэффициент корреляции является показателем завышенных оценок, не подтвержденных ИК.

Средствами технологии OLAP [1-3] созданы гиперкубы для просмотра данных о ТК, ИК, коррекции, рангов УчМ и результатов обучения.

Базовая усвояемость курса, определенная на основе рангов учебных материалов, представлена на рис. 2.

10,00

9.00

8.00

7.00

6.00

5.00

4.00

3.00

2.00 1,00 0,00

3

Курс

Рис. 2. Базовая усвояемость курса

Фактическая успеваемость студентов по всем курсам представлена на рис. 3.

Студенты

Рис. 3. Фактическая успеваемость студентов

2

4

5

5. Программная реализация технологии анализа динамических характеристик учебных материалов

Средствами системы управления базами данных Огас1е1^ сгенерированы 5 эмуляционных ДК и процесс изучения курсов группой из 30 студентов. Структура полученных ДК представлена в табл. 1.

Таблица 1

Анализ структуры ДК

Название курса Уроки Цели Среднее целей Подчинен-ные цели Среднее подчиненных целей Ы Н Среднее ТК Коррекция Среднее коррекций

ДК 1 7,00 26,00 3,71 77,00 2,96 220,00 2,86 649,00 2,95

ДК 2 14,00 49,00 3,50 150,00 3,06 449,00 2,99 1301,00 2,90

ДК 3 14,00 47,00 3,36 249,00 5,30 711,00 2,86 2152,00 3,03

ДК 4 28,00 82,00 2,93 259,00 3,16 819,00 3,16 2479,00 3,03

ДК 5 28,00 87,00 3,11 138,00 1,59 390,00 2,83 1177,00 3,02

ВСЕГО: 91,00 291,00 873,00 2589,00 7758,00

СРЕДНЕЕ: 18,20 58,20 3,32 174,60 3,21 517,80 2,94 1551,60 2,98

Усвоенные знания по результатам текущего контроля (ТК) представлены на рис. 4.

12,00%

10,00% л" 8,00%

н

і 6,00%

2 4,00%

2,00%

0,00%

1 2 3 4 5

Курс

Рис. 4. Результаты текущего контроля

Усвоенные знания по результатам коррекции представлены на рис. 5:

Рис. 5. Результаты коррекции

Усвоенные знания по результатам итогового контроля (ИК) представлены на рис. 6:

35,

30,

55 25,

п

§ 20, І 15,

О

" 10, >

5,

0,

v™ 28 05% 28,74%

16,33%

3

Курс

Рис. 6. Результаты ИК

Согласно (4) определяем эффективность ДК. Результаты расчета представлены в табл. 2. Согласно полученным результатам, наибольшая эффективность у ДК5 и равна 21,83%. Ни один из курсов не эффективен на 70 %. Наименьшая эффективность ДК12 = 12,08%.

Таблица 2

Эф фективность ДК

ДК1 ДК2 ДК3 ДК4 ДК5

RES 10,79 7,7 12,ЗЗ 11,4З 6,46

ЦИК 2,12 0,9З 2,З1 2,З7 1,41

EffDK 19,65% 12,08% 18,73% 20,73% 21,83%

Согласно (6)-(15) определим качество дистанционных курсов и отдельных элементов курса. Результаты расчета приведены в табл. 3. Все курсы имеют низкие показатели качества ТК, коэффициент корреляции гТК,ИК позволяет предположить, что результаты ТК необъективны и не согласуются с результатами ИК. Наилучшие показатели средств коррекции и УчМ у ДК5. Наибольшее отклонение А фактических результатов

от оценки эксперта-разработчика у ДК3, наименьшее

- у ДК5.

Этот показатель позволяет сделать выводы о необходимости модернизации УчМ ДК3, а также свидетельствует о недостаточной компетенции разработчика данного курса.

Таблица 3

Качество ДК

АС 5,705 4.141 6,579 6,156 З,528

А 2,5З 2,27 З,02 2,68 1,5

МИККорр 2,1З 0,64 2,17 2,17 1,51

L^TCESt 2,76 1,12 2,96 З,02 1,86

гТК,ИК -0,1826 -0.1868 -0,0086 -0,2878 -0,0506

ГКорр,ИК 0,1958 -0,1820 -0,2490 -0,00З2 0,4195

гУчМ,ИК 0,22144 0,1088 -0,2000 -0,27З1 0,5076

2 П тк,ик З,ЗЗЗ4 З,4878 0,0075 8,28З8 0,2561

п2 п Корр,ИК З,8З6З З,З142 6,2008 0,0010 17,6006

qTK 0,9907 1,8002 0,0025 2,9710 0,06З6

ЧКорр 4,08З0 1,5552 5,9578 0,0011 24,4517

ЦУчМ 1,6102 0,2З28 1,З076 2,67З1 9,82З9

QDK 6,6839% 3,5882% 7,2679% 5,6451% 34,3391%

Выводы

1. Разработана архитектура обучающей системы, расширяющая существующий стандарт 1484 1ЕЕЕ средствами мониторинга учебных материалов.

2. Разработана структурная модель ДК для проведения мониторинга учебных материалов на основе ранжирования дидактических целей, что позволяет выполнять численное оценивание элементов курса.

3. Предложен метод определения эффективности и качества учебных материалов на основе структурной модели ДК с ранжированием дидактических целей. Показатели позволяют учитывать следующие параметры:

• уровень сложности ДК;

• уровень подготовки студентов;

• качество итогового контроля;

• качество текущего контроля;

• качество коррекции ошибок обучаемых;

• качество учебных материалов;

• корреляция текущего и итогового контроля;

• корреляция коррекции и итогового контроля.

Показатели эффективности и качества ДК позволяют выполнять независимое сравнение различных курсов в рамках функционирования обучающей системы с мониторингом учебных материалов.

Литература

Baum David. “Measure. Analyze. Perform.” [Electronic resource]//Oracle Magazine. - Oracle Technology Network. - July/August

2008. Mode of access: http://www.oracle.com/technology/oramag/oracle/08-jul/o48bi.html.

Oracle Corporation. “Customer Feature.” [Electronic resource]//Oracle OLAP Newsletter: February 2009. Oracle Technology Network. - Mode of access: http://www.oracle.com/technology/products/bi/olap/olapref/newsletter/oracleolapnewsletter_feb09. html.

-y5

4

5

3. McDermid D. Oracle OLAP Customizing Analytic Workspace Manager, 11g Release 2 (11.2). [Electronic resource]: - Oracle USA.

- August 2010. - Mode of access: http://www.oracle.com/accessibility/.

4. Постанова Верховної Ради України від 06.07.2000р. № 1851-ІІІ ”Про затвердження Завдань Національної програми інформатизації на 2000-2002 роки.

5. Указ Президента України від З1.07.2000 року № 928/2000 ”Про заходи щодо розвитку національної складової глобальної інформаційної мережі Інтернет та забезпечення широкого доступу до цієї мережі в Україні”.

6. Концепція розвитку дистанційної освіти в Україні від 20 грудня 2000 року. - Режим доступа: http://www.osvita.org.ua/distan-ce/pravo/00.html. - Назва з екрана.

7. Концепція забезпечення якості освіти у Східноукраїнському національному університеті імені Володимира Даля відповідно до стандартів та норм Європейського простору вищої освіти. - Режим доступа: http://www.snu.edu.ua/index. php?mode=257. - Назва з екрана.

8. Майоров А.Н. Мониторинг в образовании. СПб.: Изд-во ”Образование”, 1998. - ЗЗ4 с.

9. ДСТУ ISO 9000-2007. Системи управління якістю. Основні положення та словник термінів (Вимоги ISO 9000:2007, IDT) [Tекст]. - На заміну ДСТУ ISO 9000-2001; введ. 2008-01-01. - К: Держспоживстандарт України, 2008. - 29 с.

10. ДСТУ ISO 9004-2001. Системи управління якістю. Настанови щодо поліпшення діяльності (Вимоги ISO 9000:2007, IDT) [Tекст]. - На заміну ДСТУ ISO 9004-1-95; введ. 2001-27-06. - К: Держспоживстандарт України, 2001. - 60 с.

11. ISO 9000:2005. Quality management systems - Fundamentals and vocabulary.

12. Selection and use of the ISO 9000 family of standards. ISO, 2009-02/5000. - ISBN 978-92-67-10494-2.

13. ISO 9001:2008. Quality management systems. Requirements.

14. Васілакін В. В. Інформаційна система моніторингу знань студентів на основі об’єктно-орієнтованої моделі предметної області [Tекст]: автореф. дис... канд. біол. наук: 14.0З.11 / Національна медична академія післядипломної освіти ім. П.Л.Шупика. - К.,

2009. - 20с.

15. Білик О. О. Інформаційна технологія моніторингу якості загальноосвітніх навчальних закладів ^екст]: автореф. дис... канд. техн. наук: 05.1З.06 / Черкаський держ. технологічний ун-т. - Черкаси, 2009. - 19с.

16. Денисенко Анжела Олегівна. Організація моніторингу у виховної системи вищих педагогічних навчальних закладів: автореф. дис... канд. пед. наук: 1З.00.01 / Харківський національний педагогічний ун-т ім. Г.С.Сковороди. - Х., 2008. - 20с.

17. Байдацька Наталія Михайлівна. Педагогічні умови моніторингу якості навчальних досягнень студентів у вищих навчальних закладах недержавної форми власності: дис... канд. пед. наук: 1З.00.04 / Вінницький держ. педагогічний ун-т ім. Михайла Коцюбинського. - Вінниця, 2007. - 224арк.

18. Сєркова Любов Едуардівна. Інформаційна технологія моніторингу організації учбового процесу вищого навчального закладу: Автореф. дис... канд. техн. наук: 05.1З.06 / Черкаський держ. технологічний ун-т. - Черкаси, 2006. - 19с.

19. IEEE standard for learning technology-learning technology systems architecture (LTSA), std 1484.1-200З edition, 200З.

20. Орчаков О.А. Проектирование дистанционных образовательных курсов: пособие для преподавателей и методистов /О.А. Орчаков, А.А. Калмыков; ред. О.А. Орчакова. - М.: Издательство МНЭПУ, 2002. - 50 с. Режим доступа: http://www.distance-learning.ru/db/el/160AE767CAA3B5E0C3256C5B005BCEC6/doc.html.

21. Michael Sipser, Introduction to the Theory of Computation. PWS, Boston. 1997. ISBN 0-5З4-94728-Х.