CC BY
32
УДК371.68; 371.64; 004.9
ФУНКЦИОНАЛЬНО-ТЕХНОЛОГИЧЕСКИЙ ПОДХОД К ОРГАНИЗАЦИИ ЭКСПЕРТИЗЫ КАЧЕСТВА ЭЛЕКТРОННЫХ УЧЕБНИКОВ
Алексахин С.В., Ладынина О.А., Лобанов Ю.И., Тармин В.А.,
Федеральный институт развития образования. Москва. Россия.
E-mail: aleksahin.s@firo.ru, olga.lado@gmail.com, lbn@list.ru, tarmin.v@firo.ru
Аннотация. Рассмотрены подходы к оценке результатов экспертизы электронных учебников на примере функционально-технологической экспертизы, а так же к определению стоимости работ по проведению экспертизы электронных учебников. Ключевые слова: образовательные технологии; электронные образовательные ресурсы; электронные учебники; индексы качества электронных учебников; эффективность образовательных технологий; многомерное критериальное пространство
FUNCTIONAL AND TECHNOLOGICAL APPROACH TO QUALITY ASSESSMENT OF E-BOOKS
Aleksakhin S.V., Ladynina O.A., Lobanov Y.I., Tarmin V.A..
The Federal Institute for Educational Development, Moscow. Russia.
E-mail: aleksahin.s@firo.ru, olga.lado@gmail.com, lbn@list.ru, tarmin.v@firo.ru
Annotation. The approaches to the evaluation of the results of the examination of e-books on the example of functional and technological expertise, as well as to the determination of the cost of work for the examination of e-books.
Keywords: educational technology, electronic educational resources, electronic textbooks, electronic textbooks index quality, the effectiveness of educational technology, multidimensional criterion space
Электронные учебники (ЭУ) и электронные учебные пособия рассматриваются в настоящее время как важнейшие компоненты современной образовательной среды. Для того что бы электронные учебники получили равные права с традиционными бумажными учебниками, требуется решить ряд организационных вопросов. [1] Одним из наиболее важных вопросов является вопрос экспертизы качества электронных учебников. Задачи оценки потребительских качеств постоянно возникают перед производителем и перед квалифицированным потребителем, которые обречены на совместное сосуществование и продуктивное сотрудничество.
В основе современной трактовки понятия образовательной технологии лежат следующие положения.
• Образовательные технологии нацелены на достижение планируемых результатов (государственного стандарта) всеми учащимися и должны быть воспроизводимы любым преподавателем.
• Технологическая цепочка учебных действий и операций выстраивается строго в соответствии с целевыми установками, имеющими форму конкретного ожидаемого результата.
• Образовательная технология обязательно должна включать диагностические процедуры и критерии достижения целей обучения.
Очевидно, что экспертиза электронных учебников и, при необходимости, электронных учебных пособий должна сохранять преемственность с подходами к экспертизе бумажных учебников, особенно в части содержательной (научной и педагогической) экспертизы. С другой стороны, так же очевидно, что экспертиза существенно более сложных с технической точки зрения электронных учебников, имеет свои специфические особенности.
Традиционно, любой технологический процесс представляется в виде управляемого функционального технологического блока, преобразующего входной поток в выходную продукцию, используя необходимые для этого ресурсы.
Образовательная технология представляется в виде совокупности взаимодействующих процессов (действий), результатом (выходом) которой является продукция и/или услуги, поставляемые потребителям, а входами - материальные, информационные и трудовые ресурсы. Образовательная технология включает все технологические процессы, определяющие качество подготовки учащихся и учитывает основные стадии учебного процесса.
Общие технологические характеристики Функциональная полнота
Основными функциями ЭУ являются:
• обеспечение доступа к учебно-методическим материалам;
• наличие связи с необходимыми информационными ресурсами;
• управление учебной работой и учет ее успешности;
• обеспечение интерактивной связи учащихся с преподавателями;
• организация решения нештатных проблем;
• возможность модификации и модернизации учебно-методических материалов и программного обеспечения.
Качество любой целенаправленной системы оценивается степенью соответствия достигнутых результатов желаемым, т.е. целям. С нормативной точки зрения целевые требования к знаниям и умениям специалистов определяются Государственными образовательными стандартами и образовательными программами.
Для обеспечения прозрачности системы показатели качества следует формулировать в терминах характеристик оцениваемой системы. Количественные показатели могут иметь либо целочисленный, либо вещественный характер, но все должны иметь одинаковую направленность.
Для обобщенной оценки качества технологии можно пользоваться лишь одним индексом - индексом эффективности, отражающим степень близости основных параметров учебного занятия к идеалу.
Эффективность образовательной технологии вычисляется как степени близости к идеальным характеристикам в пространстве выделенных частных показателей в соответствии с общей процедурой оценки интегральных показателей качества.
Измерение показателей качества может быть объективным и субъективным. Объективное измерение - это формальный контроль соответствия норме. Результатом измерения является решение: "соответствует - не соответствует". Субъективное измерение применяется тогда, когда измерительная задача не может быть формализована. Оно состоит в формировании представления эксперта или группы экспертов о том или ином показателе качества. Результатом измерения является мнение экспертов, выраженное в той или иной форме.
Результаты объективных и субъективных измерений совмещаются на шкале порядка.
Оценка значений показателей качества экспертным способом проводится по
схеме:
• определение эталонных (максимальных) показателей качества;
• индивидуальная оценка близости показателей качества к эталонным;
• определение групповой (группа экспертов) оценки значений показателей качества.
Для оценки качества электронных учебников предлагается многокритериальный способ оценки качества образовательных технологий. Суть его заключается в последовательном разбиении основной цели образовательной технологии на совокупность частных, более конкретных подцелей - технологических характеристик системы.
Унифицированный способ расчета индексов качества
Индекс качества Е, - обобщенный показатель качества ресурсов или результативности, рассчитывается как степень близости их значений к максимально возможным в ^-мерном пространстве показателей качества К1.
где - коэффициенты важности выбранных интегральных показателей качества основных составляющих ИР, К - значения выбранных интегральных показателей качества. Геометрически - это относительное расстояние до идеальной цели.
Если важность всех показателей равна 1, то выражение (1) принимает более простой вид:
где N - размерность пространства показателей - общее число учитываемых показателей качества. [3,4]
Частные показатели качества принято делить на две категории: показатели затрат и показатели результативности.
Под показателями затрат понимаются количественные показатели, характеризующие объем ресурсов, расходуемых на реализацию образовательных технологий для обеспечения необходимого качества подготовки учащихся.
Под критериями результативности образовательных технологий понимаются значения показателей качества, необходимые и достаточные для определения степени достижения целей обучения.
Рассмотрим две составляющие процедур экспертизы электронного учебника -определение стоимости работ по проведению экспертизы и оценка результатов экспертизы на примере функционально-технологической экспертизы.
Стоимость услуг экспертов при проведении экспертизы
Стоимость услуг экспертов при экспертизе бумажных учебников тем или иным образом отталкивается от базовой стоимости экспертизы одного печатного (авторского) листа или от базовой стоимости экспертизы некоторого количества печатных знаков.
При экспертизе электронных учебников, которые могут, в общем случае, включать в себя большое количество различных мультимедийных компонент, такой подход неприемлем.
Для определения стоимость услуг экспертов любого из видов экспертизы электронных учебников предлагается учесть трудозатраты на экспертизу выраженные в часах и величину почасовой ставки работы эксперта, см. формулу (1).
_ * 4 - [руб.] (1)
где:
7" - трудозатраты на экспертизу, часы;
'-г:-,-:, от::.- почасовая ставка работы эксперта, рублей/час;
Временные трудозатраты рецензирования рассчитывается в зависимости от планируемых трудозатрат при учебной активности с использованием электронного учебника. При этом учитываются следующие виды учебной активности:
1. изучение теории;
2. практические работы;
3. диагностика достижений.
Временные трудозатраты экспертизы рассчитываются по следующей формуле:
уР — ^ ГГТ ^ Гпр ^кз ^ Ткз ^ ^ ^
где: Тш- планируемые трудозатраты на изучение теории.
Тгр- планируемые трудозатраты на практическую работу. Ткз- планируемые трудозатраты на контроль знаний.
^сд - коэффициент, учитывающий отношение трудозатрат на экспертизу
теоретической части электронного учебника к планируемой продолжительности освоения теории учащимся.
- коэффициент, учитывающий отношение трудозатрат на экспертизу
практической части электронного учебника к планируемой продолжительности выполнения практических работ учащимся.
К^ - коэффициент, учитывающий отношение трудозатрат на экспертизу
контрольной части электронного учебника к планируемой продолжительности контроля знаний учащегося.
Примеры возможных значений коэффициентов, для некоторых видов экспертизы электронных учебников приведены в
Табл. 1.
Табл. 1 Примеры возможных значений коэффициентов
Значение
Коэффициент Содержательная экспертиза Функционально-технологическая экспертиза
1 0,8
2 3
2 3
Показатели качества функционально-технологической экспертизы электронных учебников
В качестве базовых показателей качества ЭУ, оцениваемых при проведении
функционально-технологической экспертизы целесообразно принять:
функциональность, организованность и эргономичность (комфортность). Значения индексов рассчитываются на основании оценок соответствующих частных показателей (технологических характеристик) [2-5]
Табл. 2 Функциональность
Характеристики функциональности Коэффициент важности критерия Wi Возможные значения критерия ^
Реализация доступа к полнотекстовым документам от 0 до 1 от 0 до 1
Реализация доступа и качество мультимедиа материалов (графика, анимация, фото-, аудио- и видеоматериалы) от 0 до 1 от 0 до 1
Качество имитационных моделей от 0 до 1 от 0 до 1
Использование пакетов прикладных программ от 0 до 1 от 0 до 1
Визуализация индикаторов навигации от 0 до 1 от 0 до 1
Контекстная помощь от 0 до 1 от 0 до 1
Реализация измерительных материалов (тесты диагностические, тематические, контрольные) от 0 до 1 от 0 до 1
Адаптивность к психофизиологическим характеристикам пользователя от 0 до 1 от 0 до 1
Реализация ответов на часто задаваемые вопросы от 0 до 1 от 0 до 1
Индекс функциональности от 0 до 1
Табл. 3 Организованность
Характеристики организованности Коэффициент важности критерия Возможные значения критерия ^
Модульность учебного материала от 0 до 1 от 0 до 1
Тематическая систематизация учебной информации (тезаурус, глоссарий, предметный указатель) от 0 до 1 от 0 до 1
Управление работой учащегося (программное, адаптивное, самостоятельное) от 0 до 1 от 0 до 1
Планирование учебной работы (календарное, индивидуальное, самостоятельное, ...) от 0 до 1 от 0 до 1
Разнообразие учебных занятий (изучение теории, упражнения, "эксперименты на экране", самотестирование, коллективное решение задач, проектирование, .) от 0 до 1 от 0 до 1
Возможность сетевого взаимодействия от 0 до 1 от 0 до 1
Визуализация индикаторов уровня освоения учебного материала от 0 до 1 от 0 до 1
Индекс организованности от 0 до 1
Табл. 4 Эргономика
Эргономические характеристики Коэффициент важности критерия Wi Возможные значения критерия ^
Адаптивность (настраиваемость) интерфейса от 0 до 1 от 0 до 1
Качество аудио-визуального представления информации от 0 до 1 от 0 до 1
Удобство навигации, скорость реакции от 0 до 1 от 0 до 1
Удобство и скорость загрузки от 0 до 1 от 0 до 1
Наличие авторского сопровождения от 0 до 1 от 0 до 1
Возможность общения с преподавателем от 0 до 1 от 0 до 1
Индекс комфортности от 0 до 1
Табл. 5 Методика расчетов частных индексов качества
Индекс функциональности Е = 1 У (т *(1 - Кг))2, т, Кг е (0,1], г е [1,9]
Индекс организованности е2 -1 *— /У (т*(1 кг))2, 2 ^УтчУ ( ( )) тг, кг е (0,1],г е [1,7]
Индекс комфортности е3 -1 ^- /У (т*(1 К))2, 3 ^УтчУ ( ( )) т, кг е (0,1], г е [1,6]
Где
М - коэффициент важности критерия; К - значение критерия
Табл. 6 Расчетные показатели качества
Расчетные показатели качества Коэффициент важности индекса Значение
Индекс функциональности Wl Е1
Индекс организованности W2 E2
Индекс комфортности W3 E3
Интегральный индекс качества электронных учебников W, E G (0,1],i e [1,3]
По результатам предварительных исследований, допустимое нижнее пороговое значение интегрального индекса качества электронного учебника составляет 0,38. Положительное заключение экспертизы может быть выдано, если полученное по результатам экспертизы значение интегрального индекса качества электронного учебника превышает установленное пороговое значение.
Список литературы:
1. Апробация электронных учебников в общеобразовательных учреждениях Российской Федерации. - М.: Федеральный институт развития образования, 2012.- 56
2. Система критериев качества учебного процесса для дистанционного образования: Отчет о НИР/ МГТУ им Н.Э.Баумана " код 02.01.002 ., М., 2002
3. Лобанов Ю.И. Фрактально-целевой метод оценки эффективности образовательных технологий // Материалы Всероссийской конференции - М.: МЭСИ, 2001.
4. Лобанов Ю.И.Рекурсивная процедура оценки качества электронных образовательных технологий//Сб. трудов VI Международной научно-практической конференции «информационные и коммуникационные технологии образовании, науке и производстве», Ч 1, Протвино, Управление образования и науки, 2012, --478 с, с 122124.
5. Алексахин С.В., Тармин В.А., "Актуальные задачи эффективного использования электронных учебников в общеобразовательных учреждениях России."// сетевое издание "Управление образованием: теория и практика" (http://www.iuorao.ru/2010-01-01-14) 2012. - № 3 (сентябрь).
