CC BY
23
УДК 371.68; 371.64; 004.9
ЭКСПЕРТНО-АНАЛИТИЧЕСКИЙ СПОСОБ МНОГОКРИТЕРИАЛЬНОЙ
ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ
Алексахин С.В., Ладынина О.А., Лобанов Ю.И., Тармин В.А.,
Федеральный институт развития образования. Москва. Россия.
E-mail: aleksahin.s@firo.ru, olga.lado@gmail.com, lbn@list.ru, tarmin.v@firo.ru
Аннотация. Предлагается экспертно-аналитический способ многокитериальной оценки качества образовательных технологий и уровня индивидуальных достижений Ключевые слова: образовательные технологии; индекс индивидуальных достижений, эффективность образовательных технологий; многомерное критериальное пространство
THE EXPERT ANALYTICAL METHOD OF A MULTIVARIATE ESTIMATION OF QUALITY OF EDUCATIONAL TECHNOLOGIES
Aleksakhin S.V., Ladynina O.A., Lobanov Y.I., Tarmin V.A..
The Federal Institute for Educational Development, Moscow. Russia.
E-mail: aleksahin.s@firo.ru, olga.lado@gmail.com, lbn@list.ru, tarmin.v@firo.ru
Annotation. The expert analytical method of a multivariate estimation of quality of educational technologies and personal achievements is offered
Keywords: educational technology, index of personal achievements, the effectiveness of educational technology, multi-dimensional criterion space
Введение в проблематику
«Исследования ряда работ ученых позволяют сделать вывод о том, что одной из причин отставания учащихся в учении является слабо развитое умение критически оценивать результаты своей учебной деятельности» [1] В настоящее время совершенно четко проявилась необходимость поиска эффективных способов организации оценочной деятельности учителя и учащихся» [ 1, 2]
Многокритериальный подход к оценке качества обучения С нормативной точки зрения целевые требования к компетентности, знаниям и умениям учащихся определяются Государственными образовательными стандартами и образовательными программами образовательных учреждений. Однако практически формулировки образовательных программ имеют весьма размытый характер и, чаще всего, не имеют точно сформулированных критериев и их достаточно сложно использовать в качестве контролируемых целей в реальном учебном процессе.
В связи с этим целесообразно пользоваться рекурсивной процедурой декомпозиции (конкретизации) основной цели обучения. Суть такой процедуры
заключается в последовательном разбиении основной цели на совокупность частных, более конкретных подцелей. Для обеспечения прозрачности системы показателей качества их следует формулировать в терминах характеристик оцениваемой системы. Количественные показатели могут иметь либо целочисленный, либо вещественный характер, но все должны иметь одинаковую направленность. [5,6]
Определение целевых критериев обычно связано с тщательным анализом и структурированием системы целей, разбиением целевых функций на отдельные группы и созданием многоступенчатой иерархии целей, в которой с уменьшением уровня иерархии возрастает степень конкретизации целей.
С целью сокращения времени на принятие решений результаты анализа качества деятельности сводятся к небольшому числу обобщенных показателей - индикаторов, индексов. Индексом называют относительный показатель - соотношение некоторых важных величин (параметров). В пределе для обобщенной оценки качества технологии можно пользоваться лишь одним индексом - индексом эффективности, отражающим степень близости основных параметров качества деятельности к «идеалу» -максимально возможным достижениям [6].
Индекс качества подготовки учащегося
Обобщенным индексом качества подготовки может служить степень близости получаемого (или прогнозируемого) результата к максимально возможному в заданных актуальных условиях. Значение такого индикатора Е определяется выражением: Е = 1 -К§/Ктах , где Ятах - максимально возможное расстояние до цели обучения, а -расстояние от точки, соответствующей текущим результатам, до желаемой цели в многомерном пространстве частных критериев - метрическом пространстве показателей качества.
При таком подходе оценка качества обучения производится в следующем порядке:
• уточняются цели дидактического процесса;
• определяется перечень интегральных показателей качества и соответствующих им наборов частных показателей;
• уточняется важность показателей, используемых при расчете интегральных показателей качества и индекса качества;
• определяются значения частных показателей;
• вычисляются значения интегральных показателей качества оцениваемого процесса.
• вычисляется значение индекса качества оцениваемого процесса, например, выполнения работы с очередным учебным модулем или решения очередной задачи [3-
Унифицированная процедура расчета показателей качества достижений Индекс качества Е предлагается рассчитывать как степень близости результатов деятельности к «идеалу» в ^-мерном пространстве показателей качества К{.
где Жг - коэффициенты важности (весовой фактор) выбранных интегральных показателей качества, Кг - значения выбранных интегральных показателей качества. Геометрически - это относительное расстояние до «идеала». Если важность всех показателей равна 1, то выражение (1) принимает более простой вид:
где N - размерность пространства показателей - общее число учитываемых показателей качества. [4-9]
Структура и коэффициенты важности частных показателей уточняется поэтапно. Вначале составляется сводный классификационный список частных показателей. Затем производится экспертная оценка коэффициентов важности (весовых факторов) всех показателей, (коэффициент весомости показателя характеризует важность учета данного показателя, при расчете зависящего от него показателя вышестоящего уровня). Экспертную оценку важности показателя удобно представлять в шкале от 0 до 1. Задачи оптимизации управления образовательными технологиями
Следует заметить, что унификация описания целей и результатов обучения может дать существенную экономию учебного времени, если при разработке системы учебных задач учитывать мультидисциплинарность реальных профессиональных задач
Суть оптимизации технологий обучения заключается в нахождении и реализации оптимальной последовательности действий, обеспечивающей усвоение необходимых знаний за минимальное время, или максимального уровня компетентности за заданное время. При этом предполагается, что постановка целей изучения учебного материала делается явным способом с использованием метазнаний (знаний о структуре получаемых предметных знаний); планирование занятий исходит из логики усвоения системы понятий и операций каждым учащимся, т.е. необходимо
5]
[5].
перейти к индивидуальному (или групповому) планированию, а уровень инструктирования соответствует индивидуальным ошибкам в организации самостоятельной работы учащихся (от управления целеполаганием до поэлементного управления учебными операциями).
Целевую функцию такой задачи можно представить в виде:
Б = 1 -
I С1 - Б )2Щ
3 =1
^ тах
Б е (0,1]
1Щ
(3)
3 =1
где D - степень компетентности в ^мерном пространстве, Wj - коэффициент важности j-ой дисциплины.
При этом иерархию показателей компетентности учащихся можно представить следующим образом (Рисунок 1) [5]:
Рисунок 1. Иерархия показателей компетентности
Частными целевыми функциями могут служить: 1) Показатель уровня компетентности по j-ой специальности
Бз = 1 -
I С1 - Бз )2 - К
¡=1
тах Бз Щ е (0,1] (4)
1Щ
к
т.е. ^ рассчитывается как степень достижения цели 7-ой специальности в да-мерном
пространстве компетенций, Щ - коэффициент важности компетенции. 2) Показатель уровня у-ой компетенции:
D =1 -
X (1 -dn)2w
Xwjk
к=1
^ max , diJk ,Wj к е (О,1] (5)
т.е. Dij рассчитывается как степень достижения цели I-ой компетенции у-ой специальности в n-мерном пространстве учебных задач, Жу; - коэффициент важности задач к-го уровня.
3) Показатель успешности решения задач:
d„ = 1
iJk
(1 - ^ )2-Wjt + (1 - X ^ )2-Wjn
-J-j--—J-— ^ max, (6)
W + W
W ijt ^ W ijn
где Xijt = (Tmax - Tr) / (Tmax - Tmir)—> max - относительная величина затрат времени на решение задач к-го уровня; (т.к. меньшее Тг имеет большую ценность, частная цель Tr ^-min);
Tmax, Tmir, Tr - соответственно максимальное, минимальное, фактическое время решённых задач;
Хщ = Nr/Nmax— max - относительное количество решенных задач уровня k;
Wijt и Wijr е (0,1] - ситуативные коэффициенты важности учета затрат времени и числа решенных задач соответственно.
При ограничениях:
X Nrk < N - по общему количеству задач,
k=1
Nrk > 0 - количество решённых задач к-го уровня.
к=1
n
Обучение с технологической точки зрения можно рассматривать как целенаправленный многошаговый процесс принятия решений и выполнения действий, направленных на освоение учащимся системы понятий, действий и операций, на приобретение необходимых компетенций. При этом эффективность процесса обучения в существенной мере зависит от мотивированности учащегося, степени его участия в постановке и уточнении целей, в выборе путей решения учебных задач. Решая задачу, учащийся обнаруживает наличие или отсутствие каких либо компетенций; решение новой задачи обогащает знания и опыт учащегося. Таким образом, учебные задачи
можно рассматривать и как инструмент формирования нового знания и как инструмент диагностики качества обучения.
Обобщенно обучение можно представить в виде взаимодействия трех участников целенаправленной образовательной деятельности: учащегося, интерактивной информационной среды и преподавателя. Процесс обучения в целом можно рассматривать как многошаговый процесс кооперативного принятия решений и выполнения действий, направленных на освоение требуемой системы понятий и действий. При этом эффективность процесса обучения в существенной мере зависит от степени участия в постановке целей самого учащегося.
Преподаватель в зависимости от квалификации, личных предпочтений, материально-технического обеспечения может выбрать рациональный (и в пределе оптимальный) набор электронных образовательных ресурсов и технологических сервисов для эффективной реализации образовательных задач.
Основная цель действия преподавателя - эффективное управление формированием целенаправленного способа действий учащихся в заданной предметной среде. Ведущая цель действий учащегося - овладеть эффективной системой целенаправленных действий в заданной предметной среде.
В качестве первого приближения к адаптивной процедуре многокритериальной оценки качества обучения целесообразно принять такие характеристики, как: целенаправленность, информационная полнота, функциональная полнота, организованность и комфортность.
Пример наборов возможных интегральных и частных показателей качества обучения - 1, 2.
Таблица 1. Индекс качества обучения
Интегральные показатели качества Важность показателя Значение показателя
Целенаправленность т 11
Информационная полнота Ж2 12
Функциональная полнота Ж3 13
Организованность Ж4 14
Комфортность представления учебных материалов Ж5 15
Индекс качества обучения I
Таблица 2. Индекс целенаправленности (пример)
Частные показатели Важность Значения
Конкретность назначения Ж1,1 11,1
Перечень формируемых понятий Ж1,2 1,1,2
Перечень осваиваемых операций т1,з 11,3
Перечень классов решаемых задач Ж1,4 11,4
Иные
Индекс целенаправленности 11
Аналогичным образом, могут быть описаны и другие показатели: информационная полнота, функциональная полнота, организованность, комфортность представления учебных материалов.
Пример представления интегральных достижений учащегося Интегральный индекс достижений учащегося
Личностные характеристики Важность Уровень
Уровень общей мотивации 1 0,9
Мотивированность к изучению теорий 0,7 0,7
Мотивированность освоения умений и навыков 1 1
Стремление к лидерству 0,7 0,8
Индекс личностных качеств учащегося 0,84
Физика и физические методы изучения природы Важность Уровень
Физика — наука о природе 1 0,9
Наблюдение и описание физических явлений 1 1
Физические приборы 1 1
Физические величины и их измерение 1 0,7
Погрешности измерений 1 1
Международная система единиц 1 0,8
Физический эксперимент и физическая теория 0,8 1
Физические модели 1 0,7
Роль математики в развитии физики 1 1
Физика и техника 1 1
Физика и развитие представлений о материальном мире 1 1
Индекс освоения раздела физики 0,84
Метапредметные компетенции Важность Уровень
Определение понятий 1 0,9
Систематизация учебной информации (тезаурус, глоссарий, предметный указатель) 1 1
Способ управления (программный, адаптивный, самостоятельный) 0,8 0,7
Способ планирования (календарный, индивидуальный, самостоятельный, смешанный,...) 0,9 0,6
Навыки учебной работы (изучение теории, упражнения, "эксперименты на экране", самотестирование, решения задач, ...) 1 0,8
Визуализация уровня освоения учебного материала 0,8 0,5
Индекс метапредметных компетенций 0,72
Интегральный индекс достижений
Индекс достижений Важность Уровень
Личностное развитие 1 0,84
Предметная грамотность 1 0,84
метапредметные компетенции 1 0,72
Интегральный индекс достижений учащегося 0,79
Индекс успешности* хороший
*/ Значение индекса успешности легко переводится в любую в шкалу оценок, в том числе и в традиционную, см.табл:
Оценка
отлично
Значение индекса 0,86 <= I <= 1 062; <= I < 0,86 0,38; <= I < 0,62 [; 0, <= I <38 плохо
Графическое представление достижений учащегося
хорошо
удовлетворительно
Рисунок - Личностные характеристики
. Физика Физика и развитие — наука о природе 1 Наблюдение и описание
материальном мире Физика и техника физических явлений Физические приборы
Роль математики в Физические величины и их
развитии физики измерение
Физические модели Погрешности измерений
Физический эксперимент Международная система
физическая теория единиц
Рисунок - предметные компетенции учащегося
Определение понятий
Визуализация уровня освоения учебного материала
Навыки учебной работы (изучение теории, упражнения, "эксперименты на
Систематизация учебной информации (тезаурус, глоссарий, предметный указатель)
Способ управления (программный, адаптивный, самостоятельный)
Способ планирования (календарный,
Рисунок - Личностные; характеристики
Личностное развитие
Рисунок - интегральные характеристики достижений учащегося
Резюме
Диагностическую оценку текущей успешности освоения учебного материала целесообразно фиксировать после выполнения работы с каждым учебным объектом. В любой момент времени она может быть доступна учащемуся.
Следует заметить, что унифицированное формализованное описание целей и визуализация результатов обучения может не только существенно повысить уровень объективности оценки достижений учащихся, но и способствовать активизации самостоятельной работы учащегося, а также и совершенствованию его личностных качеств, и прежде всего, формированию навыков целеполагания и самоконтроля личных достижений
Список литературы:
1. Матвиевская Е. Г. Оценка уровня достижений учащихся: проблема создания современного инструментария. // Интернет-журнал "Эйдос". - 2007. - 30 сентября.
2. Васильев В.И., Красильников В.В. и др. Оценка качества деятельности образовательного учреждения Изд-во ИКАР, 2005, - 320с
3. Пойа Д. Математическое открытие. Решение задач: основные понятия, изучение и преподавание, М. 1976.
4. Ильченко О.А, Лобанов Ю.И., Лоцманова Е.В. Проблемно-задачный подход к определению качества дидактических технологий //Открытое образование, №6,-2004.
5. Лоцманова Е.В. Методическое обеспечение автоматизированного управления технологией обучения на основе решения мультидисциплинарных задач (на примере подготовки специалистов учётно-экономического профиля)/ автореф дисс ВАК 05.13.06, М.. 2004
6. Лобанов Ю.И. Фрактально-целевой метод оценки эффективности образовательных технологий // Материалы Всероссийской конференции - М.: МЭСИ, 2001.
7. Лобанов Ю.И., Ильченко О.А. Эффективность сетевых дидактических технологий. Проблемы. Способы оценки. //Аналитические обзоры по основным направлениям развития высшего образования. М.: НИИВО, 2005.
8. Лобанов Ю.И., Колосов Д.Э. Системно-логический подход к управлению качеством электронных (сетевых) образовательных ресурсов//Всероссийская научно-практическая конференция Системно - деятельностный подход в предметном обучении как главное условие реализации требований ФГОС нового поколения БИРО 24 января - 7 февраля 2011 г /. 2011. Уфа: Издательство ИРО РБ, - С. 159-162.
9. Алексахин С.В., Ладынина О.А. Лобанов Ю.И., Тармин В.А., Шпагина Т.В. Функционально-технологический подход к организации экспертизы качества электронных учебников// "Управление образованием: теория и практика" сетевое издание (http://www.iuorao.ru/2010-01-01-14) 2013. - № 3 (сентябрь)
