CC BY
61
РАЗДЕЛ III ИНФОРМАЦИОННЫЕ И ПЕДАГОГИЧЕСКИЕ ТЕХНОЛОГИИ
УДК 519.87(371.14)
Жаркова Галина Алексеевна
Кандидат педагогических наук, доцент Ульяновского государственного университета, zharkovaga@inbox. ги, Ульяновск
МЕТРИЧЕСКАЯ МОДЕЛЬ ИНФОРМАЦИОННОЙ КУЛЬТУРЫ УЧАЩИХСЯ
Zharkova Galina Alekseevna
Post-graduate student Ulyanovsk State University, [email protected], Ulyanovsk
METRIC MODEL OF INFORMATION CULTURE
Как и в любом научном измерении, в педагогическом измерении следует выделять понятия: объект измерения, переменные (индикаторы, факторы) измерения, измерительная процедура, средства измерения и шкалы измерения.
Объект измерения в педагогике — человек изучающий. В экспериментах это не абстрактное человеческое сообщество, а вполне конкретное множество людей, связанных одним учебным процессом, образованием, возрастом и т. п. Например, множество всех выпускников России, которые (в качестве процедуры измерения) сдают ЕГЭ по информатике.
Среди бесконечного множества характеристик объекта - человека - нас будут интересовать только числовые переменные. Традиционно они подразделяются на индикаторы (их можно измерить непосредственно в ходе эксперимента) и латентные (скрытые, неявные) переменные, то есть их невозможно измерить непосредственно [1].
Математической (иногда метрической) моделью эксперимента называется связь или выражение индикаторов через латентные переменные. Присвоение конкретных значений индикаторам производится в ходе специальной измерительной процедуры, в роли которой выступает тестирование, экзамен, контрольная работа и т. п. При необходимости достичь высокого качества педагогических измерений к подобным процедурам необходимо предъявлять серьезные требования: объективность, полнота, воспроизводимость, непротиворечивость и другие. В данной работе мы не будем на этом останавливаться подробно, подразумевая выполнение всех необходимых требований.
Важно отметить, что числовое значение, присвоенное индикатору, представляет собой отметку на определенной шкале. Широко известны номинальная, порядковая (ранговая), интервальная (количественная) шкалы, шкала отношений (или пропорциональная шкала). В отдельных случаях приходится конструировать нелинейные шкалы, наиболее подходящие для данного эксперимента.
Опишем типичный «педагогический эксперимент», чуть ли не ежедневно проводимый в практической педагогике для оценивания успешности обучения школьника (студента, слушателя).
Латентная переменная здесь - уровень знаний испытуемого по данной теме. Предположим, что п школьникам в ходе контрольной работы (теста, школьного экзамена, ЕГЭ), например, по информатике, предлагается т заданий по теме прошедшего цикла обучения. При проектировании задания автор (педагог) явно или неявно оценивает уровень трудности каждого задания, его валидность (способность отразить знания испытуемых), адекватность данной теме, творческую составляющую и т. п. Все эти оценки субъективны.
При решении каждого задания испытуемый пытается реализовать (отразить) достигнутый уровень знаний по данной теме, а также некоторые свои личностные характеристики (интеллект, способность мыслить нестандартно, творческие способности и т. д.). Результат выполнения задания (решение) рассматривается экспертом (преподавателем). Предположим, что его оценка представляет собой число % (г-й школьник в списке, у'-е задание в тесте, 1=1, 2, ..., и,у'=1, 2, .т, т<п).
В большинстве случаев в педагогике представляет собой ранговую (порядковую) оценку успешности выполнения данного задания. Часто это дихотомичная оценка: хч е ^ (то есть задание либо решено, либо нет). В лучшем случае хч € ^ то есть экспертом устанавливаются кри-
терии выполнения задания на некоторой числовой шкале. Для опытного педагога, знающего определенные Приемы, ДОСТИЧЬ величины Хтах-5 или даже Хтах=10 не представляет непреодолимой трудности. Очевидно, что чем больше Хтах, тем ближе мы приближаемся к количественной шкале оценивания выполнения задания, в которой только и можно достаточно надежно применять математические метода анализа данных. Во всем дальнейшем изложении будем считать, что Хц - точка на действительной оси, то есть она обладает всеми свойствами интервальных оценок. При этом Хтах подразумевается одинаковой для всех заданий теста. Таким образом, в итоге получаем матрицу первичных оценок х = (*<Д,Х7П.
Далее, само «измерение уровня знаний» представляет собой некоторые вычисления с этой матрицей. Чаще всего используют статистический подход: для каждого испытуемого вычисляют 5 = ь/ьтах> где Ъ - сумма набранных им баллов, Ьтах - максимально возможная сумма баллов. Для подсчета суммы используют коэффициенты трудности заданий, которые либо субъективно устанавливаются экспертами (так, например, в ЕГЭ), либо оцениваются также статистически. Иногда эту величину преобразовывают, используя те или иные соображения, и получают величину и, которую называют «уровнем компетентности» испытуемого. Под этим термином (активно используемым в стандартах общего образования второго поколения) понимается возможность ученика использовать (в ходе испытания или своей практической деятельности) содержание образования (например, по информатике и информационным технологиям).
Статистический подход приводит к построению эмпирического распределения оценок, выделения интервалов, которым будет присвоена одинаковая итоговая оценка. При этом в исследованиях выдвигаются гипотезы о том или ином теоретическом распределении, которым якобы соответствуют полученные гистограммы, оцениваются параметры, проверяются критерии согласия и однородности, вычисляются доверительные вероятности и т. п. Все это так или иначе строится на предположении о статистической однородности результатов эксперимента и нормальности всех используемых распределений.
Однако эти предположения вызывают обоснованную критику. Причина кроется в слабой воиспроизводимости результатов педагогических экспериментов, имеющей место из-за «человеческой» природы как субъекта измерения, так и «прибора» измерения. Любому учителю-практику очевидно, что, например, повторная контрольная работы даст совершенно иные результаты.
Тем самым неэффективной оказывается любая процедура установления зависимости, даже понимаемой в статистическом смысле, между наблюдаемыми индикаторами. Но тогда будет неэффективной и попытка определения латентной переменной через систему зависимостей индикаторов, например через величину статистической корреляционной связи между ними.
Более объективным и математически обоснованным является факторный анализ. Решая очередное задание теста или экзамена (например, по информатике и информационным технологиям для определения уровня его информационной культуры), ученик пытается отразить в решении свой уровень знаний и компетенций по рассматриваемой теме. Еслиу'-е задание спроектировано «хорошо», выставленная экспертом оценка *17 должна быть пропорциональна уровню знаний /-го ученика, возможно, с некоторой поправкой, которую можно объяснить как влиянием личностных факторов, так и просто ошибкой измерения.
Рассмотрим основную гипотезу. Можно предположить, что оценка, выставленная ученику за конкретное задание, будет иметь значение: хг/ = /* * где fi - уровень знаний ученика по данной теме (скрытый фактор), к7- - уровень решаемости задачи (обратная величина к уровню трудности задания). В частности, если Щ—0, то задача слишком сложна для всех испытуемых, если к]=тах, то задание является самым простым из всех предложенных. Ясно, что при выполнении этой гипотезы, величины - прообразы итоговых оценок испытуемых, &/ - коэффициенты, обратные уровню трудности задания.
Если исследователь допускает, что на измерительную процедуру влияет не только один (главный) фактор знаний, но и ряд других личностных характеристик, то гипотезу следует усложнить:
г = к^ Г® » 4- к^ Г®
Ц 1 П ^ ^ т /ш 5 (1)
Здесь значения латентных факторов для z-ro испытуемого;
fejp - факторные нагрузки /-го задания, которые не зависят от испытуемого. Обычно на наборы {f®}, накладывают дополнитель-
ные требования ортогональности (статистической независимости) и нор-мированности.
Уравнение (1) представляет собой линейную метрическую модель зависимости измеряемых индикаторов (оценок за задания) и некоторых латентных переменных. Оказывается, что при некоторых предположениях (обычно выполненных на практике) величины {f СО} и {к^} однозначно определяются процедурой, называемой нестатистическим факторным анализом [2]. Опишем ее кратко.
Введем вектора / = (ft) £ Rn и к = (kj) е Rm. Тогда X = fkT.
Сформируем две факторные матрицы К=ХГХ, F=XXf размерности тЧт ипЧп соответственно. Справедливы следующие свойства этих матриц.
1. К и F - симметричные неотрицательно определенные операторы в пространствах Rm и Rn соответственно.
2. Ранги матриц Д> К и F одинаковы. Пусть ранг матрицы X равен г, (г < ш < 7i). В большинстве практических случаев Т — Ш. то есть X— матрица полного ранга. Этого не будет, если, например, в КР есть задание, которое никто не смог выполнить. В этом случае нулевой столбец матрицы X следует просто вычеркнуть.
3. Все собственные значения Kvl F - действительные неотрицательные числа. Количество положительных собственных значений у матрицы К равно г (пусть это числа Д1 > Л2 > — > Аг > 0). Те же самые значения положительных собственных чисел и у матрицы F; остальные собственные значения F (их количество п-г) равны 0.
4. Существуют единичные собственные векторы операторов К и F
{к^1-, к(-2),и /^}5 которые образуют ортонормирован-
пт пп
ные базисы в пространствах К и к соответственно.
5. Существуют спектральные разложения операторов К я F:
— г
= у AjfVkW1'.
/=1 7—1
6. Для евклидовой нормы матрицы х (limits = справедливо равенство:
IMls = tr X = А± + A2-i-Ь Лг.
Справедлива следующая теорема: Матрица X может быть представлена в виде
+ 7i;/(2)feC2)r + -+ ^/(г}^(г)г 5 (2)
Для единственности представления следует потребовать, чтобы все собственные числа были различны, что не является существенным
ограничением в практических задачах. Одновременное изменение направлений векторов /(£) и fc®, очевидно, не влияет на разложение, но существенного помогает для психолого-педагогической интерпретации j-го фактора. Числа ЛД~ называются сингулярными числами матрицы X.
Каждое слагаемое в (2) называется фактором, влияющим на значения первичных оценок. Вектор £(1) называется вектором факторных нагрузок первого фактора на каждую из т переменных (заданий). Компоненты вектора /'(1) характеризуют значение первого фактора у каждого испытуемого.
Отметим свойства разложения (2).
1. Все слагаемые в (2) представляют собой одноранговые матрицы размерности пЧт.
2. Евклидова норма каждого у-го слагаемого в (2) равна
3. Если все слагаемые в (2), начиная со второго, представить в сумме величиной то сумма принимает минимальной значение среди всех
векторов и &(1). То есть первое слагаемое в (2) представляет собой на-
илучшее (в смысле евклидовой нормы матриц) одноранговое приближение матрицы X.
Предположим, что при проектировании контрольной работы предусматривается основная цель: выделить главный фактор - оценку знаний каждого слушателя по теме экзамена или теста. Тем самым мы приходим к однофакторной модели, в которой основной гипотезой будет предположение, что для всех /, у Хц = щЩ, где щ - уровень знаний /-го испытуемого (искомый скрытый фактор), Щ - объективный параметр /-го задания, одинаковый для всех испытуемых и характеризующий его (задания) способность отразить истинный уровень знания испытуемого.
Введем вектора и = (иг) Е Кп и к = (к^) Е Кп\ Тогда X = икТ, то есть матрица X одноранговая, и в ее сингулярном разложении (2) будет только одно слагаемое. Следовательно, процедура факторного анализа однозначно восстанавливает Щ и ку Отметим, что в этом случае вычисленные оценки щ будут совпадать с оценками, полученными обычной статистической процедурой, а величины будут обратными к вычисленным статистически коэффициентам решаемости заданий.
Если в разложении (2) получается более одного слагаемого, но справедливо, что Л1 » Я2, а также, что все компоненты векторов /(1) и &С3-) положительны, то тогда первое слагаемое в (2) можно интерпретировать как ответ на вопрос гипотезы. При этом щ — д/%^1", то есть компоненты вектора /(1) пропорциональны уровню знаний соответствующего испытуемого, компоненты вектора к^ - это оценки возможности для соответствующей задачи отразить уровень знаний испытуемого. Если перечисленные условия не выполняются, то, вероятно, при проектировании экзамена были допущены грубые методические ошибки.
Для того чтобы превратить компоненты вектора /ГЛ; в оценки, например, по 10-бальной шкале, можно максимальную компоненту вектора принять за 10 баллов, а остальные пересчитать пропорционально. Либо можно в матрицу X заранее ввести строку для фиктивного (эталонного) испытуемого, «получившего» максимальный балл по всем заданиям, получить новое разложение (2), и компоненту «эталона» принять за 10 баллов, пересчитав остальные оценки пропорционально.
Как уже отмечалось, первое слагаемое в (2) является наилучшим в смысле евклидовой нормы одноранговым приближением для матрицы X. Важно подсчитать долю этого приближения во всей норме М|, то есть число q = А-эУгг К * 100% (эхо число можно назвать информационной мощностью данного фактора). Опыт показывает, что если д<70%, то либо тест был плохо спроектирован, либо слишком большое влияние имели случайные факторы.
Получив полное разложение (2), можно попытаться интерпретировать не только первое слагаемое - фактор уровня знаний по данной теме, но и второе, и последующие слагаемые. Для этого следует проанализировать структуру вектора и векторов, следующих за ним. Некоторые их компоненты положительны, некоторые - отрицательны, а некоторые столь малы, что представляются незначащими. (Сами по себе знаки не принципиальны, их всегда можно все поменять на противоположные). Тем не менее, различие в знаках характеризует определенные свойства заданий.
Так, например, в КР по математике и информатике всегда отмечается, что кр > О1 для заданий, требующих для своего решения творческого мышления, умения применять знания в нестандартной ситуации; ^(2) < 0 для заданий, требующих использования только стандартных для данной темы знаний и умений. Тогда компоненты вектора /.(2), пересчитанные в пропорциональную шкалу, становятся фактором «нестандартности мышления» испытуемого. Тот, у кого этот фактор большой и положительный, «зарабатывал» свою основную оценку (даже, может быть, небольшую), решая в основном нестандартные задачи.
При большем количестве заданий (т> 12) можно дать интерпретацию и третьему фактору \ В математике и информатике он является фактором «способности к логическому мышлению», который проявляется на заданиях, где логика размышлений играет определенную роль.
В качестве примера рассмотрим результаты ЕГЭ по информатике выпускников школ Ульяновской области 2010 года. Матрица первичных оценок представляет собой таблицу из 735 строк и 32 столбцов (по числу задач). Каждое значение этой таблицы представляет собой число - отметку на порядковой шкале. В данной статье нас будет интересовать современная характеристика человека, называемая «информационной культурой». Выдвинем гипотезу, что оценки ЕГЭ связаны уравнением (1) с некоторыми латентными факторами, которые являются составляющими информационной культуры человека.
Информационная культура является компонентой человеческой культуры в целом, связана с социальными структурами и является продуктом творческих способностей, то есть информационная культура в широком смысле - это совокупность принципов и реальных механизмов, обеспечивающих позитивное взаимодействие этнических и национальных культур, их соединение в общий опыт человечества; в узком смысле слова - это оптимальные способы обращения с данными, информацией, выраженной в
знаках, и предоставление их заинтересованному потребителю для решения теоретических и практических задач [3].
Информационная культура школьника является системой ключевых компетенций, знаний, умений и навыков и выполняет несколько функций:
- общекультурную - познакомить школьников с компьютерами, дать им представление о роли и значении информации в современном обществе;
- технологическую - научить каждого ученика пользоваться новыми информационными технологиями;
- предпрофессиональную-подготовить будущих работников информационной сферы: обучение программированию, возможностям современных компьютерных технологий;
- общеобразовательную - обучить школьников алгоритмическому мышлению;
- общепедагогическую - способствовать формированию новой педагогической культуры, обновить содержание, методы и организационные формы учебной работы по всем учебным предметам.
Исходя из структурных компонентов информационной культуры и основных задач учебно-познавательной деятельности, выделяются три критерия сформированное™ основ информационной кулыуры:
- овладение знаниями, способствующими деятельности в информационном пространстве, его показателем можно взять уровень знаний;
- умение адекватно формулировать свою потребность в информации и эффективно осуществлять поиск нужной информации по всей совокупности информационных ресурсов для формирования мировоззрения, способности к информационному общению (уровень компьютерной компетенции), показателем этого критерия следует брать уровень практической деятельности по применению информационных технологий;
- умение адекватно отбирать, оценивать, осваивать, вырабатывать качественно новую информацию, описывать и создавать процессы обработки информации (уровень сформированное™ творческих умений), показателем, характеризующим этот критерий, является умение решать творческие задачи, используя математические алгоритмы и технологии программирования, то есть перенос знаний в различные сферы деятельности.
В нашем примере мы хотели выделить те составляющие информационной культуры (понимаемой, конечно, в узком смысле) выпускника школы, которые наиболее значимо проявляются в условиях ЕГЭ.
Проделав процедуры описанного выше факторного анализа (для этого необходимо найти собственные значения и собственные векторы квадратной матрицы размерности 32), получим следующее:
- значимыми являются три фактора. Информационная мощность первого - 69.4%, второго - 23.7%, третьего - 5.2%.
- первый фактор назовем «уровнем компетентности» в области информационных технологий. Величины /\(1) неотрицательны и могут слу-
жить прообразами экзаменационных оценок. Одновременно получаем факторные нагрузки которые будут обратно пропорциональны коэффициентам трудности заданий. Примечателен факт, что отношение этих коэффициентов для самой трудной и самой легкой задачи более 70, то есть экзамен представляет собой смешение чрезвычайно различных задач.
- второй фактор, исходя из анализа его факторных нагрузок кр} и сопоставляя их со свойствами задач, следует назвать фактором «нестандартного творческого мышления».
- третий фактор по аналогичной причине назовем фактором «логики мышления».
Вектор «информационной культуры», состоящий из трех важнейших компонент, иллюстративно изображен на рис. 1.
Рисунок 1 - Составляющие вектора «информационной культуры» личности
Напомним, что все эти факторы статистически попарно независимы, то есть определяют независимые качества личности объекта эксперимента. Значения факторов представляют собой числовые отметки на количественной шкале отношений, то есть шкале более высокого уровня, чем исходные первичные данные. В частности к этим данным можно применять с большей надежностью любые статистические и логические процедуры кластеризации участников эксперимента.
Результаты педагогического эксперимента можно наглядно представить в виде диаграммы точек на плоскости двух первых важнейших параметров (см. рис. 2). Для этого для каждого фактора определен достигнутый максимум, который мы положили за 10 баллов, а результаты остальных участников пересчитаны пропорционально. Для наглядности мы ввели в таблицу фиктивного «участника», решившего все задания на максимальные баллы. Первый параметр у него равен 10, но второй несколько меньше 10. На рисунке его точка самая правая, вторая сверху.
ю
**
• •
*
• У
......*
«н-тг.....................-.-г.....м.—.......V **•
—у—-1
Г* • * * * , * . • • * ч
* 1 «• Л? .//'V . 4**“ -5*.* 6 8 9 10
С Ч*А ~ •• *.*•* *•*
2 - -4--- V V-: 4 ^ *4Ф'- * »----- .......
^ Л • ■ V* 1? * Щ ’ - *1 ‘ \ :
\ к Ч %? *; л, * •
* К *т • .» • • . V *
Рисунок 2 - Диаграмма результатов на плоскости двух параметров
На рис. 2 по горизонтальной оси откладывается первый фактор - уровень компетентности по информатике. По вертикальной оси откладывается второй фактор - уровень нестандартности мышления. Значение этого фактора может быть отрицательным, что означает, что появление задания с высоким положительным значением факторной нагрузки приведет к снижению результата «эксперимента» (решения этой задачи). Расположение точек на диаграмме позволяет провести более надежную кластеризацию (присвоение итоговых оценок), проводя для этого прямые линии с небольшим наклоном влево. При этом одинаковые оценки получат те, кто более высоким уровнем второго фактора компенсирует несколько меньшие значения первого фактора.
Подводя итоги, следует сказать, что в рассматриваемом личностном качестве человека - «информационная культура» выделяются три важнейшие составляющие: уровень компетентности, способность к нестандартному мышлению и умение при решении задания мыслить логически.
Библиографический список
1. Аванесов, В. С. Педагогическое измерение латентных качеств [Текст] / В. С. Аванесов. // «Педагогическая диагностика. № 4, 2003 г. - С. 69-78.
2. Жарков, А. В. Модель нестатистического факторного анализа.[Текст] / А. В. Жарков, //Обозрение прикладной и промышленной математики. - М., т. 17, вып.1, 2009. - С. 105-106.
3. Жаркова, Г. А. Прогностическая функция в педагогике [Текст] / Г. А. Жаркова. // сб. материалов Всероссийской конференции «Проблема комплексного прогнозирования в образовании и науке. - М.-Ульяновск, 2008.
92
