Интеллектуализация педагогических моделей измерения как основа повышения компетенции персонала в электроэнергетике Текст научной статьи по специальности «Математика»

Раздел VI Проблемы подготовки персонала

Ю.И. Рогозов, Н.С. Зюзерова, М.М. Бойченко ИНТЕЛЛЕКТУАЛИЗАЦИЯ ПЕДАГОГИЧЕСКИХ МОДЕЛЕЙ ИЗМЕРЕНИЯ КАК ОСНОВА ПОВЫШЕНИЯ КОМПЕТЕНЦИИ ПЕРСОНАЛА В ЭЛЕКТРОЭНЕРГЕТИКЕ

Введение. Профессиональное обучение персонала является одной из актуальных проблем электроэнергетики[12]. По сути, основная составляющая пресловутого "человеческого фактора" - низкий уровень подготовки специалистов, отсутствие объективного контроля знаний. Современные информационные технологии позволяют обеспечить непрерывное совершенствование теоритических знаний персонала. Для этого используются специализированные информационно -обучающие системы, в которых тестирование позволяет получить объективную оценку качества знаний. При этом возникает проблема в оценке корректности самих тестов.

Тесты должны обеспечивать органы управления образованием достоверной информацией об общих результатах обучения и обеспечивать обучаемым возможность объективно оценивать уровень достижений.

На всех этапах выполнения и обработки результатов тестирования присутствуют неточности в данных. Основными источниками неточностей педагогических измерений являются[2]:

1. Латентность (недоступность для прямого измерения) как уровня подготовленности тестируемого, так и уровня трудности задания. Более того, эти величины тесно связаны между собой и проявляются в измеряемой функции успеха. Между тем, основные законы математической статистики основываются на гипотезах независимости оцениваемых величин.

2. Использование при оценке латентных параметров (с использованием модели Раша [3,4]) гипотезы нормального распределения баллов, что справедливо в случае применимости Закона больших чисел, предъявляющего весьма жесткие формальные требования к обрабатываемым данным.

3. Необходимость использования больших выборок (N>>100) для получения достоверных результатов. Реально имеющиеся выборки баллов чаще всего имеют гораздо меньший объем, причем их увеличение невозможно из-за роста трудоемкости теста.

В результате возникает объективная необходимость улучшения модели педагогических измерений Раша [4].

1. Новая теоретическая база моделей тестирования.

В настоящее время существует высокий интерес к проблеме применения интеллектуальных методов решения задач при неточных, неполных, ошибочных и т.п. исходных данных [5]. Дадим математическую формулировку описанных выше

трудностей теории тестирования по [3,4] с точки зрения современных теорий неточности и неопределенности данных.

При анализе результатов тестирования мы имеем дело с проблемой извлечения полезной (и достоверной) информации из исходов некоторого эксперимента (ответов на вопросы теста) [6]. Важной особенностью исходов эксперимента (иначе называемых наблюдениями) является их случайность, т.е. непредсказуемость результата каждого опыта (ответа на каждый вопрос). Надо преобразовать их в измерения. Множество всех исходов тестирования образуют выборочное пространство 8 тестирования. Некоторым подмножествам А выборочного пространства 8 можно поставить в соответствие неотрицательное число Р(А) е [0,1], которое называют вероятностью исхода. Эта величина характеризует относительную частоту того, что действительный исход эксперимента будет принадлежать А .

Если получаемая величина оценки является непрерывной, то величину Р удается определить только для борелевских множеств. Для этого на выборочном пространстве введем понятие О - алгебры. В данном контексте семейство Е подмножеств пространства 8 называется О - алгеброй, если выполняются

ад

следующие условия: 8 еЕ ; А <зЕ^ А е Е и ^ А еЕ . Множества из Е

1=1

называют событиями. Для заданного выборочного пространства S с О -алгеброй Е вводят неотрицательную функцию, определенную для всех событий из Е, которую называют вероятностной мерой (или распределением) Р на Е. Эта функция удовлетворяет условиям нормированное™ Р(0) = 0 , Р(8) = 1, аддитивности Р( А ^ В) = Р( А) + Р(В) и непрерывности

Г ад ^

А з А2 з... з Ап з..., Аг е Е ^ Р|П Ап = НшР(Ап). Тройка

I 1 1 п^ад

V п=1 /

(8, Е, Р) называется вероятностным пространством. В теории вероятностей

рассмотренное пространство 8 часто называют пространством элементарных событий. В современных теориях [6] рассматривают другие исходные пространства, чаще всего - пространство всех подмножеств исходного универсума

[7,8].

2. Проблемы измерений в педагогическом тестировании.

Общая проблема измерений в тестировании, порождающая все указанные в [1,2] трудности, состоит в том, что результаты тестирования содержат неустранимые погрешности, в результате чего между двумя введенными пространствами имеются весьма существенные различия.

Действительно, в случае неточности наблюдений мы не можем утверждать, что при наблюдении исхода А действительно произошло событие B (латентное событие в терминологии тестирования). С учетом этих обстоятельств мы записываем А е В в случае, если исход эксперимента влечет наступление B, АоВ = 0, если событие B не произошло и, наконец, в ситуации неопределенности, когда А ф В и А о В ^ 0 мы говорим, что событие B возможно произошло, а возможно и нет.

С точки зрения анализа неточной информации, эффективный путь улучшения существующих моделей педагогического измерения (шкалирования) заключается в

их интеллектуализации. За счет введения элементов теории искусственного интеллекта [5] в модель шкалирования по Рашу [6] можно получить теоретически обоснованные результаты, учитывающие неточности данных, поскольку нечеткие методы работают с такими же нормированными величинами, что и вероятностные, но ограничения на применимость гораздо менее жесткие. Математическим аппаратом изучения неточности в данных является теория Демпстера-Шейфера

[7,8].

Для корректировки вероятностных оценок в описанных условиях могут быть использованы меры, называемые мерами правдоподобия и доверия.

Мера правдоподобия (plausibility) Pl(B) - это численная характеристика относительной частоты случаев, которые не противоречат одновременному наступлению события B при проведении эксперимента. В условиях тестирования по требованиям ОСТ мы имеем конечное число исходов (фокальных событий)

{A |i = !,••• п}, для каждого из которых известны вероятности появления во время тестирования p(A ) . Тогда, опуская необходимые условия, приведенные в [21], можно получить формулу Pl (B) = Z p(A).

Ai nB^0

Мера доверия (confidence) Cr(B) по определению характеризует относительную частоту случаев, при которых наблюдения позволяют фиксировать наступление события B и численно равна вероятности того, что B обязательно произойдет. В силу этого, так как событие B является необходимым при

наблюдении исхода A если A С B, то Cr(B) = Z p( Ai).

A cb

Эти меры широко используются в современной теории интеллектуальных систем и могут существенно уточнить результаты, полученные при тестировании.

3. Использование случайных множеств в теории тестирования.

В силу того, что латентные свойства во многом определяются субъективно, одним из эффективных подходов в оценке параметров является подход, основанный на использовании экспертных оценок. Математический аппарат, позволяющий объективизировать подобные субъективные оценки живых экспертов (или оценки, полученные в условиях неопределенности с помощью различных объективных методов) основывается на методах теории свидетельств (см. п 1). Аксиоматика теории свидетельств применительно к моделям педагогических измерений введена в п. 2 и основывается на использовании функций правдоподобия и доверия (1.4) и (1.5) для гомогенного латентного пространства (см. п 1).

В задачах, связанных с многомерными данными, содержащими элемент неопределенности, функции доверия и правдоподобия можно получить также в терминах многозначного отображения или случайных множеств. Рассмотрим вероятности P(o), определенные на множестве Q (это множество наших

наблюдений), которое связано со множеством U (это множество возможных значений наших наблюдений) через многозначное отображение G : Q^ P o(U) (см. рис. 1).

(5(т)-Л

I---------1

1---------1----%

. П1ГМ) эир! Д)

е1

Рис. 1. Диаграмма многозначного отношения между множествами наблюдений и значений наблюдений

Для этого случая массовые вероятности т(■) на латентных данных можно вычислить как [8] т(Д) = Р(щ) = С. /N,Щ д О.. Такое многозначное отображение формализует неточность измерения латентных параметров. Для каждого множества Д д Р о(и) значение базовой вероятности т(Д) можно

считать вероятностью для точки Щ = С *(Д ) (Щ д О). Случайное множество есть пара (Б , т), где Б - семейство всех N фокальных элементов. В частности, для случая, когда множество и является декартовым произведением к множеств, т.е. и = и Х . . .Х ик, то вместо случайного множества мы будем иметь случайное отношение.

В отличие от подхода, принятого в теории вероятностей (см. п. 1), в теории случайных множеств вместо подсчета появлений отдельных элементов множества и подсчитываются наблюдения подмножеств Д ^ и. Любое распределение

вероятностей с суммарным весом т( Д) может быть определено на

подмножестве Д и все они равноправны в том смысле, что ни одно из них не

может быть выбрано как наиболее предпочтительное без дополнительной информации (см. рис. 2).

I С(м3М3 I б(га21=А2 . С(т1М1 * Е

I Г—

и

Рис. 2. Диаграмма многозначного отношения между множествами наблюдений и значений наблюдений

Пусть Д - непустое подмножество и. Если определить X как подмножество О, элементы которого должны обязательно вести через многозначное отображение С к Д : X = {щд О : С(щ) ^ Д] . Тогда нижняя

вероятность (характеристическая функция) подмножества Д при использовании принципа индуктивного вывода Демпстера [7] определяется как

Р(Д | с) = Р(X ). При этом

Р(X) = 2 ) = Т т(Д) = 2 т(Д,). (1)

г : щдX* г : С(щ)сД , : Д сД

Верхняя вероятность (характеристическая функция) подмножества Д определяется как Р(Д | с) = Р(X*)

Р(Х‘) = Т Р(Щ) = Т т(Д) = Т т(Д), (2)

г : щдX* , : С(щ )3 Дф0 , : Д 3 Дф0

если определить X как подмножество О, элементы которого могут вести через многозначное отображение С к Д : X* = {щ д О : С(щ) З Д Ф 0].

В соответствии с (1) и (2), для произвольного подмножества Е 3 и можно определить только нижнюю и верхнюю границы его вероятности Рг(Е). При

этом нижняя граница Р(Е | с) есть функция доверия Ве1 (Е) , а верхняя граница Р(Д | с) - функция правдоподобия Р1 (Е). Эти оценки позволяют получить меру качества экспертной оценки путем определения нормы ||Р(X) — Р(X)||.

Предположим теперь, что множество и является множеством всех вещественных чисел. Будем рассматривать функции доверия и правдоподобия как нижнюю и верхнюю вероятности определенных интервалов. Тогда вводя в рассмотрение ряд интервалов (—то, х], можно построить нижнюю и верхнюю функции распределения латентной величины, информация о которой дана в виде множества интервалов Д, называемых обычно фокальными элементами и имеющими ненулевые массовые вероятности т(-) для каждого фокального элемента. Представим и как множество вещественных чисел, ограниченных снизу и сверху значениями и„ и и соответственно. Нижняя и верхняя функции распределения латентной величины X, о которой имеются данные в виде множества фокальных элементов Д , , = 1,..., п, в соответствии с (1) и (2), имеют вид

£(х) = Р({и < х]) = {Т’ Д<Л 'N' Х < и., (3)

[ 1, х = и

— — ГТ , ^ Д <А / N, х > и„

Г(х) = Р({и <х]) = ГТ '. (4)

[ о, х = и.

Эти функции распределения определяют границы для всех возможных характеристических функций, которые совместимы с имеющимися фокальными элементами.

Приведем модельный пример использования аппарата случайных множеств для экспертной оценки качества заданий тестов. Пусть для полигамического задания с оценкой, которая лежит в интервале и = [0,10], имеются шесть экспертных оценок (N = 6) возможных значений латентной функции X, связанных с проведенными пилотными испытаниями [1]. Три эксперта (С = 3 )

дали оценку интервала значений Л = [4,5], два эксперта (с2 = 2) предпочли интервал Л = [2,4], и один эксперт (с3 = 1) определил интервал Л3 = [1,5]. Используя основные соотношения метода (см. раздел 2), найдем массовые вероятности для фокальных элементов, определенных интервалами Л — Л3.

Вычислим значения: т(Л) = 1/2 , т(Л) = 1/3, т(Л3) = 1/6. Используя (3) и

(4), можно построить графики характеристической функции в исходных единицах как структуру в виде вероятностных клеток [7], изображенную на рис. 3.

Рис. 3. Графики нижней и верхней характеристических функций на множестве фокальных элементов

Используя значения функций Е(х) и Е(х) по (3) и (4), показанные на рис. 3, мы можем оценить норму близости оценок на вероятностных клетках как

% = тах( Е(х) — Е(х)||), I = 1,2,...,N. (5)

Для примера - рис. 3 % = 0,5 . Задавая предельные значения нормы, можно управлять процессом оценки латентной величины [10].

4. Алгоритм обработки оценок тестирования

На основании расчетных формул (3-5) мы можем построить алгоритм обработки экспертных оценок для заданий теста в следующей форме:

Шаг 1. Провести экспертизу и оформить таблицы ответов экспертов по [11].

Шаг 2. Нормировать баллы экспертов к стандартному интервалу [0, К].

Шаг 3. Найти все фокальные элементы задачи Д , / = 1,..., О.

Шаг 4. Вычислить значения массовых вероятностей т(Лг) , / = 1,2,..., О.

Шаг 5. Построить таблицы значений верхних и нижних характеристических функций по (3) и (49).

Шаг 6. Найти максимальную норму погрешности оценки по (5).

Шаг 7. Если норма меньше заданной, то завершить расчет, иначе перейти к Шагу 1.

Предложенный в настоящем разделе алгоритм позволяет учитывать

неопределенность в значениях характеристической функции латентной

переменной.

6. Выводы и направления дальнейшей работы

Полученные в статье теоретические результаты позволяют разрабатывать новые методы педагогического оценивания со значительно более высокой долей объективности, чем существующие. Практические результаты работы

использованы при построении автоматизированных обучающих систем,

использующих современную методику шкалирования результатов для организации процессов адаптивного обучения [2].

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. -М.,, 2002.

2. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. The Danish Institute of Educational Research, (1960), Copenhagen.

3. Rasch G. On specific objectivity. An attempt at formalizing the request for generality and validity of scientific statements. In Blegvad, M. (ed.). The Danish Yearbook of Philosophy, 58-94. Munksgaard, (1977), Copenhagen.

4. Нариньяни А.С. НЕ-факторы 2004. В сб. трудов 9 Национальной конференции по ИИ КИИ-2004. - М.: Физматлит, 2004. Т.1. - С. 420-432.

5. Wilson M., Pirolli, P. The relationship between the Rasch model and conjoint measurement structures (Tech. Rep. Berkeley, CA: University of California, 1995.

6. Dempster A. Upper and Lower Probabilities indiced by a multivalued mapping. Ann. Math. Statist., 1967, v.38, pp.325-339.

7. Shafer G.A. Mathematical Theory of Evidence. Princeton University Press, Princeton, N.J., 1976.

8. Бутенков С.А., Клово А.Г. О сравнении результатов оценки знаний абитуриентов по различным методикам. В сб. трудов Всероссийской конференции “Применение средств вычислительной техники в учебном процессе кафедр физики, высшей и прикладной математики—.- Ульяновск : УлПИ, 1996. - С. 23-28.

9. Литвак Б.Г. “Экспертная информация: методы получения и анализа”. - М.: Радио и связь, 1981.

10. Ларичев О.И., Мошкович Е.М. “Качественные методы принятия решений”.

- М.: Физматлит, 1996.

11. Человеческий потенциал и надежность электроэнергетики. //Сборник статей /Под ред. С.И. Магида. - Омск-Москва: "ТЭСТ", 2005.

П.В. Хало ОНТОГЕНЕЗ СЛОЁВ СОЗНАНИЯ

В псхотерапевтических школах используются разные модели онтогенеза сознания. Периоды развития сознания связывают с преобладающей, в том или ином возрасте, мозговой активностью, характерными особенностями формирования восприятия, мышления и других высших психических функций.