CC BY
35
радиоэлектроники для тестирования студентов по
различным дисциплинам.
СПИСОК ЛИТЕРАТУРЫ
1. Rash G. Probabilistick Models for Some Intelligence and Attainment Tests / G. Rash. - Copenhagen : Danish Institute for Educational Research, 1960. - 184 p.
2. ЧелышковаМ. Б. Разработка педагогических тестов на основе современных математических моделей / М. Б. Че-лышкова. - М. : Исследовательский центр проблем качества подготовки специалистов, 1995. - З1 с.
3. Аванесов B. C. Теоретические основы разработки знаний в тестовой форме / B. C. Аванесов - М. : Изд-во Исслед. центра проблем качества подготовки специалистов, 1995. - 95 с.
4. Комплекс нормативних документів для розробки складових системи вищої освіти. Додаток 1 до Наказу Міносвіти № 285 від 31 липня 1998 р. / Г Я. Антоненко, І.Є.Булах, В. Л. Петренко та ін. - К. : Інститут змісту і методів навчання, 1998. - 124 с.
5. Колісник М. Методичне забезпечення працює на успіх. Закордонна практика викладання дисциплін / М. Колісник // Аналітичний журнал по менеджменту СИ-НЕРГІЯ. - 2003. - № 2(6) - С. 48-53.
6. Амелькин В. В. Дифференциальные уравнения в приложениях / В. В. Амелькин - М. : Наука, главная редакция физико-математической литературы, 1987. - 160 с.
7. Белоус Н. В. Автоматизированная система оценивания тестовых заданий разных форм / Н. В. Белоус, И. В. Войтович // Вестник ХНТУ - 2006. - № 1(24). -С. 422-426.
8. Стенли Р. Перечислительная комбинаторика : пер. с англ. - М.: Мир, 1990. - 440 с.
Надійшла 26.02.2009
Білоус Н. В., Куцевич И. В.
МОДЕЛЬ АДАПТИВНОГО КОНТРОЛЮ ЗНАНЬ
У статті описується модель адаптивного контролю знань і розглядаються основні стадії процесу контролю знань. У статті приведена концепція навчання і контролю знань об’єкта навчання при використанні різних форм тестових завдань. Пропонується модифікована система навчання і оцінювання знань для кожної з форм тестових завдань. Показано переваги використання запропонованих методів. На основі описаної моделі розроблено систему комп’ютерного контролю знань, яка в даний час проходить апробацію в Харківському національному університеті радіоелектроніки для тестування студентів з різних дисциплін.
Ключові слова: адаптивне навчання, контроль знань, тестування, тестове завдання, імовірність угадування, диференціююча здатність, складність завдань.
Belous N. V., Kutsevich I. V.
MODEL OF ADAPTIVE KNOWLEDGE CONTROL
In this paper the model for adaptive knowledge control is described and the basic stages of knowledge control process are examined. A teaching and testee knowledge control conception is presented using the different test forms. The authors propose the modified system of teaching and knowledge control for each test form. Advantages of the proposed methods are shown. On the basis of the described model a computer system of knowledge control has been developed being now approved in the Kharkov national university of radio electronics for students studying different disciplines.
Key words: adaptive teaching, knowledge control, testing, test item, guessing parameter, item discrimination parameter, item difficulty parameter.
УДК 004.91:615.087-616.093
Высоцкая Е. В.1, Довнарь А. И.2, Порван А. П.3
1Канд. техн. наук, доцент Харьковского национального университета радиоэлектроники 2Канд. техн. наук, доцент Харьковского национального университета радиоэлектроники 3Инженер Харьковского национального университета радиоэлектроники
ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ СУБЪЕКТИВНОЙ ИНФОРМАЦИИ ПРИ ОПРЕДЕЛЕНИИ СТЕПЕНИ ТЯЖЕСТИ СОСТОЯНИЯ ОРГАНИЗМА ЧЕЛОВЕКА МЕТОДОМ АНАЛИЗА ИЕРАРХИЙ
В данной статье авторами рассматривается подход к оцениванию согласованности мнений экспертов при определении степени тяжести состояния организма человека. Для определения степени согласованности мнений экспертов был выбран метод анализа иерархий. Применение данного метода позволило установить связь между заболеваниями человека и степенью тяжести общего состояния его организма и точно описать суждения экспертов.
Ключевые слова: метод анализа иерархий, отношение согласованности, состояние организма человека, субъективная информация.
ВВЕДЕНИЕ няется на практике для принятия решений (ПР) в
Метод анализа иерархий (МАИ), разработанный здравоохранении. Оценка вариантов решений с ис-
известным ученым Т. Л. Саати [1], успешно приме- пользованием МАИ осуществляется как на основе
© Высоцкая Е. В., Довнарь А. И., Порван А. П., 2010
объективной, так и субъективной исходной информации о биологическом объекте.
В том случае, когда исходная информация получена из объективных источников в полном объеме, а значения показателей непротиворечивые, результаты задач ПР однозначны и соответствуют мнению лица, принимающего решение (ЛПР). Поэтому нет необходимости в согласовании исходных данных.
При использовании в процессе принятия решений субъективной информации, представленной в виде ко -личественных (числовых) или качественных (лингвистических) оценок экспертов, возникают условия неопределенности, причинами которых могут являться: недостаточная степень уверенности ЛПР в правильности своих экспертных оценок; противоречивость знаний; нечеткость представления информации.
Последствиями проявления неопределенности являются систематические и случайные ошибки опроса ЛПР, которые в дальнейшем приводят к несогласованности данных и нарушению таких свойств суждений и отношений, как связность и транзитивность.
Качество, а, следовательно, точность и обоснованность принимаемого решения тем хуже, чем больше нарушены свойства связности и транзитивности между экспертными оценками исходного факторного пространства. Полное отсутствие рассматриваемых свойств в системе предпочтений не позволяет осуществить однозначный выбор на множестве объектов, представляющих собой альтернативные варианты. Поэтому при практическом принятии решений ЛПР стремится восстановить указанные свойства, а затем на их основе согласовать данные, повысив тем самым качество и обоснованность решений.
1. ПОСТАНОВКА ПРОБЛЕМЫ
При анализе степени тяжести состояния организма пациента приходится сталкиваться со сложной системой взаимодействия компонент проблемы, которые нужно проанализировать. Исходные субъективные данные, характеризующие состояние организма, могут выражаться в виде суждений и отношений.
Суждения характеризуют свойства объектов безотносительно к другим свойствам, то есть по абсолютным значениям. Известно, что при многокритериальном принятии решений трудно сравнивать по абсолютному значению показатели свойств, имеющие разную физическую природу и судить о согласованности информации.
Элементарные суждения, как способ выражения предпочтений, могут быть описаны с помощью свойств бинарных отношений. Сложные суждения,
состоящие из элементарных, описываются сложными модельными отношениями, состоящими из бинарных.
Особенностью представления информации о состоянии здоровья человека в виде отношений является тот факт, что с помощью отношений могут быть формально описаны связи между элементами (органы и системы организма человека) и свойствами (степень тяжести состояния органа или системы организма) объектов.
В работах [2, 3] рассмотрены подходы выражения предпочтения ЛПР в виде модельных отношений, позволяющих сравнивать разнородные свойства объектов, однако, не учитывающие альтернативные объекты и процессы по каждому из свойств, что не позволяет представить суждения экспертов в виде показателя отношения предпочтения двух и более свойств.
Рассматриваемый авторами МАИ является систе-магической процедурой для иерархического представления элементов, определяющих суть любой проблемы, и включает процедуры синтеза множественных суждений, получение паритета с критериями и нахождение альтернативных решений [4]. Полученные таким образом значения являются оценками в шкале отношений и соответствуют так называемым жестким оценкам. Решение проблемы есть процесс поэтапного установления приоритетов. На первом этапе выявляются наиболее важные элементы проблемы. На втором этапе наилучший способ проверки наблюдений, испытания и оценки элементов. Следующим этапом может быть проверка способов применения решения и оценка его качества. Весь процесс подвергается проверке и переосмыслению до тех пор, пока не будет уверенности, что процесс охватил все важные характеристики, необходимые для представления и решения проблемы. Процесс может быть проведен над последовательностью иерархий; в этом случае результаты, полученные в одной из них, используются в качестве входных данных при изучении следующей.
Целью данной работы является разработка информационной технологии оценивания субъективной информации при определении степени тяжести состояния организма человека на основании известного метода анализа иерархий.
2. СУЩНОСТЬ РАБОТЫ
Общая технология оценивания субъективной информации для выявления взаимосвязи между степенью тяжести состояния организма пациентов (В) и имеющимися альтернативами формирования данных
Рис. 1. Трехуровневая иерархическая структура оценки состояния организма человека
состояний (А) может быть представлена в следующем виде.
На первом этапе происходит построение иерархической структуры проблемы (рис. 1), где в качестве вершины служит доминанта, т. е. цель, которую необходимо достичь (степень тяжести состояния организма); промежуточный уровень представляет собой критерии, с помощью которых оцениваются более низкие уровни (диагнозы и симптомы по Международному классификатору болезней [5]); а самый низкий уровень представляет собой все возможные варианты решения рассматриваемой проблемы (степень тяжести состояния органов и систем организма человека). Представленная иерархия является доминантной и полной [6].
На втором этапе по составленной иерархии экс-пертами-медиками формируется матрица предпочтений, элементами которой (а] являются результаты сравнения различных альтернатив А.
Элементы сравниваются между собой по шкале сравнения и каждое из суждений кодируется числом согласно следующей кодировке: 1 - равная важность альтернатив; 3 - умеренное превосходство одной альтернативы над другой; 5 - существенное превосходство; 7 - значительное превосходство; 9 -очень сильное превосходство. Символами 2, 4, 6, 8 кодируются промежуточные суждения экспертов о значимости той или иной системы организма человека.
На третьем этапе по полученным значениям матрицы предпочтений вычисляются приоритеты альтернатив у:
N
N П aij
V j = 1
(1)
I N П
i = 1 Л) k =1
где N - количество сравниваемых объектов; а^, ак -степени превосходства ]-го сравниваемого объекта над к-м.
В медицинской диагностике особо важна степень достоверности суждения эксперта о сравниваемых параметрах, поскольку положительный результат лечения человека во многом зависит от правильности определения степени тяжести состояния организма на момент обращения.
Для определения степени согласованности мнения эксперта вычисляется индекс согласованности (ИС), который несет информацию о степени нарушения кардинальной (а]]*а]к = а,к) и транзитивной (порядковой) согласованности:
ИС =
N I N
I Yi *1 Xj - N
i=1 V=1
N - 1
(2)
На четвертом этапе вычисляется ошибка согласованности мнений экспертов (ОС):
ОС =
ИС
ИПС
(З)
где ИПС - индекс согласованности матрицы парных сравнений такой же размерности, но заполненной случайным образом (табл. 1).
При ошибке согласованности более 10 % эксперту рекомендуется пересмотреть свои суждения относительно сравниваемых объектов, так как величина относительных весов может не соответствовать действительной.
На пятом этапе определяется наилучшее решение, для которого значение критерия максимально, и проверяется достоверность решения.
Для этого рассчитывается обобщенный индекс согласования (ОИС) и определяется обобщенное
ik
Таблица 1. Показатель случайной согласованности матрицы парных сравнений различного порядка, заполненной случайным образом
Размерность матрицы, (п X п) 2 3 4 5 6 7 8 9 10 11 12 13 14 15
ИПС 0 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49 1,51 1,54 1,56 1,57 1,59
Таблица 2. Матрица парных сравнений альтернатив А по степени важности
А1 А2 А3 А4 А5 А6 А7 А8 А9 А10 А11 А12 А13 А14 А15
А1 1,00 2,00 3,00 5,00 5,00 4,00 4,00 5,00 7,00 5,00 7,00 7,00 9,00 8,00 8,00
А2 0,50 1,00 2,00 4,00 4,00 4,00 3,00 5,00 7,00 6,00 7,00 6,00 8,00 8,00 8,00
А3 0,33 0,50 1,00 5,00 4,00 3,00 3,00 7,00 7,00 5,00 3,00 7,00 5,00 4,00 8,00
А4 0,20 0,25 0,20 1,00 2,00 2,00 3,00 5,00 3,00 4,00 7,00 7,00 7,00 9,00 5,00
А5 0,20 0,25 0,25 0,50 1,00 2,00 3,00 7,00 5,00 9,00 5,00 6,00 4,00 7,00 4,00
А6 0,25 0,25 0,33 0,50 0,50 1,00 3,00 5,00 3,00 8,00 4,00 8,00 5,00 4,00 5,00
А7 0,25 0,33 0,33 0,33 0,33 0,33 1,00 4,00 2,00 5,00 5,00 9,00 4,00 7,00 4,00
А8 0,20 0,20 0,14 0,20 0,14 0,20 0,25 1,00 2,00 6,00 7,00 7,00 7,00 2,00 8,00
А9 0,14 0,14 0,14 0,33 0,20 0,33 0,50 0,50 1,00 3,00 8,00 4,00 8,00 2,00 7,00
А10 0,20 0,17 0,20 0,25 0,11 0,13 0,20 0,17 0,33 1,00 7,00 5,00 7,00 2,00 8,00
А11 0,14 0,14 0,33 0,14 0,20 0,25 0,20 0,14 0,13 0,14 1,00 7,00 3,00 3,00 7,00
А12 0,14 0,17 0,14 0,14 0,17 0,13 0,11 0,14 0,25 0,20 0,14 1,00 3,00 5,00 7,00
А13 0,11 0,13 0,20 0,14 0,25 0,20 0,25 0,14 0,13 0,14 0,33 0,33 1,00 3,00 5,00
А14 0,13 0,13 0,25 0,11 0,14 0,25 0,14 0,50 0,50 0,50 0,33 0,20 0,33 1,00 3,00
А15 0,13 0,13 0,13 0,20 0,25 0,20 0,25 0,13 0,14 0,13 0,14 0,14 0,20 0,33 1,00
Таблица 3. Расчетные значения приоритета альтернатив
Альтернатива А1 А2 А3 А4 А5 А6 А7 А8 А9 А10 А11 А12 А13 А14 А15
У,- 0,20 0,17 0,13 0,09 0,09 0,08 0,06 0,04 0,04 0,03 0,02 0,02 0,01 0,01 0,01
отношение согласованности (ООС). Решение считается достоверным, если ООС 10-15 % [7].
При проведении данной процедуры нужно учитывать, что глобальные приоритеты синтезируются, начиная со второго уровня вниз. Локальные приоритеты перемножаются на приоритет соответствующего критерия на вышестоящем уровне и суммируются по каждому элементу в соответствии с критериями, на которые воздействует этот элемент. Это дает глобальный приоритет того элемента, который затем используется для взвешивания локальных приоритетов элементов, сравниваемых по отношению к нему как к критерию и расположенных уровнем ниже.
Максимальное значение в векторе глобальных приоритетов будет соответствовать наилучшему, с точки зрения заданных критериев и суждений, варианту.
Продемонстрируем данную технологию на следующем примере.
У пациентки Н., 27 лет, обратившейся за помощью в 23 клиническую больницу города Харькова, в результате обследования были выявлены заболевания системы кровообращения, органов дыхания, нервной и костно-мышечной систем. Перед медицинским экспертом, в роли которого выступал домашний врач, встала проблема определения степени тяжести общего состояния организма пациентки.
Согласно построенной иерархической модели было проведено исследование степени влияния показателей свойств качества состояния организма пациентки (заболевания и симптомы) на общее состояние организма, при котором было выявлено влияние второго уровня модели на цель и построена матрица парных сравнений (табл. 2).
Примечание к табл. 2:
А1 - болезни системы кровообращения;
А2 - новообразования;
А3 - болезни эндокринной системы;
А4 - болезни органов дыхания;
А5 - болезни органов пищеварения;
А6 - болезни мочеполовой системы;
А7 - заболевания кожи и подкожной клетчатки;
А8 - заболевания крови и кроветворных органов; А9 - инфекционные заболевания;
А10 - травмы, отравления и влияние внешних факторов;
А11 - болезни нервной системы;
А12 - заболевания костно-мышечной системы;
А13 - психические расстройства;
А14 - заболевания глаз и придаточного аппарата;
А15 - заболевания уха и сосцевидного отростка.
На следующем шаге проверялась согласованность оценок в матрице. Для этого по (1) рассчитывались
Таблица 4. Матрицы парных сравнений степеней тяжести состояния организма для болезней системы кровообращения
А1 В1 В2 В3 В4 В5 Yi
В1 1,000 2,000 0,500 0,200 0,143 0,080
В2 0,500 1,000 3,000 5,000 7,000 0,380
В3 2,000 0,333 1,000 3,000 5,000 0,270
В4 5,000 0,200 0,333 1,000 3,000 0,170
В5 7,000 0,143 0,200 0,333 1,000 0,100
Таблица 5. Матрицы парных сравнений степеней тяжести состояния организма для болезней органов дыхания
А4 В1 В2 В3 В4 В5 Yi
В1 1,000 2,000 5,000 7,000 8,000 0,473
В2 0,500 1,000 3,000 5,000 7,000 0,295
В3 0,200 0,333 1,000 3,000 5,000 0,134
В4 0,143 0,200 0,333 1,000 2,000 0,060
В5 0,125 0,143 0,200 0,500 1,000 0,038
Таблица 6. Матрицы парных сравнений степеней тяжести состояния организма для болезней нервной системы
А11 В1 В2 В3 В4 В5 Yi
В1 1,000 1,000 2,000 3,000 5,000 0,35
В2 1,000 1,000 1,000 2,000 3,000 0,25
В3 0,500 1,000 1,000 1,000 2,000 0,18
В4 0,333 0,500 1,000 1,000 2,000 0,14
В5 0,200 0,333 0,500 0,500 1,000 0,08
Таблица 7. Матрицы парных сравнений степеней тяжести состояния организма для заболеваний костно-мышечной системы
А12 В1 В2 В3 В4 В5 Yi
В1 1,000 1,000 1,000 2,000 3,000 0,257
В2 1,000 1,000 1,000 2,000 3,000 0,257
В3 1,000 1,000 1,000 3,000 3,000 0,279
В4 0,500 0,500 0,333 1,000 2,000 0,126
В5 0,333 0,333 0,333 0,500 1,000 0,081
приоритеты альтернатив у (табл. 3) и определялся индекс согласованности (2).
ИС = 0,242.
Затем определялся показатель ИПС. Так как вектор размерности матриц парных сравнений п = 15, то, согласно табл. 1, ИПС =1,59.
Далее по (3) определялась ошибка согласованности ОС = 0,24/1,59 = 0,151.
На следующем этапе проводилось попарное сравнение степени тяжести состояния пациентки (вариантов В) по каждой из систем МКБ (альтернатив А,) (табл. 4-7) и рассчитывались приоритеты альтернатив у,.
Таблица S. Расчетные значения ИС и ОС для заболеваний пациентки
Система по МКБ А1 А4 А11 А12
ИС 0,57 0,039 0,02 0,009
ОС 0,506 0,035 0,019 0,007
Таблица 9. Расчетные значения обобщенного критерия для каждой степени тяжести состояния организма
Степень тяжести (В]) Обобщенный критерий, Л(В))
В1 - начальные изменения 0,295905
В2 - легкая степень 0,184585
В3 - средняя степень 0,323814
В4 - тяжелая степень 0,100043
В5 - крайне тяжелая степень 0,060772
Для каждого из случаев также проверялась согласованность мнений экспертов (табл. 8).
Далее рассчитывалось значение обобщенного критерия А (В) для каждой степени тяжести состояния пациентки (табл. 9).
Из табл. 9 видно, что максимальное значение обобщенного критерия соответствует состоянию В3 -«средняя степень тяжести» общего состояния организма. Затем рассчитали обобщенный индекс согласования ОИС =0,210138, определили обобщенный показатель случайной согласованности (ИПС) и обобщенное отношение согласованности ООС = = 0,048881.
ВЫВОДЫ
Таким образом, применение метода анализа иерархий позволило оценить субъективную информацию экспертов медиков при определении степени тяжести состояния организма человека. Из примера видно, что согласованность мнений экспертов может быть представлена как объективная информация о степени тяжести общего состояния пациента при условии, что отношение альтернатив (диагнозов и симптомов) заранее известно и не требует дополнительного описания с помощью метода парных сравнений. Рассчитанное в примере значение обобщенного отношения согласованности является достоверным (ООС ~ ~ 0,049), что говорит о высокой степени согласованности информации, полученной от экспертов.
СПИСОК ЛИТЕРАТУРЫ
1. Саати Т. Л. Принятие решений. Метод анализа иерархий / Саати Т. Л. - М. : Радио и связь, 1993. - 210 с.
2. Шнейдерман М. В. Процедуры коллективного экспертного опроса и их экспериментальное исследование / Шнейдерман М. В. // АиТ. - 1988. - № 5. - С. 3-16.
3. Трахтенгерц Э. А. Генерация, оценка и выбор сценария в системах поддержки принятия решений / Трах-тенгерц Э. А. // АиТ. - 1997. - № 3. - С. 12-20.
4. Трахтенгерц Э. Л. Компьютерная поддержка принятия решений / Трахтенгерц Э. А. - М. ; СИНТЕЗ, 1998. -426 с.
5. Международный классификатор болезней Всемирной организацией здравоохранения (ВОЗ) / Под. ред. Р. В. Понаморева. - М. ; Медицина, 1992. - 768 с.
6. Саати Т. Л. Аналитическое планирование. Организация систем / Саати Т. Л., Кернс К. - М. ; Радио и связь, 1991. - 198 с.
7. Данилов В. И. Механизмы группового выбора / Данилов В. И., Сотсков А. И. - Новосибирск ; Техноком, 1991. - 172 с.
Надійшла 21.07.2009
Висоцька О. В., Довнар О. Й., Порван А. П.
ТЕХНОЛОГІЯ ОЦІНЮВАННЯ СУБ’ЄКТИВНОЇ ІНФОРМАЦІЇ ПРИ ВИЗНАЧЕННІ СТУПЕНЯ ТЯЖКОСТІ СТАНУ ОРГАНІЗМУ ЛЮДИНИ МЕТОДОМ АНАЛІЗУ ІЄРАРХІЙ
У даній статті авторами розглядається підхід до оцінювання погодженості думок експертів при визначенні ступеня тяжкості стану організму людини. Для визначення ступеня погодженості думок експертів був обраний метод аналізу ієрархій. Застосування даного методу дозволило встановити зв’язок між захворюваннями людини й ступенем тяжкості загального стану його організму та точно описати судження експертів.
Ключові слова: метод аналізу ієрархій, відношення погодженості, стан організму людини, суб’єктивна інформація.
Visotskaja E. V., Dovnar A. I., Porvan A. P.
SUBJECTIVE INFORMATION ESTIMATION TECHNIQUE FOR DETERMINATION OF PATIENT'S ORGANISM CONDITION USING THE HIERARCHY ANALYSIS METHOD
The authors consider the approach to estimation of experts’ opinion consistency when determining the patient’s organism condition. The hierarchy analysis method has been chosen to determine a degree of experts’ opinion consistency. The method permits to show relation between patient’s diseases and his organism general condition and to describe experts’ verdicts accurately.
Key words: hierarchy analysis method, consistency relationship, patient’s organism condition, subjective information.
