Решение рейтинговых задач в системе Свирь Текст научной статьи по специальности «Компьютерные и информационные науки»

РЕШЕНИЕ РЕИТИНГОВЫХ ЗАДАЧ В СИСТЕМЕ СВИРЬ

А.П. Ледяев, д.т.н., проф., первый проректор Тел.: (812) 310-17-18 С.В. Микони, д.т.н., проф. Тел.: (812) 557-98-88, E-mail: mikoni@pgups.ru П.П. Якубчик, к.т.н., проф., начальник учебного управления Тел.: (812) 310-17-24 Д. П. Бураков, асп. Тел.: (812) 550-75-10 Петербургский государственный университет путей сообщения http://www.pgups.ru, www.pgups.ru/nauka/mikoni

The ranking tasks are belonging to class of ill-defined problems due to meaning human factor to construct the task model. To solve these problems the choice and ranking system SVIR was designed. It supplies soft tuning of model parameters, uses cognitive graphics for results representation and has correlation analysis of the model attributes dependences.

'-—-V I

if A

ШдяЩЩ

Введение

Рейтинговые задачи находят широкое применение во всех сферах человеческой деятельности. Действительно, для принятия управленческих решений всегда существует потребность в определении лучших (и худших) организационных единиц, работников, товаров, услуг, технологий и пр.

Применительно к сфере образования объектами рейтинговых оценок являются любые субъекты и объекты образовательного процесса, такие как: учебные заведения, учебные программы и пособия, абитуриенты, студенты и пр. В Петербургском государственном университете путей сообщения (ПГУПС) в качестве объекта оценивания была выделена деятельность кафедр университета [1].

Общим для рейтинговых задач является упорядочение объектов в многокритериальном пространстве. Оно формируется на основе показателей, характеризующих сопоставляемые объекты. Качество решения рей-

тинговой задачи определяется правильным выбором перечня и структуры критериев, их шкал и весовых коэффициентов. Чтобы получить приемлемое решение, требуется большой объем экспериментов, направленных на отладку моделей оценивания, что характерно для них как для слабо формализуемых (структурируемых) систем. Разработке и использованию этих моделей присущи следующие особенности.

1. Построение модели оценивания представляет собой итеративный процесс, который характеризуется многократным совершенствованием модели в процессе ее отладки и применения.

2. Состав, структура и значимость критериев определяются экспертным способом, на основе оценок, предоставляемых специалистами.

3. Результаты оценивания нуждаются в обосновании.

Инструментальная система многокритериального оценивания, позволяющая рабо-

тать с моделями этого типа, должна отвечать следующим требованиям [2]: универсальность, реальная размерность задач, настраиваемость на задачу, сочетание объективных и субъективных (экспертных) оценок, эргономичность, автономность,

комплексирование с другими системами.

Перечисленным требованиям отвечает система выбора и ранжирования СВИРЬ, разработанная в ПГУПС. Целью настоящей работы является описание технологии решения рейтинговых задач в системе СВИРЬ.

1. Создание и отладка модели оценивания

В качестве модели оценивания используется универсальная табличная модель «Объекты/Признаки». Она может создаваться и заполняться данными как собственными средствами системы СВИРЬ, так и импортироваться из электронной книги MS Excel или из реляционных баз данных с помощью запросов на языке SQL.

Для реальных задач число характеризующих объекты признаков измеряется десятками. Например, для годовой оценки деятельности выпускающих кафедр ПГУПС используется свыше 60 первичных показателей. В целях снижения размерности задачи выполняется декомпозиция признаков. Она заключается в группировке первичных показателей по принципу смысловой близости. Формируемая таким образом структура на нижнем уровне иерархии состоит из листовых таблиц, содержащих первичные показатели. Таблицы, расположенные на промежуточных уровнях иерархии, предназначены для агрегирования оценок, вычисляемых в нижележащих таблицах. Корневая таблица предназначена для вычисления итоговой оценки объектов.

Иерархия таблиц создается с применением одного из способов: «сверху/вниз» и «снизу/вверх». При использовании способа «сверху/вниз» выполняется детализация признаков путем создания дочерних таблиц. В процессе создания и редактирования структуры модели предметной области (ПО) производится создание, удаление и перемещение признаков и таблиц (групп признаков) по иерархии. Все эти операции реализуются наиболее эргономичным для пользователя способом - применением

стандартной технологии «drag-and-drop» («перетащи и отпусти») с использованием мышки, что упрощает процесс редактирования структуры ПО.

Для обеспечения сопоставимости оцениваемых объектов на основе первичных показателей формируются вычисляемые признаки (критерии оценивания). Например, сопоставимость кафедр обеспечивается нормированием показателей деятельности сотрудников, их числом на кафедре. Формулы для расчета критериев задаются с помощью универсального редактора-«калькулятора».

Если показатели, характеризующие объекты, измерены в качественной (номинальной) шкале, то для их использования в задачах упорядочения выполняется кодирование символьных значений в значения порядковой шкалы. Оно очевидно для качественных показателей (плохо, удовлетворительно, хорошо). Для иных показателей порядок значений формируется экспертом. При этом существенную роль играет выбор начала порядковой шкалы, так как нуль означает исключение признака из оценки.

Структура и содержимое иерархической табличной модели сохраняются в файле предметной области системы СВИРЬ. Он используется многократно для оценивания объектов при различных наборах исходных данных и с разными настройками задачи ранжирования.

2. Формулирование задачи

Оно заключается в настройке созданной модели оценивания на конкретную задачу путем задания всех параметров модели. В задаче упорядочения объектов к ним относятся:

- вид функции полезности;

- набор используемых критериев;

- диапазон изменения значений критерия в выборке [y, min, yj, max];

- направление оптимизации критерия (min, max);

- весовые коэффициенты (веса) критериев.

Для оценивания кафедр университета применяется взвешенная аддитивная свертка признаков, которая обладает свойством компенсации достижений/потерь и вычисляется на основе значений признаков yj, j=1,...,n по формуле

* _ Л У]-Уj,min . (l)

y _ Л wj -

j _ 1 y j,max y j,min

Для каждого критерия, включенного в задачу ранжирования, указываются границы диапазона значений и направление оптимизации, а также его значимость (вес).

Границы диапазона могут рассчитываться автоматически на основе минимальной и максимальной границ признака или задаваться вручную. Диапазон значений признака задает величину нормирующего коэффициента в функции полезности. Для учета минимального значения критерия в функции полезности диапазон изменения значений отсчитывается от нуля для первичных критериев и от нижнего балла балльной шкалы - для локальных критериев.

Под направлением оптимизации понимается задание предпочтения объектам с максимальным (минимальным) значением критерия. Направление оптимизации задается указанием оптимистической и пессимистической границ диапазона. При максимизации критерия оптимистической объявляется большая граница диапазона, а при минимизации - меньшая.

Оценки объектов вычисляются по формуле (1) в абсолютной шкале [0,1]. Для лучшего восприятия они пересчитываются в балльную шкалу. По умолчанию применяется 5- балльная шкала [1,5]. На основе упорядочения объектов, оцененных в 5- балльной шкале, выполняется их ранжирование в порядковой шкале в каждой таблице иерархии. Предусматривается возможность выравнивания рангов объектов, чьи оценки входят в диапазон, задаваемый в процентах.

3. Задание значимости критериев

Для полусотни первичных критериев, используемых, например, в рейтинговой оценке кафедр университета, их веса составляют незначительные доли от 1, что исключает их прямое назначение. Поэтому значимость М]]- го критерия,7=1,...,« задается по-таблично, экспертным способом. Веса критериев могут задаваться напрямую в долях от 1 или вычисляться на основе парных сравнений критериев.

Веса, заданные во всех таблицах, пере-считываются в веса первичных критериев. Величина весовых коэффициентов первичных признаков обратно пропорциональна расстоянию от корневой вершины и количеству признаков в таблице. Для задания одинаковых исходных условий осуществляется выравнивание весов путем вычисления доли каждого первичного признака в зависимости от их числа. Экспертные предпочтения локальным признакам задаются в таблицах

иерархии. Значимость первичных признаков может управляться через коэффициент экспертного предпочтения первичных признаков. Веса локальных признаков могут пере-считываться в процессе задания экспертных оценок весов в таблицах иерархии. С учетом связного распределения весов первичных признаков через таблицы иерархии, может возникнуть необходимость в перераспределении весов между первичными признаками, принадлежащими разным таблицам. Оно осуществляется заимствованием части веса одним признаком у другого. При этом выполняется пересчет весов локальных признаков от критериев-доноров к критериям -акцепторам. Одновременно изменяются веса всех связанных с ними локальных критериев. Это дает возможность подгонять весовые коэффициенты первичных признаков до нужных значений, сопоставляя их между собой (см. рис.1 на цв. вставке).

4. Анализ результатов оценивания

Высокая размерность результатов, получаемых при оценивании объектов, предъявляет требования к эффективности их представления. С этой целью используется когнитивная графика с привлечением цветности изображений. Предлагаемый для анализа результатов оценивания цветовой стандарт качества основан на частотной шкале цветности [2]. Он применяется не только в когнитивной графике, но и для выделения нужных данных в таблицах. Выбор формы представления данных определяется особенностью задачи. Например, для сопоставления оценок объектов используются графики функции, а для представления вклада критерия в общую оценку применяются круговые диаграммы.

Решить проблему доверия к модели многокритериального оценивания объектов можно путем проведения серии экспериментов. Их суть заключается в варьировании различных параметров модели. К ним относятся: включение в систему оценивания дополнительного признака или исключение существующего; изменение места последнего в иерархии; изменение весового коэффициента признака или нормирующего коэффициента в функции полезности. Все эти изменения влияют на получаемый рейтинг объектов в задаче ранжирования. Помимо места, занятого конкретным объектом, представляют интерес все объекты, изменившие свои места на лучшие или на худшие либо не изменившие их вообще. Интегральная оценка общего изменения порядка мест в

оцениваемом рейтинге по сравнению с базовым, полученным при иных условиях оценивания, характеризуется специальной величиной, по которой можно судить, насколько существенны изменения, выполняемые над моделью. Для этого используется коэффициент различия порядка следования рангов.

Наряду с проблемой различия рейтингов представляет интерес проблема их сходства. Она имеет место при исследовании независимости признаков, а также при сопоставлении рейтингов, полученных по разным локальным критериям. Поскольку для рейтинговой оценки объектов в качестве исходной информации используются значения функции полезности, более точно сходство и различие оценок объектов определяется с помощью коэффициентов парной корреляции, измеренных в интервальной шкале.

Полученные в каждой таблице результаты могут быть экспортированы в MS Word и MS Excel для дальнейшей обработки и печати.

5. Состав системы оценивания

В состав системы оценивания входят:

- модель-прототип предметной области;

- подсистема сбора и контроля исходных данных;

- инструментальная система оценивания.

Модель-прототип ПО разрабатывается для решения конкретной рейтинговой задачи, решаемой на различных наборах исходных данных, которые могут характеризовать состояния предметной области в различные отрезки времени (за месяц, квартал, год и т. д.). После заполнения исходными данными модель-прототип предметной области преобразуется в модель-экземпляр. Для системы оценивания, использующей большой объем данных, проектируется подсистема сбора и контроля исходных данных [2]. В качестве примера приведем краткое описание подсистемы сбора и контроля исходных данных, спроектированной для задачи оценки деятельности кафедр университета [3]. Модель-прототип этой задачи была описана в [1].

Исходные данные, используемые для оценки деятельности кафедр университета, размещаются в 3 электронных книгах табличного процессора Excel: Выпускающие кафедры, Общепрофессиональные кафедры, Гуманитарные кафедры - по числу групп кафедр. Данные о деятельности кафедр со-

бираются из подразделений вуза. Каждое подразделение заполняет свою входную форму, располагающуюся на листе соответствующей электронной книги Excel.

Процесс заполнения форм регламентируется «Положением о внутривузовской системе оценки деятельности кафедр университета» [3]. Для выделения показателей одной кафедры из входных форм подразделений в книге MS Excel осуществляется их проекция на заданную кафедру. Для автоматизации этой процедуры используется макрос «Сводная форма», предназначенный для заполнения формы Сводная.

Учитывая большой объем входных данных (например, для 27 выпускающих кафедр необходимо проверить 1782 значения 66 показателей), в основу автоматизации оценки достоверности исходных данных положен следующий сокращенный анализ, реализованный непосредственно в книге Excel:

- выявление показателей, значение которых значительно превышает среднее арифметическое по группе кафедр, что позволяет осуществлять выборочную оценку показателей;

- проверка выполнения контрольных соотношений данных, используемых для формирования критериев.

Для решения этой задачи используется макрос «Анализ исходных данных». Результат его работы показан на рис.2 на цв. вста-ке.

Подготовленные для оценки деятельности кафедр данные должны быть защищены от случайного или умышленного искажения. Пароль позволяет блокировать доступ к средствам редактирования данных в книге Excel. Эта задача решается с применением макроса «Защита». Модель-экземпляр ПО непосредственно используется для решения рейтинговой задачи на инструментальной системе оценивания. Инструментальная система оценивания СВИРЬ состоит из следующих компонентов.

1. Система многокритериального оценивания (СМО):

- создание и редактирование модели оценивания;

- ввод данных из книг MS Excel;

- задание значимости критериев в таблицах и иерархии;

- настройка и решение задачи;

- представление результатов с использованием когнитивной графики;

- анализ результатов;

- вывод и редактирование результатов в MS Excel и MS Word;

- сохранение модели и настроек задачи оценивания.

2.Модуль задания и вычисления приоритетов:

- задание приоритета сущностей в порядковой и интервальной шкале;

- задание предпочтений сущностей «одна к остальным»;

- задание предпочтений сущностей «каждая с каждым»;

- расчет приоритета сущностей без учета и с учетом взаимовлияния предпочтений;

- определение ординальной и кардинальной согласованности предпочтений;

- многокритериальная оценка приоритетов сущностей на основе оценки приоритетов по каждому критерию (метод Саати);

- групповая оценка приоритетов.

3. Модуль импорта данных из реляционных баз данных:

- формирование запросов на языке SQL;

- импорт данных на основе протокола ODBC по одному и многим запросам, создаваемых как вручную, так и с помощью специализированного конструктора.

Система многокритериального оценивания является ядром системы СВИРЬ и может использоваться как самостоятельно, так и в комплекте с модулями задания и вычисления приоритетов и импорта данных из реляционных баз данных.

6. Опыт применения системы оценивания

Инструментальная система оценивания СВИРЬ успешно используется в течение ряда лет в учебном процессе по курсу «Теория принятия решений» для решения как рейтинговых, так и других задач многокритериального оценивания объектов. С 2001 г. она применяется для решения управленческой задачи «Оценка деятельности кафедр университета». Разработанная экспертной комиссией, состоявшей из представителей всех факультетов университета, модель-прототип этой задачи уточнялась в течение 3 лет на основе замечаний и предложений ректората и кафедр университета.

Ежегодное определение рейтинга кафедр университета решает сразу несколько управленческих задач:

- руководство университета получает достаточно полную информацию о состоянии кафедр университета, что позволяет своевременно выявлять сильные и слабые

стороны их деятельности, влиять на них в нужном направлении, при необходимости решая кадровые проблемы;

- заведующий кафедрой и ее сотрудники имеют возможность оценить место своей кафедры среди остальных и принять меры по улучшению положения;

- в базе данных накапливается статистическая информация, которую можно использовать для определения закономерностей в функционировании кафедр, таких, например, как динамика активности сотрудников.

С точки зрения этапов производственной деятельности задача определения рейтинга кафедр университета относится к заключительному этапу - подведению итогов. В соответствии с цикличностью учебно-производственного процесса он предшествует этапу планирования деятельности на следующий период, что придает рейтингу кафедр не только оценочную, но и конструктивную направленность.

Рейтинговая оценка деятельности кафедр университета была использована в качестве основы для экономического стимулирования кафедр и их сотрудников, что повысило интенсивность работы.

Помимо ПГУПС задача «Оценка деятельности кафедр университета» внедрена еще в пяти транспортных университетах, где получила положительные отзывы. Для решения этой задачи в настоящее время используется лишь ядро системы СВИРЬ. Уточнению значимости критериев оценки может способствовать применение новой версии модуля задания и вычисления приоритетов [4]. Перспективным развитием задачи «Оценка деятельности кафедр университета» является использование в качестве источника данных о деятельности кафедр распределенных баз данных. В настоящее время в ПГУПС разработан прототип базы данных «Кафедра» в СУБД MS Access, рассчитанной как на управление кафедрой университета, так и на выдачу информации для оценки рейтинга кафедр. В дальнейшем планируется перевести эту базу данных на СУБД промышленного стандарта, такую как Oracle или MS SQL Server. Для этого потребуется использование модуля импорта данных из реляционных баз данных, прошедшего успешную апробацию при передаче данных в систему СВИРЬ из СУБД MS Access и MySQL. Помимо развития задачи «Оценка деятельности кафедр университета» в настоящее время рассматриваются другие рей-

тинговые задачи, способствующие совер- сом в университете. шенствованию управления учебным процес-

Литература

1. Ковалев В.И., Ледяев А.П., Микони С.В., Якубчик П.П. Система оценки деятельности кафедр университета //Вестник высшей школы. -2002. -№1. -С.17-22.

2. Микони С.В. Теория и практика рационального выбора. - М.: Маршрут, 2004. -462 с.

3. Положение о внутривузовской системе оценки деятельности кафедр университета. - СПб.: ПГУПС, 2003.

4. Микони С.В., Киселев И.С. Универсальный алгоритм расчета приоритета сущностей для разных типов предпочтений //Сб. докл. междунар. конф. по мягким вычислениям и измерениям 8СМ'2005, 2728.06.2005. - СПб: СПбГЭТУ. - Т. 1. - С.291-296.

ПЕДАГОГИКО-ЭРГОНОМИЧЕСКИЕ И ПРАВОВЫЕ ТРЕБОВАНИЯ К ОРГАНИЗАЦИИ АВТОМАТИЗИРОВАННОГО РАБОЧЕГО МЕСТА УЧЕНИКА С ИСПОЛЬЗОВАНИЕМ АВТОРСКИХ ПРОГРАММНЫХ СРЕДСТВ

Ю.А. Аляев, к.т.н., доц., академик Академии информатизации образования, проф. каф. Информатики, проректор по научной работе Тел.: (342-2) 66-06-90, E-mail: alyr_perm@pisem.net Пермский региональный институт педагогических информационных технологий

http://pripit.perm.ru

Pedagogical-ergonomical and legal requirements to organizing automated workplace of the pupil on the basis of bar-code technology of information with the use of author's software programs.

Гигиенические требования к персональным электронно-вычислительным машинам, к организации работы, к учебным изданиям и к условиям обучения изложены в [12-14].

Педагогико-эргономические условия безопасного и эффективного использования

средств вычислительной техники, информатизации и коммуникации в сфере общего среднего образования разработаны в Институте информатизации образования Российской академии образования, научный руководитель - доктор педагогических наук, профессор И.В. Роберт [9].

Педагогико-эргономические требования к средствам обучения подробно рассмотрены в [15]. В разработке документа принимали участие известные российские ученые-

педагоги Т.С. Назарова, Е.С. Полат, Е.Н. Яс-требцева и др.

Наряду с требованиями к школьному учебнику, натуральным объектам, моделям, учебным приборам, станкам, верстакам и инструментам в [15] нашли отражение педа-гогико-эргономические требования к средствам вычислительной техники, экранно-звуковым и печатным средствам обучения. Данные требования в настоящее время могут (и должны) быть скорректированы и дополнены положениями, учитывающими особенности организации автоматизированного рабочего места ученика, основанного на использовании средств обучения с примене-ниием технологии штрихового кодирования информации [1-2].

Требования к компьютерам

Для полноценного функционирования автоматизированного рабочего места ученика с использованием авторских программных средств необходимо, чтобы устройства компьютера обеспечивали размещение и воспроизведение мультимедийных приложений в реальном масштабе времени.