CC BY
34
Разработка программы для экспертного оценивания грантов студентов ПГУПС
Карпова Т. С., Бестужева А. Н., Малышева С. Ю., Дмитриева Е. Н., Волкова А. Н., Дрёмова Е. В. Петербургский государственный университет путей сообщения Александра I
Санкт-Петербург, Россия t.s.karpova@gmail.com
Аннотация. Решается задача разработать программный комплекс для поддержки принятия решений по выделению денежных средств студенческим научным коллективам. Работа выполнена при поддержке студенческого гранта ПГУПС 2015 г. Для оценивания проектов выбран метод анализа иерархий. Проектирование базы данных выполнялось с использованием CASE-технологий, моделирование работы системы проводилось в инструментальной среде Denwer, интерфейсы пользователей разрабатывались с помощью скриптового языка PHP. Результатом работы над проектом стал пилотный комплекс, обеспечивающий ограниченный функционал, реализованный как web-приложение, которое может работать в условиях стандартного хостинга. Разработанная система позволит проводить научно обоснованный отбор работ студентов, претендующих на гранты университета, и предполагает возможное расширение с вводом новых параметров оценки студенческих проектов без перепрограммирования системы.
Ключевые слова: грант, экспертное оценивание, метод анализа иерархий, CASE-технологии, база данных, признак, ин-фологическая модель.
ПОСТАНОВКА ЗАДАЧИ
В Петербургском государственном университете путей сообщения Императора Александра I существует конкурсный отбор для выделения грантов студенческим научным коллективам [1]. Ранжирование проектов будет проводиться в два этапа. Первый заключается в отборе определённого количества работ студенческих научных коллективов (СНК) из всех, подавших заявки. На втором ранжируются завершенные проекты и выбирается победитель.
При определении лучших исследовательских работ, претендующих на гранты Университета, используется метод экспертного оценивания. В таких случаях может проявляться субъективизм. Необходимо было оптимальным способом уменьшить его при оценке поданных проектов. Перед авторами была поставлена конкретная задача с ограниченными сроками реализации и с требованием сделать систему масштабируемой, простой для пользователей, с применением современных информационных технологий, доступной для реализации коллективу молодых исследователей.
При выборе архитектуры разрабатываемой системы предпочтение было отдано современным портальным решениям. Подобная архитектура позволяет подключать любое количество пользователей, обеспечивать настройку прав пользователей, использовать известные механизмы аутентификации для разграничения и защиты этих прав и не ставить специальное программное обеспечение на компьютеры пользователей. В качестве клиентского приложения в этой архитектуре используется стандартный браузер.
Для хранения данных в этой архитектуре с перспективой ее дальнейшего расширения целесообразно использовать современные сервера баз данных и системы управления базами данных (СУБД). Весь функционал в этой архитектуре разрабатывается как набор взаимосвязанных серверных сценариев, которые исполняются на веб-сервере. В этом случае механизм взаимодействия клиента и сервера выглядит так, как представлено на рис. 1.
Данная архитектура в настоящий момент широко распространена для построения систем ведения электронного бизнеса и считается наиболее перспективной в силу своей
Сервер
Рис. 1. Архитектура разрабатываемой системы
гибкости. Особенности задач экспертного оценивания и ранжирования студенческих грантов не относятся к стандартным бизнес-процессам, для которых уже существуют готовые решения в рассматриваемой архитектуре. Поэтому авторскому коллективу было необходимо реализовывать проект полностью самостоятельно.
Для хранения информации в нашем проекте потребовалось спроектировать уникальную базу данных. Особенность структуры будущей базы данных состоит в том, что кроме стандартной нормативно-справочной информации об участниках проектов, об экспертах, об иерархической структуре Университета в ней должна храниться информация и о механизмах экспертного оценивания. При этом предполагается, что эти механизмы должны адаптироваться в процессе работы системы на пользовательском уровне. В системе предложен способ хранения как самих оценочных шкал, так и их типов с возможностью дальнейшего расширения и изменения. Кроме того, дополнительно предполагается хранить информацию о степени достоверности оценок экспертов по отношению к различным шкалам. Естественно считать, что в общем случае эксперты могут быть специалистами по отношению к ограниченному перечню показателей.
В систему заложен механизм, который моделирует как использование различных типов шкал (реальной, порядковой экспертной, балльной экспертной), так и матрицы парных сравнений (МПС).
При разработке системы принята современная спиральная модель жизненного цикла программной системы с поэтапным наращиванием ее функционала.
В системе применена стандартная многоуровневая модель учебного заведения, представленная на рис. 2. Это позволяет использовать систему в любом учебном заведении при выстроенной структуре.
Университет
Рис. 2. Иерархическая структура университета
Основная задача содержит несколько подзадач. Кроме проектирования специального программного обеспечения авторам необходимо было:
• выделить признаки, по которым можно оценивать проекты из разных областей деятельности по научному уровню и значимости;
• определить шкалы;
• спроектировать базу данных и наполнить её нормативно-справочной информацией;
• ранжировать проекты по отобранным признакам.
Введение
Оценивание является принципиально важной задачей перед принятием решений. При этом применяются разные методы и учитывается множество факторов, т. е. задача становится нетривиальной. Под принятием решения понимается процедура выбора на основе установленных предпочтений и ограничений одного или нескольких вариантов множества Х с известным или неизвестным исходом выбора [2]. Список вариантов определяется предметной областью, в которой принимается решение. Под предметной областью понимается совокупность сущностей и отношений между ними, выделенная с целью решения сформулированной проблемы [2]. Чтобы быть реалистичными, модели должны включать в себя и позволять измерять все важные количественные и качественные факторы. Это как раз то, что делается в методе анализа иерархий (МАИ), при котором также допускаются различия во мнениях и конфликты, как это бывает в реальном мире [3]. МАИ - математический инструмент системного подхода к сложным проблемам принятия решений [4]. Этот метод разработал американский математик Томас Саати. При расчёте приоритетов по матрице парных сравнений рассчитываются обобщённые оценки сущностей: среднее арифметическое и среднее геометрическое. Обобщённая формула:
a = (c • A + E)k • eT,
где А - матрица значений; с - матричный коэффициент; k -длина цепочки; Е - единичная матрица; еТ - транспонированный единичный вектор.
Принятие решений связано со многими видами деятельности. В связи с этим поиск наилучших вариантов присутствует в дисциплинах разных профилей - от технического до гуманитарного. Задачи оптимизации рассматриваются в математическом программировании, в теории принятия решений, в вариационном исчислении, в теории оптимального управления.
Авторы предполагают, что разработанная система может служить платформой для оценивания любых проектов научных коллективов в любых университетах.
Проектирование базы данных
С ИСПОЛЬЗОВАНИЕМ CASE-СИСТЕМЫ
Важным этапом реализации проекта было проектирование базы данных [5, 6] с использованием CASE-системы (Computer Aided Software Engineering) [7, 8]. Современные CASE-системы - это средства разработки не только программных, но и организационно-управляющих систем [9]. Цель CASE-средств - отделить процессы проектирования от процессов программирования.
Для обеспечения независимости проектирования логической структуры базы данных разработчики применили современную свободно распростаняемую CASE-систему [7, 8] Open System Architekt [10, 11]. Выбор данного продукта обоснован его корректностью при формировании классической инфологической модели «сущность - связь» (Entity Relation Ship ER) [8] с возможностью получения сценария генерации базы данных в соответствии со стандартом SQL92 [12].
Разработанная ER-модель содержит 31 сущность, поэтому представить ее полностью не представляется возможным.
Фрагмент логической модели базы данных приведён на рис. 3.
В сущности «МРС» приводятся оценки двух проектов, полученные при попарном сравнении. В сущности «type_ MPC» хранятся типы матриц парных сравнений. Сущность «expert» хранит данные об экспертах: их ФИО, номер телефона, адрес электронной почты. Сущность «projects» содержит данные о проектах, а именно название, дату подачи, номер заявки, цель работы и планируемые результаты. Сущность «estimations_ projects» содержит данные о признаках, по которым велась оценка, и сами значения этих признаков. На рис. 3 приведены также связи между этими сущностями.
РОЛИ ПОЛЬЗОВАТЕЛЕЙ
Для работы с системой было выделено 3 группы пользователей:
• администраторы;
• эксперты;
• представители проектных коллективов.
После анализа потребностей каждой группы пользователей были определены функциональные возможности каждой группы.
В группы администраторов входят пользователи, которые должны вводить нормативно-справочную информацию о самом университете, перечень и основные характеристики его
факультетов, перечень и основные характеристики кафедр на каждом факультете, перечень направлений подготовки, которые ведутся на каждой кафедре, и список групп, которые в текущий момент обучаются по каждому направлению. Работа администраторов с нормативно-справочной информацией предполагает не только ее ввод, но и возможную корректировку в ходе эксплуатации системы.
Кроме ввода и редактирования нормативно-справочной информации на группе лежит функция ввода и предоставления определенных прав другим пользователям системы - экспертам и представителям проектных команд. В настоящий момент именно администраторы могут получить результат оценки проектов в виде ранжированного по всем показателям списка проектов. В дальнейшем планируется вынести в отдельный интерфейс результаты оценки и расширить его добавлением ряда аналитических функций, позволяющих сравнивать конкурсы по годам проведения, по группам экспертов и по другим значимым параметрам. Пример ранжированного списка проектов представлен на рис. 4.
Вторая группа пользователей - это группа экспертов. Каждому эксперту представляются обезличенные показатели проектов для их оценки. Оценку достоверности экспертных оценок назначаемых экспертов по отдельным шкалам должна проводить также группа экспертов. При дальнейшем развитии системы возможно разделение группы экспертов на ряд подгрупп с диверсификацией их прав.
Наконец, третьей группой пользователей являются представители проектных команд, которые вводят информацию о своих проектах. Интерфейс для одной из групп пользователей представлен на рис. 5.
Рис. 3. Фрагмент ER-модели базы данных
НАЗВАНИЕ ПРОЕКТА
НАЗВАНИЕ КАФЕДРЫ
Значение индекса (сумм)
Проектирование защитных сооружений железнодорожной инфраструктуры на основе методики
автоматизированного расчета аэродинамического воздействия высокоскоростного подвижного состава на аоьекты приближенных строений Разработка программы для предзкст^тного оценивания грантов студентов ПГУПС Система аутентификации и разграничения прав доступа в Мобильном устройстве под управлением ОС АаЙго1(1
Разработка учебного комплекса-тренажера управления работой сортировочной станции
Автоматизирование е проектирование
Математика и моделирование Информатика и информационная безопасность Управление экешгу атацио ннон работой
142
121
80
75
©ПГУПС. 2016
Рис. 4. Таблица ранжированных проектов
Ввод данных по гранту
Введите название Вашего проекта:
Цели и задачи по проекту:
Описание планируемой работы по гранту:
Ожидаемые результаты:
Рис. 5. Интерфейс для участников СНК
Для обеспечения непротиворечивости и максимально возможной корректности ввода информации во всех интерфейсах обеспечивается замена прямого ввода информацию механизмом подстановки из заданной нормативно-справочной информации, хранящейся в базе данных [6].
Одной из подзадач при реализации проекта «Разработка программы для предэкспертного оценивания грантов студентов ПГУПС» был поиск таких признаков, по которым можно было бы сравнивать проекты СНК из разных сфер деятельности. Признак - свойство, характеристика, имеющая для каждой рассматриваемой альтернативы некоторое значение. В данной работе альтернативами являются проекты СНК. Признаки вводятся для того, чтобы провести ранжирование проектов.
Признаки и шкалы
В ходе реализации проекта отобраны следующие признаки:
• опыт участия СНК в научной деятельности (количество проектов или конкурсов);
• соответствие проекта экологическим и другим нормам;
• количество трудов научного руководителя;
• количество трудов научного руководителя по теме проекта СНК;
• возможность усовершенствовать полученный продукт;
• необходимость дальнейшей поддержки полученного продукта;
• область применения: предприятие, отрасль, вне зависимости от отрасли;
• количество предприятий, заинтересованных в данном программном продукте.
Система должна иметь возможное расширение количества признаков без коренных изменений кода программы расчетов.
Оценивание предполагает наличие определенного количества шкал, по которым можно оценивать каждый проект. При использовании некоторых типов шкал, например, такой как МПС, нужно привлекать эксперта. Пример одного из типов МПС, используемой в работе, представлен в таблице. В первой реализации оценка проводится по фактическим параметрам проектов, которые заносятся ответственными исполнителями СНК при регистрации проектов в систему.
Таблица
Матрица парных сравнений (выигрыши/потери)
№ Сущности 1 2 3 4 5
1 Система аутентификации и разграничения прав доступа в мобильном устройстве под управлением OC Android 58 62 68 78
2 Разработка учебного комплекса-тренажера управления работой сортировочной станции 46 33 56 72
3 Проектирование защитных сооружений железнодорожной инфраструктуры на основе методики автоматизированного расчета аэродинамического воздействия высокоскоростного подвижного состава на объекты приближенных строений 77 69 65 88
4 Разработка программы для предэксперт-ного оценивания грантов студентов ПГУПС 51 58 68 67
5 Интеллектуальная система защиты ответственных участков движения скоростных железнодорожных магистралей 85 76 89 70
Выбор инструментальной среды
При реализации проекта в качестве базовой инструментальной среды была выбрана среда ДЕНВЕР - система, реализованная отечественными программистами [12], позволяющая на локальном компьютере смоделировать работу всех компонент, входящих в проектируемую систему: веб-сервера, функциональных сценариев, сервера базы данных. В качестве веб-сервера был выбран наиболее популярный сервер Apache, в качестве сервера баз данных - сервер MySQL, в качестве языка серверных сценариев - язык PHP [13, 14]. Данный выбор определен тем, что указанный комплект содержит только свободно распространяемое программное обеспечение и характерен практически для всех хостингов в сети интернет. В настоящий момент это наиболее экономичное решение, которое позволит установить систему на любой хостинг и в дальнейшем свободно переносить ее на другие хостинги.
Алгоритм реализации ранжирования
Для получения результирующего списка проектов после ввода исходных параметров проектов эксперты последовательно проводят попарное сравнение, результаты которого заносятся в систему. Одновременно должны быть оценены по важности все признаки, по которым ведется оценка. Эти данные могут быть введены руководителями проводимого конкурса. Далее результаты последовательно обрабатываются с учетом важности признаков и вычисления вектор-столбца относительных коэффициентов доли значений каждого проекта в сумме значений по признаку. Такая обработка проводится по всем признакам. Полученную таблицу мы интерпретируем как матрицу. Потом данная матрица перемножается на вектор весов признаков, в результате получается вектор-столбец значений. Последним действием является операция нормирования.
Заключение
В ходе выполнения проекта была реализована специализированная программная система, хранящая большое количество данных [15]. Применение декларативного описания механизмов оценивания позволило сделать систему масштабируемой и расширяемой. В рамках анализа и подбора
базовых признаков и шкал было проведено первоначальное заполнение базы данных выбранными признаками и данными о реальных конкурсных проектах. Проведена опытная эксплуатация начального этапа разработанной системы, получен ранжированный список оцениваемых проектов. По результатам был выполнен стендовый доклад. Разработанная система является базовой для дальнейших экспериментов по оцениванию проектов.
Литература
1. http://pgups.ru/science/research/student-science/grants (дата обращения 07.05.2016).
2. Микони С. В. Многокритериальный выбор на конечном множестве альтернатив / С. В. Микони. - СПб.: Лань, 2009. - 270 с.
3. Saaty Th. L. The Hierarchon: A Dictionary of Hierarchies / Th. L. Saaty. - Pittsburgh, Pennsylvania: RWS Publ., 1992. -496 p.
4. http://sibac.info/conf/naturscience/xx/38755 (дата обращения 07.05.2016).
5. Хомоненко А. Д. Разработка Web-приложений для работы с базами данных: учеб. пособие / А. Д. Хомоненко, В. В. Рогальчук, А. В. Тырва. - СПб.: ПГУПС, 2012. - 88 с.
6. Бураков Д. П. Проектирование реляционных баз данных и их реализация в среде СУБД MS ACCESS 2000. / Д. П. Бураков. - СПб.: ПГУПС, 2012. - 31 с.
7. http://citforum.ru/database/case/index.shtml (дата обращения 07.05.2016).
8. Калянов Г. Н. CASE. Структурный системный анализ (автоматизация и применение) / Г. Н. Калянов. - М.: Лори, 1996. - 524 с.
9. http://www.osp.ru/data/www2/cio/2001/03/016.htm (дата обращения 08.05.2016).
10. http://codebydesign.com (дата обращения 07.05.2016).
11. http://www.arbinada.com/node/114 (дата обращения 08.05.2016).
12. http://denwer.ru (дата обращения 07.05.2016).
13. http://php.net (дата обращения 08.05.2016).
14. PHP Manual: Preface, www.php.net.
15. Провост Ф. Научные данные для анализа в бизнесе: Всё, что вам необходимо знать о извлечении данных и анализе данных / Ф. Провост, Т. Фавкетт. - Сиэтл: О'Рейли, 2013. - 408 с.
Development of Software for the Expert Evaluation of Grants Students PSTU
Karpova T. C., Bestugheva A. N., Malusheva S. YU., Dmitrieva E. N., Volkova A. V., Dremova E. V.
Petersburg State Transport University St. Petersburg, Russia t. s.karpova@gmail.com
Abstract. It solves the task to develop software for decision support for allocation of funds by student research groups. The work supported by the student grant of the University 2015. The selected method for evaluation of projects: the analytic hierarchy process. Database design case technology was performed using simulation of the system operation was conducted in the Isma instrumental environment Denwer, development of user interfaces was performed using the script language PHP. The result of the work on the project a pilot system that provides limited functionality, implemented web as an application that can run on a standard hosting. The developed system will allow for a scientifically based selection of students applying for University grants and suggests possible expansion with the introduction of new parameters of evaluation of student projects without reprogramming the system.
Keywords: grant, experience evaluation, analytic hierarchy process, CASE tools, database, sign infological model.
References
1. http://pgups.ru/science/research/student-science/grants (accessed 7 May 2016).
2. Mikoni S. V. Mnogokriterial'nyj vybor na konechnom mnozhestve al'ternativ [Multi-criteria selection on a finite set of alternatives], St. Petersburg, Lan', 2009, 270 p.
3. Saaty Th. L. The Hierarchon: A Dictionary of Hierarchies. -Pittsburgh, Pennsylvania: RWS Publ., 1992. 496 p.
4. http://sibac.info/conf/naturscience/xx/38755 (accessed 7 May 2016).
5. Khomonenko A. D., Rogalchuk V. V., Tyrva A. V. Razrabot-ka Web-prilozhenii dlia raboty s bazami dannykh: Uchebnoe posobie [Development of Web-based applications to work with databases: study guide], St. Petersburg, PGUPS, 2012, 88 p.
6. Burakov D. P. Proektirovanie relyacionnyh baz dannyh i ih realizaciya v srede SUBD MS ACCESS 2000 [Designing relational databases and their implementation in a DBMS environment MS ACCESS 2000], St. Petersburg, PGUPS, 2012, 31 p.
7. http://citforum.ru/database/case/index.shtml (accessed 7 May 2016).
8. Kalyanov G. N. CASE. Strukturnyj sistemnyj analiz (av-tomatizaciya i primenenie) [CASE. Structural system analysis (automation and application)], Moscow, Lori, 1996, 524 p.
9. http://www.osp.ru/data/www2/cio/2001/03/016.htm (accessed 8 May 2016).
10. http://codebydesign.com (accessed 7 May 2016).
11. http://www.arbinada.com/node/114 (accessed 8 May 2016).
12. http://denwer.ru (accessed 7 May 2016).
13. http://php.net (accessed 8 May 2016).
14. PHP Manual: Preface, www.php.net.
15. Provost F., Fawcett T. Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking 1st Edition, Sietl, O'Really, 2013, 408 p.
