CC BY
18Ерженин Р. В. УДК 004.891.2
РАЗРАБОТКА ЭКСПЕРТНО-ОРИЕНТИРОВАННОЙ СИСТЕМЫ ПОДДЕРЖКИ ПРОЕКТИРОВАНИЯ КРУПНОМАСШТАБНОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ
Ерженин Роман Валерьевич
к.э.н., генеральный директор ООО «Научно-практический центр ГОСУЧЕТ»,
e-mail: rerzhernn@gmail. com 143441, Московская область, Красногорский р-н, 69 км МКАД, п/о Путилково, ООК ЗАО «Гринвуд», стр. 19.
Аннотация. В статье рассматривается актуальная проблема повышения качества проектирования крупномасштабных информационных систем государственного управления (КИСГУ). По мнению автора выбор приемлемых параметров функционирования КИСГУ на этапах его макропроектирования сдерживается не столько дефицитом эффективных методов моделирования, сколько отсутствием удобных инструментов, позволяющих приобретать, накапливать и использовать разнородные знания для принятия решений при построении адекватных моделей сложной информационной системы (ИС). В качестве методологической основы интеллектуальной поддержки моделирования и оценки эффективности ИС предлагается использовать комплексную DEA-модель оценки, построенную на принципах структурно-функциональной и территориальной стратификации информации о функционировании сложной КИСГУ. Обзор существующих подходов к оценке сложных ИС и анализ различных инструментальных средств, реализованных на принципах DEA-моделей, позволил сделать вывод о невозможности их использования для целей оценки систем класса КИСГУ. Для поддержки процедуры экспертирования автор предлагает разработать новое web-приложение с использованием Framework Yii2. Для этого в статье описана программная архитектура эксперто-ориентированной системы поддержки принятия решений (СППР) и приведены результаты ее апробации. В качестве информационного обеспечения использовались открытые машиночитаемые данные, содержащие информацию о характеристиках функционировании информационной системы управления государственным бюджетом (ИСУГБ). Полученные результаты оценки ИСУГБ подтверждают гипотезу автора о возможности усиления интеллекта эксперта на этапах проектирования за счет использования специальных инструментальных средств. Предложенный подход может использоваться при проектировании системы для выбора параметров функционирования ИСУГБ, при аудите эффективности деятельности учреждений и в качестве практического пособия для подготовки и переподготовки ИТ-специалистов профильных специальностей.
Ключевые слова: электронный бюджет; аудит эффективности; макропроектирование; моделирование; DEA-АCФ; системы поддержки принятия решений
Цитирование: Ерженин Р. В. Разработка экспертно-ориентированной системы поддержки проектирования крупномасштабной информационной системы //Информационные и математические технологии в науке и управлении. 2021. № 1 (21). С. 110-120. DOI:10.38028/ESI.2021.21.1.009 Введение. К одной из актуальных проблем в области разработки современных информационных систем (ИС) относят неудачи с их внедрением. Наиболее критическая ситуация складывается с крупномасштабными ИС государственного управления (КИСГУ) как за рубежом [1, 2], так и в России [3, 4].
КИСГУ по классификации организационно-технических систем являются особо-сложными ИС управления, включающие многосортные множества взаимосвязанных и взаимодействующих в пространстве и во времени элементов, формирующие интегративные свойства и функционирующие совместно для достижения поставленных целей [5].
Феномен крупномасштабных систем (КМС) в поле внимания зарубежного научного сообщества [6, 7] появился сравнительно недавно - в конце XX в. - из обобщенной практики управления крупными предприятиями и их объединениями. Индикатором границы для определения класса КМС являются эмерджентные реакции системы на управляющие воздей-
ствия, начиная с некоторых (пороговых) значений количества структурных элементов системы, расположенных на некоторой (пороговой) пространственной протяженности [8]. Управление в крупномасштабных системах имеет отличия от управления в не-крупномасштабных системах, ввиду наличия у первой свойств, не характерных для второй. Системы класса КМС отличаются структурной, функциональной, информационной сложностью, а также сложной динамикой поведения и сложностью проведения их анализа, на которые указывали в своих работах многие отечественные и зарубежные авторы [6, 7, 9, 10].
Без сомнений следует согласиться с мнением ряда исследователей, что степень успешности разработки конкретной ИС адекватно оценивается и подтверждается только в процессе её практического использования [8, 11]. При этом, успешность внедрения ИС, как показывает многолетний опыт разработки программных средств, в высокой степени зависит от выбранных подходов к ее оцениванию на этапах анализа и синтеза.
Экспертное оценивание является одним из важнейших подходов к получению адекватных оценок самых разных характеристик системы [12]. Оценивание эффективности функционирования КМС, в рамках ее проектирования, предполагает привлечение специалистов (экспертов) для решения сложных вопросов, требующих специальных познаний в сопутствующих предметных областях. Рутинные процедуры по анализу эффективности КМС занимают значительную часть в общей трудоемкости проектирования системы, поэтому чаще всего проведение полноценных экспертиз не представляется возможным ввиду ограниченного времени при ограниченных возможностях эксперта.
Если учесть все современные взгляды на этапы и процедуры проектирования КИСГУ, то можно обнаружить, что существует малоизученная проблема совмещения двух противоположных подходов при формализации требований к системе - «нисходящего» (Top-of-Design) и «восходящего» (Bottom-of-Design)». Подобная сложность связана со сложностью совмещения дедуктивного и индуктивного путей описания моделей системы через сложную настройку много-итерационного обмена информацией и знаниями между заказчиками, экспертами, проектировщиками и разработчиками. В процессе подобного сложного взаимодействия различных специалистов при анализе действующей системы и создании новой модели системы выделяются такие задачи, которые не могут быть решены качественно и оперативно ввиду наличия значительного объема информации о параметрах функционирования ИС.
Следует отметить, что производительность труда в информационной сфере и в области проектирования является одним из ключевых направлений научных исследований последних десятилетий [13]. Созданные на их основе комплексные технологии, такие, к примеру, как CALS, и другие компьютеризованные подходы к проектированию и производству высокотехнологичной и наукоёмкой продукции (CAD/CAE/CAM/PDM/PLM-системы) позволили:
a) обеспечить качественное информационное сопровождение труда конструктора на всех этапах жизненного цикла изделий, в том числе и при проектировании автоматизированных информационных систем управления производством [14].
b) сократить объёмы проектных работ, облегчить решение проблем интеграции, адаптации, специализации проектных организаций и т. п. [15]
В то же самое время, в проектировании систем класса КМС, к которым также относится и КИСГУ, пока не используются какие-либо информационные (интеллектуальные) системы, способные повысить производительность или интеллект специалистов, занятых в проектировании систем, за счет использования специальных моделей, методов и технических приемов управления знаниями.
Между тем, в исследовании [ 16] предложена модель предметной области (ПрО) моделирования и оценки эффективности системы класса КИСТУ, которая содержит, в том числе, описания модели интеллектуальной системы поддержки оценки функционирования системы управления государственным бюджетом. Кроме этого, указанная модель ПрО включает ПрО описания сложной ИC и ПрО описания деятельности по сравнительной оценке сложной информационной системы. Таким образом, в данной работе предложены описания трех основных уровней сопровождения разработки и внедрения интеллектуальной эксперто-ориентированной Cl 11 IP - концептуальный, информационный и программный.
В основе концептуального сопровождения разработки лежит сформированная на основе методологии DEA концептуальная модель сравнительной оценки, которая используется как базовая модель для формирования онтологии поддержки принятия решений и для создания репозитария принимаемых решений.
В основе информационного сопровождения разработки находится структура информационного обеспечения, включающая как данные с различных форм отчетности, так и машиночитаемые данные, содержащие информацию о результатах функционирования ИС
На основе концептуальных требований к эксперто-ориентированной QU IP в данном исследовании предложены основные характеристики используемой программной архитектуры, позволяющие создавать специальные инструментальные средства и использовать их для сравнительной оценки эффективности функционирования КИСТУ.
Системы поддержки принятия решений на основе методологии DEA. Используемая в концептуальной модели оценки КИСТУ методология сравнительной оценки эффективности DEA основана на построении так называемой границы эффективности в многомерном пространстве входных и выходных переменных, описывающих объекты, эффективность которых требуется определить. В основе DEA лежит метод линейного программирования, формализованное описание сравнительной оценки при использовании CCR-модели представлено в работе [17].
Оценка информационных систем с использованием методологии DEA проводилась различными исследователями [18, 19, 20], однако рассмотренные подходы в указанных публикациях не могут быть использованы для оценки систем класс KMC ввиду значительных различий, как в характеристиках систем, так и в экономико-математических моделях, определяющих механизмы получения и интерпретации результатов их сравнительной оценки.
К некоммерческим (бесплатными) зарубежным программным DEA-продуктам, используемых для сравнительной эффективности различных объектов, относятся: DEA Excel Solver - www.deafrontier.net/deasoftware.html: DEA Solver Online - www.dea.fernuni-hagen.de: DEAP - www.uq.edu.au/ economics/cepa/deap.php : EMS: Efficiency Measurement System - www.holger-scheel.de/ems; Open Source DEA - www.opensourcedea.org: OpenDEA - www.sourceforge.net/projects/opendea.
В то же время за рубежом разработано и коммерческое программное обеспечение, где цена за лицензию находится в пределах 1000 долларов CŒA [22, 23], к такому ПО относятся:
• DEA-SolverPro от SAITECH - www.deafrontier.net:
• Frontier Analyst от Banxia Software www.saitechinc.com/products/prod-dsp.asp:
• PIM DEA Soft www.deazone.com/en/software.
К одной из наиболее известных российских разработок следует отнести интерактивный программный комплекс «EffiVision» («ЭффиВижн» - www.dea-21.ru), который исполь-
зовался для анализа деятельности регионов РФ по заказу Cчетной Палаты РФ, банков страны и других сложных объектов [23].
Детальный анализ разработанных в различных странах DEA-C1111Р проводился как зарубежными исследователями [21, 24, 25], так и отечественными [26], в результате авторами были сделаны следующие заключения:
• программы, как правило, предназначены для работы в среде операционной системы MS Windows, среди рассматриваемого ПО есть и web-приложения, а также поддерживающие PC DOS, Unix и Microsoft Excel;
• некоторые программы реализуют много моделей метода DEA (классические CCR/CRS и BCC/VRS [27, 28], но есть и такие, которые предлагают лишь несколько моделей;
• пользовательские интерфейсы могут варьироваться от сложных графических интерфейсов (GUI) к простым элементам управления командной строки;
• в качестве языков программирования используются Visual Basic, Java, Fortran, JavaScript и др.
• в существующих программных продуктах используются системы управления базами данных - Oracle, PostgreSQL, MySQL, данные могут храниться также и в таблицах Excel, в базе данных формата Microsoft Access (mdb) и в текстовых файлах.
В результате комплексного анализа существующих DEA-инструментов было установлено, что большинство разработанных систем предназначены для ограниченной области исследований и узкого академического использования, что не позволяет использовать их для проведения оценки по предложенной концептуальной модели сравнительной оценки И^ УГБ. Другая часть систем использует устаревшие платформы и интерфейсы, которые имеют ограниченные возможности CУБД и не в состоянии оперативно обрабатывать объем данных о параметрах функционирования ИCУГБ.
Таким образом, возникла необходимость в создании отдельного программного обеспечения, поддерживающие концептуальные требования к эксперто-ориентированной ОТЛ?, обозначенные в работе [16].
Программная архитектура эксперто-ориентированной СППР. Разработка новой аШР была направлена на создание современного web-приложения, доступ к которому мог получить любой эксперт в любой точке мира.
При реализации системы были использованы следующие современные технологии:
• кроссплатформенное ПО, поддерживающее различные операционные системы Apache-HTTP-сервер;
• основной серверный язык программирования - скриптовый язык общего назначения, применяемый для разработки web-приложений PHP;
• Framework Yii2 (далее - Yii2) - высокопроизводительный компонентный PHP фреймворк, предназначенный для быстрой разработки современных web-приложений с реализацией паттерна MVC (model-view-controller);
• реляционная СУБД для хранения данных - MySQL.
• Ключевые библиотеки, используемые в приложении (загрузчики классов Composer):
• yiisoft/yii2-gii (расширение) - веб-генератор кода Gii. Используется в приложениях на Yii2. для быстрого создания моделей, форм, модулей, CRUD по заданной схеме базы данных;
• yiisoft/yii2-debug (расширение) - отладчик для приложений Yii2 и набор автономных страниц для отображения более подробной информации об отладке;
• yiisoft/yii2-bootstrap - расширение включает поддержку структуры разметки и компонентов Bootstrap 3 (также известной как «Twitter Bootstrap»). Bootstrap - отличная гибкая среда, которая может значительно ускорить процесс разработки на стороне клиента;
• phpnt/yii2-chartjs - обертка для ChartJs и Yii2 - популярный инструмент, предназначенный для создания графиков и диаграмм, который представляет возможность использовать библиотеку построения графиков в парадигме объектно-ориентированного программирования Yii2;
• kartik-v/yii2-widget-select2 - виджет Select2 и расширенная оболочка Yii2 для плагина Select2 jQuery, поддерживающие поиск, наборы данных из БД и прокрутку результатов. Виджет специально разработан для Bootstrap 3 и предлагает несколько улучшений, недоступных в исходном плагине Yii2. Виджет допускает постепенную деградацию до обычного выбора HTML или ввода текста, если браузер не поддерживает JQuery;
• kartik-v/yii2-mpdf - расширение yii2-mpdf (компонент-оболочка Yii2) для библиотеки mPDF, которая представляет возможность создавать файлы PDF из HTML в кодировке UTF-8. Эта библиотека основана на FPDF и HTML2FPDF, ключевыми функциями библиотеки являются возможность генерировать PDF-файлы «на лету» из HTML-содержимого, обрабатывая разные языки.
Для поддержания актуальной информации об организациях в ИС предусмотрен импорт данных из внешнего источника (портал данных об учреждениях - www.bus.gov.ru). Импорт запускается администратором системы, общее время загрузки данных составляет порядка двух часов. За это время компонент обрабатывает данные о 200 тысячах организаций, которые представлены в XML формате. Данные валидируются и далее заносятся в базу данных.
Для группировки организаций и оценки их деятельности пользователи взаимодействуют с «Мастером оценки», реализация которого была осуществлена на основе концептуальной модели оценки: (1) «Структуризация по однотипным учреждениям» и (2) «Структуризация по подведомственным учреждениям». В первой пользователю предлагается выбрать организацию, по характеристикам которой будет сформирован перечень учреждений для проведения оценки. Во второй модели этот список формируется по выбранной организации-учредителю и виду деятельности учреждения. Следующим шагом Мастера является ввод значений ресурса и результата, по которым в дальнейшем строится график и определяется неэффективность для каждой организации. Полученные данные сохраняются, их также можно редактировать в дальнейшем при изменениях в работе организаций. Пользователю доступен экспорт данных в PDF.
Результаты оценки ИСУГБ. В качестве апробации экспорто - ориентированной СППР были использованы такие подсистемы информационной системы управления государственным бюджетом, как (1) система управления районным финансовым органом и (2) система управления бухгалтерским (бюджетным) учетом государственных учреждений регионального уровня управления.
Для первой подсистемы использовались данные о финансовых органах Краснодарского края. В качестве параметров «входа» использовались трудовые ресурсы, а параметров «выхода» - численность населения муниципального района.
Для второй подсистемы использовались данные о бухгалтериях районных больниц и лесхозов Иркутской области. В качестве параметров «входа» использовались трудовые ресурсы, а параметров «выхода» - численность учреждения.
Результаты оценки функционирования подсистемы бухгалтерского учета информационной системы управления государственным бюджетом показаны на рис. 1 и рис. 2. Результаты оценки функционирования информационной системы управления государственным бюджетом в районных финансовых органах (ФО МО) отображены на рис. 3.
Ф Организации ф Граница аффективное™
2000
1800
1600
1400
I- 1200
(0
1-
-0
1П00
р>
ф
0. 800
600
400
200
(V
(АЯ
(^ТАЙШЕТСКАЯ
ОШЕЛЕХОЕ СКАЯ
О^СТЬ-КУТ ЗСКАЯ 0»ЕЛЕ
ОИРКУТСКАЯ 0БРАТСКА: Я
Г>ЛАРСКАЯ Г\. БОДАЙБО ОСЛЮДЯНСКАЯ
ОоСИНСКАЯ ОКАЧУГСКАЯ
/ фБДЯНЦАЕВСКАЯ Г да ^АЗАЧИНСКСлттЕНСКАЯ ^УСТЬ-УДИНСКАЯ
1 ГКЛ 1ЬЛиГ1&_г1ЧМЛ -- • -с• - ■ тг (ПКАТАНГСКАЯ
4 6 8 10 12 14 16 1 8 20 22 24 26 28 30 32 34 36 38 40
Ресурс
Рис. 1. Результаты оценки ИС бухгалтерского учета районных больниц, подведомственных Министерству здравоохранения Иркутской области
0 1 2 3 4 5 6 7
Ресурс
Рис. 2. Результаты оценки ИС бухгалтерского учета лесхозов, подведомственных Министерству лесного комплекса Иркутской области
Ресурс
Рис. 3. Результаты оценки ИС ФО МО Краснодарского края
Заключение. В исследовании предложена программная реализация БЕЛ-модели оценки, базирующаяся на принципах структурно-функциональной и территориальной стратификации информации о механизмах управления ресурсами и результатами крупномасштабной информационной системы - ИСУГБ.
Разработанная на основе современной архитектуры web-приложений эксперто-ориентированная СППР позволяет повысить качество экспертной оценки за счет быстродействия в обработке значительного (по мерке человеческих возможностей) объема данных; более эффективно использовать знания специалистов и более надежно фиксировать их в базе знаний системы; более обоснованно принимать решения, связанные с оптимальным функционированием и оптимизацией системы; более наглядно представлять полученные в результате компьютерного анализа результаты.
Представленные визуальные результаты использования СППР позволяют ЛПР не только оценивать неэффективность функционирования подсистем ИСУГБ, но и, одновременно, достаточно точно определять наилучшие показатели организации финансовой деятельности и использовать их в качестве заданных параметров для выбора форм функционирования ИСУГБ. Таким образом, удобный ввод и визуализация информации в виде полученных графиков позволяют наладить информационное взаимодействие между заказчиками, экспертами, проектировщиками и разработчиками ИС без использования специальных знаний в области оценки сложных объектов.
СПИСОК ЛИТЕРАТУРЫ
1. T. S. Group, «HAZE» (2015) The Standish Group International Inc.
2. Winter Robert, Rohner Peter & Kiselev Caroline (2019) Mission Impossible? Exploring the Limits of Managing Large IT Projects and Ways to Cross the Line // Proceedings of the 52th Hawaii International Conference on System Sciences.
3. Ерженин Р. В. Оценка результатов реализации проекта по созданию ГИИС «Электронный бюджет». Инновации и инвестиции. 2019. № 6. С. 107-113.
4. Бертяков А. В. ИТ-бюджеты федеральных органов власти: знание явное и скрытое. М.: Счетная палата Российской Федерации. ФКУ «ЦЭАИТ СП». 2020.
5. Реут Д. В. Управление крупномасштабными системами. Теоретико-методологические проблемы. Дис. д-ра экон. наук. Московский государственный технический университет им. Н.Э. Баумана. Москва. 2013.
6. Siljak D.D. Large Scale Dynamical Systems: Stability and Structure. North Holland. Amsterdam. 1978.
7. Tomovic R. Control of large systems. Simulation of Control Systems, ed. by I. Troch North Holland. Amsterdam. 1972. Pp. 3-6.
8. Соснин П. И. Архитектурное моделирование автоматизированных систем: учебное пособие. Ульяновск: УлГТУ. 2008.
9. Brooks Frederick P., Jr. (2000) The mythical man-month: essays on software engineering. Anniversary Edition. СПб.: «Символ-Плюс».
10. Чистов Д. В., Мельников П. П., Золотарюк А. В., Ничепорук Н. Б. Проектирование информационных систем: учебник и практикум для среднего профессионального образования. Москва: Издательство Юрайт. 2016.
11. Швецов А. Н. Модели и методы построения корпоративных интеллектуальных систем поддержки принятия решений. Дис. д-ра техн. наук. Санкт-Петербург. 2004.
12. Зиндер Е.З. Введение в экспертное оценивание информационных систем и СУБД. 1998. №04-05.
13. Евгенев Г.Б. Интеллектуальные системы проектирования: учеб. пособие. 2-е изд., доп. М.: Изд-во МГТУ им. Н.Э. Баумана. 2012.
14. Судов Е.В., Левин А.И. Концепция развития CALS-технологий в промышленности России// НИЦ CALS-технологий «Прикладная логистика». Москва. 2002.
15. Ross Douglas T. (1961) Computer-aided design. Communications of the ACM. 4 (5): 235.
16. Ерженин Р.В., Массель Л.В. Онтологический подход к представлению знаний о методологии моделирования сложной системы управления // Онтология проектирования. 2020. Т. 10. №4(38). С. 463-476.
17. Cooper W.W., Seiford L.M., Tone K. Data Envelopment Analysis: a comprehensive text with models, applications, references, and DEA-solver software. Boston: Kluwer Academic Publishers. 2000.
18. Полуэктова Н.Р. Подход к управлению сервисами информационной системы предприятия на основе анализа оболочек данных // Проблемы экономики. Харьков. 2014. № 3. С. 273-278.
19. Рыбакова И.А., Орлов С.П. Комплексная оценка эффективности использования организациями CRM-систем // Наука и Мир. 2017. Т. 1. № 1 (41). С. 51-53.
20. Кривоножко В.Е., Рожнов А.В., Лычев А.В. Построение гибридных интеллектуальных информационных сред и компонентов экспертных систем на основе обобщённой модели анализа среды функционирования // Нейрокомпьютеры: разработка, применение. 2013. № 6. С. 003-012.
21. Barr R.S. DEA software tools and technology. in: Cooper W.W., Seiford L.M., Zhu J. (eds) Handbook on Data Envelopment Analysis. International series in operations research & management science. 2004. Vol 71. Springer. Boston. MA.
22. Гончарук А.Г., Алкубелат А.З.С. Автоматизация процесса управления эффективностью бизнеса. Науковий вюник мiжнародного гумаштарного ушверситету. 2014. № 6. С. 15-20.
23. Кривоножко В.Е., Сафин М.М., Уткин О.Б., Лычев А.В. Программный комплекс «EffiVision» для анализа деятельности сложных систем // Информационные технологии и вычислительные системы. 2005. №3. С. 85-95.
24. Nyhan R. Software Review: Frontier Analyst. ORMS Today 25. 1998. № 2.
25. Herrero I., Pascoe S. Estimation of technical efficiency: a review of some of the stochastic frontier and DEA-software, computers in higher education economics review 15. 2002. № 1.
26. Моргунов Е.П., Моргунова О.Н. Обзор программного обеспечения, реализующего метод Data Envelopment Analysis // Решетневские чтения. 2018. Т. 2. С. 359-360.
27. Charnes A., Cooper W. W., Rhodes E. Measuring the Efficiency of Decision Making Units. European Journal of Operational Research. 1978. Vol. 2. Pp. 429-444.
28. Charnes A., Cooper W. W., Seiford L. M. A multiplicative model for efficiency analysis. Socio-Economic Planning Sciences. 1982. № 16(5). Pp. 223-224.
UDK 004.891.2
DEVELOPMENT OF AN EXPERT-ORIENTED SYSTEM OF SUPPORT FOR DESIGNING LARGE-SCALE INFORMATION SYSTEM
Roman V. Erzhenin
PhD in economics, email: rerzhenin@gmail .com General Director of "NAUCHNO-PRACTICHESKI CENTER GOSUCHET" LTD 143441, Moscow region, Krasnogorsk district, 69 km of MKAD, p/o Putilkovo, office and public complex of ZAO Greenwood, str. 19
Annotation. The article deals with the actual problem of improving the design quality of large-scale information systems of public administration (KISGU). According to the author, the choice of acceptable parameters for the functioning of KISGU at the stages of its macro-design is constrained not so much by the lack of effective modeling methods as by the lack of convenient tools that allow one to acquire, accumulate and use heterogeneous knowledge for decision-making when building adequate models of a complex information system (IS). As a methodological basis for intellectual support for modeling and assessing the effectiveness of IS, it is proposed to use a complex DEA-model of assessment, built on the principles of structural, functional and territorial stratification of information on the functioning of a complex KISGU. A review of existing approaches to assessing complex IS and an analysis of various tools implemented on the principles of DEA-models made it possible to conclude that it is impossible to use them for assessing systems of the KISGU class. To support the examination procedure, the author proposes to develop a new web application using the Yii2 Framework. For this, the article describes the software architecture of an expert-oriented decision support system (DSS) and presents the results of its testing. As information support, we used open machine-readable data containing information on the characteristics of the functioning of the state budget management information system (ISUGB). The obtained results of the ISUGB assessment confirm the author's hypothesis about the possibility of enhancing the intelligence of an expert at the design stages through the use of special tools. The proposed approach can be used in the design of the system to select the parameters of the functioning of the ISUGB, in the audit of the effectiveness of the activities of institutions and as a practical guide for the training and retraining of IT specialists of specialized specialties.
Key words: electronic budget; performance audit; macro design; modeling; DEA; decision support systems
REFERENCES
1. T. S. Group «HAZE» (2015) The Standish Group International Inc.
2. Winter Robert, Rohner Peter & Kiselev Caroline (2019) Mission Impossible? Exploring the Limits of Managing Large IT Projects and Ways to Cross the Line. Proceedings of the 52th Hawaii International Conference on System Sciences. 2015.
3. Erzhenin R.V. (2019). Ocenka rezul'tatov realizacii proekta po sozdaniyu GIIS «El-ektronnyj byudzhet» [Evaluation of the results of the implementation of the project for the creation of GIIS "Electronic budget"]. Innovation and investment. № 6. Pp. 107-113 (in Russian).
4. Bertyakov A. V. IT-byudzhety federal'nyh organov vlasti: znanie yavnoe i skrytoe [IT budgets of federal authorities: explicit and hidden knowledge. Moscow: Accounts Chamber of the Russian Federation]. FKU "CEAIT SP". 2020. (in Russian).
5. Reut D.V. Upravlenie krupnomasshtabnymi sistemami. Teoretiko-metodologicheskie problemy. Dis. d-ra ekon. nauk. [Management of large-scale systems. Theoretical and methodological problems]. Moscow: Moscow State Technical University N.E. Bauman. 2013. (in Russian).
6. Siljak D.D. Large Scale Dynamical Systems: Stability and Structure. North Holland. Amsterdam. 1978.
7. Tomovic R. Control of large systems. Simulation of Control Systems. North Holland. Amsterdam. 1972. Pp. 3-6.
8. Sosnin P.I. Arhitekturnoe modelirovanie avtomatizirovannyh sistem: uchebnoe posobie [Architectural modeling of automated systems: a tutorial]. Ulyanovsk: UlSTU .2008. (in Russian).
9. Brooks Frederick P., Jr. The mythical man-month: essays on software engineering. Anniversary Edition. St. Petersburg: "Symbol-Plus". 2000.
10. Chistov D. V., Melnikov P. P., Zolotaryuk A. V., Nicheporuk N. B. Proektirovanie infor-macionnyh sistem: uchebnik i praktikum dlya srednego professional'nogo obrazovaniya [Designing information systems: textbook and workshop for secondary vocational education]. Moscow: Izdatel'stvo Yurayt = Yurayt Publishing House. 2016 (in Russian).
11. Shvetsov A.N. Modeli i metody postroeniya korporativnyh intellektual'nyh sistem pod-derzhki prinyatiya reshenij. Dis. d-ra tekhn. Nauk [Models and methods of building corporate intelligent decision support systems]. St. Petersburg. 2004. (in Russian).
12. Zinder E.Z. Vvedenie v ekspertnoe ocenivanie informacionnyh sistem i SUBD [Introduction to expert assessment of information systems and DBMS]. 1998. DBMS. № 04-05 (in Russian).
13. Evgenev G.B. Intellektual'nye sistemy proektirovaniya: ucheb. posobie. 2-e izd., dop [Intelligent design systems: textbook. manual] Moscow: Publishing house of MSTU im. N.E. Bauman. 2012. (in Russian).
14. Sudov E.V., Levin A.I. Koncepciya razvitiya CALS-tekhnologij v promyshlennosti Rossii [Concept for the development of CALS technologies in the Russian industry]. Scientific Research Center of CALS-Technologies "Applied Logistics". Moscow. 2002. (in Russian).
15. Ross Douglas T. Computer-aided design. Communications of the ACM. 1961. № 4 (5). Pp. 235.
Epwenun P. B.
16. Erzhenin R.V., Massel L.V. Ontologicheskij podhod k predstavleniyu znanij o metodologii modelirovaniya slozhnoj sistemy upravleniya [Ontological approach to the representation of knowledge about the methodology of modeling a complex control system] // Ontologiya proyektirovaniya = Ontology of design. 2020. Vol 10. № 4 (38). Pp. 463-476 (in Russian).
17. Cooper W.W., Seiford L.M., Tone K. Data Envelopment Analysis: A comprehensive text with models, applications, references, and DEA-solver software. Boston: Kluwer Academic Publishers. 2000.
18. Poluektova N.R. Podhod k upravleniyu servisami informacionnoj sistemy predpriyatiya na osnove analiza obolochek dannyh [An approach to managing the services of an enterprise information system based on the analysis of data envelopes]. Problems of Economics = Economic problems. Kharkov. 2014 № 3. Pp. 273-278 (in Russian).
19. Rybakova I.A., Orlov S.P. Kompleksnaya ocenka effektivnosti ispol'zovaniya organi-zaciyami CRM-sistem [Comprehensive assessment of the effectiveness of organizations using CRM systems] // Nauka i Mir =Science and Peace. 2017. Vol 1. № 1 (41). Pp. 5153 (in Russian).
20. Krivonozhko V.E., Rozhnov A.V., Lychev A.V. Postroenie gibridnyh intellektual'nyh in-formacionnyh sred i komponentov ekspertnyh sistem na osnove obobshchyonnoj modeli analiza sredy funkcionirovaniya [Construction of hybrid intelligent information environments and components of expert systems based on a generalized model for analyzing the functioning environment] // Neyrokomp'yutery: razrabotka, primeneniye = Neurocomputers: development, application. 2013. № 6. Pp. 003-012 (in Russian).
21. Barr R.S. DEA software tools and technology. Cooper W.W., Seiford L.M., Zhu J. (eds) Handbook on Data Envelopment Analysis. International Series in Operations Research & Management Science. 2004. Vol 71. Springer. Boston. MA.
22. Goncharuk A.G., Alkubelat A.Z.S. Avtomatizaciya processa upravleniya effektivnost'yu biznesa [Automation of the business performance management process. Science newsletter of the international humanitarian university]. 2014. № 6. Pp. 15-20 (in Russian).
23. Krivonozhko V.E., Safin M.M., Utkin O.B., Lychev A.V. Programmnyj kompleks «EffiVision» dlya analiza deyatel'nosti slozhnyh sistem [EffiVision software package for analyzing complex systems] // Informatsionnyye tekhnologii i vychislitel'nyye sistemy = Information technology and computing systems. 2005. № 3. Pp. 85-95 (in Russian).
24. Nyhan R. Software Review: Frontier Analyst. ORMS Today 25. 1998. № 2.
25. Herrero I., Pascoe S. Estimation of technical efficiency: a review of some of the stochastic frontier and DEA-software, computers in higher education economics review 15. 2002. № 1.
26. Morgunov E. P., Morgunova O. N. (2018) Obzor programmnogo obespecheniya, reali-zuyushchego metod Data Envelopment Analysis [Overview of software that implements the Data Envelopment Analysis method] // Reshetnevskiye chteniya = Reshetnev readings. 2018. Vol. 2. Pp. 359-360 (in Russian).
27. Charnes A., Cooper W. W., Rhodes E. Measuring the Efficiency of Decision Making Units. European Journal of Operational Research. 1978. 1978. Vol. 2. Pp. 429-444.
28. Charnes A., Cooper W. W., Seiford L. M. A multiplicative model for efficiency analysis. Socio-Economic Planning Sciences. 1982. № 16(5). Pp. 223-224.
