CC BY
94
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
УДК 004.75 Дата подачи статьи: 25.12.14
DOI: 10.15827/0236-235X.111.143-149
МЕТОД ПЛАНИРОВАНИЯ РАЗВИТИЯ СИСТЕМЫ АДМИНИСТРАТИВНОГО УПРАВЛЕНИЯ ТЕЛЕКОММУНИКАЦИОННОЙ СЕТЬЮ
Д.Н. Дементьев, научный сотрудник, [email protected];
В.Г. Гришаков, к.т.н., научный сотрудник, [email protected];
М.В. Верижников, научный сотрудник, [email protected];
И.В. Логинов, к.т.н., научный сотрудник, [email protected] (Академия Федеральной службы охраны Российской Федерации, ул. Приборостроительная, 35, г. Орел, 302034, Россия)
Развитие корпоративных телекоммуникационных систем связано с расширением перечня предоставляемых услуг и повышением требований к их качеству. Основной тенденцией развития является значительное снижение времени активного предоставления услуги связи одного поколения из-за прогресса в области телекоммуникационных технологий. Развитие телекоммуникационных сетей в соответствии с изменением потребностей абонентов в услугах связи, изменением условий применения и развитием коммуникационных технологий реализует система административного управления. Значительные качественные и количественные изменения управляемого объекта требуют изменения самой системы административного управления. Существующие методы анализа, синтеза и оптимизации, применяемые при управлении развитием систем административного управления, предполагают реинжиниринг управленческих и технологических процессов администрирования. Однако они ориентированы на широкий класс задач и не адаптированы к интегральному реинжинирингу процессов управления услугами связи. Для решения проблемы обоснования предпочтительного направления совершенствования системы управления в работе предложен метод планирования развития. Он заключается в представлении системы управления сетью связи в соответствии с методологией eTOM на уровне технологических процессов. В зависимости от планируемого изменения телекоммуникационной системы на уровне услуг предложено прогнозировать требования к системе управления. На основе требований к возможностям системы управления по поддержке заданного перечня услуг связи предложено определять перспективные направления совершенствования - перечень технологических процессов управления. Для этого разработан алгоритм оптимизации распределения ресурсов на совершенствование процессов управления. Результатом применения метода является план (программа) развития системы управления. Он определяет перечень процессов, подвергаемых реинжинирингу, объем требуемых ресурсов и перечень мероприятий совершенствования.
Ключевые слова: система административного управления, телекоммуникационная сеть, управление развитием, планирование, процессы администрирования.
Развитие корпоративных телекоммуникационных систем связано с расширением перечня предоставляемых услуг и повышением требований к их качеству. Важной тенденцией развития является значительное снижение времени активного предоставления услуги связи одного поколения из-за существенного прогресса в области телекоммуникаций. Трансформация сетей связи в таких условиях реализуется системой административного управления (САдмУ). Сложившаяся ситуация предполагает значительное увеличение числа задач административного управления, связанных с вопросами развития телекоммуникационных услуг. Высокая интенсивность входного потока задач и его увеличение, большая трудоемкость решений задач административного управления определяют прогнозирование ситуации, в которой текущая организация процессов административного управления будет требовать значительных ресурсов на функционирование. Естественным способом преодоления такой ситуации является развитие системы управления в соответствии с изменением объекта управления. Существующие методы анализа и оптимизации, применяемые при управлении развитием САдмУ, предполагают реинжиниринг управленческих и
технологических процессов администрирования. Однако они ориентированы на широкий класс задач и не адаптированы к интегральному реинжинирингу процессов управления услугами связи. Таким образом, задача разработки метода планирования развития систем управления телекоммуникационными сетями является актуальной.
Анализ методов и способов развития систем управления телекоммуникационными сетями
Развитие систем управления телекоммуникационными сетями реализуется из-за значительной трансформации управляемого объекта по внутренним и внешним причинам. Это обусловливает совершенствование методов совместного развития объекта управления и управляющей системы. Для решения проблемы развития систем управления предложены различные методологии, определяющие порядок и способы выработки программ совершенствования, а также методы определения узких мест (например, из теории ограничений [1]). Классификация основных методологий и методов, применяемых при анализе, проектировании, разработке и внедрении систем управления, приведена в работе [2], где рассмотрены области их при-
143
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
менения. Для комплексного планирования модернизации автоматизированных САдмУ можно применить положения теории управления структурной динамикой сложных систем [3], предложенной для информационных систем. В ее рамках разработана методика выбора оптимальных программ развития сложных технических систем, которая может быть адаптирована для систем управления. При решении таких задач требуется использование описаний объектов управления в процессе их жизненного цикла, представленных в виде информационных моделей в соответствии с CALS/ИПИ методологией [4].
Решение задачи планирования развития обеспечивает множество методов, позволяющих трансформировать процессы администрирования для различных условий развития [1, 5, 6]. Синтез оптимальных организационных структур в соответствии с новым состоянием управляемой телекоммуникационной сети может быть реализован на основе связывания целей стратегического и оперативного уровней с использованием графовых моделей [5]. Для решения задачи повышения эффективности управления бизнес-процессами применяются положения теории ограничений [1]. Сущность предложений заключается в оптимизации управления путем распределения задач администрирования с учетом статуса их выполнения. Для стандартизации управления телекоммуникационными сетями предлагается использовать эталонные модели САдмУ коллаборативного типа [7]. Реализация совершенствования процессов в этом случае может быть достигнута путем обновления шаблонов методик администрирования. При решении задач развития необходимо учитывать изменения внешней среды. Для этого предлагается методика администрирования [8], которая заключается в сочетании формализованной бизнес-стратегии в области информационно -телекоммуникационных систем и шаблонов стратегического поведения (паттернов - метод принятия решения о реализации альтернатив, метод измерения эффекта, метод поддержки адаптивности). Совершенствуются математические методы анализа и синтеза систем управления. Так, в [6] предложен метод улучшения управления для иерархических систем неоднородной сетевой структуры, что характерно для организации систем управления.
Важным вопросом при решении задач управления развитием является определение эффективности развития системы управления. Определяется, что для этого может использоваться иерархическая аналитическая модель оценки, разработанная на основе метода анализа иерархий
[9]. Предлагаются методы оценивания, связанные с учетом изменения ценности реализации управленческих задач в зависимости от изменения внешних условий, для описания которых могут
быть использованы темпоральные функции полезности [10]. Разработаны модели оценивания уровня развития эффективности бизнес-процессов, которые оперируют иерархической концептуальной моделью оценивания на основе частных оценок [11].
Анализ применимости методов управления и планирования развития к условиям САдмУ телекоммуникационными сетями показывает необходимость учета изменений систем внешних условий. Наибольшую важность определяет необходимость учета повышения интенсивности системной динамики телекоммуникационной сети, что определяет повышенные требования к уровню зрелости бизнес-процессов администрирования. Это обосновывает необходимость совместного управления развитием телекоммуникационной сети и ее системы управления.
Совместное развитие телекоммуникационной сети и ее системы управления
Управляемая САдмУ телекоммуникационная система должна непрерывно модернизироваться в целях обеспечения соответствия услуг связи требованиям потребителей. Существенные изменения управляемого объекта определяют требования по изменению и самой управляющей системы. При этом незначительные изменения ИТ-инфраструк-туры могут осуществляться в рамках одного состояния САдмУ (рис. 1).
В соответствии с рисунком 1 развитие САдмУ во времени можно рассматривать как процесс ее перевода из одного состояния в другое. Каждое состояние САдмУ телекоммуникационной системой отличается назначением, выполняемыми функциями, составом и структурой. В каждом состоянии САдмУ может управлять выделенным множеством состояний телекоммуникационной среды с заданной степенью эффективности. Такое подмножество состояний называется макросостоянием телекоммуникационной системы. Соответственно своему состоянию САдмУ обладает определенными возможностями по реализации мероприятий модернизации, в результате использования которых осуществляется перевод телекоммуникационной системы в новые состояния. В рамках одного макросостояния реализуются незначительные изменения телекоммуникационных систем, которыми могут быть изменение уровня поддержки оборудования связи и потребителей, перераспределение ресурсов между процессами административного управления.
Перевод телекоммуникационной сети из одного макросостояния в другое осуществляется при изменении управляющей САдмУ. Необходимость такого перевода определяется существенным изменением потребности в телекоммуникационных услугах, предоставление которых невозможно в
144
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
Рис. 1. Совместное развитие САдмУ и управляемой ею телекоммуникационной сети
Fig. 1. Combined development of an administrative management system and controlled telecommunication network
рамках исходного состояния САдмУ. Типовыми задачами изменения САдмУ являются обеспечение ее возможностей по управлению ИТ-инфраструктурой, изменившейся прежде всего в связи с изменением типового состава телекоммуникационных подсистем (в том числе оборудования), входящих в состав ТК-сети. В общем случае интенсивность поступления задач на существенную трансформацию ТК-сети является довольно значительной, что определяет необходимость частой реорганизации САдмУ.
Изменение состояний САдмУ определяется изменением структуры и зрелости ее технологических процессов, а также организационно -технической структуры. Организационно-штатные изменения происходят довольно редко, что несколько ограничивает адаптацию САдмУ. Существующие способы управления развитием САдмУ направлены на экспертное решение задач преобразования. Эффективность их решения напрямую
определяется опытом соответствующего руководителя (их иерархии) и его способностями в области управления САдмУ. Это в целом ухудшает потенциальную эффективность процессов административного управления. Такое состояние дел в области управления телекоммуникационными системами определяет актуальность решения проблемы обеспечения соответствия САдмУ и управляемой ею ТК-сети. В общем случае при развитии САдмУ должны быть решены следующие проблемные вопросы управления трансформацией:
- определение необходимости перевода САдмУ в новое состояние - необходимости создания САдмУ в новом состоянии («когда нужно новое состояние САдмУ»);
- определение оптимальных форм организации САдмУ для решения соответствующих задач административного управления («какой должна быть новая САдмУ»);
- определение наилучших способов перевода САдмУ из одного состояния в другое («как лучше трансформировать САдмУ»);
- определение степени достижения целей трансформации САдмУ при развитии ИТ-инфраструктуры («как определять эффективность нового состояния САдмУ»).
Решение перечисленных вопросов применительно к телекоммуникационным системам позволит повысить эффективность административного управления и, следовательно, повысить качество предоставляемых услуг связи потребителям в целом.
Основные положения метода планирования развития систем административного управления
Для обоснования выбора направлений совершенствования технологических процессов администрирования телекоммуникационных систем предложен соответствующий метод. Результатом работы метода является программа (план) развития, которая определяет перечень совершенствуемых в плановом периоде процессов, мероприятия по модернизации и объем ресурсов, необходимых на реализацию. Метод предполагает решение задачи выбора набора совершенствуемых технологических процессов n={pr,} и определения объема ресурсов (R+), необходимых для их совершенствования в соответствии с динамикой изменения телекоммуникационной сети.
В общем случае метод позволяет решать задачу совершенствования процессов административного управления, сводимую к нахождению преобразования системы управления (©t+1) путем расхода минимума дополнительных ресурсов R+, таким образом, чтобы потребность в ресурсах на управление сетью связи не превышала ресурсные ограничения по управлению с учетом выполнения
145
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
требований по результативности и оперативности предоставления услуг связи:
©'+1, ©'+1 ={е'+1} :
MS' 0,+‘ > MS,+1 ^
V:
->у:+1 «у,-
->V:
MS' =({Р },, = {{у'},R'),
( r •)' *1=л r i *
> min,
чтобы У(Ат,+1) =У t
Л
у у+
> AR"
(1)
(2)
(3)
где ©t+ - программа мероприятий развития
САдмУ MS в плановом периоде (t+1); pr - технологические процессы администрирования ТК-се-ти; у - ресурсоотдача решения задач администрирования сети связи; R - ресурсы, выделенные системе управления для решения задач администрирования (в работе рассматриваются трудовые ресурсы как имеющие наибольшую дефицитность); n - число задач администрирования в плановый период времени; ARmp - величина изменения потребности в ресурсах на администрирование.
'+1
'+1
Предлагаемый метод (рис. 2) заключается в идентификации параметров технологических процессов САдмУ и нахождении минимального объема ресурсов, позволяющих решить задачу требуемого снижения трудоемкости процессов администрирования. Процессы администрирования предлагается выделять в соответствии с методологией eTOM по всем трем главным функциональным областям. Метод предполагает разработку плана развития в четыре этапа.
Первый этап. Определение потребности в снижении ресурсоемкости управления системой связи на уровне услуг за счет прогнозирования потенциального числа задач и расчета потребности в ресурсах. Прогнозирование трудоемкости администрирования осуществляется на основе оценок динамики изменения управляемой сети связи. В основу таких оценок ложатся стратегии (программы) развития сетей связи и предоставляемых ими услуг. Вариантом расчета является прогнозирование изменения числа поддерживаемых услуг связи на среднесрочный период. Для каждой услуги определяется число задач администрирования по каждому процессу. Далее реализуются свертка и расчет изменения числа задач с учетом ресурсоемкости на текущий и плановый
146
Рис. 2. Метод планирования развития САдмУ системы связи Fig. 2. A planning method for development of an telecommunication administrative management system -----------------------------------------------1-----------------------------------------------
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
периоды, что позволяет рассчитать требования к изменению ресурсоемкости по формуле
J+1 - j
ARmP =y J-----L . (4)
l V;
Второй этап. Идентификация параметров функциональной зависимости прироста ресурсоотдачи процесса решения задач административного управления сетью связи. В соответствии с экспериментальными исследованиями и из анализа литературы определено, что предельная эффективность расхода ресурсов на совершенствование технологических процессов управления убывает с увеличением величины выделенных ресурсов. В качестве функциональной зависимости прироста ресурсоотдачи предлагается использование логарифмической функции вида
V+1 = ^х loga, (kLх (г+)'+1+a) (5)
с двумя параметрами а и к, отражающими уровень влияния эффективности расходования ресурсов на совершенствование технологических процессов. Идентификация осуществляется путем построения уравнения регрессии по предварительным экспертным оценкам прироста ресурсоотдачи с использованием метода наименьших квадратов. Определение оценок прироста эффектов осуществляется путем определения допустимых мероприятий модернизации и оценки для них результативности. Результатом второго этапа являются два множества параметров: At и K, определяющих функции прироста эффекта для всех технологических процессов административного управления.
Третий этап. Решение задачи выбора совершенствуемых процессов и расчета потребности в ресурсах осуществляется с использованием разработанного алгоритма, базирующегося на приближенных методах оптимизации вида градиентного алгоритма быстрого спуска (рис. 3). Устанавливается доверительный интервал а точности решения задачи оптимизации. Сущность алгоритма заключается в использовании того факта, что максимум эффективности расходования ресурсов на совершенствование множества процессов достигается при равенстве предельных эффектов снижения ресурсоемкости (трудоемкости администрирования) каждого процесса.
Результатом использования алгоритма являются множество совершенствуемых процессов П={prj} и распределение лимитов ресурсов на них {r i +}.
Четвертый этап. Выбор мероприятий модернизации в соответствии с рассчитанными лимитами ресурсов и составление программы развития. На данном этапе выбираются конкретные мероприятия модернизации системы управления по каждому процессу администрирования в соответствии с объемом выделенного по алгоритму лимита средств. Перечень мероприятий сводят в про-
грамму модернизации, которая определяет их порядок.
Рис. 3. Блок-схема алгоритма выбора совершенствуемых процессов управления
Fig. 3. A flow-chart of an algorithm for choosing upgraded management processes
147
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
Результатом применения метода к телекоммуникационной сети и ее системе управления являются предложения по ее совершенствованию с учетом изменения количества предоставляемых услуг связи. Предложения реализуются в виде программы развития, включающей отдельные мероприятия по совершенствованию технологических процессов администрирования. В общем случае метод может быть адаптирован к особенностям других источников формирования изменения сети связи, что может быть реализовано изменением пункта один (см. рис. 2).
Применение алгоритма оптимизации распределения ресурсов на совершенствование системы управления
Метод отрабатывался на примере местного оператора связи. Для него в результате ретроспективного и прогностического анализа получены оценки количества нормированных задач, ресурсоотдачи процессов их решения системой управления по десяти наиболее ресурсоемким процессам администрирования. Определены потенциальные виды функций снижения ресурсоемкости для процессов управления рассматриваемой сети связи. По итогам исследований получены отдельные решения по оптимизации системы управления (точки на рисунке 4), отличающиеся величиной потенциального эффекта и объемом потребности в ресурсах. По каждому решению построены программы развития системы управления.
Результаты применения метода планирования развития системы управления заключаются в оптимизации распределения ресурсов на совершенствование процессов управления сетью связи. Зависимость целевого эффекта от ресурсов имеет вид, представленный на рисунке 4. Отмечается убывающая эффективность от использования дополнительных ресурсов на модернизацию. Использование предлагаемого метода при решении задачи планирования развития может быть реализовано на один или несколько периодов.
В заключение отметим, что в работе предложен метод планирования развития системы управления телекоммуникационной сетью, заключающийся в выборе перспективных для совершенствования технологических процессов управления. С использованием алгоритма оптимизации распределения ресурсов на развитие осуществляется определение объема средств на каждый совершенствуемый технологический процесс. В соответствии с объемом спланированных ресурсов определяются мероприятия модернизации. На основе частных мероприятий модернизации разрабатывается программа развития системы управления, которая может быть составлена на один или несколько плановых периодов. Путем составления программы развития метод позволяет осуществ-
Материалоемкость процесса модернизации,
сотни тыс. р.
Рис. 4. График зависимости целевого эффекта (величины уменьшения ресурсоемкости администрирования) от объема ресурсов на модернизацию системы управления
Fig. 4. A diagram for an objective effect (administrative resource intensity reduction range) depending from a resource level on management system modernization
лять развитие системы управления, адаптивное к изменению управляемой телекоммуникационной сети.
Литература
1. Деревинский Д.О. Методика повышения эффективности управления бизнес-процессами на основе теории ограничений // Изв. СПб ун-та экономики и финансов. 2012. № 4. С. 79-82.
2. Мышенков К.С., Беляшов А.Н. Методологии, методы и модели для анализа и проектирования систем управления // Вестн. МГТУ Станкин. 2013. № 3 (26). С. 76-82.
3. Соколов Б.В., Зайчик Е.М., Иконникова А.В., Потряса-ев С.А. Комплексное планирование модернизации информационных систем: методологические и методические основы // Тр. СПИИРАН. 2006. Т. 1. № 3. С. 265-278.
4. Гришаков В.Г., Логинов И.В. CALS-ориентированное управление развитием телекоммуникаций крупного предприятия (организации) // Телекоммуникации. 2012. № 13. С. 32-35.
5. Граецкая О.В., Пономарева Н.С. Концептуальное конструирование организационных структур в процессе реализации стратегии // Изв. ЮФУ: Технические науки. 2012. № 5 (130). С. 221-226.
6. Гурман В.И., Расина И.В., Фесько О.В., Усенко О.В. Метод улучшения управления для иерархических моделей систем сетевой структуры // Изв. Иркутского гос. ун-та. Сер.: Математика. 2014. Т. 8. С. 71-85.
7. Гришаков В.Г., Логинов И.В. Эталонная модель системы административного управления ИТ-инфраструктурой на основе методологии ARCON // Программные продукты и системы. 2014. № 2. С. 26-33.
8. Логиновский О.В., Зеленков Ю.А. О методологии стратегического управления развитием корпоративных информационных систем в условиях неопределенности // Вестн. Южно-Уральского гос. ун-та. Сер.: Компьютерные технологии, управление, радиоэлектроника. 2013. Т. 13. № 3. С. 83-91.
9. Чернышева Т.Ю., Попова О.А. Повышение эффективности системы управления предприятием на основе аналитической оценки его состояния // Горный информ.-аналит. бюллетень. 2011. Т. 2. № 12. С. 449-453.
10. Логинов И.В. Обоснование выбора направлений мо-
148
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
дернизаций ИТ-систем на основе темпоральных функций полезности // Информационные технологии моделирования и управления. 2014. Т. 85. № 1. С. 077-086.
11. Исаев Д.В. К вопросу об оценке уровня развития систем управления эффективностью // Бизнес-информатика. 2014.
№ 1. С. 42-51.
DOI: 10.15827/0236-235X. 111.143-149 Received 25.12.14
THE PLANNING METHOD FOR TELECOMMUNICATION NETWORK MANAGEMENT SYSTEM DEVELOPMENT Dementiev D.N., Research Associate, [email protected];
Grishakov V.G., Ph.D. (Engineering), Research Associate, [email protected];
Verizhnikov M. V., Research Associate, [email protected];
Loginov I.V., Ph.D. (Engineering), Research Associate, [email protected] (Academy of the Federal Guard Service of the Russian Federation,
Priborostroitelnaya St. 35, Orel, 302034, Russian Federation)
Abstract. The development of corporate telecommunication networks is connected with provided services list extension and increasing requirements to its quality. The main trend of service development is a significant reducing of service provision active time due to progress in the field of telecommunication technologies. Telecommunication network is developed by an administrative management system in accordance with changing telecommunications services requirements, application conditions and developing communication technologies. Significant quality and quantity changes of a managed object require administrative management system changes. The existing methods of analysis, synthesis and optimization, which are used in solving tasks of administrative management system development, include reengineering of managing and technological administrative processes. However, these methods are oriented to a wide class of problems and are not adapted to integral reengineering of communication services management processes. The article suggests a planning method to solve the substantiation problem of management system perspective modernization direction. The method is based on describing management system using eTOM methodology on a technological processes level. Depending on planned changes of a telecommunication network at the level of services, the requirements to the management system are offered to predict. Based on the requirements to administrative management systems capabilities, supporting telecommunication services list, the authors suggested a new approach to choosing perspective modernization directions (a set of processes). This problem can be solved using the algorithm of resource allocation optimization on reengineering processes. The result of this method application is a plan (program) of management system modernization. It determines a set of processes for reengineering, a required resource level and modernization activities.
Keywords: administrative management system, telecommunication network, development management, planning, processes of administrating.
References
1. Derevinsky D.O. A method of improvement business process management based on the theory of constraints. Izvestiya Sankt-Peterburgskogo universiteta economiki i fnansov [News of The St. Petersburg State Univ. of Economics]. 2012, no. 4, pp. 79-82 (in Russ.).
2. Myshenkov K.S., Belyashov A.N. Methodologies, methods and models йж management systems analysis and design. VestnikMGTUStankin [Bulletin of MSTU “STANKIN”]. 2013, no. 3 (26), pp. 76-82 (in Russ.).
3. Sokolov B.V., Zaychik E.M., Ikonnikova A.V., Potryasaev S.A. Complex planning of information systems modernization: methodological and methodic basics. Trudy SPIIRAN [SPIIRAS Proceedings]. 2006, no. 3, pp. 265-278 (in Russ.).
4. Grishakov V.G., Loginov I.V. CALS-oriented management of large enterprise telecommunications development. Telekommunikatsii [Telecommunications]. 2012, no 13, pp. 32-35 (in Russ.).
5. Graetskaya O.V., Ponomareva N.S. Conceptual design of organization charts in policy implementations. Izv. YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences]. 2012, no. 5 (130), pp. 221-226 (in Russ.).
6. Gurman V.I., Rasina I.V., Fesko O.V., Usenko O.V. An improvement method for hierarchical model with network structure. Izvestiya Irkutskogo gos. universiteta. Ser. Matematika [The Bulletin of Irkutsk State Univ. Ser. Mathematics]. 2014, vol. 8, pp. 71-85 (in Russ.).
7. Grishakov V.G., Loginov I.V. A reference model based on arcon for IT-infrastructure administrative management system. Programmnyeprodukty i sistemy [Software & Systems]. 2014, no. 2, pp. 26-33 (in Russ.).
8. Loginovsky O.V., Zelenkov Yu.A. On the methodology of strategic management of enterprise information systems under uncertainty. Vestnik Yuzhno-Uralskogo gos. universiteta. Ser.: Kompyuternye tekhnologii, upravlenie, radioelektronika [Bulletin of the South Ural State Univ. Series: Computer technologies, automatic control, radio electronics]. 2013, vol. 13, no. 3, pp. 83-91 (in Russ.).
9. Chernysheva T.Yu., Popova O.A. Efficiency improvement of an enterprise management system based on its state analytical estimation. Gorny informatsionno-analitichesky byulleten [Mining information and analytical bulletin]. 2011, vol. 2, no. 12, pp. 449-453 (in Russ.).
10. Loginov I.V. Rationale for choosing directions of IT systems modernization based on temporal utility functions. Informatsionnye tekhnologii modelirovaniya i upravleniya [Information technologies of simulation and control]. 2014, vol. 85, no. 1, pp. 077-086 (in Russ.).
11. Isaev D.V. On evaluation of performance management systems maturity. Biznes-informatika [Business Informatics]. 2014, no. 1, pp. 42-51 (in Russ.).
149
