CC BY
3Электронный журнал «Труды МАИ». Выпуск № 49
www.mai.ru/science/trudy/
УДК 65.012.2
Согласование метрик качества при модернизации автоматизированной системы предприятия
Бойцов Б.В., Артамонов И.М., Денискин Ю.И.
Аннотация
В статье анализируются основные проблемы, связанные с формированием метрик автоматизированной системы (АС) предприятия на этапе ее модернизации. Выделены и приведены отличия таких метрик от метрик установившегося режима АС. Предложены методы совместного анализа всей совокупности метрик на разных уровнях функционирования АС и согласования метрик переходного этапа с метриками смежных с ним этапов установившегося функционирования АС. С помощью разработанных методов можно сформировать набор метрик, учитывающих потенциальные проблемы модернизации АС, организационную структуру компании и поставленные перед модернизацией АС цели.
Ключевые слова
метрики, автоматизированные системы, модернизация, анализ и планирование
Введение. Обзор проблемы
Изменение целей функционирования автоматизированной системы (АС) неизбежно влечет за собой либо её модернизацию, либо вывод из эксплуатации с последующей заменой. На практике, модернизация является более распространенным решением, так как полная замена
часто нецелесообразна из-за высоких накладных расходов. Как следствие, жизненный цикл типичной АС, проходящей через последовательные изменения, может быть весьма длительным.
Процесс модернизации можно рассматривать как некоторый переходной этап, на протяжении которого параллельно функционируют элементы двух («старой» и «новой») АС.
Это приводит к задаче управления АС не только в установившемся режиме, но и в процессе перехода между смежными состояниями.
Наиболее распространенным подходом к управлению АС, нашедшим отражение в стандартах CobiT [1] и ITIL [2], является ее представление в виде набора средств для оказания пользователям совокупности сервисов (услуг). Модернизация рассматривается, как изменение набора предоставляемых услуг, в процессе которого система проходит через этап преобразования сервиса (service transition) [2]. Контроль качества выполнения АС своих функций на этом этапе производится с применением метрик этапа преобразования [3].
Однако метрики, предусмотренные в стандарте, в подавляющем большинстве связаны с технологическими аспектами перехода (количество внесенных изменений, количество обращений в службу технической поддержки и т.п.). При этом контроль изменений, связанных с реализацией АС целевых функций (необходимость которых и инициировала переход), не производится. Это приводит к тому, что на момент завершения модернизации качество выполнения этих функций может быть заметно хуже, чем предполагалось на этапе инициации изменений.
В связи с этим, требуется разработка методов, позволяющих контролировать изменение целевых показателей АС в процессе модернизации.
Постановка задачи
Основной задачей контроля АС на этапе преобразования является возможность принимать обоснованные решения, основанные на значениях заданной целевой функции АС. Для этого требуется выделить набор метрик, определяющих значение данной функции, и отслеживать изменения их значений в процессе модернизации. Это приводит к необходимости формирования набора метрик, полно и непротиворечиво отражающих функционирование системы на транзитном участке.
«Старая» и «новая» версии АС могут иметь как уникальные, так и пересекающиеся множества метрик. В связи с этим, необходимо определить связь между существующими и
планируемыми метриками АС, позволяющими произвести переход наиболее эффективным образом. Термин «эффективный», в данном случае, предполагает возможность получения на основании метрик информации, достаточной для принятия обоснованных решений в ходе модернизации АС.
Пусть ? о= { К 1 , ■ ■ -'^ом} - множество метрик, характеризующих АС до начала модернизации, а ?? 1 = { ^ 1, ■ .-,Лш} - множество метрик АС после завершения модернизации. Задачей контроля АС на этапе модернизации может являться поиск отображения F : ? о — С? 1, позволяющего на основании знания о метриках, их значениях (до и после модернизации) и целевой функции получить оптимальное состояние АС для каждого момента переходного этапа. Однако, такой подход является идеализированным, так как не учитывает возможные отклонения в поведении АС в процессе перехода и возможное отсутствие отображения множеств метрик
Со - С 1.
Для учета этих допущений отметим, что параметры, адекватно описывающие установившееся состояние АС, в переходном режиме могут частично или полностью потерять свою значимость. Например, параметры «количество обращений в службу технической поддержки» и «время реакции службы технической поддержки», которые в установившемся режиме подлежат минимизации, имеет смысл анализировать только на финальной стадии модернизации для определения факта выхода АС на режим промышленной эксплуатации.
В связи с этим, целесообразно рассмотреть дополнительную задачу поиска отображений и , которые позволят преобразовать множество метрик АС до и после
модернизации в множества, в наибольшей степени применимые для анализа переходного процесса. Установив требование существования всех элементов множеств метрик ? д и ? [ на переходном этапе, получим возможность их одновременного использования для анализа состояния АС в процессе модернизации.
Сделав предположение о большей значимости в пределах переходного этапа метрик «старой» АС в начале модернизации и метрик «новой» АС ближе к ее завершению, можно утверждать, что целевая функция зависит от момента (времени) измерения метрик в процессе модернизации. В этом случае целевая функция, характеризующая поведение АС на переходном участке, может быть задана в виде .
На практике часть метрик из и совпадает, то есть в общем случае .
Назовем отображение , позволяющее вычислить значения метрик в каждый
момент времени переходного периода, «функцией согласования». Эта функция определена только на переходном этапе и предназначена для формирования аргументов целевой функции:
до =/сто.
Таким образом, выбрав правильные метрики на этапе перехода и сформировав функцию согласования, привязывающую значения всех параметров ко времени, можно упростить вычисление целевой функции и, как следствие, принятие правильных решений в ходе модернизации.
Особенности формирования метрик на этапе модернизации
Прежде, чем перейти к рассмотрению методов согласования метрик на переходном этапе, выделим основные требования, ограничения и допущения, определяющие формирование самих метрик.
Во-первых, будем использовать обобщенный подход к метрике, как численному, множественному или логическому значению, описывающему систему. Такой подход отличается от общепринятого, в соответствии с которым метрики разделяются на три класса:
- показатели эффективности (ПЭ), характеризующие ход выполнения процессов;
- показатели результативности (ПР), характеризующие эффективность системы с точки зрения конечных результатов;
- показатели цели (ПЦ), характеризующие систему с точки зрения достижения ею поставленных целей.
В большинстве случаев такое разделение показателей позволяет более точно описать поведение АС. Однако, в процессе модернизации возможна смена характера метрики (например, с ПР на ПЭ, и/или обратно), чем и объясняется использование обобщенного подхода. Основным побочным эффектом этого является необходимость введения в модель взаимосвязей между элементами, позволяющих учитывать их взаимное влияние и зависимость. В случае пренебрежения этими связями возможно существенное искажение значений целевых функций и, как следствие, неверная интерпретация состояния АС.
Во-вторых, правильно выбранные метрики этапа преобразования должны отвечать общим требованиям к метрикам, а именно, обладать следующими свойствами:
- простотой (вычисление / получение без использования сложных вычислений);
- объективностью;
- адекватностью;
- иметь количественное выражение;
- практичностью;
- надежностью;
- устойчивостью (слабые изменения при слабых изменениях в процессе, сильные -при сильных).
В-третьих, по способу использования значений метрики следует разделить на две группы:
- абсолютные (существенно абсолютное значение);
- дифференциальные (существенна разница между значениями показателя «до» и «после»).
Такая группировка, на первый взгляд выглядит искусственной, так как дифференциальные автоматически получаются из абсолютных. Однако, с точки зрения оценки функционирования АС, они характерны для различных видов модернизации. Дифференциальные лучше отражают консервативные изменения в системе, связанные с оптимизацией уже имеющихся процессов. Абсолютные имеют большую важность при введении в систему новых и исключении старых функций. Соответственно, для переходного этапа целесообразно выбирать показатели, подходящие для выбранного типа модернизации.
В-четвертых, в фазе окончания модернизации метрики должны позволять формировать объективные критерии того, что переходный процесс в АС завершен, и можно заменить транзитные метрики на постоянные. Считается, что система закончила переходный этап, если её состояние характеризуется, как «устойчивое». В качестве критериев достижения такого состояния на практике используют два условия:
- попадание среднего значения целевых метрик в некоторый «новый» интервал, характерный для модернизированной системы;
- возвращение в норму значений показателей, связанных с технической поддержкой и/или выявлением ошибок.
В случае использования для анализа статистических данных, переход в устойчивое состояние может быть определён по стабилизации распределения целевых метрик процессов в рамках заданного контрольного интервала. Стоит отметить, что это распределение далеко не всегда является нормальным, закон его распределения зависит от физического смысла процесса.
Формирование аргументов целевой функции
Для формирования списка метрик - аргументов целевой функции, целесообразно добавить к каждой из них два параметра:
- достоверность, характеризующую применимость метрики в процессе функционирования АС;
- значимость, указывающую на ее важность с точки зрения принятия решений.
Дополненные этими параметрами метрики разделим на следующие группы:
1. Сохраняющие одинаковую достоверность / значимость в обоих состояниях АС.
2. Достоверные / значимые в обоих состояниях, однако уровни достоверности / значимости в разных состояниях отличны.
3. Достоверны / значимы только в одном состоянии («до» или «после»).
Переход между состояниями этих параметров метрики во времени может происходить как резко (метрика в определенный момент времени скачкообразно меняет свою достоверность / значимость), так и плавно (изменение растянуто во времени).
Пример характера поведения значимости метрик в процессе модернизации АС приведен на рис. 1. Аналогично строится и график изменения достоверности метрик от времени.
На этапе модернизации произведение «достоверность Х значимость» может рассматриваться как универсальная характеристика метрики. Наиболее эффективным способом применения такого произведения будет ранжирование (сортировка и группировка) метрик в процессе их анализа.
Основной задачей ранжирования является исключение из рассмотрения малозначимых и концентрация на анализе наиболее значимых (с точки зрения целевой функции) метрик. На практике это означает, что количество аргументов целевой функции может быть сокращено без ухудшения качества оценки состояния АС.
Ранжирование производится по следующему алгоритму:
1. Формируется список метрик в порядке уменьшения произведения.
2. Вводится одно или несколько пороговых значений, по которым производится разбиение метрик по группам важности.
3. Отбираются наиболее значимые метрики для включения в целевую функцию так, чтобы вычислить ее с требуемой точностью.
На рис. 2 показан пример ранжирования для десятизначной (1.10) шкалы с последующим формированием трех групп метрик:
1. Высокий приоритет - важность Х значимость >= 50 (розовые ячейки).
2. Средний приоритет - важность Х значимость >= 20 (синие ячейки).
3. Низкий приоритет - важность Х значимость < 20 (белые ячейки).
Значимость
1 2 3 4 5 6 7 8 9 10
1 1 2 3 4 5 6 7 8 9 10
2 2 4 6 8 10 12 14 16 18 20
3 3 6 9 12 15 18 21 24 27 30
1- и о 4 4 8 12 16 20 24 28 32 36 40
I о. ш т о 5 5 10 15 20 25 30 35 40 45 50
6 6 12 18 24 30 36 42 48 54 60
и О 7 7 14 21 28 35 42 49 56 63 70
8 8 16 24 32 40 48 56 64 72 80
9 9 18 27 36 45 54 63 72 81 90
10 10 20 30 40 50 60 70 80 90 100
Рис. 2. Интегральный показатель «значимость Х важность»
Таким образом, в каждый момент времени существует список ранжированных по приоритету метрик, позволяющих сформировать множество метрик для оценки процесса преобразования АС.
При практическом применении разработанной модели требуется учесть, что в процессе выполнения модернизации сроки выполнения этапов могут сдвигаться по отношению к запланированным. В связи с этим, может потребоваться корректировка временной зависимости метрик.
Для этого введем коэффициент ускорения / запаздывания работ по модернизации: ,
где - плановое время завершения работы, - реальное (или оценочное) время. Тогда скорректированная с учетом временного сдвига функция согласования примет вид
С = С ( С и* уг) .
Согласование метрик
Под согласованными метриками будем понимать метрики АС, удовлетворяющие следующим двум условиям:
- метрики характеризуют состояние АС в процессе модернизации;
- метрики связаны с функционированием АС в устойчивом состоянии (до или после модернизации).
Следует учесть, что метрики не могут быть согласованы без учета целей, знаний об АС и иных внешних факторов. Для их согласования должен анализироваться более общий контекст, позволяющий выявить их взаимосвязь и понять область их определения.
В методах согласования должна использоваться единая схема, состоящая из трех этапов. На первом этапе определяются внешние факторы, поведение которых отражается значениями метрик. На втором - строится модель, связывающая метрики в единое целое. На третьем - из множества полученных метрик исключаются не удовлетворяющие условиям согласования. Таким образом формируется итоговый список согласованных метрик.
Наиболее простым и эффективным способом согласования метрик является анализ причинно-следственных связей АС с окружением. Он основан на предположении, что все метрики являются внешним отражением процессов, происходящих в системе. После выделения внутренних процессов АС и связей между ними появляется возможность привязать к ним все используемые метрики. Пример графического отображения результатов такого анализа приведен на рис. 3.
Одним из основных достоинств этого метода с точки зрения удобства использования на практике является возможность наглядного представления метрик и породивших их процессов в виде направленного графа. Описав такой граф в матричной форме (матрицы причин и следствий, смежности, переходов), его представление можно легко автоматизировать и поддерживать в актуальном состоянии с использованием стандартного программного обеспечения электронных таблиц.
Рис. 3. Пример визуализации анализа «причина-следствие» для процессов F1..F3 и метрик Ю..О
Учет структуры предприятия при согласовании метрик
Помимо логической связности метрик, обусловленной характером породивших их процессов или целей, возможно отображение метрик на систему управления и/или принятия решений предприятия с функционирующей АС. При таком подходе каждая метрика располагается в определенной ячейке таблицы каскадирования метрик (рис. 4).
Уровень
Стратегический Тактический Оперативный
Этап
Компания Линия упраЕ ¡ления Линия
Бизнес-подразделение опти 1миза ции
Функциональное подразделение Лини я конт роля
Нижний уровень
Рис. 4. Вертикальное и горизонтальное каскадирование метрик
Приведем классификацию метрик по типу их взаимосвязей при каскадировании
[4]:
1. Дублированные метрики: высокоуровневые метрики дублируются на нижних уровнях. При свертке «вверх» метрики нижнего уровня или суммируются, или усредняются. В некоторых случаях используются взвешенные средние или логические значения. Это позволяет отразить низкие значения метрик с нижних уровней в метриках
высокого уровня и избежать эффекта «маскирования», когда существующая проблема слабо видна в усредненной по нескольким подразделениям или факторам метрике.
2. Производные метрики: получаются сверткой из низкоуровневых метрик, оценивающих один и тот же процесс, но различным образом. Например, реализация нового модуля может затронуть функции, выполняемые одновременно несколькими подразделениями с отражением результатов в метриках подразделений. Итоговая производная метрика покажет результат от внедрения модуля в целом.
3. Композиционные метрики: получаются из двух или более низкоуровневых метрик путем суммирования или усреднения. Этот вид характерен для объемных или затратных метрик, имеющих разное происхождение (затраты времени на обучение, затраты времени на поддержку), но единый физический смысл (время, деньги, материалы).
4. Уникальные метрики: существуют только на конкретном уровне и не свертываются в другие. Как правило, это метрики операционного уровня. Каскадирование метрик будем производить двумя способами:
- по организационной структуре (вертикальное каскадирование);
- по уровню поставленных перед АС целей (горизонтальное каскадирование). Целью вертикального каскадирования является информирование руководителей верхнего
уровня о динамике процесса модернизации АС. Это позволяет им видеть, как АС поддерживает цели, поставленные перед предприятием в целом. С другой стороны, вертикальное каскадирование позволяет сотрудникам на всех уровнях иерархии видеть, как внедрение АС меняет работу предприятия в целом, и каков их личный вклад в его работу.
Основная цель горизонтального каскадирования - согласование метрик между различными модулями (функциями, процессами и т.п.) и подразделениями так, чтобы повысить общий уровень возможной взаимной координации.
Следует отметить, что максимальная отдача от каскадирования метрик достигается в тех случаях, когда на предприятии внедрена и поддерживается как минимум одна из технологий управления:
1. Система менеджмента качества.
2. Система сбалансированных показателей.
3. Управление ^-инфраструктурой на основе ITIL/CobiT.
4. Система управления проектами.
Заключение
Описанный в статье подход к формированию метрик качества АС на этапе их модернизации является достаточно универсальным и простым в реализации. К его отличительным особенностям относится возможность совместного анализа метрик на разных уровнях функционирования АС - начиная с уровня отдельных функций до уровня стратегического управления компанией.
С помощью разработанных методов можно сформировать набор метрик, учитывающих не только потенциальные проблемы модернизации АС, но и организационную структуру компании, а также поставленные перед модернизацией АС цели. Это позволяет анализировать собираемую и накапливаемую в ходе модернизации АС информацию, осуществлять предупреждающие и корректирующие воздействия, обеспечивающие устойчивость процесса достижения поставленных целей модернизации.
Использование в качестве части параметров оценки стандартизованных метрик ITIL и методов каскадирования на основе системы сбалансированных показателей позволяет значительно упростить сбор и обработку первичной информации об АС в процессе формирования показателей качества.
Библиографический список
1. CobiT 4.1 // IT Governance Institute: URL: http://www.isaca.org/Knowledge-Center/cobit/Documents/CobiT_4.1.pdf. Дата обращения: 9.12.2011
2. Jan van Bon. Foundations of IT Service Management: based on ITIL v3. Van Haren Publishing, 2007
3. Брукс, Питер. Метрики для управления ИТ-услугами. М.: «Альпина Паблишер»,
2008.
4. Wayne W. Eckerson. Performance management strategies. How to Create and Deploy Effective Metrics. // FIRST QUARTER 2009 TDWI best practices Report. - URL: https://cours.etsmtl.ca/mti820/public_docs/lectures /HowToCreateAndDeployEffectiveMetrics.pdf, Дата обращения: 9.12.2011
Сведения об авторах
Бойцов Борис Васильевич, профессор Московского авиационного институа (национального исследовательского университета), д.т.н., профессор, e-mail: kaf104@mai.ru
Артамонов Игорь Михайлович, преподаватель Московского авиационного института (национального исследовательского университета), e-mail: art@mai.ru
Денискин Юрий Иванович, проректор по качеству и информатизации Московского авиационного института (национального исследовательского университета, д.т.н, доцент, e-mail: denis@mai.ru
