CC BY-NC-ND
98
К ВОПРОСУ ОБ ОЦЕНКЕ УРОВНЯ РАЗВИТИЯ СИСТЕМ УПРАВЛЕНИЯ ЭФФЕКТИВНОСТЬЮ
Д.В. Исаев,
кандидат экономических наук, доцент кафедры бизнес-аналитики, факультет бизнес-информатики, Национальный исследовательский университет «Высшая школа экономики»
Адрес: 101000, г. Москва, ул. Мясницкая, д. 20 E-mail: [email protected]
Статья посвящена вопросам оценки уровня развития систем управления эффективностью (performance management systems, PMSs), которые рассматриваются в одной из существующих трактовок, как системы информационной поддержки корпоративного управления и стратегического менеджмента. Такие системы предназначены для решения задач сбора, хранения, аналитической обработки и представления информации, являющейся ключевой для обеспечения информационной прозрачности организаций и поддержки принятия стратегических управленческих решений внешними и внутренними заинтересованными лицами. Цель исследования — предложить подход к оценке уровня развития таких систем. Для этого в статье рассмотрены существующие подходы к определению уровня развития систем управления и информационных систем, сформулированы общие принципы оценки, разработаны методические рекомендации в части оценки уровня развития систем управления эффективностью.
Предлагаемый подход к оценке уровня развития систем управления эффективностью основывается на иерархической концептуальной модели, включающей такие элементы, как функциональные блоки, функциональные модули и аналитические функции. В этом случае применим «восходящий» принцип, когда оценки вышестоящих элементов иерархической структуры (вплоть до системы в целом) основываются на оценках субординированных элементов нижестоящих уровней. При этом каждый элемент оценивается с точки зрения методов и процессов обработки управленческой информации, информационных систем, персонала, а также интеграции со смежными элементами, качества данных, результативности и управления. Также обосновывается целесообразность оценки уровня развития системы в динамике, в сопоставлении с определенными целевыми уровнями.
у J
Ключевые слова: управление эффективностью, система управления эффективностью, уровень развития, стратегический менеджмент, информационная поддержка управления, траектория развития.
Введение
Актуальность задачи оценки уровня развития систем управления эффективностью (performance management systems, PMSs) объясняется тем, что в современных условиях роль
таких систем в управлении предприятиями и организациями становится все более значительной. При этом, несмотря на определенные различия в существующих определениях и концептуальных моделях [1 - 5], основное предназначение систем управления эффективностью большинством авторов трактует-
ся примерно одинаково: это системы, деятельность которых направлена на преодоление разрыва между стратегическим и текущим уровнями управления, а также на обеспечение гибкости и адаптивности стратегического развития организации.
Одна из возможных трактовок понятия системы управления эффективностью предполагает ее рассмотрение как системы информационной поддержки корпоративного управления и стратегического менеджмента [6]. Данная трактовка системы управления эффективностью является более узкой, чем трактовки некоторых других авторов (например, в модели А.Феррейры и Д.Отли, помимо информационных потоков, систем и сетей, содержатся такие элементы, как видение и миссия, ключевые факторы успеха, организационная структура, система мотивации и некоторые другие [1]). Тем не менее, в ходе дальнейшего изложения будем рассматривать системы управления эффективностью именно с точки зрения информационного аспекта.
1. Роль мониторинга в развитии систем управления эффективностью
Управление развитием систем управления эффективностью предусматривает три уровня иерархии, на каждом из которых присутствуют функции проектирования, планирования и контроля [7; 8]. Разным уровням соответствуют разные объекты управления: на верхнем уровне в качестве объекта управления выступает система в целом, на среднем — входящие в ее состав подсистемы, на нижнем — проекты внедрения или совершенствования отдельных элементов.
На каждом из трех уровней управления значительную роль играет мониторинг — регулярный процесс сбора, структурирования и обобщения информации о характеристиках, событиях и явлениях, относящихся к объекту мониторинга — системе в целом или какой-то ее части. Именно мониторинг позволяет сформировать мнение о текущем состоянии и динамике развития системы. Более того, одни и те же показатели могут использоваться не только для мониторинга (отражения состояния системы в текущий момент времени или в прошлом), но и для планирования (описания состояния системы в будущем). Это, в свою очередь, позволяет контролировать развитие системы путем анализа отклонений фактических значений ее параметров от запланированных.
Показатели развития также играют существен-
ную роль на этапе проектирования системы. В этом случае они выступают в качестве средства целевой ориентации развития: проектирование системы ведется таким образом, чтобы придать ей определенные свойства и обеспечить желаемые (целевые) характеристики.
При разработке рекомендаций в области оценки уровня развития системы следует принимать во внимание некоторые основополагающие принципы, к числу которых относятся принципы декомпозиции и измеримости [9]. Принцип декомпозиции исходит из того, что уровень развития определяется не только для системы в целом, но и для отдельных ее составляющих, а также для отдельных аспектов, определяющих уровень развития. Принцип измеримости предусматривает описание объектов управления в виде количественных показателей, которые могут быть как ретроспективными (мониторинг), так и перспективными (планирование). При этом в случаях, когда определенные характеристики имеют качественный характер, необходима квантификация — выражение качественных характеристик в количественном виде.
Говоря о применимости разных типов показателей для оценки уровня развития системы (и, соответственно, для мониторинга и планирования), следует отметить ведущую роль качественных показателей, которые нельзя измерить, но можно оценить и соотнести с определенной шкалой. В результате происходит выражение качественных показателей в количественном виде.
Оценка уровня развития также может применяться при анализе эффективности инвестиций, направляемых на развитие системы — внедрение новых методов, регламентов и информационных систем, реорганизацию систем управления, повышение квалификации персонала и т.д. Для такого анализа необходимо сопоставлять финансовые характеристики затратной части проектов с изменениями показателей уровня развития системы, многие из которых по своей сущности являются качественными.
2. Практика применения моделей, основанных на уровнях зрелости
Поскольку существенную роль в оценке уровня развития некоторых типов организационно-технических систем (организаций, систем управления, информационных систем) играют качественные показатели, в области оценки уровня развития таких
систем широкое распространение получил подход, основанный на упорядоченных по возрастанию пороговых уровнях зрелости (maturity levels), отражающих качественные различия в развитии оцениваемых объектов.
Одной из первых таких моделей является модель зрелости процессов разработки программного обеспечения (Capability Maturity Model for Software), разработанная для оценки уровня развития процессов разработки программного обеспечения [10]. Впоследствии принципы оценки процессов на основе пороговых уровней зрелости нашли развитие в разных версиях документации «Задачи контроля для информационных и смежных технологий» (Control Objectives for Information and Related Technology, COBIT) [11; 12].
Модели, основанные на уровнях зрелости, применяются не только по отношению к процессам, но и для оценки уровня развития информационных систем. Одной из таких разработок является модель оценки уровня зрелости систем бизнес-интеллекта, разработанная Институтом хранилищ данных (The Data Warehouse Institute, TDWI) [13]. Еще одна методика, разработанная TDWI, связана с оценкой решений, предназначенных для анализа больших данных (big data) [14].
В качестве примеров других разработок, основанных на уровнях зрелости, можно привести методики оценки уровня развития в таких областях, как управление информационными технологиями организации [15], архитектура предприятия [16 - 18], соответствие бизнеса и информационных технологий [19], сервисно-ориентированная архитектура [20].
Одна из методик оценки уровня развития разработана специально для оценки систем управления эффективностью и предусматривает определение индекса управления эффективностью (performance management index, PMI) [21; 22]. Методика предусматривает пять пороговых уровней зрелости. На первом («начальном») уровне развития характеризуется как «информационный силос», этому уровню свойственны локальный характер применяемых решений и средств формирования управленческой отчетности, низкое качество данных, отсутствие корпоративных стандартов управления эффективностью и централизованного управления системой. На втором («повторяемом») уровне организация приходит к пониманию значимости управления эффективностью для достижения своих целей, при этом сами цели также осознаны и определены в яв-
ном виде. На этом уровне применяются финансовые информационные системы, а также витрины данных и интерактивные системы управленческой отчетности. На третьем («определенном») уровне обеспечивается мониторинг реализации корпоративной стратегии и принятия управленческих решений на основе фактической информации. Для этого применяются системы корпоративного планирования и прогнозирования, управление по ключевым показателям эффективности, а также хранилища данных, панели индикаторов и средства централизованной поддержки основных данных. На четвертом («управляемом») уровне активно применяются аналитические методы, модели и системы. Наконец, на пятом («оптимизированном») уровне система управления эффективностью превращается в основной инструмент стратегического управления организацией.
Несомненным достоинством моделей, основанных на пороговых уровнях, является возможность рассмотрения не только количественных, но и качественных характеристик оцениваемых объектов. Кроме того, следует отметить системный подход и аналитический характер моделей: уровень развития оцениваемого объекта (системы) в целом складывается из уровней развития по каждому из аспектов.
В то же время существующие модели имеют ряд существенных ограничений.
Прежде всего, следует отметить то, что в качестве объекта оценки выступает только система в целом, возможность оценки отдельных ее элементов не рассматривается. Кроме того, не рассматриваются вопросы привязке этих элементов к организационной структуре или структуре управления организацией. Еще одна проблемная область связана с формальностью некоторых критериев, которая, как правило, сопровождается недостаточно четким описанием процедур и алгоритмов формирования оценок по этим критериям. Что касается консолидации (обобщения) оценок, то здесь применяется метод взвешенной суммы критериев. Помимо ряда достоинств (понятность, вычислительная простота) этому методу присущ целый ряд неустранимых недостатков принципиального характера, к числу которых относятся отсутствие у интегрального показателя содержательного смысла, постоянство коэффициентов важности критериев при любых их значениях, невыполнение условия взаимонезависимости критериев, необоснованное рассмотрение общей шкалы критериев как количественной, необоснованное принятие допущения о равномерности общей шка-
статистических методов. Для машинной обработки данных информация должна быть четко формализована и как можно лучше структурирована. Поэтому наиболее подходящим для решения задачи методом является анкетный опрос с подготовленными формализованными вопросами.
Для повышения достоверности экспертных оценок чаще всего применяются метод решающих матриц [5] и метод Дельфи [6]. Метод решающих матриц предполагает разбиение проблемы на несколько подзадач и пошаговое получение экспертных оценок. Экспертам проще ответить на детализированные частные вопросы, что приводит к улучшению качества анкетирования. В процессе сбора последовательно формируется все более полная картина, позволяющая всесторонне оценить ситуацию и выработать обоснованное управленческое решение. При данной методике для создания базы знаний достаточной полноты необходимо многократное анкетирование большого числа экспертов, что является технически сложной и затратной процедурой.
Наиболее распространенным методом сбора и обработки экспертных сведений является метод Дельфи. При использовании этого метода проводится многоэтапное анкетирование с обратной связью с целью приведения ответов экспертов к единому мнению большинства. При этом мнения экспертов, которые значительно отклоняются от главного направления, фактически отбрасываются. Компетентность экспертов в существующих системах также оценивается с точки зрения близости их мнений к основному вектору. Однако во многих случаях именно особые мнения могут оказаться верными, и классический подход приводит к существенному искажению конечного результата.
Исходя из вышесказанного, предлагается использовать модифицированный алгоритм сбора и обработки данных, основанный на классическом подходе и предусматривающий первичное анкетирование большого числа экспертов и учет всех экспертных мнений, но в дальнейшем с проведением опросов выделенной группы экспертов.
Для правильной оценки разброса экспертных мнений необходимо учитывать компетенцию экспертов. К методам оценки компетенции экспертов относят следующие группы: априорные, апостериорные и тестовые. Априорные методы позволяют получить оценку до проведения сессий, в то время как апостериорная оценка фактически является
оценкой по результатам сбора экспертных сведений. К апостериорным методам, например, относится метод определения компетенции на основе степени отклонения мнения эксперта от консолидированного мнения большинства.
Оценка компетенции эксперта по степени отклонения его мнения от мнения большинства может привести к тому, что мнение высококомпетентного эксперта будет проигнорировано, так как оно не совпадает с основной совокупностью мнений менее компетентных экспертов.
Тестовый метод наиболее надежен, так как использует заранее известное суждение, принятое как эталон, что позволяет оценить степень приближенности знаний эксперта к истинным. Этот метод используется на первом этапе опроса и может выдаваться как экспертное задание. Однако, при проведении форсайт-исследований такой метод сложен в реализации, так как правильность ответов экспертов можно проверить только по прошествии длительного периода времени.
Априорные оценки компетенции могут быть получены с применением одного из описанных ниже методов. В основе метода самооценки лежит самостоятельное определение экспертом уровня собственных знаний. Данный метод основан на предпосылке, что более уверенный в своих знаниях эксперт, как правило, имеет более высокий уровень самооценки. Судейский метод предусматривает взаимную оценку экспертами уровня компетентности (при условии знакомства с результатами научной деятельности) с заданием критериев компетентности или формированием группы признанных компетентных экспертов, которые оценивают других. Этот метод имеет существенный недостаток — влияние личностных отношений между экспертами на результат оценки. Наиболее объективным считается метод оценки компетенции по вторичным источникам (публикации, индекс цитирования, справочники профессиональных сообществ, рейтинги и топ-листы профессиональных журналов, итоги конкурсов и т.п.).
Также к методам оценки по вторичным источникам можно отнести метод «скрытых коллективов» [7]. В процессе построения графа отношений научных деятелей на основе анализа совместной публикационной активности и картины цитирования публикаций выявляются устойчивые группы экспертов. Метод позволяет ранжировать специалистов заданной предметной области внутри групп, а
лы критериев и некоторые другие [23]. Еще одним фактором ограниченности существующих методик является отсутствие целевой ориентации развития и игнорирование того факта, что разные организации (в зависимости от бизнеса, рынка или этапа своего развития) имеют разные потребности в развитии своих систем управления и информационных систем. Наконец, ограниченность существующих методик проявляется еще и в том, что все оценки носят статический характер, тогда как несомненный интерес представляет динамика развития, т.е. изменение уровня развития системы с течением времени.
3. Оценка уровня развития системы управления эффективностью на основе ее концептуальной модели
Детальный анализ системы управления эффективностью, позволяющий оценить уровень развития как системы в целом, так и ее составляющих, может быть произведен на основе ее концептуальной модели. Концептуальное моделирование системы управления эффективностью (напомним, что мы рассматриваем такие системы в одной из существующих трактовок, как системы информационной поддержки корпоративного управления и стратегического менеджмента) предусматривает построение информационно-логической модели, основными элементами которой являются информационные потоки, внешние информационные объекты, функциональные блоки, функциональные модули и аналитические функции [24]. Под информационным потоком понимается обособленная часть управленческой информации, подлежащая передаче между, как минимум, двумя информационными объектами — источником информации и ее получателем. Источники и получатели информационных потоков, находящиеся за пределами системы, представляют собой внешние информационные объекты. Информационные объекты, находящиеся внутри системы и осуществляющие преобразование управленческой информации, укрупненно представляются в виде функциональных блоков. Базовая информационно-логическая модель, являющаяся общей для предприятий и организаций разных отраслей, включает четыре функциональных блока: блок стратегического анализа и стратегического выбора, блок целевого управления, блок корпоративного планирования и бюджетирования и блок корпоративной отчетности [25]. Дальнейшая детализация функциональных блоков предусматривает их декомпозицию на
функциональные модули, которые характеризуют определенный класс задач обработки управленческой информации, находящихся в рамках той или иной предметной области. Преобразование входящих информационных потоков в исходящие осуществляется посредством аналитических функций, которые могут иметь как проектный, так и процессный характер.
В случае наличия концептуальной информационно-логической модели системы оценка уровня развития может быть организована по восходящему («снизу вверх») принципу: сначала оцениваются конечные («листовые») элементы системы, т.е. аналитические функции, затем, на основе оценок функций, — функциональные модули, затем — функциональные блоки и, наконец, система в целом. Поскольку многие характеристики системы носят качественный характер и не могут быть надежно измерены в количественном выражении, то для оценки уровня развития могут быть приняты пороговые уровни зрелости, как и в модели «performance management index» (PMI) [21; 22].
Оценка аналитических функций (листовых элементов) может осуществляться на основе перспектив (аналог компонентов в модели PMI), аспектов (аналог субкомпонентов в модели PMI) и критериев.
Перспективы носят укрупненный характер, каждая из них представляет собой взгляд на систему с определенной точки зрения и, таким образом, служит для лучшего понимания системы в целом. Основные перспективы характеризуют внутреннее содержание оцениваемых аналитических функций: к ним относятся применяемые аналитические методы и модели, процессы и регламенты обработки управленческой информации, информационные системы, при помощи которых происходит обработка информации, а также соответствующий управленческий персонал. Дополнительные перспективы характеризуют интеграцию (каналы взаимодействия той или иной функции с другими элементами модели), качество входящих данных, результативность (качественные характеристики информации, являющейся исходящей для рассматриваемых функций), а также управление и контроль деятельности оцениваемых аналитических функций.
Каждая перспектива рассматривается в разрезе аспектов. Аспекты представляют собой характеристики системы, в совокупности определяющие уровень ее развития в рамках данной перспективы.
Каждый из аспектов оценивается относительно пороговых уровней зрелости по одному или нескольким критериям. Для этого для каждого критерия должна быть определена его «привязка» к уровням зрелости: в каком случае аналитическая функция может быть отнесена к тому или иному уровню зрелости. На этой основе осуществляется квантификация — оценка рассматриваемой аналитической функции относительно выбранной шкалы по соответствующему критерию, даже если этот критерий носит качественный характер.
После того, как рассматриваемая аналитическая функция оказывается оцененной по всем критериям, становится возможным сформировать интегральную оценку функции: сначала — по каждому из аспектов, затем — по каждой из перспектив и, наконец, оценку функции в целом.
Обобщение оценок уровня развития аналитической функции по критериям, аспектам и перспективам может осуществляться разными способами. Прежде всего, может применяться правило: вышестоящая оценка равна минимальной из нижестоящих оценок (например, оценка по аспекту равна минимальной из оценок по всем критериям, входящим в состав данного аспекта). Кроме того, если есть возможность определить относительную важность элементов оценки (критериев в составе аспектов, аспектов в составе перспектив и самих перспектив), то может быть применен «традиционный» метод взвешенной суммы критериев: оценка вышестоящего уровня формируется путем суммирования оценок нижестоящего уровня, умноженных на коэффициенты их относительной важности. Кроме того, метод взвешенной суммы критериев может быть модифицирован путем замены значений некоторых оценок в соответствии со следующим правилом: сначала определяется минимальная (среди всех критериев) оценка, после чего все оценки, превышающие минимальную на две и более позиции, понижаются до уровня «минимальная оценка плюс один».
Оценка вышестоящих по отношению к аналитическим функциям элементам концептуальной модели (функциональных модулей, функциональных блоков, системы в целом) строится аналогичным образом: здесь тоже могут применяться обобщение на основе минимальной оценки нижестоящего элемента, взвешенной суммы критериев или взвешенной суммы критериев с усеченными значениями. Важно отметить, что оценку аналитических функций и вышестоящих элементов (функциональных модулей, функциональных блоков, системы в це-
лом) можно осуществлять как по полному набору аспектов и перспектив, так и отдельно по конкретному аспекту, конкретной перспективе или некоторому их сочетанию.
Как для системы в целом, так и для отдельных ее элементов целесообразно применять целевые уровни развития. Они, как и фактические значения уровня развития, формируются на основе уровней зрелости. Однако если уровни зрелости определяются объективными критериями и являются общими для всех организаций (независимо от типов, размеров и отраслевой принадлежности), то целевые уровни развития определяются каждой организацией индивидуально и отражают видение конкретной организации в отношении «приемлемого» или «желаемого» уровней развития своей системы управления эффективностью. При этом вполне допускается применение как одного, так и нескольких целевых уровней. Например, организация может установить «уровень необходимости» (уровень развития, достижение которого является обязательным, а недостижение может привести к серьезным проблемам в системе управления) и «уровень достаточности» (желаемый уровень развития, по достижении которого дальнейшие инвестиции в развитие уже не будут существенно влиять на эффективность системы управления).
Наконец, и фактические, и целевые значения показателей развития должны рассматриваться в динамике. Что касается фактических значений, то их изменение с течением времени, отражающее совершенствование системы и улучшение ее характеристик, выглядит вполне естественным. Это позволяет перейти от отдельных показателей к траектории развития системы, представляющей собой изменение значений фактических показателей уровня развития с течением времени. Более того, траектория развития может быть не только фактической, но и плановой (т.е. относящейся не к прошлому, а к будущему). Плановая траектория определяется программой развития и результативностью запланированных проектов, поскольку именно они определяют положительные изменения характеристик системы и, соответственно, динамику общего уровня развития. Более того, поскольку сроки реализации проектов и их влияние на систему часто имеют вероятностный характер, программе развития может соответствовать семейство перспективных траекторий, каждая из которых может иметь место с определенной вероятностью.
Помимо траектории развития системы в целом, аналогичные траектории могут строиться для отдельных ее элементов, а также для отдельных перспектив и аспектов развития. Кроме того, следует отметить, что требования, предъявляемые организацией к своей системе управления, также могут изменяться с течением времени. Поэтому целевые уровни развития, наряду с фактическими и плановыми траекториями, также должны рассматриваться в динамике.
Заключение
Вопросы оценки уровня развития систем управления эффективностью имеют большое значение для мониторинга развития таких систем, планирования их развития, а также для проектирования систем и их составляющих. При оценке систем управления эффективностью существенную роль играют качественные характеристики, которые можно оценить экспертным путем и затем соотнести с определенной шкалой. Поэтому наиболее перспективным в данном случае является подход, основанный на упорядоченных по возрастанию пороговых уровнях зрелости, отражающих качественные различия в развитии оцениваемых объектов. Различные методики, основанные на уровнях зрелости, сегодня находят широкое применение для оценки процессов, систем управления и информационных систем. В то же время существующие модели имеют ряд существенных ограничений, к числу которых относятся отказ от оценки отдельных составляющих системы, отсутствие привязки к организационной структуре, формальность применяемых критериев, недостаточная четкость процедур и алгоритмов
оценки, отсутствие практики применения целевых значений уровня развития, а также статичность.
В качестве подхода к оценке уровня развития системы управления эффективностью предлагается подход, основанный на ее концептуальной модели, основными элементами которой являются информационные потоки, внешние информационные объекты, функциональные блоки, функциональные модули и аналитические функции. В этом случае оценка уровня развития может быть организована по восходящему принципу: сначала оцениваются аналитические функции, затем — функциональные модули, функциональные блоки и система в целом. При этом сама оценка осуществляется на основе перспектив, аспектов и критериев. Это позволяет оценивать аналитические функции и вышестоящие элементы как по полному набору аспектов и перспектив, так и отдельно по конкретному аспекту, конкретной перспективе или некоторому их сочетанию.
Помимо фактических значений уровня развития, применяются целевые уровни развития, которые также формируются на основе уровней зрелости. Целевые уровни определяются каждой организацией индивидуально и отражают видение конкретной организации в отношении «приемлемого» или «желаемого» уровней развития своей системы управления эффективностью.
Также представляется целесообразным, чтобы значения показателей уровня развития (включая целевые) рассматривались в динамике. При этом может рассматриваться как траектория развития системы в целом, так и траектории развития отдельных элементов. ■
Литература
1. Ferreira A., Otley D. The design and use of performance management systems: An extended framework for analysis // Management Accounting Research. 2009. No.20. P. 263-282.
2. Business Performance Management Industry Framework Document. Final version 5.0. BPM Standards Group, 2005. 27 pp.
3. Стратегический разрыв: технологии воплощения корпоративной стратегии в жизнь / М.Ковени и [др.]: Пер. с англ. М.: Альпина Бизнес Букс, 2004. 232 с.
4. Кокинз Г. Управление результативностью: Как преодолеть разрыв между объявленной стратегией и реальными процессами: Пер. с англ. М.: Альпина Бизнес Букс, 2008. 318 с.
5. Эккерсон У.У. Панели индикаторов как инструмент управления: ключевые показатели эффективности, мониторинг деятельности, оценка результатов: Пер. с англ. М.: Альпина Бизнес Букс, 2007. 396 с.
6. Исаев Д.В. Корпоративное управление и стратегический менеджмент: информационный аспект. М.: Изд. дом ГУ-ВШЭ, 2010. 219 с.
7. Исаев Д.В. Процесс управления развитием систем информационной поддержки корпоративного управления и стратегического менеджмента // Аудит и финансовый анализ. 2012. №4. C. 276-281.
8. Исаев Д.В. Развитие систем информационной поддержки корпоративного управления и стратегиче-
ского менеджмента // Бизнес-информатика. 2011. №2 (16). C. 56-62.
9. Исаев Д.В. Мониторинг и планирование развития систем информационной поддержки корпоративного управления и стратегического менеджмента // Бизнес-информатика. 2012. №3 (21). С. 63-69.
10.Capability Maturity Model for Software, Version 1.1. Technical Report. CMU/SEI-93-TR-024; ESC-TR-93-177. February 1993 // Software Engineering Institute, Carnegie Mellon University, 1993. 64 pp.
11.COBIT 4.1. IT Governance Institute. 2007. 196 pp.
12.COBIT 5: A Business Framework for the Governance and Management of Enterprise IT. ISACA. 2012.
13.Eckerson W.W. Beyond the Basics: Accelerating BI Maturity. Renton, WA: TDWI, 2007. 15 pp.
14.Halper F., Krishnan K. TDWI Bid Data Maturity Model Guide: Interpreting Your Assessment Score. Renton, WA: TDWI, 2013. 18 pp.
15.Weill P., Ross J. IT Governance: How Top Performers Manage IT Decision Rights for Superior Results. Boston: Harvard School Press, 2004. 267 pp.
16.Ross J., Weill P., Robertson D. Enterprise Architecture as Strategy: Creating a Foundation for Business Execution. Boston: Harvard School Press, 2006. 234 pp.
17.NASCIO Enterprise Architecture Maturity Model. Version 1.3. December 2003. Lexington, KY: National Association of State Chief Information Officers (NASCIO), 2003. 16 pp.
18.Extended Enterprise Architecture Maturity Model Support Guide. Version 2.0 / Editorial writer: J.Schekkerman. Amersfoort: Institute for Enterprise Architecture Developments (IFEAD), 2006. 4 pp.
19.Luftman J., Kempaiah R. An Update on Business-IT Alignment: A Line Has Been Drawn. MIS Quarterly Executive, 2007. Vol. 6. No. 3 (September 2007). P. 165-177.
20.Perko J. IT Governance and Enterprise Architecture as Prerequisites for Assimilation of Service-Oriented Architecture: An Empirical Study of Large Finnish Companies / Thesis for the Degree of Doctor of Technology. Tampere: Tampere University of Technology, 2008. 248 pp.
21.Aho M. A Capability Maturity Model for Corporate Performance Management — An Empirical Study in Large Finnish Manufacturing Companies // Proceedings of EBRF 2009 — Research Forum to Understand Business in Knowledge Society. JyväskyM, Finland. September 23-25, 2009.
22.Aho M. What is your PMI? A Model for Assessing the Maturity of Performance Management in Organizations // Proceedings of 'Performance Management: From Strategy to Delivery' (PMA 2012) conference. University of Cambridge, UK. July 11-13, 2012.
23.Подиновский В.В., Потапов М.А. Метод взвешенной суммы критериев в анализе многокритериальных решений: Pro et contra // Бизнес-информатика. 2013. № 3 (25). С. 41-48.
24.Исаев Д.В. Проектирование систем информационной поддержки корпоративного управления и стратегического менеджмента // Аудит и финансовый анализ. 2013. №6. С. 329-334.
25.Isaev D. Performance Management Information Support System: A Conceptual Model // European Journal of Economics, Finance and Administrative Sciences. 2012. Issue 52. P. 6-20.
ON EVALUATION OF PERFORMANCE MANAGEMENT SYSTEMS MATURITY
Dmitry ISAEV,
Associate Professor, Department of Business Analytics, Faculty of Business Informatics, National Research University Higher School of Economics.
Address: 20, Myasnitskaya str., Moscow, 101000, Russian Federation E-mail: [email protected]
(T
V
The paper focuses on estimating maturity of performance management systems, which are considered according to one of the possible treatments, as systems for information support of corporate governance and strategic management. Such systems are focused into the tasks of gathering, storage, analytical processing and presentation of information, which is critical for organizations' information transparency and strategic decision making performed by external and internal stakeholders. The purpose of this paper is to advance a approach to evaluating maturity of such systems. For this purpose, we have considered existing approaches to maturity evaluation for management and information systems, formulated general principles of maturity evaluation, and developedmethodologicalrecommendations
in the field of performance management systems maturity evaluation.
The proposedapproach to evaluatingperformancemanagement system maturity relies on its hierarchical conceptual model that includes such elements as functional blocks, functional modules and analytical functions. In this case a «bottom-up» principle is applicable: evaluation of higher level elements maturity (up to the system as a whole) is performed relying on estimates of subordinated lower level elements. At that, every element is estimated from viewpoints ofdata processing methods and processes, information systems, personnel, as well as integration with complementary elements, data quality, effectiveness and governance. Advisability of maturity evaluation in dynamics, as well as comparison with certain target levels is also justified.
J
Key words: performance management, performance management system, maturity level, strategic management, information support, development trajectory.
References
1. Ferreira A., Otley D. (2009) The design and use of performance management systems: An extended framework for analysis. Management Accounting Research, no. 20, p. 263-282.
2. BPM Standards Group (2005) Business Performance Management Industry Framework Document. Final version 5.0. BPM Standards Group.
3. Coveney M., Ganster D., Hartlen B., King D. (2004) Strategicheskij razryv: tehnologii voploshhenija korporativnoj strategii v zhizn' [The Strategy Gap: Leveraging Technology to Execute Winning Strategies]. Moscow: Alpina Business Books. (in Russian)
4. Cokins G. (2008) Upravlenie rezul'tativnost'ju: Kak preodolet' razryv mezhdu ob'javlennoj strategiej i real'nymi processami [Performance Management: Finding the Missing Pieces (to Close the Intelligence Gap)]. Moscow: Alpina Business Books. (in Russian)
5. Eckerson W.W. (2007) Paneli indikatorov kak instrument upravlenija: kljuchevye pokazateli jeffektivnosti, monitoring dejatel'nosti, ocenka rezul'tatov [Performance Dashboards: Measuring, Monitoring and Managing Your Business]. Moscow: Alpina Business Books. (in Russian)
6. Isaev D.V. (2010) Korporativnoe upravlenie i strategicheskij menedzhment: informacionnyj aspect [Corporate Governance and Strategic Management: Information Aspect]. Moscow: HSE. (in Russian)
7. Isaev D.V. (2012) Process upravlenija razvitiem sistem informacionnoj podderzhki korporativnogo upravlenija i strategicheskogo menedzhmenta [A Management Process of Corporate Governance and Strategic Management Information Support Systems Development]. Audit and Financial Analysis, no. 4, p. 276-281. (in Russian)
8. Isaev D.V. (2011) Razvitie sistem informacionnoj podderzhki korporativnogo upravlenija i strategicheskogo menedzhmenta [Development of Information Support Systems for Corporate Governance and Strategic Management]. Business Informatics, no. №2 (16), p. 56-62. (in Russian)
9. Isaev D.V. (2012) Monitoring i planirovanie razvitija sistem informacionnoj podderzhki korporativnogo upravlenija i strategicheskogo menedzhmenta [Monitoring and Planning of Development of Information Support Systems for Corporate Governance and Strategic Management]. Business Informatics, no. 3 (21), p. 63-69. (in Russian)
10. Carnegie Mellon University (1993) Capability Maturity Model for Software, Version 1.1. Technical Report. CMU/SFI-93-TR-024; FSC-TR-93-177. February 1993. Software Engineering Institute, Carnegie Mellon University.
11. IT Governance Institute (2007) COBIT 4.1. IT Governance Institute.
12. ISACA (2012) COBIT 5: A Business Framework for the Governance and Management of Enterprise IT. ISACA.
13. Eckerson W.W. (2007) Beyond the Basics: Accelerating BIMaturity, Renton, WA: TDWI.
14. Halper F., Krishnan K. (2013) TDWI Bid Data Maturity Model Guide: Interpreting Your Assessment Score, Renton, WA: TDWI.
15. Weill P., Ross J. (2004) IT Governance: How Top Performers Manage IT Decision Rights for Superior Results, Boston: Harvard School Press.
16. Ross J., Weill P., Robertson D. (2006) Enterprise Architecture as Strategy: Creating a Foundation for Business Execution, Boston: Harvard School Press.
17. National Association of State Chief Information Officers (2003) NASCIO Enterprise Architecture Maturity Model. Version 1.3. December 2003, Lexington, KY: NASCIO.
18. Institute for Enterprise Architecture Developments (2006) Extended Enterprise Architecture Maturity Model Support Guide. Version 2.0 / Editorial writer: J.Schekkerman, Amersfoort: IFEAD.
19. Luftman J., Kempaiah R. (2007) An Update on Business-IT Alignment: A Line Has Been Drawn. MIS Quarterly Executive, vol. 6, no. 3 (September 2007), p. 165-177.
20. Perko J. (2008) IT Governance and Enterprise Architecture as Prerequisites for Assimilation of Service-Oriented Architecture: An Empirical Study of Large Finnish Companies. Thesis for the Degree of Doctor of Technology. Tampere: Tampere University of Technology.
21. Aho M. (2009) A Capability Maturity Model for Corporate Performance Management — An Empirical Study in Large Finnish Manufacturing Companies. Proceedings of EBRF2009 — Research Forum to Understand Business in Knowledge Society. Jytäsky&, Finland. September 23-25, 2009.
22. Aho M. (2012) What is your PMI? A Model for Assessing the Maturity of Performance Management in Organizations. Proceedings of 'Performance Management: From Strategy to Delivery'(PMA 2012) conference. University of Cambridge, UK. July 11-13, 2012.
23. Podinovski V.V., Potapov M.A. (2013) Metod vzveshennoj summy kriteriev v analize mnogokriterial'nyh reshenij: Pro et contra [Weighted Sum Method in The Analysis of Multicriterial Decisions: Pro et Contra]. Business Informatics, no. 3 (25), p. 41-48. (in Russian)
24. Isaev D.V. (2013) Proektirovanie sistem informacionnoj podderzhki korporativnogo upravlenija i strategicheskogo menedzhmenta [Design of Corporate Governance and Strategic Management Information Support Systems]. Audit and Financial Analysis, no. 6, p. 329-334. (in Russian)
25. Isaev D. (2012) Performance Management Information Support System: A Conceptual Model. European Journal of Economics, Finance and Administrative Sciences, issue 52, p. 6-20.
