CC BY
170Методы анализа Methods of anatysis - 13 -
УДК 007.78:330.4
МЕТОДИКА ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ИНФОРМАЦИОННЫХ СИСТЕМ В ЭКОНОМИКЕ ПРЕДПРИЯТИЯ
Т.А. ТКАЛИЧ,
кандидат физико-математических наук, доцент кафедры информационных технологий E-mail: informatika@tut.by Белорусский государственный экономический университет
Рыночная экономика и динамичная внешняя среда вызвали повышение сложности информационных систем, сместили акценты стратегии информатизации хозяйствующих субъектов с оптимизации экономико-финансовых и производственных показателей на обеспечение гибкости, согласованности и адаптивности к изменениям окружающей среды и конъюнктуры рынка. Это потребовало разработки специальных методов обоснования эффективного функционирования информационных систем. Предлагается методика оценки ключевых показателей эффективности информационных систем в производственно-управленческой деятельности, основанная на обработке анкетных данных о функционировании информационных систем, формировании модели выработки управленческого решения на основе целевых функций и проведения бенчмаркинга. Сделан вывод, что в условиях рыночной экономики исчисление качественных эффектов является актуальным критерием подтверждения результативности проектов.
Ключевые слова: KPI результативности информационных систем, алгоритм оценки опросные анкеты, модель систематизации целевая функция, решающее правило
Стремительный рост значимости информатизации в экономическом и социальном прогрессе определяет информационные технологии (ИТ) стратегическим ресурсом деятельности государственных органов и конкурентоспособности хозяйствующих субъектов, совершенствования бизнеса и использования квалифицированной рабочей силы, повышения качества товаров и услуг,
эффективности производства и управления, роста интеллектуального потенциала.
В настоящее время образовались направления, призванные оценить преимущества информационных технологий и установить реальную измеримую связь с бизнес-стратегией хозяйствующих субъектов. За рубежом получены определенные результаты, среди них - закон о реализации реформ в сфере информационных технологий (США); стандарты ИТ-управления ISO 38500, ISO 20000, CoblT; методики ведущих организаций в сфере оценки результативности информационных технологий -Information technology investment management (ITIM), Applied information economics (AIE), Total cost ownership (ТСО), Economic value creation (EVC), Total economic impact (TEI), Balanced scorecards (BSC), Key performance indicators (KPI), Value Engineering и др.
Традиционализм, превалирующий в отечественных подходах, вызывает необходимость пересмотра существующей методики оценки экономической эффективности информационных систем, приведение ее к ключевым показателям эффективности (KPI), отражающим опережающее и устойчивое развитие хозяйствующих субъектов, повышение эффективности информационных систем в трансформационной экономике.
Основные проблемы аналитики KPI состоят в особенностях показателей результативности информационных систем, характеризующих в большинстве своем качественные эффекты автоматизации; а также разработки ориентиров восприятия целостной информации о результативности функционирования.
Обзор технологий формирования KPI приведен в электронных библиотеках [6], в известных публикациях Д. Нортона, Р. Каплана, П. Нивена [5], в рекомендациях профильных агентств (ITU, ITIL, Gartner, Forrester). Разработчики Microsoft, SAP, SAS представляют способы агрегирования KPI информационных систем. Обзор изданий, посвященных практической реализации, показал, что до настоящего времени концепция KPI информационных систем, ориентированная на управленцев, находится в зачаточном состоянии.
В фундаментальных работах Т. Стьюарта, П. Страссмана, Э. Бриньолфсона, П. Седдона, С. Девана, Д. Сигела и др. [1, 8] помимо базовых
финансовых отмечается целесообразность целевых комплексных показателей - экономической добавленной стоимости (EVA), ИТ-капитала (совокупность предоставляемых и накапливаемых со временем возможностей информационных систем для прироста конкурентных преимуществ хозяйствующих субъектов), целевых функций; в трудах Д. Акерлофа и др. - применения информационных сигналов проявления качественных эффектов.
В практике агрегирования KPI используются различные рамочные модели (табл. 1) [2].
В области информационных технологий наиболее популярны модели группировки BSC и DeLone&McLean. В работе [2] автором описан ал-
Таблица l
Модели сопоставления KPI информационных систем
Модель Назначение Содержание
Критерии международных премий качества Анализ эффективности по категориям качества Европейской премии качества EFQM Критерий премии качества Республики Беларусь - политика качества, персонал, ресурсы, управление, удовлетворенность потребителей, конкурентоспособность, удовлетворенность персонала, результативность
Домик качества Технология развертывания функции качества. Разработана в Японии в 1966 г Едзи Акао Целью функции качества является перевод субъективных критериев качества в набор технических характеристик, которые можно измерить и которые можно применять для проектирования и производства
Performance Reference Model Справочная модель оценки результативности ИТ Стандартизованная рамочная структура, предназначенная для измерения характеристик ИТ и оценки их вклада в деятельность хозяйствующих субъектов
Performance Measurement in Service Business Характеризует хозяйствующий субъект в сфере сервиса и услуг Матрица измерений показателей конкурентоспособности, финансов, качества сервиса, гибкости, использования ресурсов, инноваций
Balanced Scorecard Взаимосвязанные матрицы показателей Связывает сферы перспективы клиентских отношений, внутренние перспективы бизнеса, инновационные и финансовые перспективы
Tableau de Bord Предоставляет краткую информацию о хозяйствующем субъекте в виде матрицы показателей Определяет иерархию целей по подразделениям, сопоставляет с критическими факторами успеха
Performance Pyramid «Пирамида эффективности» - вертикальная схема управления хозяйствующего субъекта и роль подразделений в схеме управления Отражаются финансовые и нефинансовые показатели, информация предоставляется на текущий момент времени и по каждому подразделению
Hewlett Packard Deutschland GmbH Пользователи разделены по группам заинтересованных лиц. Разрабатываются анкеты оценки уровня услуг Описание процессов между подразделениями, анализ параметров измерения (затраты, качество, производительность), обсуждение затрат и качества предоставляемой услуги
ERP Scorecards Взаимосвязанные матрицы показателей функционирования ERP Связывает операционные характеристики, управление, стратегию, ИТ-инфраструктуру, организационные характеристики
DeLone и McLean model Сопоставление функциональных, технологических и ценностных показателей с экономическими показателями Связывает показатели прибыли, результативности использования с показателями технологичности, функциональности, удовлетворенности пользователя
IS Success Параметрические модели сопоставления показателей успешности ERP-проекта Определяет перечень показателей качества системы, информационного обеспечения, согласованности, удовлетворенности пользователя, управленческих эффектов
горитм оценки КР1 информационных систем в производственно-управленческой деятельности (рис. 1).
Анкетировались хозяйствующие субъекты, использующие информационные системы «Галактика», «1С: Предприятие» и «Гедымин». Опрос производился для трех групп заинтересованных лиц - руководства хозяйствующих субъектов (топ-менеджеры), специалистов ИТ-службы и пользователей соответствующих подразделений.
Анкета содержит следующие категории показателей:
— функционирование информационных систем - системное качество, качество информации, уровень ИТ-сервиса, удовлетворенность пользователя;
— показатели деятельно сти пользователя - используемость и применимость, производительность пользователя;
— результативность функционирования подразделения - производительность подразделения, административное управление;
— воздействие информационных систем на экономическую деятельность хозяйствующих субъектов — факторы риска, финансовая перспектива, перспектива клиента, результативность для бизнес-процесса, инновационность. Диапазон оценки каждого показателя - от 1
до 8. Результат отбора наиболее значимых факторов выполнен по расчету критерия Кронбаха. Все категории показателей имеют очень высокую значимость и их выбор оправдан. Образец анкеты приведен в работе [2, с. 83]. Ее фрагмент представлен на рис. 2.
Рис. 1. Алгоритм оценки КР1 информационных систем в производственно-управленческой деятельности: ИС - информационная система; ХС - хозяйствующий субъект
В качестве базовой модели причинно-следственного влияния информационных систем была предложена группировка наиболее значимых показателей: ПКВЗ: Прогресс ^ Качество ^ Выгоды ^ ^ Затраты.
На схеме ПКВЗ обозначены группы, наиболее значимые в них показатели и вероятность положительного влияния между группами (рис. 3). Особенностью группировки ПКВЗ является возможность отображения количественных и качественных КР1, возможность формирования функциональных зависимостей, замкнутость. Исходным предметом анализа может быть любой из краеугольных компонентов модели.
Результат проверки гипотез для наблюдаемого значения / , выполнен по критерию согласия
набл ^ г
Пирсона и для критической точки - по /-критерию
Категория, (X};, категории Обозначение Показатель (вопрос) Среднее вопроса
1 2 3 4 5 б
Системное качество СХ^, =0,391 С1С1 Точность данных 7,133 0,649 0,762
СЮ Удовлетворенность БД 6,661 1,422 ОД37
ска Доступность 6,667 0,966 0,511
СК1 Соответствие требованиям пользователя 6,000 1,333 0,366
ск§ Гибкость 6.200 1.360 0,272
СК11 Реализация настроек пользователя 7,067 0,729 0,771
СК12 Интегриру емо сть 5,933 1,129 0,476
Качество информации киз Пригодность 6,600 2,507 0,291
кщ Подходящий формат 6.133 1,716 0,225
киз Соответствие содержания 6.267 1,129 0,637
КИЙ Краткость 62,61 1,529 0,320
кщ Сво евр еменно сть 6.600 2.240 0,076
Уровень ИТ-сервиса 14 УС2 Специальная группа специалистов 6,400 1,440 0314
УСЗ Понимание проблем пользователя 6,600 1,707 0,163
УС4 Быстрота реакции 6.000 1.600 0.226
УС1 Невысокая себестоимость 6,467 1,132 0,454
УСЗ Поддержка принятия решений 6,667 1,422 0323
УС§ Переобучение и самоподготовка 5,467 1,316 0332
Рис. 2. Фрагмент анкетного опроса измерения успеха информационной системы «Галактика»
Примечание. Цифрами на стрелках отмечена вероятность положительного влияния между группами, которая определена в общем виде для нулевой и конкурирующей гипотез: Н0 - корреляции (зависимости) между группами значимых показателей нет; Н - корреляция (зависимость) между группами значимых показателей есть.
Рис. 3. Модель результативности информационных систем по схеме ПКВЗ: Прогресс ^ Качество ^ Выгоды ^ Затраты
Стьюдента. Анализ приведенных результатов проверки гипотез показал, что по критерию Стьюдента наиболее значимая связь выявлена по гипотезе Н5.
Связав доминирующие результативные показатели модели ПКВЗ, автор разработал индекс преимуществ информационной системы
^п.и.с Р\ С^црогресса ) ^ Р2 С^качества ) + рз (-^выгоды )•
Исследование роста потребности автоматизации для слабозависимых показателей может быть выполнено на основе экстраполяционных функций в рамках модификации моделей Э. Стенсруда и
Ф. Биллоне [9], в которых полагается, что высокие капитальные затраты выступают барьером эффективности информационных технологий, первостепенным является качество управленческих решений, функциональные характеристики, зрелость ИТ-управления, квалификации пользователей, рост которых обусловлен технологичностью ИТ-услуг.
Адаптация зависимости и подобранные коэффициенты приведены в табл. 3. Для их применения подобран коэффициент в, который отражает согласованность эмпирических выходных показателей с имеющейся выборкой.
Анализ зависимостей показал, что при их возрастании происходит увеличение удовлетворенности пользователя, производительности пользователя и подразделения, но не беспредельно, а имеется уровень насыщения, что характерно для логистической зависимости.
Таблица 2
Результаты проверки статистических гипотез модели ПКВЗ
Гипотеза /-критерий
^набл P(H)
Прогресс повышает качество Нх 1,71 0,32
Прогресс повышает затраты Н2 1,72 0,29
Прогресс повышает выгоды Н3 1,71 0,39
Качество повышает выгоды Н4 1,71 0,29
Затраты повышают выгоды Н5 1,70 0,32
Затраты повышают качество Н6 1,70 0,39
Методы анализа Methods of anatysis - 17 -
Таблица 3
Целевые функции по схеме ПКВЗ
Категория Целевая функция ß ^набл t-критерий Стьюдента
Выгода УС V' =-(1 + 1,06 ППД), ■ ИП где V - внутренниебизнес-перспективы; УС - показатель потребности информационных систем (уровень качества ИТ-сервиса); ИП - показатель результативности трудовых ресурсов (используемость и применимость); ППД - показатель результативности подразделения (производительность подразделения) -1,06 -0,155 2,051
Прогресс УС У„ =-(1 + 0,99 ППД), " ИП где V - перспективы инноваций -0,99 0,16 2,055
Затраты УС V, =-(1 + 0,78 ППД), 3 ИП где V - экономическиепреимуществаприснижении уровня рисков -0,78 0,02 2,051
Качество УС V =-(1 + 0,32 ППД), " ИП где V - перспективыкачественныхэффектов -0,78 0,02 2,051
Главным ориентиром выработки экономического решения является рост производительности труда в совокупности с увеличением ИТ-капиталовооруженности. Решающим правилом является соответствие полученных качественных эффектов и производительности труда пользователя индексам, приведенным в статистическом отчете ОЭСР и Евросоюза Productivity of ICT and Non-ICT Capital - The Role of Rates of Return and Capital Prices для стран с различными экономическими укладами [7].
На основе модели ПКВЗ и данных, пред -ставленных в табл. 3, сформировано следующее правило:
' AV„
Vn AV
VK AV
->K2,
VB AV
где К1 - коэффициент роста производительности пользователя и организационного капитала, практик, компетенций, принципов управления при росте ИТ-потенциала (например, по отчету ОЭСР среднеотраслевой показатель - 2,24%); К2 - рост качественной составляющей ИТ-капитала; показывает, что он обусловливает
снижение административно-управленческих и коммерческих затрат хозяйствующих субъектов (0,72%);
K3 - нефинансовый многофакторный эффект; показывает, что рост ИТ-капитала усиливает инновационные возможности и технологии, повышающие производительность хозяйствующих субъектов (0,77%); K4 - коэффициент углубления ИТ-капитала; показывает, что его рост обусловливает снижение трансакционных издержек и асимметрии информации (среднеотраслевой показатель 1,02%).
Достоверность модели проверена сравнением расчетных и эталонных коэффициентов производительности на уровне отраслеобразующего хозяйствующего субъекта [4].
Для формирования информационной базы бенчмаркинга систематизированы популярные международные оценочные системы: среднее распределение ИТ-затрат по отраслям, среднеотраслевая рентабельность инвестиций в информационные технологии по итогам 2012-2013 гг., по данным Gartner Group, рейтингам Forbes Global 2000, S&P, Fortune 500 Range, Dow Range; среднеотраслевые результаты опросов по оценке преимуществ информационных систем для бизнеса.
Также систематизированы отчеты профильных агентств, представляющие ретроспективный анализ и прогноз показателей результативности
информационных систем и служащие основой для верификации проводимых исследований.
На основе анализа более 80 статистических и профильных изданий выделены три уровня измерения результативности информационных систем [2]:
1) отраслевой и предприятия - общие и удельные ИТ-затраты, среднеотраслевые показатели результативности и преимуществ для бизнеса, затраты на трудовые ресурсы;
2) производительность ИТ-инфраструктуры -объем и количество объектов и сред (оборудование, программные средства, данные и коммуникации); ИТ-расходы и схема ценообразования; уровни обслуживания (доступность ИТ-услуг, время разрешения проблем, наработка на отказ); функциональность, качество информации и процессов (дефекты приложений);
3) показатели ИТ-услуг - общие затраты, затраты на поддержку пользователей и сервисное обслуживание, ценность ИТ-услуг, трудовые ресурсы.
Проведенные исследования показали обоснованность принятия решений по количественным и качественным показателям результативности информационных систем на основе целевых функций, а также возможность проведения сравнительного анализа по статистическим отчетам.
В ежегодных отчетах ERP in manufacturing Aberdeen Group за 2006-2014 г. [3] приводятся соотношения количественных и качественных преимуществ ИТ-услуг ERP-систем. Отмечается, что за последнее время наметилась тенденция сходимости разброса соотношения долей количественных и качественных эффектов для информационных систем групп Best-in-Class (лидеры, лучшие и отстающие),
которая показала для промышленности в среднем соотношение этих долей как 5 к 4. Это еще раз подтверждает актуальность исследований по исчислению качественных показателей и сопоставление их с прямыми выгодами.
Список литературы
1. Лугачев М.И., Скрипкин К.Г., Ананьин В.И., Зимин К.Н. Эффективность инвестиций в ИТ. Альманах лучших работ // Information Management. 2012. № 8-10.
2. Ткалич Т.А. Экономическая эффективность информационных систем: методология оценки ключевых показателей и ее практические приложения. Saarbrucken (Deutshland): LAP LAMBERT Academic Publishing - OmniScrriptum GmbH&Co. KG, 2013, 329 с.
3. ERP in manufacturing 2013. Measuring business benefit and time to value. URL: http://www.aberdeen. com/Research/Research-Library.
4. IT spending and staffing benchmarks 2013/2014: full study. URL: http://www.computereconomics.com.
5. Kaplan R., Norton D. Le tableau de bord prospectif. Paris: Editions d'Organisation, 2003. 311 p.
6. KPI Library. URL: http://kpilibrary.com/ categories/itman/.
7. OECD statistics. URL: http://www.oecd.org/ statistics.
8. Seddon P., Graeser V., Willcocks L. Measuring organizational IS effectiveness: An overview and update of senior management perspectives //The database for advances in information systems. 2002. Vol. 33. № 2. P.11-28.
9. Stensrud E., Myrtveit I. Identifying high performance ERP // IEEE Transactions on Software Engineering. 2003. Vol. 29. № 5. P. 398-416.
Economic analysis: theory and practice Methods of analysis
ISSN 2311-8725 (Online) ISSN 2073-039X (Print)
PERFORMANCE MEASUREMENT OF THE INFORMATION SYSTEMS IN THE ECONOMY OF COMPANIES
Tat'yana A. TKALICH
Abstract
Market economy and dynamic external environment have increased the complexity of information systems, shifted the emphasis of informatization strategy of eco-
nomic entities with the optimization of the economic-financial and production indicators for flexibility, consistency and adaptability to environmental changes and market conditions. This required the development
of special techniques for the effective functioning of information systems. The author proposes a method of evaluation of key performance indicators of information systems in production and management activities, based on the processing of personal data on the operation of information systems, forming a management decision model based on targeted functions and carrying out the benchmarking. The author has concluded that calculation of the quality of effects in a market economy is an actual project-performance confirmation criterion.
Keywords: KPI, performance information system, estimation, algorithm, survey, organizing model, objective function, critical rule
References
1. Lugachev M.I., Skripkin K.G., Anan'in V.I., Zimin K.N. Effektivnost' investitsii v IT. Al'manakh luchshikh rabot [The effectiveness of IT investment. An almanac of the best works]. Information Management, 2012, no.8-10.
2. Tkalich T.A. Ekonomicheskaya effektivnost ' infor-matsionnykh sistem: metodologiya otsenki klyuchevykh pokazatelei i ee prakticheskie prilozheniya [Economic efficiency of information systems: a methodology of evaluation of key indicators and its practical application]. LAP LAMBERT Academic Publishing - OmniScrriptum GmbH&Co.KG, Saarbrucken, Deutshland, 2013, 329 p.
3. ERP in manufacturing 2013. Measuring business benefit and time to value. Aberdeen Group Society, 2014. Available at: http://www.aberdeen.com/Research/ Research-Library.
4. IT spending and staffing benchmarks 2013/2014: full study. Available at: http://www.computereconom-ics.com.
5. Kaplan R., Norton D. Le tableau de bord prospectif. Paris, Editions d'Organisation, 2003, 311 p.
6. KPI Library. Available at: http://kpilibrary. com/categories/itman.
7. OECD statistics. Available at: http://www.oecd. org/statistics.
8. Seddon P., Graeser V., Willcocks L. Measuring organizational IS effectiveness: an overview and update of senior management perspectives. The database for advances in information systems, 2002, vol. 33, no. 2, pp.11-28.
9. Stensrud E., Myrtveit I. Identifying high performance ERP. IEEE transactions on software engineering, 2003, vol. 29, no. 5, pp. 398-416.
Tat'yana A. TKALICH
Belarus State Economic University, Minsk, Republic of Belarus informatika@tut.by
