CC BY
59
Методы оценки адаптивной и социальной эффективности информационных систем Methods of estimation of the information systemscommercial efficiency
Кудряшова М.Г.
к.э.н., доцент кафедры экономики и сервиса КамГУ имени Витуса Беринга kudryash@mail.kamchatka.ru
Аннотация
В статье проанализированы различные методы оценки адаптивной и социальной эффективности информационных систем: комплексные, вероятностные методы и методы, измеряющие некоторые адаптивные эффекты. Выявлены их достоинства и недостатки. Сделаны выводы о возможности их применения для оценки эффективности информационных систем.
Ключевые слова
эффективность, адаптивная и социальная эффективность информационных систем, методы оценки адаптивной и социальной эффективности
Summary
This article provides the analysis of various methods of commercial efficiency estimation: simple methods, considering current time and environment and cost-consuming methods. There were identified their advantages and disadvantages. There were made conclusions on applying these methods for the information systems efficiency estimation.
Keywords
efficiency, commercial efficiency of information systems, methods of commercial efficiency estimation
Введение
Оценка эффективности информационных систем в современной экономике приобретает особую значимость. Однако методы оценки адаптивной и
социальной эффективности еще недостаточно разработаны. Задачей данной статьи является обзор методов и показателей оценки адаптивной и социальной эффективности информационных систем, предлагаемых в литературе и определение методов которые, по нашему мнению, целесообразно для этого применять.
Адаптивный тип эффективности представляет собой способность системы приспосабливаться к изменениям внешней и внутренней окружающей среды. По нашему мнению, ему соответствуют следующие виды эффективности: функциональная, организационная, управленческая, инновационная, устойчивости к рискам и мотивационная [5].
Социальный тип реализуется в удовлетворении потребностей людей посредством информационных систем. Здесь можно определить три вида эффективности: для общества в целом (результаты функционирования распространяются на широкий и заранее неограниченный круг людей), для работников организации (удовлетворение потребностей работников компании, внедряющей информационную систему), для контрагентов организации (повышение удобства работы с компанией для контрагентов (покупателей, поставщиков, партнеров и т.п.), росте объемов, предоставляемой информации, увеличении дистанционных услуг, ускорении транзакций и т.д.) [5].
Для оценки адаптивной и социальной эффективности в современной науке и практике применяется целая система подходов, которые мы разделили на следующие группы: комплексные методы, вероятностные методы и методы, измеряющие некоторые адаптивные эффекты.
Комплексные методы оценивают максимальное количество эффектов от информационной системы и в процессе оценки используют большую совокупность показателей, охватывающих многие бизнес-процессы в организации. К данной группе можно отнести следующие методы: система сбалансированных показателей (Balanced Scorecard, BSC), показатели ИТ (IT Scorecard), информационная экономика (Information Economics, IE), модель
совокупного экономического эффекта (Total Economic Impact, TEI), быстрое экономическое обоснование (Rapid Economic Justification, REJ), источник экономической стоимости (Economic Value Sourced, EVS), координаты в трехмерном пространстве информационной системы и пирамида результативности Линча и Кросса.
Вероятностные методы в основе оценки применяют расчет вероятности наступления тех или иных эффектов информационных систем: метод прикладной информационной экономики (Applied information economics, АЕИ) и метод справедливой цены опциона (Real Option Valuation, ROV).
Методы, измеряющие некоторые адаптивные эффекты не ставят задачу оценки большого количества эффектов, а концентрируют свое внимание лишь на некоторых их них, например, на мотивационных или социальных эффектах для клиентов компании. Также сюда мы отнесли методики, которые применимы для конкретного вида информационных систем: методика потребительского индекса Customer Index); гедоническая модель заработной платы; модели «стейкхолдер»; методика «Гартнер-измерение» (GartnerMeasurment).
Одной из самых распространенных комплексных методик в современной экономике является система сбалансированных показателей или сбалансированной оценочной ведомости (Balanced Scorecard, BSC). Она разработана Дэвидом Нортоном и Робертом Капланом и широко распространена на Западе и в России. Для адаптации данного подхода к информационной службе была создана система показателей ИТ (IT Scorecard). Данные методики являются не только инструментами оценки, но и способами управления информационными системами и службами в организации. Внедрение сбалансированной системы показателей способствует реализации стратегии компании в области информационных технологий и одновременно с этим, является инструментом контроля ее выполнения.
В классической системе BSC стратегическое развитие фирмы оценивается, как минимум, в следующих четырех направлениях [4, с.59; 2, с.26]: - финансы (эффективность бизнеса как отдача на вложенный капитал);
- потребители (оценка рыночных позиций и полезности продукции фирмы с точки зрения конечных потребителей);
- внутренние бизнес-процессы (оценка эффективности бизнес-процессов);
- обучение и рост (способность фирмы к восприятию новых идей, ее гибкость, ориентация на постоянные улучшения).
Набор показателей BSC зависит от стратегических целей и формируется для каждой организации свой. Для удобства оценки цели предприятия декомпозируются в набор критических факторов успеха [4, 59-60], которые представляют собой факторы, напрямую влияющие на удовлетворенность потребителей результатами бизнес-процессов или действия (условия) которые необходимо выполнить для достижения стратегических целей [2, 26].
Взаимосвязь стратегии компании с критическими факторами успеха устанавливается через формирование причинно-следственной цепи «цели — задачи — подзадачи — функции / бизнес-процессы», которая объединяет различные характеристики и определяет набор оценок эффектов информационной системы [4, 65].
Для измерения критических факторов успеха разрабатываются ключевые показатели эффективности (Key Performance Indicators, KPI) - количественные показатели, измеряющие процесс предприятия в области критических факторов успеха [2, 26]. Затем задаются плановые показатели целей, факторов успеха и ключевых показателей эффективности. Далее в процессе реализации проекта эти показатели отслеживаются. Таким образом, данный метод используется, в том числе, для выработки дальнейших изменений информационной системы.
На наш взгляд, с помощью системы сбалансированных показателей, можно качественно оценить адаптивную и социальную эффективность.
Организационные эффекты измеряют через следующие факторы успеха и соответствующие им показатели: «хозяйственные процессы» (время производственного цикла; процент брака, дефектной продукции, объем лома, отходов, возвратов; количество стандартизированной продукции, доля бизнес-процессов с программой управления качеством) и «послепродажное
обслуживание» (качество обслуживания в сервисных центрах и службах поддержки, длинна финансового цикла).
Инновационную эффективность предлагается оценивать с помощью следующих показателей: доля новой продукции фирмы с применением результата ИТ-проекта на рынке, время разработки новой продукции, степень новизны, объем продаж новой продукции, количество новых товаров и услуг, специальных предложений, время выгодных продаж (жизненный цикл) новой продукции.
Эффекты в области рисков можно оценить через снижение рисков потери клиентов и повышение уровня конкурентоспособности бизнеса. Этому служат большое количество показателей, включенных в следующие факторы успеха: «доля на рынке» (доля целевых потребителей в общем объеме услуг, темп прироста доли фирмы на целевых сегментах рынка), «сохранение спроса» (увеличение приверженности покупателя, расширение сотрудничества с покупателем, уровень сохранения потребительского спроса), «имидж и репутация» (уровень приверженности клиентов, узнаваемость марки, создание имиджа, уровень репутации).
Мотивационные эффекты измеряют через факторы успеха «мотивация служащих» (количество инициативных предложений на одного служащего, количество реализованных инициатив) и «корпоративность» (уровень одобрения и признания целей ИТ- проекта, число служащих, активно участвующих в реализации ИТ-проекта).
В методике BSC имеется целый ряд параметров, с помощью которых можно измерить социальную эффективность для клиентов организации. Это следующие факторы успеха: «удовлетворение спроса» (оценка клиентами продукции или услуги выше среднего уровня, наличие обратной связи с клиентом) и «характеристика товара или услуги» (рост потребительской ценности продукции, оценка качества товара каждой группой потребителей, соотношение цена / качество для каждого товара).
Социальные эффекты для работников организации определяют через
фактор успеха «удовлетворенность трудом» и показатели: субъективные оценки служащих относительно их характера работы: творчество, причастность к решению, признание результатов, доступность информации, профессиональная поддержка, общее удовлетворение работой.
Таким образом, в рассматриваемой методике BSC большее внимание уделяется оценке коммерческих, инновационных, организационных эффектов, эффектов в области рисков, а также социальных эффектов для работников организации и ее контрагентов. Однако способ измерения управленческих и функциональных эффектов остается нерешенным.
В методике система показателей ИТ (IT Scorecard) предлагаются направления исследования, отличные от классической методики. Например, А.Коптелов определяет следующий набор показателей [3]: помощь в развитии бизнеса компании; повышение качества продукции (как для внутренних, так и для внешних пользователей); повышение качества принятия решений; повышение производительности труда. На наш взгляд, первое направление автору следовало бы детализировать, так как непонятно о какой именно помощи идет речь. Для каждого направления разрабатываются показатели, которые могут свидетельствовать о степени достижения целей организации или информационной службы. Кроме того, в целях управления конкретизируются ответственные за их выполнение. В данном варианте системы показателей ИТ приоритет в оценке больше отдается коммерческим, управленческим, а также эффектам для контрагентов организации.
Г. Макфарлэйн выделяет эффективность использования информационных технологий по шести индикаторам [6] :
1. Ведущая роль ИТ-службы. Отражает способность директора информационной службы и его команды вырабатывать нужную стратегию и политику, правильно распределять ресурсы и осуществлять грамотное планирование, исходя из интересов организации.
2. Управление проектами и бюджетом. Измеряет способность ставить новые и совершенствовать старые бизнес-приложения и услуги. Предлагаемые
ими проекты должны полностью соответствовать потребностям бизнеса.
3. Управление операциями. Оценивает эффективность операционных процессов (их техническую поддержку, сопровождение и др.), процедур и управляющих элементов с точки зрения их соответствия потребностям бизнеса.
4. Удовлетворение потребностей клиентов. Измеряет время реакции информационной службы на поступающие запросы, профессионализм сотрудников, эффективность взаимодействия, а также привлечение клиентов к участию в разработке проектов и организации выполнения различных операций.
5. Управление персоналом. Отражает условия и производительность труда, служебный рост и уровень профессиональной мотивации сотрудников информационной службы.
6. Управление активами. Измеряет доступ и качество управления активами для сотрудников информационной службы, с точки зрения современности используемого в компании оборудования, его безопасности и эффективности расходования финансовых ресурсов на него.
Максимальное внимание в данном подходе уделяется управленческим эффектам от работы информационной системы. Однако, эта методика вряд ли применима к оценке эффективности разрабатываемого проекта информационной системы. Она скорее подходит к оценке уже работающей информационной системы, в том числе информационной службы компании.
В целом можно сказать, что сбалансированная системы показателей и система показателей ИТ являются достаточно детальными комплексными методами оценки эффективности информационных систем, включающими большое количество критериев оценки. Однако, их использование возможно только на тех предприятиях, которые ввели их в постоянную эксплуатацию и применяют не только для оценки эффективности, но и в процессе управления бизнесом.
Следующий метод, информационная экономика (Information Economics, IE) основан на сравнении приоритетов в развитии бизнеса компании с возможностями информационной системы [1].
К сожалению, в современной литературе мы не нашли детального описания процедуры оценки данным методом.
А. Смирнов пишет, что он предполагает создание списка критериев оценки эффективности проекта, на основе которого осуществляется анализ потенциальных выгод, которые реализация проекта должна принести для предприятия. Рабочая группа состоящая из сотрудников IT-служб, бизнес- и риск-менеджеров вырабатывает 10 главных факторов, определяющих потенциальную эффективность предлагаемого проекта. Затем происходит оценка относительной значимости каждого из факторов для основных бизнес-процессов («плюсы») и оценка риска по каждому из факторов («минусы»). В результате формируется рейтинг проекта с точки зрения его важности для основных бизнес-процессов предприятия. Если применить подобный метод к портфелю проектов, то выбор более эффективного происходит путем сравнения и определения лучшего проекта в рейтинге [8].
Очевидно, что данный метод, является менее трудозатратным, чем сбалансированная система показателей, так как предполагает оценку только 10 факторов, которые максимально значимы для конкретной организации, но он не предусматривает полной оценки всех эффектов от информационного проекта.
Модель совокупного экономического эффекта (Total economic impact, TEI) разработана компанией Gita Group. В данной методике акцент сделан на оценке мотивационной, функциональной и эффективности в области рисков. Модель включает оценку совокупной стоимости владения информационными системами, а также оценку трех дополнительных параметров:
1. Преимущества новой информационной системы для работников организации по сравнению с уже существующей. Предполагает определение количественных критериев этих изменений и сопоставление результатов с целями организации.
2. Гибкость с точки зрения ее расширяемости (добавления новых компонентов, функций и т.п.) и адаптируемости к изменениям условий.
3. Вероятность финансовых потерь при инвестировании в информационную
систему в связи с технологическими, структурными, психологическими и другими рисками.
Методика быстрое экономическое обоснование (Rapid Economic Justification, REJ) разработана компанией Microsoft. Методика REJ включает пять последовательных этапов [8] :
1. Привязка целей и ключевых показателей IT-проекта к бизнес-целям организации (этот этап имеет много общего с методикой BSC);
2. Выбор решения по перечню «требуемых возможностей», во многом совпадающих с критерием «Преимущества» методики «Совокупный экономический эффект» (TEI);
3. Оценка прибыли и затрат с использованием методики «Совокупная стоимость владения» (TCO);
4. Оценка рисков проекта по критериям соответствия выбранного решения исходному проекту, внедрения выбранного решения, его эксплуатации и финансовому риску;
5. Расчет финансовых показателей проекта внедрения с привлечением методик вычисления «Чистого приведенного дохода» (NPV), «Внутренней нормы доходности» (IRR), «Экономической добавленной стоимости» (EVA), «Отдачи от инвестиций» (ROI) и других.
Таким образом, методика представляет собой целую совокупность отдельных методов, которые мы описывали выше. Оценка эффективности осуществляется на основе сопоставления результатов работы информационной системы целям бизнеса в целом. Приоритетом в анализе является определение мотивационных, функциональных, рисковых и коммерческих эффектов.
Источник экономической стоимости (Economic Value Sourced) - методика разработана компанией Meta Group, предполагает оценку следующих эффектов от информационных систем [4]: рост доходов, повышение производительности, сокращение времени выпуска продуктов, снижение риска. В ее основе заложен метод управления рисками, который предполагает оценку риска вследствие функционирования информационной системы, например, изменение
длительности бизнес-циклов компании. Представляет собой методику оценки экономии ресурсов.
В целом можно сказать, что данная методика более узкая, чем сбалансированная система показателей, в ней приоритетно оцениваются коммерческие, организационные и эффекты в области рисков.
Методика «Координаты в трехмерном пространстве информационной системы» разработана российской консультационно-внедренческой фирмой «Инталев». Задачи информационной системы в ней представлены в трех направлениях: поддержка этапов управленческого цикла, поддержка функциональных областей, коэффициент автоматизации. Осуществляется расчет каких и скольких фаз цикла поддерживают информационные системы, сколькими фрагментами предприятия они управляют и каков коэффициент автоматизации (отношение единицы к количеству алгоритмируемых ручных операций). Чем больше на предприятии выполняется ручной рутинной работы, тем коэффициент ниже [9]. В результате стараются сформировать параметры информационной системы, которая способна максимально удовлетворить интересы организации и на практике стараются построить систему близкую к ним. В данной методике измеряют функциональные, управленческие и организационные эффекты.
Некоторые авторы, например Е.А. Калиберда к комплексным методам оценки эффективности информационных систем относят «Пирамиду результативности» Линча и Кросса [2]. Данный метод позволяет определить стратегические цели организации и их параметры на каждом уровне управления, которые конкретизируются применительно к определенному рынку и финансовым показателям. Таким образом, эта модель корпоративного управления способна показать, что лежит в основе финансовых оценок и что ими управляет. Однако, как в этой модели определить роль информационных систем Е.А. Калиберда не уточняет.
Рассмотренные выше комплексные методики оценки эффективности информационных систем весьма неоднородны, используют большое количество
показателей и потому большинство из них трудозатраты. Одновременно с этим, их нельзя просто взять и использовать для оценки эффективности, так как каждая их них требует адаптации для применения на конкретном предприятии, дополнительной разработки системы показателей, накопления массива данных за некоторый период времени.
Большинство из рассмотренных методов позволяют не просто оценить эффективность, а одновременно с этим являются инструментами управления информационным обеспечением компании, а также контроля за достижением поставленных перед компанией и информационной службой целей.
Вероятностные методы в основе расчетов содержат оценку вероятности достижения того или иного результата функционирования информационной системы.
Метод прикладной информационной экономики (Applied information economics, АЕИ) разработан Дугласом Хаббардом в конце XX века [10]. Здесь синтезированы несколько подходов: исследование операций, современная теория инвестиционного портфеля, теория принятия решений, теория игр, метод Монте-Карло. Особенностью метода является определение вероятности реализации для каждой функциональной задачи и вероятности улучшения показателей бизнес-процессов организации. Проводится калибровка экспертов, чтобы нивелировать завышенные и заниженные оценки. Определяются факторы принятия решений и стоимость дополнительной информации о каждом из них. С помощью метода Монте-Карло определяют степень воздействия случайных факторов на показатели эффективности проекта. В конце прорабатываются возможности снизить предполагаемые риски и повысить доходность проекта. Ученые и практики неоднозначно оценивают метод прикладной информационной экономики. С одной стороны, у него есть преимущества: вероятностная оценка позволяет принимать более обоснованные решения. С другой стороны, этот метод весьма затратен, трудоемок и требует высокой квалификации экспертов.
Метод справедливой цены опциона (Real Option Valuation) рассматривает
информационные технологии как набор возможностей для компании в будущем. На основе анализа широкого спектра показателей, результатов внедрения информационных систем и будущих сценариев, формируется «динамический план выпуска». Целью выбора является достижение максимального уровня гибкости в области информационных технологий [2]. В проекте выделяют пять параметров: выручка от проекта, расходы проекта, сложность проекта, стоимость поддержки получившегося решения и жизненный цикл внедряемой ИТ-системы. Далее проводится оценка возможности влияния на эти параметры в ходе проекта. Оценка проекта повышается прямо пропорционально уровню его гибкости и управляемости. Недостатком метода является то, что он требует значительных затрат трудовых и временных ресурсов.
В современной науке и практике есть методы, которые акцентируют внимание только на некоторых эффектах от информационных систем, прежде всего это касается социальных эффектов для контрагентов организации, мотивационных и организационных эффектов для ее персонала.
Гедоническая модель заработной платы - измеряет изменения в стоимостном выражении в профилях работы сотрудников организации вследствие внедрения информационных систем [4]. Таким образом, с помощью него можно измерить только эффекты, связанные с работой персонала, а именно организационные и функциональные. Измерение происходит через оценку времени, которое персонал тратит на различные профили работы (например, профили менеджеров, клерков и секретарей) до введения информационной системы и после. В случае если результаты нового профиля более высокие, то данная информационная система эффективна, так как оплата специалистам различных уровней происходит именно за ту работу, которую они должны выполнять по своей должности. На основе этого рассчитывают уровень выгоды в денежном выражении от введения информационной системы.
Рассмотрим особенности модели «стейкхолдер». Стейкхолдеры — это все группы субъектов (людей или других организаций), чей вклад (работа, капитал, ресурсы, покупательная способность, распространение информации о компании
и т. п.) является основой успеха организации [7]. Данная модель предполагает определение выгод от информационной системы для каждой группы стейкхолдеров. Среди которых можно выделить: акционеры, сотрудники, поставщики, потребители, государственные органы, посредники, профсоюзы, общественные организации, финансовые аналитики и СМИ. Среди этих группы выделяют главные, обычно это акционеры, клиенты и работники компании. Затем определяют интересы для каждой группы и назначают показатели, которые будут свидетельствовать о степени их достижения. Так, интересами для группы акционеров будут - возврат инвестиций и рост компании, а показателями могут стать - рентабельность активов, рост объемов продаж и т.д. Интересами для клиентов являются - качество продукции и услуг и их стоимость, показатели которые могут отражать достижение интересов - количество брака, скорость исполнения заказа, конкурентоспособность товара в сравнении с аналогами. Главными интересами работников компании являются - уровень жизни и позитивная рабочая среда, показателями - уровень дохода по сравнению со средней его величиной и уровень удовлетворенности работой. В результате оценки определяются недостатки репутации компании и их причины. Далее необходимо определить, как информационная система будет способствовать улучшению репутации компании, по всем группам стейкхолдеров. Очевидно, что данная модель измеряет мотивационные и социальные эффекты для работников организации и ее контрагентов, большое внимание уделяется также коммерческим эффектам.
Методика потребительского индекса (Customer Index) разработана компанией Andersen Consulting. В данной методике в основном оцениваются коммерческие эффекты, рассчитанные на основе изменения количества клиентов.
Параметром оценки выступает изменение численности и состава потребителей, которые зависят от работы информационной системы. В ней определются экономические показатели: отслеживания доходов, затрат и прибылей по каждому заказчику в отдельности. Сложность метода заключается в
том, что трудно установить прямую связь между инвестициями в информационные системы и ростом числа клиентов. Эта методика не применима для организаций с небольшим числом клиентов, рост которых в большей степени зависит от других факторов, например строительных организаций [4].
Методика «Гартнер-измерение» (GartnerMeasurment) используется только для оценки качества внедрения системы SAP R/3/. Критериями эффективности внедрения является: время, затраченное на настройку модулей; реализованные функциональные возможности; число пользователей на средний (нормализованный) сервер; пиковое и среднее число транзакций в единицу времени; стоимость одной транзакции; пиковое и среднее время отклика системы; используемые методологии обучения; управленческая структура; стоимость инфраструктуры внедрения информационной системы на одного пользователя. На основе этих данных оценивают конкретный вариант внедрения и разрабатывают рекомендации по улучшению работы информационной системы [4].
Таким образом, сегодня разработано большое количество методов, с помощью которых в той или иной степени можно измерить различные эффекты от информационных систем. Среди всей совокупности описанных нами эффектов лучше всего проработана оценка функциональных, мотивационных, эффектов в области рисков, а также социальных эффектов для контрагентов и для сотрудников организации. Однако оценка организационных, управленческих эффектов имеет немало белых пятен и требует дальнейшей разработки методов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Галкин, Г. Методы определения экономического эффекта от ИТ-проекта. Часть 2. Качественные и вероятностные методы.- [Электронный ресурс] // Intelligent enterprise.- №24 (133).- 2005.- Режим доступа: http://www.iemag.ru/ master-class/detail.php?ID=15721)
2. Калиберда, Е.А. Анализ эффективности информационных систем: учеб. пособие.- Омск: Омский государственный институт сервиса, 2006.- 109 с.
3. Коптелов, А. BSC для ИТ. - [Электронный ресурс] // Директор ИС. - 02. -2008. - Режим доступа: http://businessprocess.narod.ru/index44.htm
4. Костров А.В., Матвеев Д.А. Информационный менеджмент. Оценка эффективности информационных систем: учеб. пособие. - Владимир: ВлГУ, 2004.- 116 с.
5. Кудряшова М.Г. Классификация эффектов от использования информационных систем // Управление экономическими системами: электронный научный журнал. - 2013. - № 12 (60). - С. 34.
6. Макфарлэйн, Г. ИТ-служба в зеркале сбалансированных показателей. -[Электронный ресурс] // Режим доступа: http://balanced-scorecard.ru/taxonomy/ term/11
7. Селандер, Йоран Стейкхолдер-менеджмент: управление заинтересованными группами. - [Электронный ресурс] // Режим доступа: http://www.hrliga.com/index.php?module=profession&op=view&id=1105
8. Смирнов, А. Стратегия и экономика IT. Методы контроля расходов на IT и получение гарантированного уровня сервиса. - [Электронный ресурс] // http://betatester.bir.ru/article 13 .html
9. Федосеев, А. Коэффициент автоматизации. - [Электронный ресурс] // Корпоративный менеджмент: сайт. - Режим доступа: http://www.cfin.ru/itm/kis/ intalev-7.shtml
10. Хаббард, Дуглас Как измерить все, что угодно: оценка стоимости нематериального в бизнесе. - Москва: Олимп-Бизнес , 2009. - 297 с.
Работа выполнена при финансовой поддержке Министерства образования и науки РФ в рамках «Программы стратегического развития КамГУ имени Витуса Беринга на 2012-2016гг.»
