CC BY
167
Научный журнал КубГАУ, №110(06), 2015 года
1
УДК 681.3.06
ВЫБОР НАИЛУЧШИХ МЕТОДОВ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ С ПОМОЩЬЮ МЕДИАНЫ КЕМЕНИ
Митус Ксения Николаевна
Кацко Игорь Александрович докт. эконом. наук, профессор Кубанский государственный аграрный университет, Россия
Исследование посвящено проблеме выбора наилучших методов оценки экономической эффективности использования информационных технологий. Для решения данной задачи предлагается использовать метод медианы Кемени, который позволит получить ранжирование методов оценки эффективности информационных технологий по различным критериям. В статье были систематизированы существующие методы оценки экономической эффективности информационных технологий. Предварительно все методы были разделены на три группы: финансовые, вероятностные и инструменты качественного анализа. Т акже рассматривались недостатки и достоинства методов, их назначение, применение и ограничения. В результате проведенной систематизации был сделан вывод о том, что имеет место некоторая ограниченность и однобокость методов. По отдельности ни один метод не позволяет комплексно оценить экономическую эффективность информационной технологии. Очевидно, что методы необходимо рассматривать в системе. Но для этого их предварительно надо проранжировать. С целью получения ранжирования использовался метод медианы Кемени. В начале была произведена экспертная оценка методов по восьми предложенным критериям (учет специфики исходных данных, обоснованность, однозначность результатов, информативность, точность, сложность, доступность информации, стоимость реализации). Далее был реализован поиск группового ранжирования, построена матрица потерь, решена задача о назначениях в MS Excel. В завершении была получена матрица парных сравнений, с помощью которой было определено итоговое ранжирование альтернативных методов. Следовательно, с помощью медианы Кемени возможным стало установить приоритетность использования методов оценки эффективности информационных технологий
Ключевые слова: ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ, ЭФФЕКТИВНОСТЬ, МЕДИАНА КЕМЕНИ, РАНЖИРОВАНИЕ, МЕТОДЫ ОЦЕНИВАНИЯ, КРИТЕРИИ ОЦЕНИВАНИЯ
UDC 681.3.06
CHOOSING THE BEST METHODS FOR ASSESSING THE EFFICIENCY OF INFORMATION TECHNOLOGIES USING THE KEMENY MEDIAN
Mitus Ksenia Nikolaevna
Katsko Igor Aleksandrovich
Doctor of Economy Sciences, Professor
Kuban State Agrarian University, Russia
The research is devoted to the problem of choosing the best methods for assessing the economic efficiency of information technologies. Using the Kemeny median is proposed to solve this problem. This method will allow to obtain the ranking of methods of evaluating of IT effectiveness by various criteria. The existing methods of valuation of economic efficiency of information technology were systematized in the article. Preliminarily, all the methods were divided into three groups: financial, probabilistic and qualitative analysis tools. The advantages and disadvantages of methods, their purpose, use and limitations were also considered. As a result of systematization, it was concluded that there were some limited and one-sided methods. No single method allows to assess comprehensively the effectiveness of an information technology. Obviously, the methods should be considered in the system. But for this they need to be ranked. In order to obtain the ranking the method of Kemeny median was used. In the beginning the expert evaluation of methods by the eight proposed criteria (taking into account the specificity of the original data, validity, unambiguity, information content, exactness, complexity, the access to information, the cost) was carried out. Next, the search of the group ranking was carried. The matrix of losses was compiled. The problem of appointments was solved in MS Excel. At the end, the matrix of paired comparisons has been obtained. This matrix helped to determine the final ranking of alternative methods. Therefore, using the Kemeny median allowed us to prioritize the use of methods of evaluating of the effectiveness of information technology
Keywords: INFORMATION TECHNOLOGY, EFFICIENCY, KEMENY MEDIAN, RANKING, ASSESSMENT METHODS, ASSESSMENT CRITERIA
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
2
Применение различных подходов к оценке эффективности ИТ позволяет оценить эффективность использования отдельных функций и всей комплексной информационной системы в целом. Однако, оценить эффективность внедрения какой-либо ИТ достаточно сложно. Все существующие подходы следует рассматривать с определенной степенью допущения, поскольку ни один из них не дает полной картины. Некоторые специалисты утверждают, что стоимость оценки эффективности достигает иногда 1-2% от стоимости самой ИТ [1, с.494]. Поэтому, отталкиваясь от стратегии предприятия, предварительную оценку эффективности ИТ-проектов необходимо осуществлять при формировании портфеля инновационных ИТ-проектов, а более подробную и обоснованную оценку -после выбора альтернативы ИТ-проекта. Выбор конкретной методики зависит от индивидуальных особенностей предприятия, квалификации управленцев и т. п.
Систематизируем существующие методы оценки экономической эффективности ИТ (табл. 1).
Таким образом, рассмотрев методы оценки экономической
эффективности информационных технологий, можно отметить их некоторую ограниченность и однобокость. Нет такого интегрального показателя, который бы точно давал ответ на вопрос, будет ли та или иная ИТ эффективна для предприятия или нет. Каждый из представленных методов имеет свои недостатки и достоинства. И выбор конкретного метода зависит только от решения специалиста в области анализа.
Для выбора лучших методов оценки эффективности ИТ все показатели, характеризующие различные стороны этого процесса, должны быть сведены в систему. Эти показатели формируются экспертным путем.
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
181
Таблица 1
Методики, методы и модели оценивания экономической эффективности ИТ
Подход к оценке эффективности Достоинства Недостатки Методика, метод, модель оценивания Назначение Применение метода Ограничения применения
1 2 3 4 5 6 7
Финансовый Классическая теория определения экономической эффективности Использует общепринятые в финансовой сфере критерии Относительная простота расчета Не учитывает последствия влияния на нематериальны е активы Модель совокупной стоимости владения (TCO) 1. Получение полной информации о среде распределения вычислений и совокупной стоимости владения 2. Сравнение подразделений предприятия между собой, а также другими предприятиями, аналогичными по функциональным возможностям 3.Оптимизация инвестиций путем непрерывного повышения качества инвестиций, технологий, организации, процессов, степени удовлетворенности конечных покупателей 1. Обоснование затрат на существующие информационные технологии или будущие проекты 2. Доказательство эффективности существующих ИС/ИТ или будущих проектов 3. Разработка ИТ бюджета 4. Доказательство эффективности работы ИТ-подразделения руководству или акционерам, которые не являются специалистами в ИТ, но разбираются в расходовании средств предприятия 1. Не дает ответа на вопрос о доходе, который может быть получен от внедрения ИТ 2. Сбор и анализ статистики о структуре прямых и непрямых затрат проводится на протяжении 12 месяцев. 3. Полученные данные сравниваются с аналогичным по бизнесу предприятием
Метод расчета рентабельности инвестиций (ROI) Проведение анализа доходов и затрат инновационных проектов Определение отдачи от инвестиций 1. Прогнозная оценка 2. Значимость ставки дисконтирования, которая рассчитывается экспертным путем 3. Ограничение на то, что доход от проекта не используется за его пределами
Стандартные методы оценки экономической эффективности инвестиций (NPV, IRR, СО, Ре, PI, Kef.ic.) Расчет чистого денежного потока от реализации проекта; определение уровня доходности средств, направленных на цели инвестирования; определение срока возмещения суммы первоначальных инвестиций и др.
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГ АУ, № 110(06), 2015 года 182
______________________________________________________________________________________Продолжение таблицы 1
1 2 3 4 5 6 7
Метод «Отдача активов» K) Оценка эффективности использования капитала, исходя из ставки альтернативной доходности Расчет коэффициента превышения ставки доходности ИТ над ставкой альтернативной доходности Значимость ставки альтернативной доходности, которая выбирается экспертным путем
Классическая теория определения экономической эффективности Использует общепринятые в финансовой сфере критерии Относительная простота расчета Метод «Цена акционера» (Efsh, Ksh) Оценка инвестиций в ИТ как вложения в повышение капитализации компании Оценка эффективности инвестиций в ИТ в расчете на привлечение одного акционера и рост стоимости акций Применение только для акционерных обществ
Не учитывает последствия влияния на нематериальные активы Метод расчета единовременных затрат (Exped) Оценка прямых расходов на ИТ Расчет единовременных затрат на закупку и внедрение программноаппаратных комплексов Принятие решений в сфере ИТ исключительно на основании их «видимой» стоимости
Финансовый Метод расчета экономической добавленной стоимости (EVA) Проведение анализа доходов и затрат инновационных проектов Определение фактической прибыли от использования ИТ 1.Прогнозная оценка 2.Значимость ставки дисконтирования, которая рассчитывается экспертным путем 3. Ограничение на то, что доход от проекта не используется за его пределами
Метод расчета потребительского индекса Оценка влияния инвестиций в технологии на численность и состав потребителей Расчет совокупности индексов, отражающих положительные изменения в работе компании (увеличение доходов, снижение затрат, увеличение оборотов, увеличение клиентской базы и т.п.) Невозможностьформализа циипроцессаустановления прямойсвязимеждуинвест ициями в ИТ и сохранением или увеличением числа потребителей
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГ АУ, № 110(06), 2015 года 183
Продолжение таблицы 1
1 2 3 4 5 6 7
Вероятностные методы Возможность оценки вероятности возникновения риска и появления новых возможностей Неточность из-за невозможности точного прогнозирования технико- экономических показателей работы предприятия Методика использования преимуществ информации (AIE) Оценка эффективности инновационных проектов Анализ стратегий с неопределенными входными результатами 1 .Прогнозная оценка 2.Субьективизм при определении показателей
Метод оценки реальной возможности (ROV) Оценка эффективности инновационных проектов Анализ новых возможностей, которые появятся в результате внедрения инновационных проектов
Методика оценки источников экономической стоимости (EVS) Оценка эффективности инновационных проектов Управление рисками инновационных проектов
Инструменты качественного анализа Дополнение количественных расчетов качественными оценками Высокая трудоёмкость Метод построения дерева «проблемы-цели- задачи» Оценка финансовых и нефинансовых эффектов от внедрения инновационных проектов 1. Определение направлений развития ИТ-инфраструктуры 2. Соответствие инновационного проекта целям предприятия 3. Управление информационной деятельностью 1. Сложность, долгосрочность 2. Субъективность выбора системы показателей
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
184
Константин Красноперов в своей статье [2] предлагает ряд требований к методикам проведения анализа ИТ-инвестиций, а именно: 1) учет специфики исходных данных; 2) обоснованность; 3) однозначность результатов.
Вышеперечисленные требования необходимо дополнить для более качественного анализа по методу медианы Кемени. Нами были разработаны дополнительные требования к методам оценки эффективности ИТ: 1) информативность; 2) точность; 3) сложность;
4) доступность информации; 5) стоимость реализации.
Далее определим объекты исследования - это методы оценки эффективности ИТ. В табл. 1 для дальнейшего исследования предложены следующие методы оценки эффективности ИТ: модель совокупной стоимости владения (TCO), метод расчета рентабельности инвестиций (ROI), стандартные методы оценки экономической эффективности инвестиций в ИТ (NPV, IRR, СО, Ре, PI, Kef.ic.), метод «Отдача активов» (K), метод «Цена акционера» (Efsh, Ksh), метод расчета единовременных затрат (Exped), метод расчета экономической добавленной стоимости (EVA), метод расчета потребительского индекса, методика использования преимуществ информации (AIE), метод оценки реальной возможности (ROV), методика оценки источников экономической стоимости (EVS), метод построения дерева «проблемы-цели-задачи». Итого 12 методов. Так как для использования медианы Кемени количество критериев должно равняться количеству исследуемых объектов, во-первых, объединим методы AIE, ROV и EVS в одну группу - «вероятностные методы». Во-вторых, исключим из дальнейшего рассмотрения метод расчета потребительского индекса в связи с невозможностью формализации процесса установления прямой связи между инвестициями в ИТ и сохранением или увеличением числа потребителей. Кроме того, в связи с узкой направленностью метода «Цена акционера», этот метод далее в
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
185
исследовании также рассматриваться не будет. Таким образом, метод медианы Кемени будет применен к следующим объектам:1) модель совокупной стоимости владения;2) метод расчета рентабельности инвестиций;3) стандартные методы оценки экономической эффективности инвестиций в ИТ;4) метод «Отдача активов»; 5) метод расчета
единовременных затрат;6) метод расчета экономической добавленной стоимости;7) вероятностные методы;8) метод построения дерева «проблемы-цели-задачи».
Теперь необходимо найти итоговое ранжирование объектов. Ниже дается детальное описание алгоритмов и методов решения этой задачи.
Определим объект (метод оценки эффективности ИТ) как альтернативу в задаче многокритериального принятия решения. Предположим, всего имеется n объектов (методов), каждый из которых характеризуется значениями m показателей, причем в качестве показателей могут выступать как количественные, так и качественные показатели. Значение j-го показателя для выбора i-го объекта будем обозначать kj,,■, j = 1, m, i = 1, n .
Алгоритм оценки методов включает следующие шаги:
1. На основании поставленной цели оценки методов выберем набор информативных показателей качества [киk2,....,km}, по которым будет
оцениваться качество каждого объекта из множества OBJ = {Obl, Ob2,...,Obn}.
Иными словами, нам необходимо оценить 8 рассмотренных выше методов по восьми показателям: ki - учет специфики исходных данных; к2 - обоснованность; к3 - однозначность результатов; к4 - информативность; к5 - точность; к6 - сложность; к7 - доступность информации; к8 - стоимость реализации. Все показатели оцениваются в баллах по шкале от 1 до 5. При этом 1 свидетельствует о наилучшем значении показателя, а 5 - о наихудшем.
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
186
2. Ранжируем объекты по каждой строке, соответствующей одному из показателей. Каждый j-ый показатель даст свой вектор предпочтений kj = (кп,к}2,...,к]п) j = 1,m, где kjt - порядковый номер объекта, занимающего
в ранжировании по j-му показателю i-е место.
Исходные данные опроса экспертов представлены в табл. 2.
Таблица 2
Исходные показатели объектов
Показатели Объекты (методы) (Ob)
TCO (Obi) ROI (Obi) Стандарт. методы (Obi) Отдача активов (Obi) Единовр. затраты (Obi) EVA (Ob6) Вероят- ностные методы (Ob7) Дерево «проблемы- цели- задачи» (Ob8)
Учет специфики исходных данных (кг) 4 4 1 4 5 4 2 4
Обоснованности к2) 3 3 2 3 4 2 5 3
Однозначность результатов(к3) 4 2 1 2 4 2 4 3
Информативност ь(к4) 4 4 2 3 5 3 3 3
Т очность(к5) 1 2 3 3 1 2 5 4
Сложность(к6) 2 2 3 2 1 2 4 4
Доступность информации(к7) 1 3 3 3 1 3 3 4
Стоимость реализации^) 2 2 3 2 1 2 3 4
3. Предопределим все оценки объектов в порядковой шкале и выясним, может ли предпочтение быть выражено рангами. В каждом ранжировании первое место занимает наиболее привлекательный, с точки зрения рассматриваемого показателя, объект и далее по убыванию. Затем каждому вектору kj поставим в соответствие вектор pj = (ж;1,ж;2,..., ж jn),
сформированный по правилу: координата жп - число направлений,
которые, согласно j-му частному показателю, являются наиболее предпочтительными, чем направление, имеющее порядковый номер i.
Следовательно, приоритет каждого показателя определяем следующим образом: жх = (2,2,0,2,3,2,1,2); ж2 = (1,1,0,1,2,0,3,1);
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
187
p = (3,1,0,1,3,1,3,2); p =(2,2,0,1,3,1,1,1); p p = (0,1,1,1,0,1,1,2); p = (1,1,2,1,0,1,2,3).
(0,1,2,2,0,1,4,3); p
(1,1,2,1,0,1,3,3);
4. Поиск группового ранжирования, в котором наилучшим образом будут представлены индивидуальные предпочтения. В качестве такового будет рассматриваться медиана Кемени, определяемая следующим образом:
т л
p* = min ^ d (p,pJ), (1)
p j=1
где d(p,pJ) - расстояние между двумя ранжировками, определяемое по формуле:
d(p,pj)= £p -p/|. (2)
i=1
5. Далее строим матрицу потерь R = {rpq}: рассматриваются векторы, в
которых направление с номером i (ie{1,2,....n})расположено
последовательно от 1-го до n-го места: p = (p1,p2,....,pp,...., pn) -ранжирование, в котором p-ый показатель стоит на q-ом месте (т.е. pp = q -!), тогда
r = > p -p
pq p p
J=1
Для наших данных получаем матрицу потерь в табл. 3.
(3)
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
188
Матрица потерь R
10 6 8 14 22 30 38 46
10 2 6 14 22 30 38 46
7 7 9 17 25 33 41 49
10 2 6 14 22 30 38 46
11 11 11 13 21 29 37 45
8 2 8 16 24 32 40 48
18 10 8 8 14 22 30 38
17 9 5 7 15 23 31 39
Таблица 3
6. Путем минимизации функционала решим задачу о назначениях:
ZZrpq *xpq ® min
p=1 q=1
П ___
Z xpq = 1, P = 1, П
4 p=1
Z
q=1
x
pq
xpq =1 q = 1 П > 0,
(4)
гдеХ - бинарная матрица значений: xpq=1, если p-я альтернатива назначается на q-е место и xpq=0, в противном случае.
Матрица X = {xpq} при выполнении условий (4) соответствует
некоторому ранжированию.
Задача о назначениях может быть решена с использованием методов линейного программирования или алгоритма решения транспортной задачи. В этом случае для решения задачи о назначении с минимальной стоимостью можем использовать программу MS Excel, опцию «Поиск решения» (рис. 1).
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
189
Рисунок 1 - Опция «Поиск решения» в программе MSExcel
Получаем матрицу назначения в виде (табл. 4):
Матрица назначения
0 0 0 1 0 0 0 0
0 0 0 0 1 0 0 0
1 0 0 0 0 0 0 0
0 0 1 0 0 0 0 0
0 0 0 0 0 1 0 0
0 1 0 0 0 0 0 0
0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 1
Таблица 4
По матрице А * = {х*} восстанавливаем вектор группового
предпочтения K , анализируя матрицу А по строкам: если х = 1, то в
*
векторе K полагаем к* = p . В нашем случае: х14 = 1; х25 = 1; х31 = 1; х43 = 1; х56 = 1; х62 = 1; х77 = 1; х88 = 1; следовательно, P* = (3,6,4,1,2,5,7,8).
http://ej.kubagro.ru/2015/06/pdf/52.pdf
ийМ
Научный журнал КубГАУ, №110(06), 2015 года
190
7. При необходимости определения коэффициентов предпочтений объектов возможно использовать метод парных сравнений или схему весов Фишберна.
Для метода парных сравнений: составляем матрицу парных сравнений L = {wpq} p, q = 1, n для группового предпочтения, элементы которой
определяются следующим образом: wpq = 2, если согласно ранжированию
* _
K -направление, имеющее порядковый номер р, является более
предпочтительным, чем q-е направление; wpq = 1, если р-й и q-й методы равно предпочтительны, и wkl = 0, если p-й менее предпочтителен, чем q-й.
n
Затем считаем сумму элементов каждой строки up = ^ wpq и величину
q=1
n
V = ^ up . Далее находим значения, соответствующие каждому объекту:
p=1
X
p
—, p = 1, n V
(5)
В нашем случае получаем матрицу парных сравнений L (табл. 5):
Таблица 5
Матрица парных сравнений
k/l 1 2 3 4 5 6 7 8 Приоритет
1 1 2 0 0 2 0 2 2 9/64=0,14
2 0 1 0 0 2 0 2 2 7/64=0,11
3 2 2 1 2 2 2 2 2 15/64=0,23
4 2 2 0 1 2 0 2 2 11/64=0,17
5 0 0 0 0 1 0 2 2 5/64=0,08
6 2 2 0 2 2 1 2 2 13/64=0,20
7 0 0 0 0 0 0 1 2 3/64=0,05
8 0 0 0 0 0 0 0 1 1/64=0,02
Итоговое ранжирование альтернатив по методу поиска медианы Кемени представляет порядок: объект 3 (0,23) f объект 6 (0,20) f объект 4
http://ej.kubagro.ru/2015/06/pdf/52.pdf
Научный журнал КубГАУ, №110(06), 2015 года
191
(0,17) f объект 1 (0,14) f объект 2 (0,11) f объект 5 (0,08) f объект 7 (0,05) f объект 8 (0,02).
Таким образом, метод медианы Кемени позволил проранжировать методы оценки эффективности ИТ. Приоритетность использования методов следующая:
1) стандартные методы оценки экономической эффективности инвестиций в ИТ;
2) метод расчета экономической добавленной стоимости;
3) метод «Отдача активов»;
4) модель совокупной стоимости владения;
5) метод расчета рентабельности инвестиций;
6) метод расчета единовременных затрат;
7) вероятностные методы;
8) метод построения дерева «проблемы-цели-задачи».
Литература
1. Новак В. О., Симоненко Ю. Г. , Бондар В. П. и др. 1нформацшш системи в менеджмента тдручник. - К.: Каравела, 2008. - 616 с.
2. Красноперов К. Оценка эффективности ИТ-инвестиций / К. Красноперов // Открытые системы [Электронный ресурс]. - 2003. - №6. - Режим доступа: http://www.citforum.ru/cfin/articles/it invest/
References
1. Novak V. O., Simonenko Ju. G. , Bondar V. P. i dr. Informacijni sistemi v menedzhmenti: pidruchnik. - K.: Karavela, 2008. - 616 s.
2. Krasnoperov K. Ocenka jeffektivnosti IT-investicij / K. Krasnoperov // Otkrytye
sistemy [Jelektronnyj resurs]. - 2003. - №6. - Rezhim dostupa:
http://www.citforum.ru/cfin/articles/it_invest/
http://ej.kubagro.ru/2015/06/pdf/52.pdf
