Методы экспертных оценок в прикладной информационной экономике для обоснования преимуществ информационных систем и технологий Текст научной статьи по специальности «Экономика и бизнес»

УДК 004,007,519.8 JEL M15

Методы экспертных оценок в прикладной информационной экономике для обоснования преимуществ информационных систем и технологий

ВАСИЛЬЕВА ЕЛЕНА ВИКТОРОВНА,

д-р экон. наук, доцент, профессор кафедры «Бизнес-информатика», Финансовый университет, Москва, Россия evvasileva@fa.ru

ДЕЕВА ЕЛЕНА АЛЕКСЕЕВНА,

канд. экон. наук, доцент кафедры «Бизнес-информатика», Финансовый университет,

Москва, Россия

eadeeva@fa.ru

Аннотация. Расширение информационной поддержки деятельности — актуальная задача для любой организации. Однако эффект от автоматизации бизнес-процессов не всегда можно выделить в улучшении экономических показателей деятельности. Поэтому проблема оценки внедрения или разработки информационных систем приобретает особую важность. Для управления инфраструктурой, понимания эффективных направлений развития информационных технологий в организации важно определять свой набор ключевых показателей эффективности и использовать комплексные методы их оценки. В статье приводятся примеры оценки качественных изменений от внедрения информационных систем или технологий с помощью прикладной информационной экономики (Applied Information Economics, AIE). Дается обоснование расширения этого метода путем использования экспертных оценок. Также дано обоснование возможности включения дельфийской процедуры в методику расчетов для формирования перечня критериев и применения метода индексной группировки мнений экспертов для определения весов критериев. Приведенная методика может быть полезна при обосновании разработки или внедрения информационных систем в организации.

Ключевые слова: информационная система; оценка эффективности; качественные показатели; прикладная информационная экономика; экспертные оценки; методы обработки экспертной информации.

Methods оf Expert Evaluations in Applied Information Economics for the Analysis оf Efficiency Investments in Development of Information Systems

VASILEVA E. V.,

Doctor of Economics, professor of "Business Informatics" Financial University, Moscow, Russia evvasileva@fa.ru

DEEVA E.A.,

PhD, associate professor of "Business Informatics" Financial University, Moscow, Russia eadeeva@fa.ru

Abstract. Information support activities is a critical task for any organization. However, the effect of automation of business processes is not always possible to allocate in improving economic performance. Therefore, the problem of evaluating the implementation or development of information systems is particularly important. It is very important to define its own set of key performance indicators and use integrated methods of evaluation for IT-infrastructure management and for understanding of effective directions of development of information technologies in organizations. The article illustrates the estimation of quality changes from implementation of information systems or technologies using the applied information Economics (Applied Information Economics, AIE). The authors present the rationale for the extension of this method by using expert assessments. The authors show the possibility of including the Delphic procedures in calculation method for the formation of a list of criteria, as well as the application of the method of the index group of expert opinion to determine the weights of the criteria. This method can be useful in the justification of the development or implementation of information systems in organizations.

Keywords: information system; performance evaluation; quality indicators; applied information economics; expert assessments; methods of processing expert information.

Парадокс производительности информационных технологий (ИТ) был озвучен профессором Массачусетского технологического института Робертом Солоу в 1987 г. Эта фраза впоследствии стала крылатой: «Мы видим компьютеры везде, кроме статистики производительности» [1]. И до сих пор самый неудобный вопрос, который может прозвучать после завершения проекта внедрения информационной системы: как же улучшатся финансовые показатели уже в текущем году? И второй вопрос, не менее трудный: во сколько обойдутся ИТ организации? В ежегодных отчетах аналитической компании Panorama Consalting анализируются результаты внедрения корпоративных информационных систем (ERP) от крупных поставщиков решений SAP, Oracle, Microsoft Dynamics, Epicor и Infor (http://panorama-consulting.com/resource-center/2016-erp-report/). Для изучения мировой практики внедрения ERP проводятся опросы организаций, внедривших их. Если проанализировать усредненные показатели результатов внедрения ERP-проектов в мире за 2009-2015 гг., то можно увидеть, что средний бюджет проекта составлял 5,7 млн долл. США (в 2015 г. — 3,8 млн долл. США). Перерасход бюджета при этом случался в 51-57% случаях ежегодно. По данным на 2015 г., средняя длительность завершенных проектов составляла 21,1 месяца. Заметим, что в отчетах Panorama Consalting за период с 2009

по 2015 г. проекты внедрения ERP в среднем имели продолжительность 16,9 месяцев. Превышались сроки в среднем за 7 лет в 59,4% проектах. В 2015 г. процент перерасхода проектного времени приходился на 57% проектов, в 2014 г.— на 75%, в 2013 г. — на 72%. 7% проектов были признаны в 2016 г. провальными и только 57% — успешными.

В России статистика с отклонением в финансировании проектов не столь критична. Так, по данным 1С, 19% проектов превысили бюджет до 30%, а в 3% случаях — свыше 30%. Однако, так же как и в мире, продолжительность проектов увеличивалась в 54% случаях: в каждом десятом проекте на 30%, а 24% проектов не уложились в сроки до 11-30% (http://www.tadviser.ru/index.php/).

Разработка и внедрение информационных систем (ИС) в организациях — это проект, затратный не только на начальном этапе, но, в большей степени, уже при эксплуатации программных продуктов. Это делает важным выбор методов и инструментов для оценки экономического обоснования нового ИТ-решения. Особенно остро вопрос анализа эффективности ИС звучит сегодня, в условиях сложной экономической обстановки и тренда на цифровую трансформацию производства. Несмотря на естественные сомнения в эффективности автоматизации для бизнеса и привычное желание урезать в первую очередь бюджеты на ИТ, руководитель организации дол-

жен грамотно, с учетом перспективы, оценить все «за» и «против», понимая, что эффект от использования информационных технологий или систем не всегда можно выделить в улучшении экономических показателей деятельности организации.

Оценка эффективности может быть достоверна и обоснована только при анализе всех возникающих издержек и получаемых выгод, явных и неявных. Классические методы оценки эффективности ИС рассматривают проекты как инвестиционные и предполагают сравнение доходной и затратной части в расчете «денежного потока» с помощью показателей чистого дисконтированного дохода (Net Present Value, NPV), индекса рентабельности инвестиций (Profitability Index, PI), внутренней нормы окупаемости (Internal Rate of Return, IRR) [2]. И если затратную часть выделить несложно, то оценить эффект (доходную часть) в полной мере объективно трудно.

Использование ИС и ИТ само по себе не приносит прямых преимуществ, а только создает условия для их получения за счет улучшения в рабочих процессах. Так, среди наиболее распространенных выгод от проектов автоматизации называют повышение доступности информации (60%), улучшение взаимодействия (13%), снижение трудовых затрат и времени операций на 7% соответственно (http://panorama-consulting.com/resource-center/2016-erp-report/). Среди других эффектов от внедрения ИС можно отметить прозрачность бизнес-процессов и загрузки персонала, снижение риска ошибок (в том числе, за счет исключения «человеческого фактора»), уменьшение времени на обработку данных, повышение лояльности клиента (в том числе, за счет снижения ошибок и повышения скорости при обслуживании). Так, опосредованно ИТ и ИС оказывают воздействие на улучшение финансовых показателей организации. Однако качественный эффект трудно перевести в цифры, и определяемый этими критериями комфорт от владения ИС иногда оправданнее оценивать посредством качественных методов экономической оценки.

Прикладная информационная экономика (Applied Information Economics, AIE), разработанная Дугласом Хаббардом, руководителем компании Hubbard Ross, впервые была применена в 1999 г. для анализа ценности инвестиций в технологии безопасности с финансовой и экономической точек зрения [3]. Идея метода заключается в анализе

портфеля проектов, предлагаемых к внедрению, по факторам, влияющим на принятие решения об их стратегической ценности. Рейтинг опирается на оценки уровня значимости (качественных эффектов) и риска изменений от внедрения ИС. Далее, в зависимости от места в рейтинге проекта, определяются приоритетные направления инвестирования.

Метод AIE имеет различные модификации, одна из которых предполагает, что для каждой из целей ИТ-проекта определяется вероятность ее достижения. Такой анализ позволяет выбрать наиболее важные характеристики ИС, установив между ними соотношения, например, с помощью коэффициентов значимости. Данный подход может быть также применен для оценки явных и неявных факторов эффективности ИТ-проектов, обоснования значимости полученных качественных изменений от дополнительно автоматизируемых функций или задач, от внедрения информационной системы, любого из ее модулей или развития ее функциональности.

В любом случае для формирования перечня влияющих на принятие решения факторов, их весов, а также оценок качества внедрения ИС или доработки ее модулей при составлении рейтинга требуется привлечение группы экспертов и обработка информации для получения их обобщенного мнения. Как известно, сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов [4, с. 9].

Авторы предлагают методику практического использования экспертных оценок в методе AIE для обоснования преимуществ ИС и ИТ. Рассмотрим предлагаемую методику на примере оценки эффективности от внедрения конкретного проектного решения (проект А). Следует отметить, что в рассматриваемом варианте метод AIE модифицирован за счет включения весов критериев, итоговые результаты работы экспертной группы оформлены в табл. 1.

Приведем необходимые комментарии, касающиеся заполнения табл. 1. Как было отмечено выше, заполнение табл. 1 производится с участием группы экспертов, в состав которой целесообразно включать не менее 6-8 компетентных специалистов (число экспертов, входящих в состав экспертной группы, обозначим за N). Непосредственно перед проведением экспертизы дополнительно

Таблица 1

оценка основных критериев эффективности проекта автоматизации (проект А) бизнес-процесса потребительского кредитования

Балл качества

№ критерий эффективности (характеристика) внедрения проектного решения, # (/ = 1, М) вес критерия, Qi

п/п до внедрения решения после внедрения решения

1 2 3 4 5

1 Автоматизированный бизнес-процесс потребительского кредитования 0 2 0,200

2 Увеличение количества рассматриваемых заявок 0 2 0,185

3 Оперативность при обработке информации 1 2 0,150

4 Увеличение лояльности потенциальных клиентов 0 2 0,115

5 Специально разработанный интерфейс для рассмотрения заявки 0 2 0,110

6 Увеличение качества кредитного портфеля 1 2 0,090

7 Наличие контроля сроков рассмотрения заявки 1 2 0,085

8 Возможность распределения задач между исполнителями 1 1 0,065

Суммарная балльная оценка с учетом веса каждого критерия 0,39 1,935 1,000

(но не обязательно) может быть проделана работа по комплексному определению компетентности каждого эксперта (для последующего учета веса его мнения) по формуле [4, с. 114]

к=0,4ксам+0,бкВз, а)

где ксам — самооценка компетентности; квВз — взаимная оценка компетентности. Методические рекомендации для определения самооценки и взаимной оценки компетентности экспертов на основе многоэтапного анкетирования подробно изложены в источнике [4, с. 29-37, 115-117] и здесь не приводятся.

Работа экспертной группы реализуется в три этапа.

На первом этапе работы экспертная группа формирует перечень критериев эффективности внедрения проектных решений (столбец 2 табл. 1, за исключением итоговой строки).

Формирование перечня критериев происходит в несколько туров по одному из вариантов дельфийской процедуры [5, с. 283; 6, с. 76]. Здесь следует отметить, что метод Дельфи считается одним из основных при проведении экспертиз и имеет множество модификаций. По сути, это целая группа методов, объединенных общими требованиями к форме получения экспертных оценок и организации процедуры экспертизы, которая реализуется в несколько туров с использованием обратной связи. Характерной особенностью дельфийских методов является уменьшающийся от тура к туру

разброс оценок экспертов, их все возрастающая согласованность при последующих итерациях.

Итак, для формирования перечня критериев эффективности внедрения ИС на первом туре дельфийской процедуры каждый эксперт называет М значимых, на его взгляд, ее характеристик (критериев), которые могли бы быть получены в результате внедрения. Отметим здесь, что количество называемых каждым экспертом характеристик на каждом туре должно быть одинаково, оно устанавливается на предваряющем дельфийскую процедуру совещании членов экспертной группы (авторы рекомендуют это количество устанавливать в диапазоне от 5 до 10; в рассматриваемом примере М = 8). Кроме того, что эксперт называет критерии, он также должен оценить их в зависимости от значимости по М-балльной шкале (размерность шкалы должна соответствовать количеству называемых каждым экспертом характеристик). Так формируется первоначальный, как правило, довольно обширный перечень характеристик, который на следующих этапах экспертного опроса будет последовательно сокращаться до выявления М наиболее важных, с точки зрения всех экспертов. Индивидуальные результаты работы каждого эксперта на первом туре удобно фиксировать следующим образом (табл. 2). Количество строк в табл. 2 у каждого эксперта будет равно М. В качестве индивидуального инструментального средства для работы каждого эксперта авторы рекомендуют использовать электронные таблицы и средства коллективной работы, в которых есть возможность консолидации индивидуальных экспертных мнений и последующей обработки их оценок для получения обобщенного мнения экспертной группы.

Полученные в результате первого тура данные необходимо свести в специальную форму (табл. 3) с подсчетом общей суммы баллов, набранных каждой характеристикой. Уточним, что в каждом столбце, кроме итогового, количество оценок будет соответствовать числу названных экспертом характеристик, а остальные позиции в столбце могут быть заполнены прочерками или нулями.

Далее перечень из сводной табл. 3 нужно упорядочить по убыванию общей суммы баллов, набранных каждой характеристикой, и представить в форме, соответствующей табл. 4, с расчетом для каждой строки доли в процентах от итоговой суммы баллов.

Затем по заполненной таблице результатов первого тура экспертного опроса (табл. 4) необходимо

определить следующие границы групп генеральной совокупности (это удобно делать с помощью функции КВАРТИЛЬ в MS Excel):

• минимальное значение;

• квартиль 1;

• квартиль 2;

• квартиль 3;

• максимальное значение.

Во втором туре каждый эксперт получает сформированный всеми экспертами перечень характеристик (см. табл. 4), из которого исключены характеристики, оказавшиеся в квартиле 1 по результатам первого тура экспертного опроса. Таким образом, во втором туре эксперты рассматривают характеристики, вошедшие в квартили 2-4 в первом туре. Каждый эксперт из предложенного перечня оценивает только M характеристик по соответствующей шкале, наиболее важных с его точки зрения. Причем эксперты, которые в первом туре называли характеристики, исключенные по его результатам, будут вынуждены пересмотреть свою точку зрения. Новые результаты опроса сводятся в таблицу, форма которой аналогична табл. 3, а затем в виде упорядоченного по убыванию общей суммы баллов перечня оформляются в таблицу, идентичную табл. 4. Затем определяются те же границы групп генеральной совокупности, что и в первом туре.

Третий и последующий туры проводятся аналогично второму. Таким образом, на основе одного из возможных вариантов реализации дельфийской процедуры в результате многоуровневого опроса экспертов формируется перечень из M характеристик эффективности внедрения ИС (столбец 2 табл. 1). Далее критерии в сформированном перечне следует расположить по степени важности. Для этого каждый эксперт заполняет таблицу, схожую с табл. 2, где в столбце 3 указывает ранг критерия — rm (порядковое место критерия в сформированном перечне в виде натурального числа от 1 до M, где M — количество критериев). Эквивалентные, по мнению эксперта, критерии получают одинаковые ранги, каждый из которых равен среднеарифметическому значению порядковых мест этих критериев. Таким образом, ранжировки критериев, полученные от экспертов, должны быть стандартизированными, т.е. для каждой из них должно выполняться равенство

M

Vr =

/ : т

M ( M + 1)

(2)

m=1

2

Таблица 2

Перечень характеристик с балльными оценками ¡-го эксперта из состава группы (/ = 1, N) на 1-м туре дельфийской процедуры

№ п/п Характеристика (критерий) Балльная оценка

1 2 3

Таблица 3

Сводный перечень характеристик на 1-м туре экспертного опроса

Характеристика (критерий) Балльная оценка ¡-го эксперта, ] = 1, N Сумма баллов

1 2 N

1 2 3 N+1 N+2

Итого

Таблица 4

Результаты 1-го тура экспертного опроса (упорядоченный перечень характеристик)

Характеристика (критерий) Сумма баллов Доля, %

1 2 3

Стандартизация может быть выполнена с помощью, например, метода стандартизированного ранга [5, с. 276]. Если эксперты сильно разошлись во мнениях относительно назначения рангов, то для оценки степени согласованности их мнений рекомендуется воспользоваться расчетом и оценкой значимости дисперсионного или энтропийного коэффициента конкордации (коэффициента согласия). И, если коэффициент подтвердит сильное расхождение во мнениях, целесообразно провести совещание с целью большего согласования мнений экспертов, а затем повторить процедуру ранжирования. Для получения обобщенной ранжировки, учитывающей мнения всех членов экспертной группы, можно воспользоваться методом сумм рангов. Этот метод в данном случае будет корректной процедурой, поскольку ранги назначаются как места критериев в виде натуральных чисел от 1 до М. Результатом этого этапа работы экспертной группы будет сформированный перечень из М проранжированных критериев (критерии следует представить в порядке убывания рангов).

Затем, на втором этапе работы экспертной группы, происходит заполнение столбца 5 табл. 1 —

определение весомости характеристик (критериев). Каждому из М критериев эксперты должны поставить в соответствие вес, характеризующий важность (значимость) данной характеристики. Эксперты на этом этапе работают с уже упорядоченным по убыванию рангов перечнем критериев. Авторы рекомендуют экспертную оценку весомости критериев проводить в 10-балльной шкале. Здесь отметим, что предлагаемое далее в методике нормирование экспертных оценок позволит перевести веса характеристик в диапазон десятичных значений от 0 до 1. Этот этап работы группы также проходит в форме анкетирования, которое желательно проводить в два тура с обратной связью или дискуссией между экспертами. Если анкетирование проводится за одну итерацию, то это целесообразно сделать на очном совещании группы. Каждый эксперт заполняет анкету, форма которой представлена в табл. 5. Поскольку эксперты работают с упорядоченным по убыванию значимости характеристик (с точки зрения всех членов экспертной группы) перечнем, их веса в анкетах экспертного опроса (столбец 3 табл. 5) также должны убывать сверху вниз.

Таблица 5

Анкета для определения весомости характеристик у-м экспертом

№ п/п Критерий эффективности внедрения ИС, # (/ = 1, М) Вес критерия (Ч)

1 2 3

Таблица 6

Сводная таблица работы экспертной группы по определению весомости характеристик

№ п/п Критерий эффективности внедрения ИС, # (/ = 1, М) Вес критерия по мнению у-го эксперта (ду), у = 1, N

1 N

1 2 3 N+2

Полученные от экспертов оценки весомости каждого показателя сводятся в специальную форму (табл. 6).

Далее необходимо построчно усреднить, а затем нормировать критерии. В целях усреднения можно применить хорошо зарекомендовавший себя на практике метод индексной группировки мнений экспертов [5, с. 287] или усреднение с учетом компетентности экспертов согласно источнику [4, с. 119], если предварительно была проведена работа по комплексной оценке компетентности каждого участника экспертной группы.

Формализация метода индексной группировки мнений экспертов для практической реализации в рамках предлагаемой методики может быть представлена следующим образом.

Обозначим групповую экспертную оценку (вес г-го критерия), получаемую на основании индивидуальных экспертных мнений о весах по каждой строке, соответствующей г-й характеристике в табл. 6, как О.

Пусть — оценка веса г-го критерия у-м экспертом (j = 1, N).

Шаг 1. Рассчитаем среднюю оценку:

тах . тт

а =

' 2

где д'"ах и дтт

соответственно максимальное

же сформируем множества Р и О (Р — множество экспертных оценок, образовавших положительные отклонения от средней оценки, О — множество экспертных оценок, образовавших отрицательные отклонения от средней оценки) и подсчитаем количества элементов в этих множествах (р — количество элементов множества Р, g — количество элементов множества О):

dj = 4} -а, (4)

если dj > 0, то е е Р ; если dj < 0, то } еб .

Шаг 3. Вычислим суммы отрицательных S-и положительных S + отклонений:

s +=а, s ~=а.

}еР }ев

(5)

Шаг 4. Установим значения индексов к} и к2:

если S+ >

S-

, то к = S+ : S , к2 = 1;

(6)

(3) если S+ < № , то к1 = 1, к2 = № : S+.

} 4}

и минимальное значения из экспертных оценок по строке г.

Шаг 2. Определим — отклонения экспертных оценок от установленной средней величины, а так-

Шаг 5. Рассчитаем обобщенную экспертную оценку Ог:

а =-

е^} + к2 Е а.

к Р + к2 g

(7)

Описанная реализация метода индексной группировки производится для всех строк табл. 6 (/ = 1М) . Результаты расчетов целесообразно вносить в табл. 6, которую следует дополнить справа соответствующим столбцом. Для последующего нормирования обобщенных экспертных оценок, которые заносятся в табл. 1 (столбец 5), необходимо использовать формулу

Q* =-

Qi

(8)

Если же усреднение экспертных оценок производится не на базе метода индексной группировки мнений экспертов, а с учетом компетентности каждого эксперта [см. формулу (1)], то для усреднения в целях получения обобщенных экспертных оценок используется следующая расчетная формула ^ = 1, М):

Q =-

£ j

(9)

а последующее нормирование оценок производится по формуле (8).

Таким образом, столбец 5 табл. 1 оказывается заполненным.

Третий этап работы экспертной группы — установление баллов качества для каждого критерия I (1 = 1, М) до и после внедрения конкретного проектного решения. На этом этапе производится заполнение столбцов 3 и 4 табл. 1. Реализацию этого этапа авторы данной статьи рекомендуют проводить на коллективном совещании членов экспертной группы. Значения баллов качества реализации функций ИС (качество проявления характеристики) здесь следующие: 0 — «функция не выполняется», 1 — «функция выполняется частично», 2 — «функция выполняется полностью».

Последней заполняется итоговая строка в табл. 1, в которую помещаются суммарные балльные оценки до и после внедрения конкретного проекта с учетом веса каждого критерия.

Таким образом, проведя экспертную оценку каждой из имеющихся проектных альтернатив (проектов А, В и т.д.), можно выбрать наилучший проект, ориентируясь на максимальную суммарную балльную оценку после внедрения.

Кроме того, следует отметить, что расчет баллов качества до и после внедрения проекта ав-

томатизации, с точки зрения экспертной оценки, позволяет выделить сильные стороны внедрения. Например, анализ информации в табл. 1 позволяет говорить о том, что внедренная ИС позволит увеличить количество выданных кредитов, качество кредитных портфелей и т.д., следовательно, напрямую повлияет на доходность и прибыльность банка.

В рамках данной статьи рассмотрим также распространенные заблуждения руководства компаний, приводящие к поверхностным оценкам эффектов от внедрения ИС. В настоящее время в организациях как результат «лоскутной» автоматизации функционирует множество ИС. В вопросах экономической эффективности и стоимости владения создаваемых ИС стоит учитывать, что специализированные решения более управляемы, проще и дешевле, а интеграция систем не всегда позволит грамотно автоматизировать бизнес-процессы.

Если говорить о возможностях сокращения времени, то любая ИС, как правило, предполагает появление дополнительного множества заполняемых полей таблиц баз данных. Кроме того, переход на электронный документооборот не отменяет твердую копию документов, а, значит, добавится необходимость сканирования документов, регистрации и перенаправления корреспонденции и пр. Все это дополнительные временные затраты персонала. И, к сожалению, такие проблемы характерны для многих организаций [7]. Внедрение же такой сложной системы, как ERP, создает необходимость формирования значительного штата персонала, занимающегося ее обслуживанием, подразумевает затраты на обучение сотрудников, что также отражается на стоимости владения ИС [8, с. 21].

Задача автоматизации деятельности является основным направлением развития любой организации. Однако и проблема оценки эффекта от автоматизации остается важной. Доступность информации еще не гарантирует принятия правильных решений. Для управления инфраструктурой, понимания направлений развития информационных технологий в организации важно определять свой набор ключевых показателей эффективности проекта автоматизации и использовать экспертные методы их оценки. ИТ обеспечивают получение прямых результатов, но участие руководства организации необходимо для того, чтобы преобразовать эти результаты в преимущества.

< 22

Методы экспертных оценок в прикладной информационной экономике..

Литература

1. Solow R. M. We'd Better Watch Out // New York Times Book Review. 1987. C. 36.

2. Васильева Е. В., Данилина О. М., Лобанова Н. М. Оценка эффективности информационных технологий (информационных систем). М.: ГУУ, 2007. С. 60.

3. Дуглас У. Х. Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе / пер. с англ. Е. Пестеревой. М.: Олимп-Бизнес, 2009. С. 68.

4. Евланов Л. Г., Кутузов В. А. Экспертные оценки в управлении. М.: Экономика, 1978.

5. Васильева Л. Н., Деева Е. А. Моделирование микроэкономических процессов и систем. М.: КНОРУС, 2016.

6. Васильева Л. Н., Муравьева Е. А. Методы управления инновационной деятельностью. М.: КНОРУС, 2005.

7. Алтухова Н. Ф., Васильева Е. В., Громова А. А., Славин Б. Б. Ключевые показатели приборной панели государственной службы // Вестник университета (Государственный университет управления). 2016. № 10. С. 10-18.

8. Васильева Е. В. Современные проблемы управления процессом формирования и возмещения кадров ИТ-отрасли и вузов // Проблемы рыночной экономики. 2016. № 1. С. 20-24.

References

1. Solow R. M. We'd Better Watch Out // New York Times Book Review. 1987, p. 36.

2. Vasileva E. V., Danilina O. M., Lobanova N. M. Evaluation of Information Technology (Information Systems) [Ocenka jeffektivnosti informacionnyh tehnologij (informacionnyh sistem)]. Moscow, GUU, 2007, p. 60 (In Russ.).

3. Hubbard D. How to measure anything. Valuation of intangible business [Kak izmerit' vse, chto ugodno. Ocenka stoimosti nematerial'nogo v biznese] / per. s angl. E. Pesterevoj. Moscow, Olimp-Biznes, 2009 (In Russ.).

4. Evlanov L. G., Kutuzov V. A. Expert assessment in the management [Jekspertnye ocenki v upravlenii]. Moscow, Jekonomika, 1978 (In Russ.).

5. Vasileva L. N., Deeva E. A. Modelling microeconomic processes and systems [Modelirovanie mikrojekonomicheskih processov i system]. Moscow, KNORUS, 2016 (In Russ.).

6. Vasileva L. N., Murav'eva E.A. Management methods innovative activity [Metody upravlenija innovacionnoj dejatel'nost'ju]. Moscow, KNORUS, 2005(In Russ.).

7. Altuhova N., Vasileva Е., Gromova А., Slavin B. Key indicators of the public service dashboard [Kljuchevye pokazateli pribornoj paneli gosudarstvennoj sluzhby]. Vestnik universiteta (Gosudarstvennyj universitet upravlenija) — University Bulletin (State University of Management). 2016, no. 10, pp. 10-18 (In Russ.).

8. Vasileva Е. Modern problems of managing the process of forming and reimbursing the staff of the IT industry and universities [Sovremennye problemy upravlenija processom formirovanija i vozmeshhenija kadrov IT-otrasli i vuzov]. Problemy rynochnoj jekonomiki — Problems of market economy. 2016, no. 1, pp. 20-24 (In Russ.).