CC BY
42
СИСТЕМНЫЙ АНАЛИЗ И УПРАВЛЕНИЕ SYSTEM ANALYSIS AND PROCESSING OF KNOWLEDGE
УДК 004.942
DOI:10.18413/2411-3808-2018-45-1-129-139
ПРИМЕНЕНИЕ СИСТЕМНОГО ПОДХОДА ПРИ ОЦЕНИВАНИИ ЭФФЕКТИВНОСТИ ИТ-ПРОЕКТОВ ПО УПРАВЛЕНИЮ ИТ-ИНФРАСТРУКТУРОЙ
THE APPLICATION OF THE SYSTEM APPROACH IN ASSESSING THE EFFECTIVENESS OF IT PROJECTS FOR MANAGING THE IT INFRASTRUCTURE
В.С. Нехотина V.S. Nekhotina
Белгородский университет кооперации, экономики и права, Россия, 308023, г. Белгород, ул. Садовая, 116а
Belgorod University of cooperation, Economics and law, 116a Sadovaya St, Belgorod, 308023, Russia
Е-mail: nnviktory@yandex.ru
Аннотация
Представлены теоретические положения и даны некоторые практические рекомендации на основании системного подхода, которые могут быть использованы при оценивании эффективности ИТ-проектов по управлению ИТ-инфраструктурой. Определен математический и физический смысл цели реализации ИТ-проекта. Обоснована целесообразность использования в качестве меры оценивания эффективности ИТ-проекта показатель вероятности достижения цели его реализации. Представлены компоненты критерия пригодности ИТ-проекта. Выявлены виды показателей эффективности ИТ-проекта и их математические формулировки. Выявлены основные факторы, оказывающие влияние на эффективность ИТ-проекта, оказывающие существенное влияние на формулирование цели его реализации.
Abstract
The article presents the theoretical principles and gives some practical advice based on a systematic approach that can be used in the process of performance evaluationIT projectsIT infrastructure of corporate information system management. The definitions and specified features such concepts as "performance indicator", "efficiency" and "performance evaluation criterion" applied toIT projectm. The Detected mathematical and physical sense of purpose implementation of ITP. The expediency of using as a measure of performance evaluation ITP rate the probability of achieving the target of its implementation. Presented criterion componentsfitness IT projectIncluding the target parameters and options availability and reliability of IT infrastructure. It proved the illegality of identifying the concepts of efficiencyIT project and IT infrastructure. The kinds of performance indicatorsIT projectAnd presented their mathematical formulations. Formulated and solved the problem of the relation of efficiency and cost effectiveness when evaluating IT project. The main factors that influence the effectiveness ofIT project and have a significant impact on the formulation of the purpose of its implementation.
Ключевые слова: ИТ-проект, ИТ-инфраструктура, эффективность, системный подход Keywords: IT project, IT infrastructure efficiency, systematic approach
Постановка проблемы и цель работы
Вопросам оценивания ИТП (ИТП) посвящено множество публикаций и исследований, однако единого подхода к данной проблеме в настоящее время не существует. Данное обстоятельство позволяет использовать в процессе оценивания различные подходы в зависимости от конкретной ситуации и исходных условий реализации проекта.
Качество любого ИТП в полной мере может проявиться лишь в процессе его реализации. Следовательно, наиболее объективным представляется его оценивание по эффективности целевого применения. Объективно оценить результаты реализации ИТП, используя один числовой показатель практически невозможно, поскольку каждый проект характеризуется множеством положительных и отрицательных эффектов, часть которых может находиться в противоречии с основной целью реализации проекта. В свою очередь, совокупность противоречивых показателей единичных результатов реализации проекта также не дает возможности оценить эффективность ИТП. Потому существует необходимость проведения обобщенного (многокритериального, комплексного, многокомпонентного) оценивания и анализа качества ИТП, которая может быть решена посредством использования различных функций (сверток компонентов вектора -показателя результатов ИТП).
Существующие публикации в области оценивания ИТП укрупненно можно разделить на две большие группы. Первая группа статей посвящена разработке новых или адаптации существующих методов оценивания ИТП. Вторая часть публикаций содержит анализ методов, которые могут быть использованы в процессе оценивания ИТП [Передереева, Калашников, 2017; Филатова, 2017]. Так, при оценивании могут быть использованы такие методы и подходы как: метод сбалансированных показателей [Макашов, Черкасов, 2015], экспертные методы [Ломазова, Ушакова, Чеглаков, 2016; Хузягалеева, 2016], финансовые методы [Антонова А.Р., 2016], метод «FUNCTION POINTS» [Евдокимов, Макеев, Кокташев, 2017], метод ТСО [Климова, 2016], метод сценариев [Грачев, 2016], методы теории нечетких множеств [Разумников, 2012], метод анализа иерархий [Разумников, 2013], метод критической цепи [Скокова, Ошурков, 2016], метод когнитивного моделирования [Калугин, Нехотина, Чеглаков, 2015], метод эволюционного синтеза моделей взаимосвязанных процессов [Gladkov, Nehotina, 2015] и т.п. Также при оценивании ИТП может быть использован структурно-параметрический [Мунтьянова, 2016] и стрейкхолдер анализ [Ломазов, Ломазова, Маторин, Нехотина, 2016]. При этом наблюдается общая тенденция при выборе методов оценивания с ориентацией на масштаб и сферу деятельности предприятия [Морозова, Овсянникова, 2017; Lomazov, Nehotina, 2013; Макашов, Черкасов, 2015; Гладков, Павлова, Филиппова, 2016;].
Представленные публикации позволяют решить задачи, учитывающие специфические особенности той или иной сферы деятельности предприятия и в большинстве случаев не учитывают особенности функционирования и внедрения ИТП. Поэтому представляется необходимым разработки и применения системного подхода и базовых его принципов с учетом специфики реализации ИТП.
Объект и методы исследования
Проведенное автором исследование [Matorin, Nekhotina, Kalugin, 2015; Нехотина, 2014; Нехотина, 2015] позволило сделать вывод, что использование системного подхода при оценивании ИТП (ИТП) по управлению ИТ-инфраструктурой является целесообразным, поскольку данные проекты являются в своей основе уникальными и характеризуются множеством параметров и критериев их оценивания.
Как методологию системный подход можно применить при оценивании ИТП и процесса их реализации при исследовании:
1) состава ИТП (системно-компонентный аспект);
2) структуры ИТП (системно-структурный аспект);
3) функций и функциональных связей элементов ИТП (системно-функциональный аспект);
4) основных факторов, оказывающих влияние на реализацию ИТП (системно-агрегативнй аспект);
5) влияния окружающей среды на реализацию ИТП (системно-ситуационный аспект);
6) динамики поведения и развития ИТП (системно-эволюционный аспект).
Процесс оценивания эффективности ИТП базируется на следующих принципах
системного подхода:
1) исследуемый ИТ-проект должен рассматриваться как совокупность взаимосвязанных элементов и подсистем.
2) исследование ИТП предполагает анализ всех его свойств и взаимосвязей;
3) описание элементов ИТП не должно носить самодовлеющего характера, а должно определяться задачами ИТП и задачами его исследования.
Основным объектом исследования эффективности ИТП является его структура. Цель исследования состоит в выявлении существенных факторов, обуславливающих его свойства, анализ влияния этих факторов на качество проекта (т.е. на его соответствие целям ИТП, определение принципов и методов организации, (планирования, обеспечения) и последующего управления ИТ-проектом, обеспечивающих его наивысшее качество).
В основе системного исследования эффективности ИТП находится поиск оптимального варианта его реализации. При этом оптимальность проекта (варианта) отождествляется с наилучшим (наибольшим) соответствием проекта его целевому назначению. То есть первичным является целевое назначение ИТП, или другими словами достигаемая с цель его реализации.
Основная часть
Показатель эффективности ИТП - это обобщенный показатель его качества как объекта исследования, а критерий оценивания качества результатов его реализации и эффективности представляют собой математические формулировки цели ИТП и необходимой степени ее достижения. Поэтому нужно различать следующие понятия:
1) эффективность - это свойство ИТП;
2) показатель эффективности - количественная мера свойства ИТП;
3) критерий оценивания эффективности ИТП - совокупность условий, определяющих цели реализации проекта, а также его пригодность и оптимальность.
В большинстве случаев реализация ИТП непосредственная связана с изменением ИТ-инфраструктуры предприятия, ее модернизации, изменения задач ею реализуемых. Не смотря на это понятия «цель реализации ИТП» и «задача ИТ-инфраструктуры» являются сходнями, но не тождественными, поскольку цель реализации ИТП достигается путем реализации одной или нескольких задач. Не требует доказательства тот факт, что если цель реализации ИТП достигнута, то это означает, что задачи ИТ-инфраструктуры были выполнены. При этом возможны ситуации, при которых задачи ИТ-инфраструктуры выполнены, но цель ИТП не достигнута. Применительно к показателям эффективности ИТП вероятность цели его реализации является собственным для ИС, а вероятность выполнения задачи функционирования ИТ-инфраструктуры - внешним показателем.
В том случае, если в процессе реализации ИТП задействована вся ИТ-инфраструктура, цель функционирования которой совпадает с целью ИС, то должно выполняться равенство = .
Достижение цели реализации ИТП это:
1) математически - выполнение некоторых условий, которые в формализованной конструктивной форме представляют собой системы отношений, заданных на множествах значений показателей качества результатов ИТП и его эффективности;
2) физически - получение некоторого результата.
Таким образом, критерий оценивания качества результатов реализации ИТП можно представить как математическую формулировку ее цели.
К{к) е \К{к) Ги (1)
где = \кк : (К{к) = К(к))= ЦПД(ШБ)} (2)
где \к(к) ^ - область допустимых значений показателя К^ качества реализации ИТП в
комплексной канонической форме по критерию [№];
ЦПД - цель реализации ИТП достигнута;
ЗПВ - задача реализации ИТП достигнута.
Математическую формулировку цели реализации ИТП в развернутой форме можно представить в виде формулы:
К{я) е{к£> N и (2)
К,^ ^ - область допустимых значений показателя К^ качества результатов реализации
ИТП в развернутой форме.
Здесь:
Н) Г = Н) : К) = Ч) Ь ЦПД(ЗПБ)} (3)
В процессе оценивания эффективности и качества реализации ИТП все процессы функционирования являются сравниваемыми по эффективности. При этом мерой оценивания служит вероятность я2К достижения цели реализации ИТП. Данный подход базируется на едином показателе эффективности, что позволяет снять неоднородность полученных результатов при оценивании, в отличие от других подходов, в рамках которых определяется несколько показателей эффективности, которые по своей сути не являются таковыми, и не могут быть использованы в процессе принятия решения.
Отметим, что вероятность я2К является одновременно относительным и абсолютным показателем эффективности ИТП. Поскольку целевой эффект связан с побочными эффектами (затратами ресурсов), то вероятность я2К характеризует эффективность ИТП с учетом соотношения основного (целевого) и побочных эффектов. Для фиксированного комплекса условий вероятность случайного события определяется как абсолютная мера (характеристика) степени его реализации. Поэтому для проведения объективного оценивания эффективности ИТП, характеризующей степень достижения ее цели достаточно определить его вероятность я2К. Такой подход позволяет проводить относительное и абсолютное оценивание эффективности различных по структуре (организации) ИТП. Данное обстоятельство делает предложенный подход приоритетным по сравнению с другими.
Состав компонентов вектора К^ ^ в большинстве случаев не являются зависимыми поскольку:
1) требования к результатам реализации проекта вытекают из различных групп;
2) требуемый целевой эффект определяется (задается) самим проектом;
3) допустимый расход ресурсов обусловлен их наличием и качеством;
4) время достижения цели проекта обусловлено ситуацией и динамикой ее развития.
Допущение о независимости компонент вектора К^ не является обоснованным, так как:
1) получение целевого эффекта происходит за счет расходования ресурсов, образующих побочные эффекты;
2) наличие избытка ресурсов позволяет осуществлять их взаимные обмены. Реализация ИТП непосредственно связана с ИТ-инфраструктурой предприятия.
Свойства (характеристики) ИТ-инфраструктуры и процесса ее функционирования можно разделить на целевые и обеспечивающие. Набор целевых характеристик для каждой компоненты ИТ-инфраструктуры является уникальным и обусловлен ее видом.
К обеспечивающим относятся эксплуатационно-технические характеристики ИТ-инфраструктуры и процесса ее функционирования, например «надежность» и «готовность».
Допустим, что требования к надежности и готовности ИТ-инфраструктуры и результатам процесса ее функционирования независимы, тогда область допустимых значений обобщенных характеристик ИТ-инфраструктуры и результатов процесса ее функционирования (К°х Л можно представить в следующем виде:
\пох/
К»*) Ь Н.) Iх К.) Iх К.) Л к + п+п = п°х\ (4)
где {к°Х)} - область допустимых значений обобщенных характеристик ИТП и результатов его реализации (внедрения);
{к. - область допустимых значений характеристик результатов реализации ИТП, обусловленных готовностью ИТ-инфраструктуры;
К(яА) I - область допустимых значений характеристик ИТП, обусловленных эксплуатационно-технической надежностью ИТ-инфраструктуры;
К(и ) I - область допустимых значений целевых характеристик результатов реализации ИТП.
Тогда критерий пригодности ИТП можно определить следующим образом:
^к*пе) -{^ })-(к;пЛ> - {&> )Мкы - Н.) ¡Ьи (5)
где Я - вероятность достижения поставленной цели реализации ИТП; К. > - вектор параметров готовности компонент ИТ-инфраструктуры;
- вектор параметров надежности компонент ИТ-инфраструктуры; К*п ^ - вектор целевых параметров реализации ИТП.
Тогда показатель эффективности ИТП можно представить в следующем виде:
я2Я = Я(К^} - Л^^ - я(к^ - К})= (6)
где Я - вероятность того, что вначале реализации ИТП ИТ-инфраструктура будет готова к его внедрению;
- вероятность того, что в процессе реализации ИТП параметры ИТ-инфраструктуры будут способны обеспечить выполнение поставленной задачи; Я - вероятность того, что цель реализации ИТП будет достигнута.
Поскольку ^ -{/^ ^(К^ -К^ ^ то вероятность Кгк -
есть априорная вероятность события, которое в полной мере позволяет характеризовать достижение цели реализации ИТП.
В большинстве случаев эффективность ИТП ассоциируется с эффективностью ИТ-инфраструктуры, путем отождествления ее с безотказностью. То есть предполагается, что если в ИТ-инфраструктуре не возникнет отказа в процессе решения задачи, то цель будет достигнута. Данное утверждение не является верным, поскольку:
1) понятия «безотказность» и «достижение цели» не являются тождественными;
2) время, необходимое для получения «целевого эффекта» и время функционирования ИТ-инфраструктуры не равны;
3) момент достижения цели проекта является случайным, поэтому не известно, сколько времени должна безотказно функционировать ИТ-инфраструктура.
Данное обстоятельство обусловлено тем, что в большинстве случаев рассматриваются идеальные, а не реальные условия функционирования ИТ-инфраструктуры, что приводит к необоснованному упрощению проблемы.
Поскольку понятие «отказ» применительно к ИТ-инфраструктуре не определено, то неверно отождествлять термины «надежность» и «прочность». Это обусловлено тем, что в ИТ-инфраструктуре присутствует различного рода избыточность, благодаря которой она может функционировать в случае отказа многих элементов, в отличие от простых систем, в которых отказ одного из элемента приводит к выходу из стоя всей системы. Поэтому под теорией надежности следует понимать «теорию физической надежности» ИТ-инфраструктуры.
Таким образом, под «надежностью ИТ-инфраструктуры» будем понимать ее способность сохранять свои функции при любых воздействиях на нее окружающей среды, а термин «устойчивость ИТП» можно трактовать, как способность ИТП сохранять свои функциональные (целевые) свойства в условиях воздействия на них различных факторов.
В общем случае все показатели эффективности ИТП можно разделить на два вида:
1) показатели результатов (эффектов) ИТП - характеризуют средний (гарантируемый с какой-либо вероятностью) целевой его эффект;
2) показатели функциональной (целевой) достоверности результатов ИТП -вероятность достижения требуемого результата (цели) проекта (вероятность выполнения задач.
На этапе планирования ИТП условия функционирования и применения ИТ-инфраструктуры носят случайный характер.
Отметим также, что все количественные характеристики, использующиеся в математической модели ИТП (Х^ ) являются случайными, следовательно, все показатели
эффективности проекта носят вероятностный характер.
Показатели результатов (эффектов) ИТП являются косвенными показателями эффективности и имеют слабо выраженную связь с целью его реализации.
Прямыми показателями, характеризующими вероятность достижения цели реализации ИТП, являются показатели функциональной (целевой) достоверности результатов проекта. Поэтому при исследовании уникальных ИТП в процессе оценивания эффективности пригодными являются только показатели их целевой надежности.
При оценивании ИТП необходимо различать два основных вида эффективности: целевая и экономическая, но при этом нужно понимать, что эффективность одна (поскольку она представляет собой комплексное свойство проекта), и относится к компонентам показателя качества результатов реализации ИТП (к его эффектам).
Проект может быть либо «эффективным», либо «не эффективным», поскольку эффективность как свойство проекта одна. При проведении обобщенного исследования эффективности (оценивании и измерении) должны учитываться все существующие эффекты (экономические, функциональные, технические и т.п.). Например, экономическая эффективность должна характеризоваться экономическим эффектом (побочным по отношению к цели реализации проекта), выраженным в затратах, прибыли, предотвращенных потерях и т.д., а функциональная эффективность характеризуется целевым эффектом, полученным в результате реализации ИТП.
Необходимо отметить, что целевые и побочные эффекты могут быть различными в рамках одного ИТП. Например, может рассматриваться проект, основной целью которого является получение экономической выгода, а функциональные эффекты учитываются как побочные (или не учитываются совсем). Данное обстоятельство свидетельствует о не
комплексном подходе, при котором все эффекты проекта рассматриваются изолированно, что может привести к тому, что ИТП будет экономически эффективным, но не эффективным в целевом применении. Не трудно видеть, что при таком подходе цель реализации проекта не достигнута и не удовлетворяет критерию пригодности, это, в свою очередь, приводит к тому, что рассматривание экономической эффективности не имеет смысла.
Одной из основных проблем оценивания эффективности ИТП является проблема соотнесения эффективности и стоимости проекта, поскольку функциональный (целевой) и экономический (побочный) эффекты находятся в противоречии (увеличение одного приводит к уменьшению другого и наоборот).
Данная проблема решается при формулировании задачи исследования эффективности проекта по соответствующей схеме, на первом этапе которой целесообразно:
1) определить (сформулировать, обосновать, установить) показатель планируемого качества результатов внедрения ИТП - вектора К^ показателей: с
(показатель целевого (позитивного) эффекта); ъ (показатель затрат ресурсов (побочных негативных эффектов) на получение целевых эффектов); г (показатель рискованности получения целевых эффектов); £ (показатель затрат времени (побочных негативных эффектов) на получение целевых эффектов) его частных эффектов (результатов);
2) определить (обосновать, задать) требования к качеству результатов ИТП -область К8^ допустимых значений с8, ъ8, г8, ^8 показателей с, ъ, г, ^ качества его результатов.
3) сформулировать (обосновать, построить) критерий оценивания качества ИТП -2п-местный предикат.
Ят : К4) е {£¡4) }= и (7)
где и - истинное высказывание (достоверное событие).
На втором этапе нужно:
1) определить (вычислить, оценить) показатель эффективности ИТП -вероятность достижения его цели.
Яш = Я^ = я(К{а) е\К84)}) (8)
2) определить (обосновать, задать, предъявить) требования к эффективности ИТП - потребное (минимальное) и оптимальное (максимальное) значения [Я™ (Я™) или Я°р/ (ЯОт )] вероятности Яш (Я^ ) достижения цели ИТП);
3) сформулировать (обосновать, построить) и реализовать один из обоснованных критериев оценивания ИТП - одноместных предикатов:
критерий пригодности:
Гр > ртЯ ■
Я2Е : \Яш — Я°т1' (9)
[ ЯУ2 — Ятя
критерий оптимальности:
Ят — я0РТ-
07ТГ :\ (10) 2Е \ Т? > т/ОРТ к '
4) произвести оценивание эффективности ИТП.
Одним из основополагающих и сложных этапов исследования эффективности ИТП является этап, связанный с формулированием цели его реализации. Критерии оценивания качества реализации ИТП должны иметь структуру, соответствующую структуре проекта.
К основным факторам, оказывающим влияние на эффективность ИТП можно отнести:
1. Свойства проекта:
1.1. Общие (надежность, устойчивость, экономичность и т.д.).
1.2. Частные (структура проекта, технические характеристики проекта, обеспечиваемые функциональные возможности и т.д.).
2. Свойства ресурсов:
2.1. Качество (уровень предоставляемых услуг, используемых материалов, техники
и т.д.).
2.2. Количество (стоимость израсходованных материальных ресурсов, затрат на оплату труда, прочие расходы, связанные с реализацией проекта и т.д.).
3. Свойства времени:
3.1. Общие (ограничения времени, которые относятся к сроку реализации проекта в целом или его частей).
3.2. Частные (ограниченность временных ресурсов команды проекта).
4. Свойства условий реализации проекта:
4.1. Условия реализации проекта (управляемые - способ реализации проекта, воздействие на ИС и т.д.; неуправляемые - взаимодействие с конрагентами, внешняя политическая, экономическая, энергетическая обстановка, рыночная конъюнктура и т.д.).
4.2. Условия применения проекта (управляемые - стратегия реализации проекта, организация проекта и т.д.; неуправляемые - фаза ЖЦ проекта, стратегическая обстановка и т.д.).
В зависимости от задач исследования ИТП оценивание должно рассматриваться относительно: прошлого, настоящего или будущего.
При оценивании эффективности ИТП необходимо учитывать тот факт, что рассматривается планируемая эффективность либо:
1) виртуального (планируемого) ИТП - задача проектирования, организации ИТ-инфраструктуры;
2) внедренного (реализованного) ИТП - задача оптимизации ИТ-инфраструктуры.
В том случае, если ИТ-стратегия определена и реализована, то возникает задача
управления ИТ-инфраструктурой.
Таким образом, исследование эффективности ИТП по управлению ИТ-инфраструктурой представляет собой двуединую задачу анализа и оптимального синтеза.
Результаты
В данной публикации была рассмотрена общая проблема исследования эффективности ИТП и представлены некоторые методологические положения, позволяющие сделать вывод о том, что оценивание ИТП представляет собой нетривиальную задачу, при решении которой должно быть учтено множество разнородных факторов, условий его реализации и ожидаемые результаты (как целевые, так и экономические). Применение системного подхода к решению подобного класса задач позволяет провести комплексное исследование и повысить достоверность полученных результатов за счет всестороннего изучения структуры элементов ИТП и их взаимосвязи (как между собой, так и под влиянием «окружающей среды»). Представленные в публикации теоретические положения содержат рекомендации по оцениванию ИТП и учитывают специфику их реализации в конкретных условиях.
Указанные теоретические положения могут служить основанием для дельнейшего развития, как теоретических положений, так и решения практических задач, связанных с оцениванием эффективности ИТП.
Список литературы References
1. Gladkov I.A., Nehotina V.S. 2015. An integrated approach to the choice of methods of evaluation of it projects. Вестник УМО. Экономика, статистика и информатика. 5. 159-163.
Gladkov I.A., Nehotina V.S. 2015. An integrated approach to the choice of methods of evaluation of it projects. Vestnik UMO. Ekonomika, statistika i informatika. 5. 159-163.
2. Lomazov V.A., Nehotina V.S. 2012. Decision support system based on fuzzy performance evalution of investment risks of the it projects. Nauka I Sstudia. 17(62): 93-96.
3. Lomazov V.A., Nehotina V.S. 2013. An assessment of regional socio-economic projects. Вестник УМО. Экономика, статистика и информатика. 3: 176-179.
Lomazov V.A., Nehotina V.S. 2013. An assessment of regional socio-economic projects. Vestnik UMO. Ekonomika, statistika i informatika. 3: 176-179.
4. Matorin S.I., Nekhotina V.S., Kalugin V.A. 2015. Problems of research the it-projects efficiency. Materials of the xi international scientific and practical conference «Trends of modern science - 2015» May 30 - June 7, 2015 Volume 21. Mathematics. Physics. Physical culture and sport. Sheffield. Science and education LTD. 23-25.
5. Антонова А.Р. 2016. Финансовые методы оценки эффективности ИТП. В сборнике: Информационные технологии в науке, управлении, социальной сфере и медицинеcборник научных трудов III Международной научной конференции. 331-337.
Antonova A.R. 2016. Finansovyye metody otsenki effektivnosti IT-proyektov. V sbornike: Informatsionnyye tekhnologii v nauke, upravlenii, sotsial'noy sfere i meditsinecbornik nauchnykh trudov III Mezhdunarodnoy nauchnoy konferentsii. 331-337.
6. Гладков И.А., Павлова О.В., Филиппова Л.Б. 2016. Оценка эффективности ИТП на предприятиях агропромышленного комплекса. В сборнике: Проблемы и перспективы инновационного развития агротехнологий. Материалы XX Международной научно-производственной конференции. 177-178.
Gladkov I.A., Pavlova O.V., Filippova L.B. 2016. Otsenka effektivnosti it-proyektov na predpriyatiyakh agropromyshlennogo kompleksa. V sbornike: Problemy i perspektivy innovatsionnogo razvitiya agrotekhnologiy Materialy XX Mezhdunarodnoy nauchno-proizvodstvennoy konferentsii. 177-178.
7. Грачев А.В. 2016. К вопросу эффективности оценки ИТП: метод сценариев в стратегическом управлении. В сборнике: Информационные технологии в науке, управлении, социальной сфере и медицинеСборник научных трудов III Международной научной конференции: в 2 частях. Под редакцией: О.Г. Берестневой, О.М. Гергет, Т.А. Гладковой; Национальный исследовательский Томский политехнический университет. 156-160.
Grachev A.V. 2016. K voprosu effektivnosti otsenki IT-proyektov: Metod stsenariyev v strategicheskom upravlenii. V sbornike: Informatsionnyye tekhnologii v nauke, upravlenii, sotsial'noy sfere i meditsineSbornik nauchnykh trudov III Mezhdunarodnoy nauchnoy konferentsii: v 2 chastyakh. Pod red.aktsiyey: O.G. Berestnevoy, O.M. Gerget, T.A. Gladkovoy; Natsional'nyy issledovatel'skiy Tomskiy politekhnicheskiy universitet. 156-160.
8. Евдокимов И.В., Макеев В.В., Кокташев В.В. 2017. Экономическое обоснование эффективности ИТП в регионе крайнего севера на основе метода function points. Международный журнал гуманитарных и естественных наук. 2. 3. 141-146.
Yevdokimov I.V., Makeyev V.V., Koktashev V.V. 2017. Ekonomicheskoye obosnovaniye effektivnosti IT-proyektov v regione kraynego severa na osnove metoda function points. Mezhdunarodnyy zhurnal gumanitarnykh i yestestvennykh nauk. 2. 3. 141-146.
9. Калугин В.А., Нехотина В.С., Чеглаков А.Л. 2015. Использование метода когнитивного моделирования при оценивании ИТП. IX Международная научно-практическая конференция: «научные перспективы XXI века. Достижения и перспективы нового столетия» 2(9) ч.2., 115-119.
Kalugin V.A., Nekhotina V.S., Cheglakov A.L. 2015. Ispol'zovaniye metoda kognitivnogo modelirovaniya pri otsenivanii IT-proyektov. IX Mezhdunarodnaya nauchno-prakticheskaya konferentsiya: «nauchnyye perspektivy XXI veka. Dostizheniya i perspektivy novogo stoletiya» 2(9) ch.2., 115-119.
10. Климова Е.Ю. 2016. Метод ТСО при оценке эффективности ИТП. В сборнике: Информационные технологии в науке, управлении, социальной сфере и медицине. Сборник научных трудов III Международной научной конференции: в 2 частях. Под редакцией:
О.Г. Берестневой, О.М. Гергет, Т.А. Гладковой; Национальный исследовательский Томский политехнический университет. 164-168.
Klimova Ye.YU. 2016. Metod tso pri otsenke effektivnosti IT-proyektov. V sbornike: Informatsionnyye tekhnologii v nauke, upravlenii, sotsial'noy sfere i meditsine. Sbornik nauchnykh trudov III Mezhdunarodnoy nauchnoy konferentsii: v 2 chastyakh. Pod redaktsiyey: O.G. Berestnevoy, O.M. Gerget, T.A. Gladkovoy; Natsional'nyy issledovatel'skiy Tomskiy politekhnicheskiy universitet. 164-168.
11. Ломазов В.А., Ломазова В.И., Маторин С.И., Нехотина В.С. 2016. Оценивание и выбор ИТП на основе стейкхолдер-анализа. Современная наука и инновации. 3(15): 226-229.
Lomazov V.A., Lomazova V.I., Matorin S.I., Nekhotina V.S. 2016. Otsenivaniye i vybor IT-proyektov na osnove steykkholder-analiza. Sovremennaya nauka i innovatsii. 3(15): 226-229.
12. Ломазова В.И., Ушакова Н.Н., Чеглаков А.Л. 2016. Комплексное экспертное оценивание ИТ-проектов. В сборнике: Наука в современном обществе: закономерности и тенденции развития. Сборник статей международной научно-практической конференции: в 2 частях. 37-39.
Lomazova V.I., Ushakova N.N., Cheglakov A.L. 2016. Kompleksnoye ekspertnoye otsenivaniye IT-proyektov. V sbornike: Nauka v sovremennom obshchestve: zakonomernosti i tendentsii razvitiya. Sbornik statey mezhdunarodnoy nauchno-prakticheskoy konferentsii: v 2 chastyakh. 37-39.
13. Макашов П.Л., Черкасов М.А., 2015. Оценка эффективности краткосрочных инновационных клиентоориентированных итп на предприятии социальной сферы с использованием системы сбалансированных показателей. В сборнике: Современные информационные технологии и ИТ-образование. Сборник научных трудов. Московский государственный университет имени М.В. Ломоносова, факультет вычислительной математики и кибернетики; Под редакцией В.А. Сухомлина. 423-427.
Makashov P.L., Cherkasov M.A., 2015. Otsenka effektivnosti kratkosrochnykh innovatsionnykh kliyentooriyentirovannykh IT-proyektov na predpriyatii sotsial'noy sfery s ispol'zovaniyem sistemy sbalansirovannykh pokazateley. V sbornike: Sovremennyye informatsionnyye tekhnologii i IT-obrazovaniye Sbornik nauchnykh trudov. Moskovskiy gosudarstvennyy universitet imeni M.V. Lomonosova, fakul'tet vychislitel'noy matematiki i kibernetiki; Pod redaktsiyey V.A. Sukhomlina. 423427.
14. Морозова О.А., Овсянникова П.А. 2017. Проблемы применения гибких методологий управления портфелем ИТП крупной организации. Проблемы современной науки и образования. 17(99): 34-39.
Morozova O.A., Ovsyannikova P.A. 2017. Problemy primeneniya gibkikh metodologiy upravleniya portfelem IT-proyektov krupnoy organizatsii. Problemy sovremennoy nauki i obrazovaniya. 17(99): 34-39.
15. Мунтьянова, Т.П. 2016. Структурно-параметрический анализ ИТП. Математические методы в технике и технологиях - ММТТ. 12(94): 237-239.
Munt'yanova, T.P. 2016. Strukturno-parametricheskiy analiz IT-proyekta. Matematicheskiye metody v tekhnike i tekhnologiyakh - MMTT. 12(94): 237-239.
16. Нехотина В.С. 2014. Модель оценки ИТП. Научные Ведомости Белгородского государственного университета: История Политология Экономика. Информатика. 8(179): 146-153.
Nekhotina V.S. 2014. Model' otsenki IT-proyektov. Nauchnyye Vedomosti Belgorodskogo gosudarstvennogo universiteta: Istoriya Politologiya Ekonomika. Informatika. 8(179): 146-153.
17. Нехотина В.С. 2015. Информационная модель исследования эффективности ИТП. Научные ведомости Белгородского государственного университета: История Политология Экономика. Информатика. 3(210): 114-121.
Nekhotina V.S. 2015. Informatsionnaya model' issledovaniya effektivnosti IT-proyektov. Nauchnyye Vedomosti Belgorodskogo gosudarstvennogo universiteta: Istoriya Politologiya Ekonomika. Informatika. 3(210): 114-121.
18. Передереева Е.В., Калашников А.А. 2017. Анализ существующих методик оценки итп. В сборнике: Университетская наука - региону. Материалы V-й ежегодной научно-практической конференции преподавателей, студентов и молодых ученых Северо-Кавказского федерального университета. Под редакцией Л.И. Ушвицкого, А.В. Савцовой. 673-677.
Peredereyeva Ye.V., Kalashnikov A.A. 2017. Analiz sushchestvuyushchikh metodik otsenki it-proyektov. V sbornike: Universitetskaya nauka - regionu. Materialy V-y yezhegodnoy nauchno-
prakticheskoy konferentsii prepodavateley, studentov i molodykh uchenykh Severo-Kavkazskogo federal'nogo universiteta. Pod redaktsiyey L.I. Ushvitskogo, A.V. Savtsovoy. 673-677.
19. Разумников С.В. 2012. Применение теории нечетких множеств в оценке экономической эффективности и риска ИТП. В сборнике: Прикладная математика, управление и информатика. Сборник трудов Международной молодежной конференции: в 2 томах. Министерство образования и науки РФ; Департамент образования, культуры и молодежной политики администрации Белгородской области; Институт системного анализа РАН; Белгородский государственный национально-исследовательский университет. 532-535.
Razumnikov S.V. 2012. Primeneniye teorii nechetkikh mnozhestv v otsenke ekonomicheskoy effektivnosti i riska IT-proyektov. V sbornike: Prikladnaya matematika, upravleniye i informatika sbornik trudov Mezhdunarodnoy molodezhnoy konferentsii: v 2 tomakh. Ministerstvo obrazovaniya i nauki RF; Departament obrazovaniya, kul'tury i molodezhnoy politiki administratsii Belgorodskoy oblasti; Institut sistemnogo analiza RAN; Belgorodskiy gosudarstvennyy natsional'no-issledovatel'skiy universitet. 532-535.
20. Разумников С.В. 2013. Применение анализа иерархий при выборе инвестиционного ИТП. В сборнике: mСистемный анализ в проектировании и управлении. Сборник научных трудов XVII Международной научно-практической конференции. Санкт-Петербургский государственный политехнический университет. 8-10.
Razumnikov S.V. 2013. Primeneniye analiza iyerarkhiy pri vybore investitsionnogo IT-proyekta. V sbornike: Sistemnyy analiz v proyektirovanii i upravlenii. Sbornik nauchnykh trudov XVII Mezhdunarodnoy nauchno-prakticheskoy konferentsii. Sankt-Peterburgskiy gosudarstvennyy politekhnicheskiy universitet. 8-10.
21. Филатова Л.А. 2017. Анализ методов оценки эффективности ИТП. В сборнике: российская наука: Актуальные исследования и разработки. сборник научных статей III Всероссийской заочной научно-практической конференции: в 2 частях. Самарский государственный экономический университет. 17-20.
Filatova L.A. 2017. Analiz metodov otsenki effektivnosti it-proyektov. V sbornike: Rossiyskaya nauka: aktual'nyye issledovaniya i razrabotki. Sbornik nauchnykh statey III Vserossiyskoy zaochnoy nauchno-prakticheskoy konferentsii: v 2 chastyakh. Samarskiy gosudarstvennyy ekonomicheskiy universitet. 17-20.
