Методология оценки эффективности проектов цифровой трансформации предприятий высокотехнологичной промышленности Текст научной статьи по специальности «Экономика и бизнес»

Методология оценки эффективности проектов цифровой трансформации предприятий высокотехнологичной промышленности

Щеглов Дмитрий Константинович

кандидат технических наук, доцент, заведующий базовой кафедрой «Средства ВКО и ПВО» Северо-Западного регионального центра Концерна ВКО «Алмаз - Антей», Балтийский государственный технический университет «ВОЕНМЕХ» им. Д.Ф. Устинова, _dk@bk.ru

Сайбель Алексей Геннадиевич

доктор технических наук, доцент, профессор кафедры «Радиоэлектронные системы управления», Балтийский государственный технический университет «ВОЕНМЕХ» им. Д.Ф. Устинова, saybel_ag@mail.ru

Букарев Андрей Максимович

студент кафедры «Ракетостроение», Балтийский технический университет, buckarev.and@yandex.ru

государственный

С развитием информационно-коммуникационных систем и переходом к цифровой экономике многие российские предприятия высокотехнологичной промышленности сталкиваются с необходимостью внедрения современных цифровых технологий для повышения эффективности своей деятельности и достижения конкурентных преимуществ. Статья посвящена анализу подходов к оцениванию эффективности цифровой трансформации предприятий высокотехнологичной промышленности и формирования оптимального портфеля цифровых проектов. Выделены основные достоинства и недостатки финансовых, вероятностных и эвристических методик оценки эффективности портфеля цифровых проектов. Сформулированы требования к комплексным методикам оценки эффективности портфеля цифровых проектов. Обоснована целесообразность создания комплексных методик на базе эвристического подхода, дополнив его элементами финансовых и вероятностных методов.

Ключевые слова: цифровая трансформация, предприятие высокотехнологичной промышленности, эффективность портфеля цифровых проектов, комплексный анализ, подходы, методики

Введение

С развитием информационно-коммуникационных систем и переходом к цифровой экономике многие российские предприятия высокотехнологичной промышленности сталкиваются с необходимостью внедрения современных цифровых технологий для повышения эффективности своей деятельности и достижения конкурентных преимуществ. Внедрение новых технологий и цифровых решений позволяет промышленным предприятиям сокращать длительность производственного цикла, повышать качество продукции и услуг, снижать затраты на производство и расширять рынки сбыта.

Процесс адаптации предприятий к современным требованиям рынка высокотехнологичной продукции и новым цифровым технологиям, который требует изменения способов работы, подходов к управлению и внедрению инноваций, получил название цифровая трансформация [1].

Цифровая трансформация предприятия подразумевает реализацию широкого спектра изменений в его бизнес-модели, производственных процессах и организационной структуре. Эти изменения реализуются в рамках цифровых проектов, направленных на достижение конкретных целей и задач цифровой трансформации. Цифровые проекты могут быть связаны с внедрением передовых цифровых технологий и реинжинирингом бизнес-процессов для создания новых бизнес-моделей, повышения точности и скорости принятия решений, оптимизации затрат и увеличения производительности, повышения качества продукции и ее сервисного обслуживания и т.д. В основе таких проектов лежит широкое применение цифровых устройств и информационных технологий, таких, как искусственный интеллект, беспилотные средства, аналитика данных, интернет вещей, аддитивные технологии, распределенные вычисления и т.д. [2].

Однако внедрение цифровых проектов может потребовать значительных финансовых затрат, а также повлечь за собой риски, связанные с изменением бизнес-процессов и обучением персонала. Поэтому важно правильно оценить эффективность цифровых проектов и выбрать наиболее оптимальные решения, чтобы максимизировать выгоду и снизить негативные эффекты от возможных ошибок. Кроме того, быстрое изменение технологий и рынка информационных систем, введенные ограничения на поставку и техническую поддержку зарубежного оборудования, программного обеспечения и электронной компонентной базы требуют гибкости и адаптивности методов оценки цифровых проектов.

Оценка эффективности инвестиций предприятий высокотехнологичной промышленности в цифровую трансформацию и, в частности, в отдельные цифровые проекты может осуществляться с помощью различных параметров, которые характеризуют традиционные операции в области информационных технологий, такие как скорость обработки информации, время отклика, время непрерывной работы вычислительной системы (аптайм), отказоустойчивость. Однако, такие параметры относятся к внутренним характеристикам информационных систем и не отражают влияние информационных технологий на развитие предприятий высокотехнологичной промышленности.

X X

о

го А с.

X

го т

о

м о м

Сл>

м см о см

о ш т

X

<

т О X X

При оценке эффективности цифровых проектов в высокотехнологичной промышленности необходимо учитывать множество факторов и причинно-следственных связей между внедряемыми информационными системами и производственными показателями, прежде всего финансовыми. Также важно учесть особенности и потребности конкретных промышленных производств, чтобы адекватно оценить привлекаемые для выполнения проекта инвестиции, оптимизировать имеющиеся ресурсы и минимизировать риски.

В настоящее время существует множество различных подходов к решению этой задачи, каждый из которых имеет свои достоинства и недостатки, а также применим для конкретных типов проектов. В этой связи для предприятий, стремящихся достичь успеха в условиях цифровой экономики, актуальной является задача разработки рекомендаций по выбору научно-методического инструментария для поддержки принятия управленческих решений и оценки эффективности инвестиций в конкретные цифровые проекты. Это позволит выбрать наиболее подходящие методы оценки, учитывающие ключевые особенности конкретных цифровых проектов, а также повысит шансы на успех в их реализации.

Проблемы разработки методологии оценки эффективности проектов цифровой трансформации предприятий высокотехнологичной промышленности

Постановка задачи оценивания эффективности проекта определяется необходимостью априорного обоснованного принятия решения о целесообразности его финансирования и внедрения на основе всестороннего анализа взаимосвязи планируемых действий и их последствий на значительном временном интервале. Применяемые на практике показатели эффективности должны позволять комплексно оценить соответствие результатов инновации сформулированным целям.

Многообразие описанных в научной литературе инструменты и подходы к формированию обобщающих оценок, а также неоднозначность и нестрогость применяемой терминологии, затрудняют осмысленный выбор готовых «рецептов», обеспечивающих гарантированно верный прогноз.

Теория прогнозирования, как инструмент предвидения будущего, строится на нескольких базовых принципах.

Первый из них заключается в том, что если наблюдаемый процесс подчиняется закономерности, описываемой функцией времени, то знание вектора состояний процесса на текущий момент времени позволяет строго экстраполировать значение наблюдаемой функции. Если вектор состояний представлен оценками, полученными в результате измерений, выполненных при воздействии мешающих шумовых факторов, качество прогноза снижается, но знания статистических свойств процесса измерения и помех позволяют минимизировать влияние шумовых факторов. Однако на практике оценка эффективности цифровых проектов осуществляется, как правило, в условиях динамично изменяющейся внешней среды, что не позволяет строго математически решить задачу формирования однозначного точного прогноза.

Второй принцип состоит в том, что однотипные процессы подчиняются схожим закономерностям. Это позволяет за небольшой временной период собрать необходимые исходные данные для прогнозирования, накопление которых при наблюдении одного процесса требует существенно больших затрат времени. Его можно назвать принципом параллельного накопления практического опыта.

Третий состоит в том, что мощность множества и разброс значений интегральных характеристик компонент случайных векторов имеют меньшие значения, чем соответствующие характеристики самих векторов. Это позволяет снижать пакетные риски.

Четвертый состоит в том, что экспертные знания не всегда могут быть представлены в виде эмпирик, объединяемых в базу знаний. Это делает невозможным универсальную автоматизацию процесса прогнозирования и сохраняет актуальным метод экспертных оценок. При этом выбор экспертов является самостоятельной задачей. Кроме того, не существует экспертов, застрахованных от ошибок, риск которых может быть снижен за счет мажоритарного правила, влекущего в отдельных случаях к сложно интерпретируемым результатам.

Перечисленные принципы позволяют на основе имеющихся данных сформировать прогноз на перспективу, состоятельность которого в значительной мере зависит от объема и качества исходных данных, адекватности построенных моделей и выбранного математического аппарата, а также оценить достоверности прогноза и риски недостижения сформулированной цели.

Понятие эффективности широко используется в научной литературе и практической деятельности. В ряде работ предлагаются частные показатели, характеризующие отдельные аспекты исследуемого процесса. Широко применяемый показатель эффективность/ стоимость имеет границы применимости, поскольку если небольшой результат получен «почти бесплатно», то значение частного может иметь высокое значение. Наиболее полно анализ интегральной характеристики деятельности представлен в теории эффективность целенаправленных процессов, в рамках которой осуществлена попытка объединить в единственном вероятностном показателе пригодность выбранного проекта для достижения требуемого результата при заданных ограничениях на материальные и временные ресурсы.

Декомпозиция комплексной задачи оценивания эффективности проекта приводит к необходимости выбора частных инструментов, используемых при моделировании и вычислениях, сложность которого обусловлена многообразием рекомендуемых методов, методик, алгоритмов и способов. Многие современные программные комплексы, призванные автоматизировать процессы анализа, «схожи с фортепьяно»: инструмент дает возможность исполнять любую звуковую последовательность, необходимо только своевременно нажимать нужные клавиши. К сожалению, для выполнения такого «несложного» действия придется упорно потрудиться в течение долгих лет. Более простой в использовании магнитофон позволяет исполнять только уже созданные звуковые ряды, и хорошо, если среди них имеется необходимый для конкретного случая (выбор и оценивание соответствия - самостоятельные творческие задачи).

Не менее сложно определять реальный эффект от промышленных цифровых технологий на этапе эксплуатации в силу преобладания неколичественных изменений. Отсутствие линейной шкалы, позволяющей сравнить значения однородных показателей до и после изменений технологии, приводит к необходимости комплексного переосмысления производственных процессов и пересмотру показателей функциональной результативности. Также важно учитывать, что кардинальное изменение бизнес-модели и производственной парадигмы на начальном этапе инновационных внедрений может приводить к непрогнозируемым последствиям, в том числе негативным, обусловленным неготовностью трудового коллектива к масштабным изменениям бизнес-процессов, ритму деятельности и формам проявления результатов.

Важно отметить, что в России круг доступных для анализа документов по оценке эффективности инвестиционных проектов, является весьма ограниченным. Существует лишь несколько ключевых документов, которые могут быть использованы в данной сфере. Один из таких документов - «Правила оценки эффективности, особенности определения целевого

характера использования бюджетных средств, направленных на государственную поддержку инновационной деятельности...», утвержденные Постановлением Правительства РФ от 22.12.2020 г. № 2204 [3]. Однако, несмотря на их значимость, данный документ содержит в основном лишь общие положения, что ограничивает его практическую применимость.

Более конкретные рекомендации содержатся в методических рекомендациях Минфина и Минэкономразвития РФ по оценке эффективности инвестиционных проектов от 21.06.1999 г. № ВК477 [4]. Рекомендации базируются на финансовых методах и лишь частично могут применяться для оценки эффективности цифровых проектов.

Отсутствие у предприятий высокотехнологичных отраслей российской промышленности опыта оценки эффективности масштабных цифровых проектов делает актуальными задачи исследования имеющегося международного опыта в исследуемой области.

Место и роль оценки эффективности портфеля цифровых проектов в процессе цифровой трансформации предприятиях высокотехнологичной промышленности

Порядок реализации проектов цифровой трансформации промышленного предприятия зависит от множества факторов, включая текущее состояние технологической инфраструктуры предприятия, цели, задачи и бизнес-модель предприятия, доступные ресурсы и бюджет, а также специфики отрасли и конкурентной среды. Однако можно выделить общие этапы процесса цифровой трансформации промышленного предприятия.

На рисунке 1 представлен вариант формализованного описания процесса цифровой трансформации промышленного предприятия в виде контекстной функциональной модели IDEF0 (диаграммы уровня А1) с «точки зрения» руководителя высшего звена, отвечающего за цифровую трансформацию промышленного предприятия.

Рис. 1. Формализованное описание типового проекта цифровой трансформации промышленного предприятия (вариант)

X X

О

го А

с.

X

го т

о

Рис. 2. Формализованное описание процесса оценки эффективности портфеля цифровых проектов в условиях цифровой трансформации промышленного предприятия (вариант)

м о м

Сл>

со см о см

о ш т

X

3

<

т О X X

На рисунке 1 представлены типовые этапы (в рамках процессного подхода) цифровой трансформации промышленного предприятия, взаимосвязи между ними, ресурсы, задействованные на каждом этапе, управляющие воздействия, влияющие на процессы оценки цифрового портфеля. Показаны входные данные, управляющие воздействия, потребные ресурсы и результаты выполнения процессов. Рассмотрим типовые этапы цифровой трансформации промышленного предприятия более подробно.

- Разработка концепции и стратегии цифровой трансформации [5]. На основании анализа текущей ситуации разрабатывается концепция цифровой трансформации предприятия, которая описывает общее направление и видение того, как цифровые технологии могут изменить бизнес-модель предприятия. Это обычно включает анализ текущих проблем и возможностей, оценку технологических трендов и понимание того, как они могут повлиять на бизнес предприятия. Затем на основе концепции разрабатывается стратегия цифровой трансформации, которая определяет конкретные шаги, необходимые для реализации этой концепции. Это может включать определение ключевых проектов и задач, необходимых для внедрения новых технологий, обучения сотрудников и развития необходимых компетенций, а также выбор основных показателей цифровых проектов, которые помогут объективно измерить эффективность цифровой трансформации предприятия.

- Оценка эффективности портфеля цифровых проектов. На этом этапе проводится анализ цифровых проектов с целью выбора инвестиционных проектов, организационных и технологических решений, которые наилучшим образом соответствуют потребностям цифровой трансформации предприятия.

- Разработка плана цифровой трансформации предприятия. Необходимо разработать план внедрения цифровых технологий на предприятии, который должен включать в себя описание этапов, сроков, бюджета и ответственных лиц. Планы-графики для дальнейшего управления портфелем цифровых проектов на промышленных предприятиях разрабатываются, как правило, в форме диаграмм Ганта.

- Внедрение цифровых проектов. На этом этапе происходит внедрение выбранных технологий на предприятии. Разрабатывается программное обеспечение и создается/перестраивается инфраструктура, необходимая для реализации цифрового проекта (установка оборудования, подключение и настройка информационных систем). Производится тестирование проекта для проверки его работоспособности и выявления ошибок и недостатков и оптимизация проекта для улучшения его производительности, и эффективности. Также осуществляется обучение персонала и формируется база знаний.

- Мониторинг и анализ результатов цифровых проектов. После внедрения цифровых технологий следует оценить полученные результаты, провести мониторинг и анализ эффективности их использования. При необходимости провести корректировку стратегии и плана внедрения.

На рисунке 2 представлен вариант формализованного описания типового процесса оценки эффективности портфеля цифровых проектов в виде контекстной функциональной модели IDEF0 (диаграммы уровня А1) с «точки зрения» руководителя высшего звена, отвечающего за цифровую трансформацию промышленного предприятия.

На рисунке 2 представлены типовые этапы (в рамках процессного подхода) оценки эффективности портфеля цифровых проектов в условиях цифровой трансформации промышленного предприятия взаимосвязи между ними, ресурсы, задействованные на каждом этапе, управляющие воздействия,

влияющие на процессы оценки цифрового портфеля. Показаны входные данные, управляющие воздействия, потребные ресурсы и результаты выполнения процессов. Рассмотрим этапы оценки эффективности портфеля цифровых проектов более подробно.

- Постановка задачи анализа портфеля цифровых проектов. На этом этапе формулируются требования к портфелю цифровых проектов, которые должны быть удовлетворены с целью продолжения работы в новом качестве. Проводится сбор и анализ технической и финансовой информации, которая может повлиять на эффективность проекта цифровой трансформации предприятия.

- Анализ чувствительности и рисков. На этом этапе проводится анализ чувствительности портфеля цифровых проектов к изменениям внешних факторов, таких как изменения цен на рынке, политических рисков или изменения институционального характера (реорганизация контролирующих органов).

- Оценка экономической эффективности. Этот этап включает в себя оценку экономической эффективности реализации цифровых проектов, используя различные показатели.

- Формирование вариантов портфеля цифровых проектов. На этом этапе определяются различные варианты реализации портфеля цифровых проектов, сравниваются их достоинства и недостатки. Проводятся расчеты и прогнозирование ожидаемых результатов цифровых проектов, включая формирование и оценку сценариев развития и выполнения показателей.

- Принятие организационно-технических решений.

На основе проведенных расчетов и анализов принимается решение о том, следует ли инвестировать в конкретные цифровые проекты или требуется корректировка предоставленных материалов, или инвестиции нецелесообразны.

Таким образом, можно заключить, что оценка эффективности портфеля цифровых проектов является итеративным процессом, который требует постоянного обновления и анализа данных для принятия научно обоснованных решений о реализации проектов цифровой трансформации предприятия.

Анализ существующих подходов к оценке эффективности проектов цифровой трансформации промышленного предприятия

В настоящее время существует множество подходов, методов, методик, критериев и показателей, позволяющих провести оценку эффективности портфеля цифровых проектов. Большинство из них основаны на принципах, заимствованных из финансового анализа и стратегического планирования, однако есть и методики, разработанные специально для оценки цифровых проектов.

Все методы, применяемые для анализа и оценки эффективности цифровых проектов, можно разделить на несколько категорий: финансовые, вероятностные, эвристические (или методы качественного анализа), а также комплексные (рисунок 3).

Важно отметить, что на рисунке 3 предложен лишь вариант классификации методов оценки эффективности цифровых проектов. С уточнением области применения классификации и целевой аудитории она может быть доработана и дополнена. Далее будут рассмотрены наиболее распространенные методы в соответствии с предложенной классификацией.

Финансовые методы являются широко используемыми инструментами оценки эффективности цифровых проектов для принятия инвестиционных решений, выбора оптимального варианта развития проекта, а также для оценки периода оку-

паемости инвестиций. Они базируются на понятных и привычных финансовых показателях, таких как внутренняя норма прибыли и срок окупаемости/возврата инвестиций, что упрощает коммуникацию с руководством предприятий и позволяет легко связывать финансовые цели с бизнес-стратегией предприятия. Кроме того, финансовые методы и индексы позволяют дать количественную оценку финансовых показателей проекта, что упрощает процесс принятия решений и позволяет сравнить различные проекты между собой.

Рис. 3. Классификация методов оценки эффективности цифровых проектов (вариант)

Однако одним из недостатков этих методов является высокая сложность определения конкретных финансовых показателей. В частности, при оценке эффективности внедрения цифровых проектов, определение доходов оказывается сложной и неоднозначной задачей, в то время как определение расходов, как правило, не представляет большой трудности. Также финансовые методы не учитывают нефинансовые аспекты реализации цифровых проектов, а оценка финансовых рисков часто носит субъективный характер.

Существует множество финансовых методов оценки эффективности цифровых проектов, в том числе:

1. Методы оценки доходности:

- ROI (Return on Investment, окупаемость инвестиций) - это метод измерения доходности инвестиции путем деления прибыли на стоимость инвестиции. Чем выше ROI, тем лучше эффективность инвестиции [6]. Однако, следует учитывать, что ROI не учитывает временной фактор, изменение цен и другие факторы, которые могут повлиять на доходность инвестиций в будущем.

- NPV (Net Present Value, чистая текущая стоимость) -это динамический метод, основанный на оценке будущих денежных потоков и определении текущей стоимости этих потоков с учетом временной стоимости денег (ставки дисконтирования). Если NPV положительный, то инвестиции в цифровой проект будет прибыльной [7-9].

- CBA (Cost-Benefit Analysis, анализ выгоды и затрат) -многокритериальный метод, который оценивает все возможные затраты и выгоды от инвестиций и сравнивает их, чтобы определить, является ли инвестиция выгодной. Для этого проводится анализ, в котором учитываются различные критерии, такие как денежные потоки, сроки реализации цифрового про-

екта, риски и неопределенности [10]. CBA - это метод сравнения альтернативных проектов, основанный на оценке затрат и выгод, связанных с каждым решением, и сравнении их между собой.

- PI (Profitability Index, индекс доходности) - это индекс доходности или индекс рентабельности, который используется для оценки инвестиционного проекта. PI позволяет учитывать время получения денежных потоков в будущем и позволяет сравнивать цифровые проекты разной продолжительности [11].

- IRR (Internal Rate of Return, внутренняя норма доходности) - это динамический метод, позволяющий определить процентную ставку, при которой NPV инвестиции равна нулю. Индекс IRR учитывает размер инвестиции, время и потенциальную доходность проекта. Если IRR больше, чем требуемая ставка доходности, то инвестиция будет прибыльной [7, 12].

- MIRR (Modified Internal Rate of Return, модифицированная внутренняя норма доходности) - это измененная внутренняя ставка доходности, которая учитывает, как начальный инвестиционный период, так и период реинвестирования денежных потоков [13].

- ARR (Average Rate of Return, средняя норма прибыли) - это статический метод оценки инвестиций, который вычисляет среднюю годовую ставку доходности инвестиций. Он позволяет оценить экономическую эффективность инвестиций в цифровой проект на основе расчета средней годовой прибыли от этих инвестиций [14].

- DCF (Discounted Cash Flow, дисконтируемый денежный поток) - это динамический метод оценки инвестиционной привлекательности проекта, основанный на дисконтировании будущих денежных потоков, которые цифровой проект будет генерировать [15].

- TEI (Total Economic Impact, общий экономический эффект) - это методика оценки экономической эффективности решений, продуктов или услуг на основе анализа их воздействия на различные стороны бизнеса. TEI, разработанная компанией Forrester Research, всеобъемлющая методика, которая уравновешивает затраты на реализацию проекта с тремя другими не менее важными факторами: преимуществами, гибкостью и риском [16]. Для учета этих факторов TEI использует медоед оценки реальных опционов ROV.

- DEA (Data Envelopment Analysis, анализ среды функционирования) - это метод, который оценивает эффективность по отношению к нескольким входным и выходным параметрам, используя математические модели линейного программирования [17]. DEA может использоваться для оценки эффективности различных цифровых проектов в отношении достижения поставленных целей. Он позволяет сравнить цифровые проекты и выявить те, которые используют ресурсы наиболее эффективно.

2. Методы оценки временных параметров проекта:

- PBP (Payback Period, период окупаемости) - это статический метод, который определяет, сколько времени потребуется, чтобы инвестиция окупилась. Чем меньше период окупаемости, тем лучше эффективность инвестиции в проект [7]. Он позволяет оценить экономическую эффективность инвестиций в цифровой проект на основе времени, необходимого для возврата вложенных средств.

- CF (Cash Flow, платежный поток) - это метод оценки общего денежного потока предприятия за заданный период [18]. CF помогает оценить, насколько доходы, получаемые от цифрового проекта, покроют его затраты, и как быстро они это сделают.

X X

о го А с.

X

го m

о

м о м

CJ

fO

es о es

о ш m

X

3

<

m О X X

- FCF (Free Cash Flow, свободный платежный поток) -это динамический метод оценки инвестиций, который определяет свободный денежный поток, генерируемый проектом, с учетом всех затрат, необходимых для его реализации и поддержания в рабочем состоянии [19]. Он позволяет оценить экономическую эффективность инвестиций на основе сравнения денежных поступлений и расходов на протяжении всего жизненного цикла цифрового проекта.

- DPP (Discounted Payback Period, дисконтируемый период окупаемости) - это динамический метод оценки инвестиционного проекта, который позволяет определить период времени, необходимый для возврата инвестированных средств в цифровой проект с учетом дисконтирования будущих денежных потоков [20].

3. Методы, основанные на учете полной стоимости собственности:

- TCO (Total Cost of Ownership, общая стоимость владения) - это многокритериальный подход к оценке общей стоимости владения объектом, например, продуктом или оборудованием, который учитывает не только первоначальную стоимость приобретения, но и все затраты на эксплуатацию, обслуживание, ремонт и утилизацию в течение всего срока эксплуатации [21]. В контексте цифровых проектов этот подход может применяться к оценке стоимости владения информационной инфраструктурой и/или программным обеспечением. В сочетании с методами оценки доходности TCO позволяет рассчитать прогнозную норму прибыли с учетом всех затрат на протяжении жизненного цикла цифрового проекта.

- TVO (Total Value of Ownership, полная стоимость владения) - это метод разработанный компанией Gartner для оценки полной стоимости владения информационными технологиями на протяжении их жизненного цикла, который включает в себя не только затраты на приобретение и использование системы, но и оценку ее вклада в бизнес-процессы, а также оценку рисков и возможностей, связанных с ее внедрением [22].

- LCCA (Life-cycle cost analysis, анализ жизненного цикла) - это многокритериальный метод учета полной стоимости собственности, которая применяется для оценки затрат на продукт или проект на протяжении всего его жизненного цикла [23]. LCCA учитывает, как прямые, так и косвенные затраты на производство, эксплуатацию, обслуживание, утилизацию и т.д., что позволяет более точно оценить финансовые показатели проекта и принять более обоснованные решения.

4. Методы оценки экономической добавленной стоимости - позволяют оценить, насколько эффективно используются ресурсы проекта. К наиболее распространенным методам этой группы относятся:

- EM (Economic Margin, экономический дополнительный доход) - это метрика, которая оценивает рентабельность инвестиционного проекта, учитывая затраты на капитал и стоимость капитала предприятия (компании). Используется для принятия решений о том, нужно ли инвестировать в цифровой проект, и какую долю капитала следует выделить для финансирования проекта [24].

- EVA (Economic Value Added, экономическая добавленная стоимость) - это метод, которая измеряет прирост стоимости компании, который возникает за счет инвестиций [25]. Главным преимуществом EVA является наличие единого финансового индекса для характеристики различных цифровых проектов. Если EVA положительный, то инвестиция будет прибыльной. Следует отметить, что EVA может быть рассмотрена в контексте вероятностной постановки, если включить вероятностные расчеты в расчет стоимости капитала. Например, если предприятие ожидает получение доходов, связанных с

определенными рисками, то эти риски могут быть учтены в оценке стоимости капитала.

Вероятностные методы оценки эффективности цифровых проектов предназначены для принятия инвестиционных решений на основе математических моделей, учитывающих неопределенность и риски, а также появления новых возможностей. Одним из главных преимуществ вероятностных методов является то, что они позволяют оценить потенциальную прибыль и риски при принятии инвестиционных решений. Кроме того, они предоставляют инструменты для анализа вариантов развития событий и выбора оптимального пути развития цифровых проектов.

Однако вероятностные методы могут быть сложными для понимания, поскольку результаты выражаются в вероятностных терминах, что затрудняет их практическое использование. Кроме того, результаты оценки могут сильно зависеть от начальных условий и предположений, введенных в математическую модель. Разработка адекватной вероятностной модели является сложной задачей, а применение вероятностных методов требует выполнения множества ограничений, которые не всегда выполняются для реальных процессов и явлений.

К наиболее распространенным вероятностным методам оценки эффективности цифровых проектов относятся:

1. Методы статистического анализа - используют статистические данные и методы для оценки вероятности успеха проекта. К этим методам относятся:

- RA (Regression analysis, регрессионный анализ) - это совокупность методов применяемых для изучения отношений между двумя или более переменными [26]. Он позволяет определить факторы, которые влияют на доходность цифровых проектов и построить модель доходности на основе этих факторов.

- ANOVA (Analysis of variance, анализ дисперсии) - это метод для определения, насколько различаются данные между группами или наблюдениями. Он позволяет оценить, насколько значимы эти различия и могут ли они быть связаны с какими-либо другими переменными. Применяется, в частности, для оценки влияния различных факторов (например, рыночные тренды, политические события, изменения в законодательстве) на доходность инвестиций в цифровые проекты, или для оценки эффективности разных инвестиционных стратегий и определении того, какая из них может быть более выгодной [27].

- TSA (Time series analysis, анализ временных рядов) -это метод анализа данных, упорядоченных по времени. Использоваться для прогнозирования будущих доходов и расходов по проекту, особенно в случаях, когда существуют явные тренды и сезонность. Данные временных рядов могут использоваться для оценки эффективности различных торговых стратегий, что помогает определить наилучшие способы инвестирования [28].

- FA (Factoranalysis, факторный анализ) - это группа методов для определения факторов, которые влияют на определенные переменные. В контексте оценки эффективности цифровых проектов применяется для выделения наиболее значимых факторов, которые могут повлиять на его успешность. Результаты факторного анализа могут быть использованы для определения ключевых рисков и возможностей, связанных с цифровым проектом, а также для разработки стратегии управления рисками и принятия обоснованных решений в отношении инвестиционных проектов [29].

- CLA (Cluster analysis, кластерный анализ) - это группа методов используется для выделения групп объектов на ос-

нове их сходства. Может применяться для сегментации потенциальных заинтересованных сторон проекта по их предпочтениям и поведению, категоризации конкурентов цифрового проекта по их характеристикам и стратегиям, группировки инвестиционных проектов по их характеристикам и риску [30].

2. Методы Монте-Карло - это методы моделирования случайных событий и оценки вероятности их появления. MCS (Monte Carlo method, метод Монте-Карло) - группа методов численного моделирования, который используется для оценки вероятности и статистических свойств случайных процессов и явлений, в том числе оценки рисков инвестиций [31 ]. Методы Монте-Карло применяются для моделирования сценариев и случайных процессов, временных рядов, многомерных случайных величин.

3. Методы анализа рисков (Risk assessment method) позволяют оценить риски, связанные с инвестиционным проектом, в том числе:

- SA (Sensitivity Analysis, анализ чувствительности) - это группа методов, используемый для анализа влияния изменений входных параметров на выходные результаты моделирования или прогнозирования. Он позволяет определить, какие параметры модели имеют наибольшее влияние на результаты, и как изменения в этих параметрах могут повлиять на конечный результат [32]. Методы анализа чувствительности различаются по типу меры чувствительности, основанной, например, на разложении дисперсии, частных производных или элементарных эффектах. Они могут использовать элементы регрессионного анализа, анализа вариограмм поверхностей отклика, диаграммы рассеяния, а также методы, основанные на фильтрации Монте-Карло.

- DTA (Decision Tree Analysis, анализ дерева решений) -это метод, используемый для анализа и принятия решений в условиях неопределенности, когда вероятности исходов неизвестны. Он основан на создании дерева принятия решений, которое визуализирует все возможные решения и последствия, связанные с каждым решением [33].

- ROA (Real Options Analysis, анализ реальных опционов) - это метод оценки реальных опционов, который используется для оценки стоимости неопределенности в будущем [34] и ROV (Real Options Valuation, оценка реальных опционов) - это модель оценки, используемая для определения стоимости реальных опционов в условиях неопределенности [35, 36]. Используется для анализа инвестиционных проектов, которые имеют опционный характер и могут изменяться в зависимости от внешних факторов. Он позволяет оценить стоимость опций, которые могут возникнуть при принятии решений об инвестировании, и использовать эту информацию при принятии окончательного решения. Следует отметить, что данный метод является сложным и не часто применяется для оценки эффективности цифровых проектов.

4. Методы оптимизации инвестиционного портфеля -позволяют выбирать оптимальный портфель инвестиций в цифровую трансформацию промышленного предприятия на основе ожидаемой доходности и уровня риска. К вероятностным методам оптимизации инвестиционного портфеля относятся, в частности:

- QP (Quadratic Programming, квадратичное программирование) - это метод оптимизации, используемый для решения оптимизационных задач, в которых целевая функция и ограничения являются квадратичными. Используется для оптимизации портфеля инвестиций, учитывая ограничения на количество инвестируемых средств и доли каждого актива в портфеле [37, 38].

- GEA (Genetic Algorithm, генетические алгоритмы) - этот метод применяется для оптимизации инвестиционного портфеля, когда требуется найти наиболее выгодное сочетание

инвестиционных инструментов с учетом рисков и ограничении. Метод может использоваться для нахождения наилучшей комбинации параметров, которая позволит достичь максимальной производительности и прибыли [39].

- MVO (Mean-Variance Optimization, оптимизация средней дисперсии), также известный как Метод Марковица - это метод оптимизации портфеля инвестиций, который основывается на моделировании вероятностного распределения доходности активов и позволяет находить наиболее оптимальный цифровой портфель в соответствии с выбранными критериями. Он позволяет найти такой портфель, который минимизирует риск при заданном уровне доходности [39].

- CMV (Conditional Mean-Variance, условная средняя дисперсия): данный метод основан на минимизации риска портфеля при заданных ограничениях на распределение активов. Он позволяет найти такой портфель, который обладает минимальным риском при заданных ограничениях [40].

5. Методы стохастического программирования. SP (Stochastic Programming, стохастическое программирование) -это группа методов математического моделирования, используемый для решения оптимизационных задач, в которых присутствует неопределенность входных данных, в том числе, для принятия решений в условиях неопределенности и риска, оптимизации портфеля инвестиций [41].

Эвристические методы (или методы качественного анализа) оценки эффективности цифровых проектов предназначены для проведения быстрой и относительно простой оценки экономической целесообразности реализации проекта с помощью упрощенных методов экспертного анализа. Применение эвристических методов обычно не требуют больших финансовых и временных затрат на адаптацию к конкретным требованиям цифровых проектов. Кроме того, они позволяют дополнить количественные расчеты качественными оценками, а также оценить все факторы эффективности цифровых проектов и связать их с общей стратегией развития предприятия. Эвристический подход часто применяется для принятия стратегических решений при реализации цифровых проектов и ориентирован на долгосрочные цели развития.

Однако, эвристические методы имеют ряд существенных недостатков, таких как ограниченное количество параметров оценки, что может привести к искажению результатов, а также сложность разработки системы показателей для конкретных цифровых проектов и предприятий. Оценка цифрового проекта на основе эвристических методов может зависеть от мнения и опыта того, кто проводит оценку, что может приводить к различным результатам. Поэтому, к специалистам, привлекаемым к разработке системы показателей, предъявляются высокие требования в области инновационного менеджмента и опыта в сфере разработки, внедрения и эксплуатации информационных систем и технологий.

Существует множество эвристических методов оценки эффективности цифровых проектов, в том числе:

1. Методы, основанные на анализе внешней и внутренней среды:

- BSC (Balanced Scorecard, сбалансированная система показателей) - это система управления, которая используется для оценки и управления производительностью организации на основе ее стратегических целей и показателей. Система BSC основана на четырех основных перспективах: финансовой, клиентской, процессной и развития сотрудников [42]. BSC также помогает установить связь между стратегическими целями проекта и ресурсами, которые необходимы для их достижения.

- IT BSC (или IT Scorecard) - методика, которая соотносит критерии ИТ-инвестирования с финансовыми показателями и целями деятельности (бизнеса) предприятия [43].

X X

о го А с.

X

го m

о

м о м

CJ

fO CS

о

CS

о ш m

X

3

<

m О X X

- CI (CustomerIndex, индекс клиентов) - это метод измерения уровня удовлетворенности клиентов продуктом или услугой, которую они приобрели. Он разработан компанией Anderson Consulting для учета финансовых показателей, связанных с потенциальными доходами от клиентов, а также затраты на инвестиции и время возврата инвестиций [16]. CI может использоваться для оценки потенциального спроса на продукцию или услуги, связанные с цифровым проектом.

- SWOT Analysis - это инструмент стратегического планирования, который используется для оценки сильных и слабых сторон, возможностей и угроз предприятия, продукта или проекта. Анализ включает следующие направления цифровых проектов: сильные стороны, слабые стороны, возможности и угрозы [44].

- PEST-анализ (Political, Economic, Social, Technological, Политические, Экономические, Социальные, Технологические) - это метод, который позволяет предсказать возможные изменения во внешней среде, которые могут повлиять на успех или неудачу цифрового проекта [45].

- Benchmarking (сравнения с аналогами) - этот метод используется для сравнения производительности инвестиций с другими инвестиционными проектами, выполняющимися в той же отрасли или секторе [46].

2. Многокритериальные методы экспертного сравнения альтернативных решений - используется для определения наиболее привлекательных проектов на основе их потенциальной доходности и риска. Яркими примерами таких методов являются:

- TOPSIS (Technique for Order Preference by Similarity to Ideal Solution, техника предпочтения порядка по сходству с идеальным решением) - это метод многокритериального принятия решений, используемый для выбора наилучшего варианта решения из нескольких альтернативных вариантов на основе установленных критериев [47].

- AHP (Analytic Hierarchy Process, метод анализа иерархий) - это метод, предложенный Т. Саати, который позволяет ранжировать альтернативы по нескольким критериям, используя матрицу попарного сравнения [7, 48].

- ANP (Analytic Network Process, анализ сетевого процесса) - расширенная версия AHP - которая учитывает взаимосвязи между критериями [49].

- ShcheM (Shcheglov's method, метод Д.К. Щеглова) - метод, позволяющий провести сравнительный анализ альтернатив на основе дерева количественных и качественных критериев. Метод отличается гибкостью процедуры экспертного анализа и включает в себя средневзвешенную, оптимистическую и пессимистическую комплексную оценку альтернативных проектов [50, 51].

- VIKOR - это метод многокритериальной оптимизации, используемый для принятия решений в условиях неопределенности и неоднородности критериев. Он предназначен для ранжирования альтернативных вариантов по нескольким критериям с учетом компромиссов между ними [52].

Более полный обзор методов экспертного сравнения альтернативных решений представлен, например, в работе [53].

3. Методы, основанные на неформализованных экспертных суждениях:

- DM (Delphi Method, метод Делфи) - это метод экспертного опроса, который используется для получения мнения о некоторой проблеме или теме, когда существует неопределенность или отсутствует достаточное количество информации для принятия решения [54].

- EJ (Expert Judgment, экспертная оценка) - этот метод основан на мнении экспертов и специалистов в отношении вероятности успеха инвестиционного проекта [55].

- Мозговой штурм (brainstorming) - это метод генерации идей, который может помочь в идентификации потенциальных рисков, а также в поиске новых возможностей и идей для улучшения цифрового проекта [56].

4. Методы экспертной оценки продолжительности проектов, базирующиеся на сетевом анализе:

- PERT (Program (Project) Evaluation and Review Technique, метод оценки и анализа проектов) - этот метод для оценки времени выполнения проектов, основываясь на определенных предположениях и экспертных оценках [57]. PERT представляет собой сетевую модель проекта, которая включает в себя оценки времени выполнения задач и зависимости между ними.

- CPM (Critical Path Method, метод критического пути) -это метод для определения наиболее критических задач и управления временными ресурсами проекта [58]. Он позволяет определить последовательность задач и время, необходимое для их выполнения, а также выявить задачи, которые могут оказать наибольшее влияние на продолжительность цифрового проекта. Для визуализации метода принято использовать Диаграмы Ганта (Gantt Chart).

- CoCoMo 2 (Constructive Cost Model, модель издержек разработки) - это усовершенствованный эмпирический метод, предложенный Барри Боэмом. Он применяется для оценки затрат на разработку программного обеспечения, который основывается на исторических данных проектов и использует экспертные оценки, чтобы определить количество трудозатрат, необходимых для завершения проекта [59].

Следует отметить, что при оценке эффективности цифровых проектов может использоваться несколько методов в сочетании, чтобы получить более полную картину о рисках и возможностях. Среди наиболее распространенных комплексных (специализированных) методик оценки цифровых проектов следует выделить:

- REJ (Rapid Economic Justification, быстрое экономическое обоснование) - это методика, разработанная компанией Microsoft, для быстрой оценки экономической целесообразности инвестиций в проекты или предприятия. REJ включает в себя оценку затрат на проект или предприятие, потенциальную прибыль и другие факторы, влияющие на экономическую целесообразность инвестиций [60]. Результатом анализа, проведенного по методике REJ, является дорожная карта, содержащая информацию о заинтересованных сторонах проекта, критических факторах успеха и показателях эффективности.

- IE (Information Economics, информационная экономика) - это комплексная методология, разработана консалтинговой компанией Beta Group, которая сочетает в себе принципы экономики информации, статистики и теории принятия решений [61]. Она используется для оценки стоимости информационных систем, а также для анализа и оптимизации инвестиционных решений.

- AIE (Applied Information Economics, прикладная информационная экономика) - это методика, разработанная консалтинговой компанией Icosystems, которая используется для оценки стоимости информации и принятия решений на основе данных и информации, которые имеются у руководителей и предприятий [62]. Это методика оценки ценности информации и рисков, которая включает элементы эвристических, финансовых и вероятностных методов. AIE использует как экспертное мнение, так и статистические методы для оценки ценности информации и рисков. Эксперты могут использовать свой опыт и знания для оценки важности информации и рисков, а статистические методы могут помочь оценить вероятность возникновения событий. Метод используется для оценки эффективности инвестиций в информационные технологии, учитывая

влияние неопределенности и рисков. Методика основана на оценке экономической ценности получаемой информации. AIE использует такие методы, как моделирование Монте-Карло, оценку экспертов и анализ чувствительности, для определения стоимости проекта и его потенциальной эффективности.

- VBM (Value-Based Management, управление на основе ценности) - это система управления, которая ориентирована на увеличение стоимости предприятия для всех его заинтересованных сторон - акционеров, клиентов, сотрудников и т.д. Одним из ключевых инструментов VBM является управление капиталом, которое включает в себя оценку эффективности использования капитала и принятие решений о его распределении. Другими инструментами VBM являются управление рисками, оценка стоимости, управление инвестициями и управление производительностью [63].

Особенности выбора методики оценки эффективности цифровых проектов

При выборе методики для анализа и оценки эффективности цифровых проектов следует учитывать несколько общих требований:

- Релевантность: методика должна быть применима к конкретной задаче и соответствовать целям проекта. Она должна учитывать важнейшие свойства и характеристики исходной информации, используемой для оценки показателей эффективности цифровых проектов;

- Надежность и точность: методика должна обладать достаточной надежностью и точностью результатов. Она должна иметь достаточное научное обоснование, не содержать противоречий сетевого и формального характера (математического, логического, экономического);

- Доступность и простота: методика должна быть доступной и простой в использовании, чтобы ее можно было применять на практике;

- Соизмеримость/гетерогенность: методика должна быть универсальной и применимой для различных типов проектов, чтобы можно было сравнивать результаты разных проектов. Иными словами, она должна быть применима к различным классам информационных систем в разных сферах деятельности промышленных предприятий, на разных этапах разработки, внедрения и функционирования информационных систем;

- Эффективность: методика должна быть эффективной и экономически целесообразной. Результаты анализа не должны занимать слишком много времени или стоить слишком дорого;

- Учет рисков: методика должна учитывать возможные риски проекта и предоставлять инструменты для их оценки и управления;

- Объективность: методика должна быть объективной и не должна зависеть от субъективного мнения или предпочтений аналитика;

- Возможность анализа нескольких вариантов: методика должна позволять анализировать несколько вариантов проекта, чтобы выбрать наилучший вариант;

- Гибкость: методика должна быть гибкой и позволять анализировать проекты в различных условиях и с различными параметрами.

В зависимости от конкретной задачи и цели анализа, можно выбрать подходящую методику, а для комплексной оценки эффективности цифровых проектов необходимо использовать комбинацию из описанных выше методов.

Комплексный анализ должен помочь выделить те показатели, которые влияют на повышение эффективности работы промышленного предприятия за счет внедрения конкретных

цифровых проектов. Однако следует учитывать, что внедрение современных информационных технологий и систем зачастую требует изменения бизнес-процессов предприятий. Например, при автоматизации процессов проектирования и конструкторско-технологической подготовки производства, необходимо внедрение принципа сквозного параллельного проектирования и проведение организационных изменений. Поэтому при оценке эффективности таких цифровых проектов следует учитывать не только эффективность внедряемых CAD/CAE/PDM-систем, но и новых принципов организации проектно-конструкторских работ.

Более того, оценка эффективности цифровых проектов должна включать оценку получаемых предприятием конкурентных преимуществ, а не только экономии материальных ресурсов или времени на разработку высокотехнологичной продукции. Для этого методика оценки должна учитывать не только классические экономические показатели, но и нематериальные ресурсы, такие как репутация предприятия, брэнд, интеллектуальный ресурс и приобретенный опыт. Указанные ресурсы не всегда могут быть выражены в количественных показателях, поэтому методика должна быть комплексной и использовать как количественные, так и качественные показатели.

Для создания комплексной методики оценки эффективности цифровых проектов, целесообразно использовать эвристический подход, который дополняется элементами других методов. Например, при оценке материальных затрат и выгод можно использовать финансовые показатели, а при оценке рисков - вероятностные методы.

Эвристический подход позволяет определить соответствие цифровых проектов бизнес-стратегии предприятия и их вклад в достижение стратегических целей. Однако не все стратегические цели могут быть выражены в финансовых показателях. Например, цели могут быть ориентированы на получение социально-экономических результатов, таких как узнаваемость торговой марки, завоевание позиции на рынке высокотехнологичной продукции и повышение конкурентоспособности.

При декомпозиции стратегических целей формируются показатели (как финансовые, так и нефинансовые), которые позволяют определить показатели оценки эффективности цифровых проектов. Ключевые показатели могут быть количественными (оборот предприятия, его капитализация, постоянные издержки на единицу продукции, оборачиваемость активов и т.д.) и качественными (удовлетворенность потребителя, лояльность сотрудников и т.д.). Для оценки этих показателей необходимо преобразовать их в общую количественную форму. Интегрированная оценка ключевых показателей позволяет сформулировать выводы об эффективности цифровых проектов.

Заключение

Оценка эффективности цифровых проектов является сложной задачей, и на данный момент нет единой готовой методики или рекомендаций, которые можно было бы применить универсально. Каждый проект имеет свои уникальные особенности, и оценка его эффективности требует индивидуального подхода.

При оценке цифровых проектов важно учитывать не только финансовые показатели, но и другие факторы, такие как стратегическая цель проекта, потенциал роста, конкурентная среда, техническая реализуемость и ожидаемые преимущества для бизнеса.

В процессе проведения оценки эффективности цифровых проектов могут быть использованы различные методики и инструменты. Проведенный анализ подходов к оценке эффективности цифровых проектов позволяет заключить:

X X

о

го А

с.

X

го m

о

м о м

CJ

fO CS

о

CS

о ш m

X

3

<

m О X X

- финансовые методы основаны на расчете финансовых показателей, таких как прибыль, доход, рентабельность, чистый дисконтный доход (NPV), внутренняя норма доходности (IRR) и другие. Они позволяют оценить эффективность проекта в денежном выражении и сравнить различные проекты между собой;

- вероятностные методы используются для оценки вероятности успеха или неудачи проекта на основе статистических данных и анализа рисков. Они позволяют учитывать неопределенность в процессе принятия решения и оценки рисков;

- эвристические методы, или методы качественного анализа, основаны на экспертном мнении и опыте. Они позволяют учитывать неформальные факторы, такие как культурные особенности, социальные требования и т.д., которые могут повлиять на успех проекта;

- комплексные (специальные) методики могут сочетать в себе финансовые, вероятностные и эвристические методы. Они учитывают несколько критериев, таких как финансовые показатели, социальные, экологические и другие факторы, для принятия решения. Они позволяют учитывать различные аспекты проекта и выбирать наилучший вариант с учетом всех критериев.

Представленный в статье широкий спектр инструментов анализа демонстрирует их многообразие и может сформировать ложное представление о наличии способа успешного решения любой практической задачи. Вместе тем, следует учитывать, что цифровые проекты в сложившемся понимании изначально нашли целевое применение в банковской сфере и бизнесах, связанных с информационно-коммуникационными услугами, что наложило отпечаток на разработанный для их воплощения и мониторинга инструментарий, который послужил основой для формирования разновидностей, приспособленных для других условий. Поэтому проблемы формирования исходного массива данных для анализа и выбора набора подходящих методических приемов предстоит решать в конкретных условиях, в большинстве практических случаев, не имеющих близких аналогов. С учетом того, что масштабные процессы трансформации производственных систем происходят не часто, то иметь на конкретном производстве опытную команду разработчиков, аналитиков и реализаторов проектов цифровой трансформации не представляется возможным. Данная ситуация заставляет руководителей предприятий строить долговременные планы развития, включающие мероприятия по подготовке специалистов высшей квалификации, способных, опираясь на научную основу, осуществлять процессы наблюдения, систематизации, классификации, анализа и прогнозирования, на базе результатов которых становится возможным аккумулировать разрозненный успешный опыт, выявлять прецеденты и прототипы и формировать систему действий, обеспечивающих оптимальную траекторию трансформации производственных процессов и отношений, эффективных для конкретного предприятия промышленности.

Кроме того, важно учитывать изменчивость цифровой среды и быстрое развитие технологий. Оценка эффективности портфеля цифровых проектов должна быть гибкой и динамичной, чтобы учитывать изменения внешних условий и возможности для инноваций. Для этого необходимо правильно выбрать совокупность методов анализа. Это позволит учесть различные аспекты проекта, оценить эффективность в денежном выражении, оценить риски и учитывать неформальные факторы. Использование только одного метода может привести к узкому взгляду на проблему и неполной оценке эффективности цифрового проекта. Поэтому, комбинируя различные методы, можно получить более полную картину о проекте для принятия более обоснованных организационно-технических решений.

В конечном итоге, успешная оценка эффективности портфеля цифровых проектов требует комбинации опыта, экспертного мнения и аналитических инструментов. Предприятия высокотехнологичных отраслей промышленности могут разрабатывать свои собственные методики, основываясь на своем опыте и специфике своей деятельности, чтобы наилучшим образом оценить эффективность своих цифровых проектов.

Литература

1. Щеглов Д.К., Пиликов Н.А., Тимофеев В.И. Концептуальные основы цифровой трансформации организаций оборонно-промышленного комплекса // Автоматизация в промышленности. 2021. № 2. - С. 13-23.

2. Бородавкин В.А., Щеглов Д.К. Введение в цифровую трансформацию предприятий высокотехнологичных отраслей промышленности: новые подходы // Инновации. 2020. № 12(266). - С. 23-32.

3. Правила оценки эффективности, особенности определения целевого характера использования бюджетных средств, направленных на государственную поддержку инновационной деятельности, и средств из внебюджетных источников, возврат которых обеспечен государственными гарантиями, и применяемые при проведении такой оценки критерии, утвержденные постановлением Правительства Российской Федерации от 22 декабря 2020 г. № 2204

4. Методические рекомендации по оценке эффективности инвестиционных проектов, утвержденные Министерством экономики РФ, Министерством финансов РФ, Государственным комитетом РФ по строительной, архитектурной и жилищной политике от 21.06.1999 № ВК477

5. Ерошин С.Е., Щеглов Д.К. Методика разработки концепции цифровой трансформации организации оборонно-промышленного комплекса // Инновации и инвестиции. 2022. № 1. - С. 214-223.

6. Paul W. Farris, Neil Bendle, Phillip Pfeifer, David Reibstein Marketing Metrics (Pearson Business Analytics Series), 4th Edition. 2020. Pearson FT Press, 512 p.

7. Jarko Popovic, Jelena Stankovic, Ivana Veselinovic Multi-criteria analysis application in the investment projects assessment // Economics and Organization Vol. 10, No 4, 2013, pp. 401-418.

8. Lin, Grier C.I.; Nagalingam, Sev V. CIM justification and optimisation. London: Taylor & Francis. 2000. 36 p.

9. Jonathan B. Berk, Peter DeMarzo, David Stangeland Corporate Finance, Fourth Canadian Edition. Pearson Education Canada. 2018. 1168 p.

10. Boardman, A.A., Greenberg, D.H., Vining, A.R., and Weimer, D. L. Cost-Benefit Analysis: Concepts and Practice. (3rd ed.) Upper Saddle River, N.J.: Prentice Hall, 2006.

11. Profitability Index (PI). Guide to Understanding the Profitability Index / Well Street Prep. - URL: https://www.wallstreetprep.com/knowledge/profitability-index/

12. Stephen G. Kellison. The Theory of Interest, 3rd Edition. McGRAW- International Edition, 2009. 643 p.

13. David Cary, Michael Dunn Adjustment of modified internal rate of return for scale and time span differences // Proceedings of the Academy of Accounting and Financial Studies, Vol. 2, No. 2 Maui, Hawaii, 1997. рр. 57-63.

14. Feenstra D.W., Wang H. Economic and Accounting Rates of Return. - FEB Research Institute. 2000. 38 p.

15. Lutz Kruschwitz, Andreas Loffler Discounted Cash Flow: A Theory of the Valuation of Firms.2006, 155 p.

16. Antonio Drommi, Dan Shoemaker, Jeff Ingalsbe, John Bailey, Nancy Mead Models for Assessing the Cost and Value of Software Assurance / Software Engineering Institute, Carnegie Mellon University, February 2007. 23 p.

17. Cooper W.W., Seiford L.M., Tone K. Data Envelopment Analysis. A Comprehensive Text with Models, Applications, References and DEA-Solver Software. - 2nd edition. - New York: Springer-Verlag, 2006. 528 p.

18. Mihir A. Desai How Finance Works: The HBR Guide to Thinking Smart About the Numbers. - Harvard business review press, 2019. 267 p.

19. Péter Harbula The Free Cash-Flow Theory Versus Financial Constraints: Investments, Corporate Governance and Soft Budgeting Problems. Acta Oeconomica. 51(4). 2001. 33 p.

20. Bhandari, Shyam B. Discounted Payback Period - A Viable Complement to Net Present Value for Projects with Conventional Cash Flows. The Journal of Cost Analysis, Summer, 1989, p. 4353.

21. APPA 1000-2 Total Cost of Ownership for Facilities Asset Management (TCO) - Part 2: Implementation and Data Elements. January 3, 2020. 117 p.

22. Lars Mieritz, Bill Kirwin Defining Gartner Total Cost of Ownership. - Gartner. 2005. 11 p.

23. Wolter J. Fabrycky and Benjamin S. Blanchard Life-Cycle Cost and Economic Analysis, Englewood Cliffs, NJ: Prentice Hall, 1991.

24. Economic Margin. / Applied finance group. - URL: https://economicmargin.com/ economic-margin/

25. Mocciaro Li Destri, Arabella and Picone, Pasquale Massimo and Mina, Anna. Bringing Strategy Back into Financial Systems of Performance Measurement: Integrating EVA and PBC (September 28, 2012). Business Systems Review, Vol 1. Issue 1. 2012. pp. 85-102.

26. David A. Freedman Statistical Models: Theory and Practice. - Cambridge University Press, 2005. 442 p.

27. David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, James J. Cochran Statistics for Business and Economics, Thirteenth Edition, - Cengage Learning, 2017. 1090 p.

28. Robert H. Shumway Applied Statistical Time Series Analysis. - Prentice Hall, 1988. 384 p.

29. An Gie Yong and Sean Pearce A Beginner's Guide to Factor Analysis: Focusing on Exploratory Factor Analysis / Tutorials in Quantitative Methods for Psychology. 2013, Vol. 9(2), p. 79-94.

30. Christian Hennig, Marina Meila, Fionn Murtagh, Roberto Rocci. Handbook of Cluster Analysis. - Chapman & Hall, 2017. 384 p.

31. Dirk P. Kroese, Tim Brereton, Thomas Taimre, Zdravko I. Botev Why the Monte Carlo method is so important today. WIREs Comput Stat, Vol. 6, Issue 6, 2014. pp. 386-392.

32. Andrea Saltelli, Marco Ratto, Terry Andres, Francesca Campolongo, Jessica Cariboni, Debora Gatelli, Michaela Saisana, Stefano Tarantola Global Sensitivity Analysis. The Primer. - John Wiley & Sons, 2008. 292 p.

33. BogumitKaminski, Michat Jakubczyk & Przemysfaw Szufel A framework for sensitivity analysis of decision trees / Central European Journal of Operations Research. Vol. 26(1), 2018. pp. 135-159.

34. Dr. Johnathan Mun Real Options Analysis (Third Edition): Tools and Techniques for Valuing Strategic Investments and Decisions with Integrated Risk Management and Advanced Quantitative Decision Analytics 3rd Edition (January 30, 2016). 694 p.

35. Lambrecht, B. (2017). Real options in finance. Journal of Banking and Finance, 81 pp/ 166-171.

36. Campbell R. Harvey Identifying Real Options. - Fuqua School of Business, Duke University. 1999. - uRL: https://people.duke.edu/~charvey/Teaching/BA456_2002/ Identifying_real_options.htm

37. Nicholas J. Higham, Mark R. Dennis, Paul Glendinning, Paul A. Martin, Fadil Santosa, Jared Tanner The Princeton Companion To Applied Mathematics, - Princeton University Press, Princeton and Oxford. 2015. 994 p.

38. He Li and Naiyu Shi Application of Genetic Optimization Algorithm in Financial Portfolio Problem / Hindawi. Computational Intelligence and Neuroscience. Volume 2022, Article ID 5246309, 9 p.

39. Scott L. Lummer, Mark W. Riepe, Laurence B. Siegel A Guide Through the Pitfalls of Mean Variance Optimization. 1994. 27 р.

40. Werner Nagel, Rolf Steyer Probability and Conditional Expectation: Fundamentals for the Empirical Sciences. - Wiley Series in Probability and Statistics. 2017. 600 р.

41. John R. Birge, François Louveaux Introduction to Stochastic Programming. - Hardcover, 2011. 485 p.

42. Lawrie, G. and Cobbold, I. Third-generation balanced scorecard: evolution of an effective strategic control tool / International Journal of Productivity and Performance Management, Vol. 53 No. 7, 2004. pp. 611-623.

43. Jessica Keyes Implementing the IT Balanced Scorecard. Aligning IT with Corporate Strategy. - Taylor & Francis Group. 2005. 500 р.

44. The Art of Service - SWOT Analysis Publishing. - The Art of Service - SWOT Analysis Publishing, 2020. 316 р.

45. Salem Alanzi Pestle Analysis Introduction. 2018. 26 р.

46. Tim Stapenhurst The Benchmarking Book: A how-to guide to best practice for managers and practitioners 1st Edition. -Routledge. 2009. 496 р.

47. Robbi Rahim, Andysah Putera, Utama Siahaan, Rian Farta Wijaya Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS) method for decision support system in top management / International Journal of Engineering & Technology, 7 (3.4). 2018. pp. 290-293.

48. Thomas L. Saaty The Analytic Hierarchy Process: Decision Making in Complex Environments. Quantitative Assessment in Arms Control, 1984. pp. 285-308.

49. Saaty, T.L., Theory and Applications of the Analytic Network Process, 4922 Ellsworth Avenue, Pittsburgh, PA 15213, 2005.

50. Щеглов Д.К. Методология выбора корпоративных информационных систем в условиях цифровой трансформации организации оборонно-промышленного комплекса // Вестник Концерна ВКО «Алмаз - Антей». 2021. No 4. - С. 7-24.

51. Щеглов Д.К. Методика выбора pdm-системы для предприятия ракетно-космической отрасли // Инновации. 2011. №5 (151). - С. 107-114.

52. Stefan Z.; Marija D.; Edita K. Application of vikor method in ranking the investment projects. Int. J. Econ. No. 8, 2018. рр. 125194

53. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, Физматлит, 1996. - 208 с.

54. Green, Kesten C., Armstrong, J. Scott and Graefe, Andreas Methods to Elicit Forecasts from Groups: Delphi and Prediction Markets Compared - MPRA Paper No. 4999, 07 November 2007.

55. Mark A. Burgman, Trusting judgments. How to get the best out of experts. Cambridge: Cambridge University Press. 2016. 214 p.

56. Стариков П.А. Пиковые переживания и технологии творчества: учебное пособие. - Красноярск: филиал НОУ ВПО «Санкт-Петербургский институт внешнеэкономических связей, экономики и права» в г. Красноярске, 2011. - 92 с.

X X

о го А с.

X

го m

о

м о

M

со

fO CS

o

CS

o m m

X

3

<

m o x

X

57. Robert G. Johnson PERT (program Evaluation & Review Technique) for Managers: A Programmed Instruction Course -Argyle, 1968. 262 p.

58. Mubarak S. Construction project Scheduling and Control, 2nd ed., John Wiley & Sons, Canada, 2008. 456 p.

59. Barry Boehm, Bradford Clark, Ellis Horowitz, Chris Westland, Ray Madachy & Richard Selby Cost models for future software life cycle processes: COCOMO 2.0 // Annals of Software Engineering. Vol. 1, 1995. pp. 57-94.

60. Rapid Economic Justification. Enterprise edition. A Step-by-Step Guide to Optimizing IT Investments that Forge Alliances Between IT and Business - Microsoft Corporation. 2005. 135 p.

61. Urs Birchler and Monika Butler Information Economics. -Routledge.Taylor & Francis Group. 2007. 462 p.

62. Gerardus Blokdyk Applied Information Economics. A Complete Guide - 2020 Edition. Practical tools for self-assessment. - The Art of Service. 2021. 309 p.

63. S. David Young, Stephen F. O'Byrne EVA and Value-Based Management: A Practical Guide to Implementation, 2000. 493 p.

Methodology for evaluating the efficiency of digital transformation projects in

high-tech enterprises Shcheglov D.K. , Saibel A.G. , Bukarev A.M.

Baltic State Technical University «VOENMECH» D.F. Ustinova»

JEL classification: C01, C02, C1, C4, C5, C6, C8_

With the development of information and communication systems and the transition to a digital economy, many Russian high-tech industry enterprises are faced with the need to introduce modern digital technologies to improve the efficiency of their activities and achieve competitive advantages. The article is devoted to analyzing approaches to evaluating the effectiveness of digital projects. The main advantages and disadvantages of four classes of methods are identified: multicriteria, financial, probabilistic, and heuristic. Requirements for a comprehensive method for evaluating the effectiveness of digital projects are formulated, which are proposed to be created based on the heuristic approach, complemented by elements of financial and probabilistic methods. Keywords: project efficiency, complex analysis, approaches, methods, digital

transformation, high-tech industry enterprise References

1. Shcheglov D.K., Pilikov N.A., Timofeev V.I. Conceptual foundations of digital

transformation of organizations of the military-industrial complex // Automation in industry. 2021. No. 2. - P. 13-23.

2. Borodavkin V.A., Shcheglov D.K. Introduction to digital transformation of enterprises in

high-tech industries: new approaches // I nnovations. 2020. No. 12(266). - P. 23-32.

3. Rules for assessing effectiveness, features of determining the targeted nature of

the use of budget funds aimed at state support of innovation activities, and funds from extra-budgetary sources, the return of which is ensured by state guarantees, and the criteria used in carrying out such an assessment, approved by the Decree of the Government of the Russian Federation of December 22, 2020 city No. 2204

4. Methodological recommendations for assessing the effectiveness of investment

projects, approved by the Ministry of Economy of the Russian Federation, the Ministry of Finance of the Russian Federation, the State Committee of the Russian Federation for Construction, Architectural and Housing Policy dated June 21, 1999 No. VK477

5. Eroshin S.E., Shcheglov D.K. Methodology for developing the concept of digital

transformation of the organization of the military-industrial complex // Innovations and investments. 2022. No. 1. - P. 214-223.

6. Paul W. Farris, Neil Bendle, Phillip Pfeifer, David Reibstein Marketing Metrics (Pearson

Business Analytics Series), 4th Edition. 2020. Pearson FT Press, 512 p.

7. Jarko Popovic, Jelena Stankovic, Ivana Veselinovic Multi-criteria analysis

application in the investment projects assessment // Economics and Organization Vol. 10, No. 4, 2013, pp. 401-418.

8. Lin, Grier C.I.; Nagalingam, Sev V. CIM justification and optimization. London:

Taylor & Francis. 2000. 36 p.

9. Jonathan B. Berk, Peter DeMarzo, David Stangeland Corporate Finance, Fourth

Canadian Edition. Pearson Education Canada. 2018. 1168 p.

10. Boardman, A. A., Greenberg, D. H., Vining, A. R., and Weimer, D. L. Cost-Benefit

Analysis: Concepts and Practice. (3rd ed.) Upper Saddle River, N.J.: Prentice Hall, 2006.

11. Profitability Index (PI). Guide to Understanding the Profitability Index / Well Street

Prep. - URL: https://www.wallstreetprep.com/knowledge/profitability-index/

12. Stephen G. Kellison. The Theory of Interest, 3rd Edition. McGRAW-International

Edition, 2009. 643 p.

13. David Cary, Michael Dunn Adjustment of modified internal rate of return for scale

and time span differences // Proceedings of the Academy of Accounting and Financial Studies, Vol. 2, No. 2 Maui, Hawaii, 1997. pp. 57-63.

14. Feenstra D.W., Wang H. Economic and Accounting Rates of Return. - FEB Research Institute. 2000. 38 p.

15. Lutz Kruschwitz, Andreas Löffler Discounted Cash Flow: A Theory of the Valuation

of Firms. 2006, 155 p.

16. Antonio Drommi, Dan Shoemaker, Jeff Ingalsbe, John Bailey, Nancy Mead Models

for Assessing the Cost and Value of Software Assurance / Software Engineering Institute, Carnegie Mellon University, February 2007. 23 p.

17. Cooper W.W., Seiford L.M., Tone K. Data Envelopment Analysis. A Comprehensive Text with Models, Applications, References and DEA-Solver Software. - 2nd edition. - New York: Springer-Verlag, 2006. 528 p.

18. Mihir A. Desai How Finance Works: The HBR Guide to Thinking Smart About the

Numbers. - Harvard business review press, 2019. 267 p.

19. Péter Harbula The Free Cash-Flow Theory Versus Financial Constraints: Investments, Corporate Governance and Soft Budgeting Problems. Acta Oeconomica. 51(4). 2001. 33 p.

20. Bhandari, Shyam B. Discounted Payback Period - A Viable Complement to Net

Present Value for Projects with Conventional Cash Flows. The Journal of Cost Analysis, Summer, 1989, p. 43-53.

21. APPA 1000-2 Total Cost of Ownership for Facilities Asset Management (TCO) -

Part 2: Implementation and Data Elements. January 3, 2020. 117 p.

22. Lars Mieritz, Bill Kirwin Defining Gartner Total Cost of Ownership. - Gartner 2005.

11 p.

23. Wolter J. Fabrycky and Benjamin S. Blanchard Life-Cycle Cost and Economic

Analysis, Englewood Cliffs, NJ: Prentice Hall, 1991.

24. Economic Margin. / Applied finance group. - URL: https://economicmargin.com/economic-margin/

25. Mocciaro Li Destri, Arabella and Picone, Pasquale Massimo and Mina, Anna.

Bringing Strategy Back into Financial Systems of Performance Measurement: Integrating EVA and PBC (September 28, 2012). Business Systems Review, Vol 1. Issue 1. 2012. pp. 85-102.

26. David A. Freedman Statistical Models: Theory and Practice. - Cambridge University Press, 2005. 442 p.

27. David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm,

James J. Cochran Statistics for Business and Economics, Thirteenth Edition, -Cengage Learning, 2017. 1090 p.

28. Robert H. Shumway Applied Statistical Time Series Analysis. - Prentice Hall,

1988. 384 p.

29. An Gie Yong and Sean Pearce A Beginner's Guide to Factor Analysis: Focusing

on Exploratory Factor Analysis / Tutorials in Quantitative Methods for Psychology. 2013, Vol. 9(2), p. 79-94.

30. Christian Hennig, Marina Meila, Fionn Murtagh, Roberto Rocci. Hand book of

Cluster Analysis. - Chapman & Hall, 2017. 384 p.

31. Dirk P. Kroese, Tim Brereton, Thomas Taimre, Zdravko I. Botev Why the Monte

Carlo method is so important today. WIREs Comput Stat, Vol. 6, Issue 6, 2014. pp. 386-392.

32. Andrea Saltelli, Marco Ratto, Terry Andres, Francesca Campolongo, Jessica Cariboni, Debora Gatelli, Michaela Saisana, Stefano Tarantola Global Sensitivity Analysis. The Primer. - John Wiley & Sons, 2008. 292 p.

33. Bogumit Kaminski, Michat Jakubczyk & Przemystaw Szufel A framework for sensitivity analysis of decision trees / Central European Journal of Operations Research. Vol. 26(1), 2018. pp. 135-159.

34.Dr. Johnathan Mun Real Options Analysis (Third Edition): Tools and Techniques for Valuing Strategic Investments and Decisions with Integrated Risk Management and Advanced Quantitative Decision Analytics 3rd Edition (January 30, 2016). 694 p.

35. Lambrecht, B. (2017). Real options in finance. Journal of Banking and Finance, 81

pp/ 166-171.

36. Campbell R. Harvey Identifying Real Options. - Fuqua School of Business, Duke

University. 1999. - URL:

https://people.duke.edu/~charvey/Teaching/BA456_2002/

Identifying_real_options.htm

37. Nicholas J. Higham, Mark R. Dennis, Paul Glendinning, Paul A. Martin, Fadil Santosa, Jared Tanner The Princeton Companion To Applied Mathematics, -Princeton University Press, Princeton and Oxford. 2015. 994 p.

38. He Li and Naiyu Shi Application of Genetic Optimization Algorithm in Financial

Portfolio Problem / Hindawi. Computational Intelligence and Neuroscience. Volume 2022, Article ID 5246309, 9 p.

39. Scott L. Lummer, Mark W. Riepe, Laurence B. Siegel A Guide Through the Pitfalls

of Mean Variance Optimization. 1994. 27 r.

40. Werner Nagel, Rolf Steyer Probability and Conditional Expectation: Fundamentals

for the Empirical Sciences. - Wiley Series in Probability and Statistics. 2017. 600 rub.

41. John R. Birge, François Louveaux Introduction to Stochastic Programming. -

Hardcover, 2011. 485 p.

42. Lawrie, G. and Cobbold, I. Third-generation balanced scorecard: evolution of an

effective strategic control tool / International Journal of Productivity and Performance Management, Vol. 53 No. 7, 2004. pp. 611-623.

43. Jessica Keyes Implementing the IT Balanced Scorecard. Aligning IT with Corporate Strategy. - Taylor & Francis Group. 2005. 500 rub.

44. The Art of Service - SWOT Analysis Publishing. - The Art of Service - SWOT

Analysis Publishing, 2020. 316 rub.

45. Salem Alanzi Pestle Analysis Introduction. 2018. 26 r.

46. Tim Stapenhurst The Benchmarking Book: A how-to guide to best practice for

managers and practitioners 1st Edition. - Routledge 2009. 496 rub.

47. Robbi Rahim, Andysah Putera, Utama Siahaan, Rian Farta Wijaya Technique for

Order of Preference by Similarity to Ideal Solution (TOPSIS) method for decision support system in top management / International Journal of Engineering & Technology, 7 (3.4). 2018. pp. 290-293.

48. Thomas L. Saaty The Analytic Hierarchy Process: Decision Making in Complex

Environments. Quantitative Assessment in Arms Control, 1984. pp. 285-308.

49. Saaty, T. L., Theory and Applications of the Analytic Network Process, 4922

Ellsworth Avenue, Pittsburgh, PA 15213, 2005.

50. Shcheglov D.K. Methodology for selecting corporate information systems in the

context of digital transformation of the organization of the military-industrial complex // Bulletin of the Almaz-Antey East Kazakhstan Concern. 2021. No. 4. -pp. 7-24.

51. Shcheglov D.K. Methodology for choosing a PDM system for an enterprise in the

rocket and space industry // Innovations. 2011. No. 5 (151). - pp. 107-114.

52. Stefan Z.; Maria D.; Edita K. Application of vikor method in ranking the investment

projects. Int. J. Econ. No. 8, 2018. pp. 125-194

53. Larichev O.I., Moshkovich E.M. Qualitative methods for decision making. Verbal

analysis of decisions. - M.: Nauka, Fizmatlit, 1996. - 208 p.

54. Green, Kesten C., Armstrong, J. Scott and Graefe, Andreas Methods to Elicit

Forecasts from Groups: Delphi and Prediction Markets Compared - MPRA Paper No. 4999, 07 November 2007.

55. Mark A. Burgman, Trusting judgments. How to get the best out of experts. Cambridge: Cambridge University Press. 2016. 214 p.

56. Starikov P.A. Peak experiences and technologies of creativity: a textbook. -

Krasnoyarsk: branch of the NOU VPO "St. Petersburg Institute of Foreign Economic Relations, Economics and Law" in Krasnoyarsk, 2011. - 92 p.

57. Robert G. Johnson PERT (program Evaluation & Review Technique) for Managers: A Programmed Instruction Course - Argyle, 1968. 262 r.

58. Mubarak S. Construction project Scheduling and Control, 2nd ed., John Wiley &

Sons, Canada, 2008. 456 rub.

59. Barry Boehm, Bradford Clark, Ellis Horowitz, Chris Westland, Ray Madachy &

Richard Selby Cost models for future software life cycle processes: COCOMO 2.0 // Annals of Software Engineering. Vol. 1, 1995. pp. 57-94.

60. Rapid Economic Justification. Enterprise edition. A Step-by-Step Guide to Optimizing IT Investments that Forge Alliances Between IT and Business -Microsoft Corporation. 2005. 135 p.

61. Urs Birchler and Monika Butler Information Economics. - Routledge.Taylor & Francis Group. 2007. 462 p.

62. Gerardus Blokdyk Applied Information Economics. A Complete Guide - 2020

Edition. Practical tools for self-assessment. - The Art of Service. 2021. 309 p.

63. S. David Young, Stephen F. O'Byrne EVA and Value-Based Management: A

Practical Guide to Implementation, 2000. 493 p.

X X

o

0D >

c.

X

0D m

o

ho o ho CJ