Научная статья на тему 'Методика оптимального планирования и управления комплексными инновационными разработками для условий затрудненного прогнозирования хода работ'

Методика оптимального планирования и управления комплексными инновационными разработками для условий затрудненного прогнозирования хода работ Текст научной статьи по специальности «Экономика и бизнес»

CC BY
61
17
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КОМПЛЕКСНЫЕ ИННОВАЦИОННЫЕ РАЗРАБОТКИ / МЕТОДИКА ОПТИМАЛЬНОГО ПЛАНИРОВАНИЯ / ТЕХНОЛОГИЯ НЕДООПРЕДЕЛЕННЫХ МОДЕЛЕЙ / УЧЕТ РИСКА / СОГЛАСОВАНИЕ ОЦЕНОК ПОКАЗАТЕЛЕЙ И ЗАВИСИМОСТЕЙ

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Напреенко Владислав Георгиевич

Задачей исследования, результаты которого предлагаются читателю, являлось создание методики оптимального планирования и управления комплексными инновационными разработками, пригодной к использованию в условиях затрудненного прогнозирования хода работ. Методика строится на основе совместного использования современных информационных технологий, экономико-математического моделирования и экспертного оценивания. В результате проведенного исследования исследования была развита технология недоопределенных моделей применительно к задачам планирования комплексных инновационных разработок в условиях затрудненного прогнозирования хода работ; отработаны приемы оптимизации планов комплексных инновационных разработок, отражающие особенности недоопределенных моделей плановых задач; предложены способы управления комплексными инновационными разработками, основанные на использовании недоопределенных моделей плановых задач. В итоге сформирована прикладная методика.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Методика оптимального планирования и управления комплексными инновационными разработками для условий затрудненного прогнозирования хода работ»

Напреенко Владислав Георгиевич

кандидат технических наук, ведущий научный сотрудник сектора мониторинга состояния и тенденций развития организаций сферы науки и инноваций РИЭПП.

Тел. (495) 916-86-66, info@rieр.ru

методика оптимального планирования и

управления комплексными инновационными

разработками для условий затрудненного прогнозирования хода работ

Введение

Научно-технический прогресс ведет к постоянному усложнению инновационных разработок, росту их стоимости и усилению их влияния на экономику и социальную сферу. В этой ситуации значение методов планирования и управления инновационными разработками непрерывно растет.

Особенно ощутима потребность в методиках оптимального планирования и управления инновационными разработками, т. е. методиках, направленных на достижение желаемого полезного эффекта с минимальными затратами времени, финансовых средств и других ресурсов. Создание таких методик более чем актуально для современной России, так как ресурсы, которые наша страна способна выделить на инновационные разработки, в настоящее время весьма ограничены, а без перехода на инновационный путь развития Россия из великой державы рискует превратиться в сырьевой придаток других государств.

Особую сложность проблеме планирования и управления инновационными разработками придают трудности прогнозирования хода работ. Нередко лишь с большими ошибками удается прогнозировать такие показатели хода работ, как продолжительность и стоимость этапов работы, возникающие на этих этапах затраты материальных ресурсов, достигнутые в результате работы параметры новых изделий или технологий и т. п. При выполнении комплексных разработок, результаты которых зависят от большого числа отдельных работ, трудности прогнозирования хода работ ощущаются особенно сильно.

Приходится констатировать, что надежных методик оптимального планирования и управления комплексными инновационными разработками, пригодных к использованию в условиях затрудненного прогнозирования хода работ, до настоящего времени не было создано, и об этом свидетельствуют многочисленные примеры серьезных трудностей и явных ошибок, возникающих при планировании и управлении в сфере инноваций.

Задачей исследования, результаты которого предлагаются читателю, являлось создание методики оптимального планирования и управления комплексными инновационными разработками, пригодной к использованию в условиях затрудненного прогнозирования хода работ.

Основные идеи разработки

Рассматриваемая методика строится на основе совместного использования современных информационных технологий, экономико-математического моделирования и экспертного оценивания.

В плане информационных технологий мы предлагаем рассматривать факторы, прогнозирование которых затруднено, как недоопределенные величины, используя для их анализа оригинальный отечественный аппарат информационных технологий, получивший название аппарата недоопределенных вычислений [1—7]. Аппарат недоопределенных вычислений представляет собой разновидность программирования в ограничениях (constraint programming). Это направление прикладной математики считается в настоящее время одним из самых перспективных и становится все более популярным. Оно успешно теснит другие направления программирования, такие как императивное или алгоритмическое программирование, логическое программирование, функциональное программирование и др.

В рамках предлагаемой методики плановая задача и условия ее решения представимы как совокупность переменных (недоопределенных и обычных математических) и наложенных на эти переменные математических и логических условий (в первую очередь, уравнений и неравенств). При этом точные зависимости описываются как обычные уравнения или неравенства, а приближенные — как недоопределенные, что позволяет учесть их возможную погрешность.

В результате такого представления плановой задачи формируется ее недоопределенная модель, т. е. модель, построенная применительно к возможностям недоопределенных вычислений.

Технология недоопределенных моделей выделяется среди других родственных подходов мощностью, универсальностью и эффективностью [8—13]. Недоопределенные модели значительно повышают точность, достоверность и обоснованность прогнозов в условиях недоопределенности и обеспечивают успешное решение задач, неразрешимых традиционными методами. Отметим, что при использовании таких моделей:

• удается легко оценивать полноту, непротиворечивость и ценность рассматриваемой информации;

• допустимо оперировать со всей областью возможных решений, а не с отдельными вариантами решений исследуемой задачи, что устраняет возможность упустить из виду важный, но неочевидный вариант решения;

• позволительно использовать весьма «трудные» виды математических зависимостей (смеси целочисленных и действительных переменных, логических уравнений, линейных и нелинейных алгебраических уравнений и неравенств);

• независимо от сложности модели, очень просто осуществляется работа по определению границ условий, обеспечивающих достижение тех или иных целей (это обстоятельство является весьма ценным с точки зрения управления комплексными инновационными разработками).

Предлагаемая методика использует совмещение объективных вычислений с современными технологиями экспертного оценивания [14; 15]. В плане этих технологий методика предусматривает:

• многокритериальное оценивание плановых и управленческих решений, касающихся комплексных инновационных разработок);

• основанную на технологии недоопределенных моделей систему численной обработки результатов экспертизы, позволяющую упростить работу экспертов, использовать интервальные экспертные оценки, повысить достоверность экспертных оценок, свести к минимуму негативные последствия возможной тенденциозности отдельных экспертов;

• дополнительные меры по упрощению работы экспертов за счет использования современных средств связи (Интернет).

Совмещение объективных вычислений с экспертным оцениванием позволяет сочетать объективный характер расчетных показателей с такими достоинствами экспертных методов, как гибкость, учет плохо формализуемых факторов, возможность формирования «сверток» разнокачественных показателей.

Особый вопрос — учет риска разработки. Оценка риска является одним из самых уязвимых мест для условий затрудненного прогнозирования хода работ. Причиной этого является противоречие между обычными методами расчета, тяготеющими к определенности, и той принципиальной недоопределенностью, которая порождает необходимость оценивать риск. Использование недоопределенных моделей устраняет названное противоречие.

Отметим, что, в отличие от известных вероятностных подходов к анализу риска (таких как имитационное моделирование по методу Монте-Карло и анализ вероятностных распределений потоков платежей), математический аппарат недоопределенных моделей не требует знания вероятностных законов распределения рассматриваемых величин и свободен от обычных недостатков моделирования недопределенности случайностью. Аппарат недоопределенного моделирования позволяет непосредственно определять границы показателей проекта, обусловленные неточным знанием тех или иных факторов, взятых как порознь, так и совместно. При этом обеспечивается возможность учитывать нелинейные эффекты, которыми при обычном анализе чувствительности и риска пренебрегают.

Синтез расчетной модели

Синтез модели комплексной инновационной разработки осуществляется как последовательность этапов, предусматривающая:

• структурирование разработки,

• выбор показателей модели и анализ доступной информации о них,

• первичную оценку показателей и их взаимосвязей,

• согласование оценок.

В случаях необходимости возможен возврат к ранее пройденным этапам с целью корректировки их результатов.

Структурирование комплексной инновационной разработки предполагает ее представление как совокупности отдельных работ — необходимых либо желательных. Невыполнение необходимых работ означает невыполнение разработки в целом. Проведение либо срыв желательных работ влияет на оценку разработки.

Показатели модели удобно подразделить на основные и вспомогательные. С основными должен работать пользователь модели. Вспомогательные обслуживают процесс вычислений.

Перечень основных показателей определяется задачей моделирования. Это величины, характеризующие инновационную разработку и ее результаты. В качестве типовых плановых показателей могут рассматриваться:

• сроки выполнения разработки и отдельных работ,

• прогноз объемов деятельности (в частности, число освоенных объектов коммерциализации, число внедренных в производство инноваций, число полученных патентов и др.),

• трудоемкость и ресурсоемкость работ,

• прогноз инфляции и ставка дисконтирования,

• расчетная динамика издержек,

• требования к размеру инвестиций,

• данные об условиях финансирования (бюджетные средства, собственные средства разработчиков, кредиты),

• движение денежных средств в ходе разработки,

• ожидаемые прибыль и убытки,

• показатели реализуемости (устойчивости, чувствительности и риска) разработки,

• критерии эффективности разработки.

Состав вспомогательных показателей в основном диктуется формой зависимостей, которые предполагается использовать в расчете. Например, если применяются уравнения регрессии с параметрами, определяемыми в процессе работы модели, то эти параметры оказываются одним из видов вспомогательных показателей.

Анализ доступной информации ведется по нескольким направлениям:

• определение сведений, необходимых для оценки отдельных показателей и зависимостей;

• проверка достоверности (например, проверка спорных теоретических зависимостей по статистическим данным);

• выявление противоречий и установление, по возможности, их причин (например, частые причины противоречий в статистике — случайные ошибки, преднамеренное искажение информации, несовпадение методик расчета, несогласованность теоретических представлений, различия в круге объектов, по которым собраны данные);

• ранжировка источников данных по надежности (например, бухгалтерская отчетность предприятий перед налоговой инспекцией обычно бывает более надежной, чем сведения, предоставляемые теми же предприятиями в органы госстатистики).

Необходимо помнить, что любые доступные сведения, существенные с точки зрения моделирования (статистика, теоретические представления, экспертные оценки, производственные планы и т. п.) могут быть с успехом учтены в модели.

Первичная оценка показателей и их взаимосвязей должна в первую очередь отражать:

• связи показателей, характеризующих инновационную разработку (сетевой график работ, зависимости, увязывающие друг с другом продолжительность, трудоемкость, ресурсоемкость и стоимость отдельных работ, выражения используемых критериальных оценок как функций от других показателей, иные существенные для плановой задачи зависимости);

• требования к решению плановой задачи, включая финансовые, временные и ресурсные ограничения, касающиеся как разработки в целом, так и отдельных ее элементов.

Сначала для рассматриваемого показателя либо зависимости формируется грубо ориентировочная оценка, которая может быть точной по форме, но сугубо приближенной по сути. Затем такие оценки корректируются с учетом наличной информации, принимая интервальную форму. Например, сначала можно получить грубо ориентировочную оценку моделируемых зависимостей и их параметров исходя из простейшей гипотезы линейной связи показателей. Затем — перейти к интервалам, отражающим поправку на нелинейность.

В сложных случаях можно строить ряд взаимодополняющих оценок, уточняющих одна другую.

Первичная оценка показателей и их взаимосвязей не обязательно предусматривает поиск решений, учитывающих всю совокупность условий плановой задачи. Сначала ищется решение, отражающее только наиболее важные и легко поддающиеся учету условия. Второстепенные условия можно учесть на этапе согласования оценок и даже в процессе работы с моделью — при оптимизации проекта и его сопровождении.

Первичная оценка констант, переменных показателей и зависимостей имеет некоторые различия.

Самое простое — оценка констант. Чаще всего, такие оценки строятся по статистике. Традиционная технология моделирования обычно стремится определить некоторое единственное неинтервальное (по виду — точное) значение константы, которое признается наилучшим. Но в реальных условиях вопрос о том, что считать наилучшим, часто не имеет однозначного ответа. Технология недоопределенных моделей дает возможность уйти от попыток выбрать наилучшее неинтервальное значение константы и позволяет ограничиться более адекватной интервальной оценкой.

Первичная оценка переменных сводится к установлению границ области возможных значений. В случае статистического подхода задача

аналогична оценке констант, но для определения границ возможных значений переменных часто бывают удобны экспертные оценки.

Сложнее всего оценка функциональных зависимостей. Если общий вид уравнения зависимости установлен (например, взят из экономической теории), и требуется определить лишь параметры уравнения, то их можно оценить как константы. Но очень часто общий вид уравнения оказывается недоопределеным. Речь не идет о полной неопределенности. В случае полной неопределенности совершенно неизвестны свойства искомой зависимости — даже неизвестно, может ли быть она описана существующими средствами математики. В случае недоопре-деленности о свойствах функциональной зависимости какая-то информация есть, и это знание можно использовать для того, чтобы оценить значения функции, не пытаясь найти ее общий вид. В качестве примера допустим, что нас интересует зависимость некоторого экономического показателя Е от времени Т в условиях постепенной стабилизации экономики. При условии сглаживания сезонных колебаний аналитические функции Е(Т), описывающие процесс стабилизации, обладают, как правило, важным свойством: их изменение монотонно, а их значения постепенно приближаются к некоторой постоянной величине. Этого свойства не достаточно для определения общего вида функции Е(Т), но достаточно, чтобы с помощью технологии недоопределенных моделей по короткому временному ряду статистических данных прогнозировать область значений F(Т). Построив для интересующих нас показателей функции, описывающие стабилизирующееся развитие, можно затем наложить на них сезонные колебания и даже многолетние «длинные» экономические циклы.

Согласование оценок показателей и зависимостей, осуществляемое на уровне моделей отдельных работ и разработки в целом, использует фундаментальное свойство недоопределенных моделей — автоматическое уточнение пересекающихся оценок, включенных в модель. При наличии нескольких вариантов первичных оценок согласование устраняет неудачные варианты.

Оптимизация плана разработки

Решение плановой задачи в рамках технологии недоопределенных моделей имеет вид плана, показатели которого имеют недоопределенные (интервальные) значения.

Предлагаемый нами для этого случая подход к оптимизации плана ориентирован на поиск областей решений, а не одно точного планового решения. Дело в том, что реализовать без отклонений точные плановые решения в экономике невозможно, а удержать ситуацию в рамках некоторой области — реально. Такой подход не требует обязательного отказа от «классического» понимания оптимальности как экстремума целевой функции при соблюдении заданных ограничений. Особенность лишь в том, что достижение экстремума и выполнение ограничений нами рас-

сматривается не с позиции точных по форме (и неизбежно приближенных по сути) решений, а с позиции интервальных оценок показателей.

Недоопределенная модель позволяет использовать схему оптимизации плана, которую можно назвать схемой уточнения произвольных условий. Эта схема допускает не только косвенное управление критериями путем изменения исходных показателей, но и прямое задание желаемой величины включенных в модель формализованных критериев, и вообще любых показателей модели. Такая возможность означает отказ от строгого разделения показателей на исходные и результирующие. Во избежание недоразумений, напомним, что обычное разделение показателей на исходные и результирующие объясняется тем обстоятельством, что результирующие показатели однозначно зависят от исходных, а исходные, в общем случае, — неоднозначно зависят от результирующих. В рамках недоопределенных моделей неоднозначность перестает быть почти неодолимым препятствием к решению, и именно это позволяет отказаться от строгого разделения показателей на исходные (входные) и результирующие.

В процессе оптимизации учитываются критерии оценки проекта и контролируется наличие резервов. В части календарного плана резервы задаются недоопределенными интервалами начала и окончания заданий (и проекта в целом), а также недоопределенными лагами (задержками) между последовательно выполняемыми заданиями. Отсутствие резервов делает план более жестким или вообще нереализуемым.

Оптимизация осуществляется как пошаговый интерактивный процесс, в котором производится уточнение интервалов показателей в направлении, улучшающем значения используемых критериев оценки проекта. Пример такого уточнения — корректировка временных лагов с целью минимизации сроков при сохранении необходимых резервов.

Если при оптимизации плана обнаруживается наступление несовместимости модели, пользователь возвращается на предыдущий шаг.

Отметим, что при желании оптимизацию можно доводить до точных цифр, но при этом нужно иметь ввиду, что получаемый в этом случае «точный» план является лишь некоторым ориентиром, а для реальной работы удобнее использовать интервальный (недоопределенный) план, построенный вокруг «точного». «Точные» планы быстро устаревают, в то время как правильно составленный недоопределенный план только уточняется по мере его выполнения. Поэтому если на очередном шаге оптимизации плана получены точные значения какого-либо показателя, означающие отсутствие резервов, то лучше вернуться на предыдущий шаг.

В случае необходимости недоопределенная модель разработки может корректироваться в процессе оптимизации. Укажем некоторые возможные варианты такой коррекции:

• изменения в структуре работ (например, может обнаружиться, что для снижения затрат какую-то работу, ранее считавшуюся желательной, целесообразно исключить из плана работ);

• изменения в последовательности работ (перестановка работ может диктоваться стремлением снизить загрузку исследовательских либо

производственных мощностей, намерением сократить общую продолжительность разработки и др. причинами);

• учет дополнительных условий, не принятых во внимание при первичной оценке показателей и взаимосвязей модели;

• изменения в составе показателей и расчетных зависимостей, позволяющие более полно учесть рекомендации экспертов и другие моменты, выявленные в ходе оптимизации.

Окончательный вариант формирования плана — оптимальный вариант. При соблюдении требований к другим критериям, оптимальный по времени вариант плана образуется в результате последовательного сжатия общей длительности проекта (или последовательного уменьшение даты окончания проекта) с последующей проверкой совместности модели.

Управление ходом работ

В рамках предлагаемой методики задача управления комплексными инновационными разработками легко решается как задача сужения интервальных показателей недоопределенного плана. При этом необходимо различать:

• сужения, обусловленные фактическим выполнением плана (например, сроки уже выполненных работ в модели плана должны заменяться фактическими их значениями, что ведет к уточнению сроков разработки в целом);

• сужения, отражающие желаемые изменения показателей плана (чтобы такое сужение найти, достаточно сузить в желаемом направлении интересующие нас ключевые показатели модели, причем выбор ключевых показателей из числа показателей модели ничем не ограничен, т. е. любые показатели модели можно использовать как ключевые).

Аппарат недоопределенных вычислений при любом уточнении показателей обеспечивает автоматическую корректировку всех других интервалов показателей, связанных с произведенным уточнением.

По мере выполнения плана определяются фактические значения полученных финансовых доходов, осуществленных расходов, поступлений и потребления материальных ресурсов, сроков начала и завершения работ и т. п. В результате ввода в недоопределенную модель этих фактических значений показателей:

• уточняются параметры еще невыполненной части плана (в частности, корректируются начальные и конечные даты не начатых и не законченных работ в соответствии с календарной датой и текущими данными);

• меняется ширина интервалов прогнозных показателей, причем эти изменения ширины дают наглядную картину как оставшихся резервов, так и неточности знания факторов плановой задачи;

• выявляются угрозы возникновения критических ситуаций (например, обнаруживаются работы, даты начала или окончания которых находятся под угрозой срыва).

Управление ходом инновационных работ очень часто требует пересмотра плановых показателей. При работе с недоопределенным планом его пересмотр значительно менее вероятен, чем при использовании «точных» планов, поскольку недоопределенный план автоматически адаптируется к уточнениям показателей, возникающим в ходе работ. Тем не менее, нельзя полностью исключить возможность пересмотра недоо-пределенного плана в ходе работ. Укажем некоторые случаи, когда пересмотр плана может понадобиться:

• изменения в структуре работ, вызванные выявившейся невозможностью либо нецелесообразностью проведения части ранее намеченных работ, а также обнаруженной необходимостью либо целесообразностью выполнения не предусмотренных до этого работ;

• изменения в последовательности работ, включая перестановки работ, обусловленные невозможностью проведения каких-либо работ в ранее намеченные сроки;

• учет условий, в прошлом не принятых во внимание, но оказавшихся существенными в результате проведенных работ;

• изменения в составе показателей и расчетных зависимостей, вызванные изменениями в структуре работ либо составе учитываемых условий.

Отметим, что существующие средства «точного» планирования не отвечают таким практически важным требованиям по управлению комплексными инновационными разработками, как:

• возможность непрерывного уточнения взаимосвязанных финансовых, ресурсных, календарных и др. показателей плана в процессе его реализации;

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

• автоматическое определение границ значений показателей, выход за которые исключает достижение заданного результата;

• одновременное рассмотрение множества вариантов плана как единого плана с неточно заданными показателями;

• попеременное использование одного и того же показателя то в качестве задаваемого (исходного), то в качестве выходного.

Подход, предлагаемый нами, отвечает всем этим требованиям.

Заключение

В результате предлагаемого исследования:

• развита технология недоопределенных моделей применительно к задачам планирования комплексных инновационных разработок в условиях затрудненного прогнозирования хода работ;

• отработаны приемы оптимизации планов комплексных инновационных разработок, отражающие особенности недоопределенных моделей плановых задач;

• предложены способы управления комплексными инновационными разработками, основанные на использовании недоопределенных моделей плановых задач.

В итоге сформирована прикладная методика оптимального планирования и управления комплексными инновационными разработками, работоспособная в ситуациях затрудненного прогнозирования хода работ.

Литература

1. Нариньяни А.С. Модель или алгоритм: новая парадигма информационной технологии // Информационные технологии. 1997. № 4.

2. Загорулько Г.Б., Нариньяни А. С. Интеллектуальные таблицы: новые возможности в решении сложных задач // Материалы международной научно-практической конференции «Информационные технологии, информационные измерительные системы и приборы в исследовании сельскохозяйственных процессов» / РАСХН СО. Ч. 1. Новосибирск, 2003.

3. Загорулько Ю.А., Кощеев В.О., Мамонтов П.Г., Парамзин Д.Ю. Универсальный решатель задач с архитектурой, поддерживающей динамические недоопределенные вычисления // Труды V-ой международной конференции «Проблемы управления и моделирования в сложных системах». Самара: Самарский НЦ РАН, 2003.

4. Нариньяни А.С. Метатехнология Н-приложений // Научная сессия МИФИ-2005: Сб. научн. трудов. М., 2005.

5. Система недоопределенных вычислений Уникальк-5. (Руководство пользователя) / Российский НИИ искусственного интеллекта. М.; Новосибирск, 2007.

6. Система гибкого финансового планирования ФинПлан-2.2. (Руководство пользователя) / Российский НИИ искусственного интеллекта. М.; Новосибирск, 2007.

7. Система планирования и управления на базе недоопределенной математики Time-EX. (Руководство пользователя) / Российский НИИ искусственного интеллекта. М.; Новосибирск, 2007.

8. НапреенкоВ.Г., НариньяниА.С., ЮртаевА.В. Недоопределенные модели — нетрадиционный подход к математическим исследованиям экономики / Информационные технологии. 1999. № 4.

9. Napreenko V.G., Narin'yaniA.S. Project Economika // Proc. оf the 2000 ERCIM Compulog Net Workshops on Constraints, Padova, Italy, June 19—21. 2000.

10. Гофман И.Д., Инишев Д.А., Напреенко В.Г., Шурбаков А.В. Интеграция инструментов финансового и календарно-ресурсного планирования на основе неполных данных в рамках интеллектуальной системы управления проектами // Труды IV-ой международной конференции «Проблемы управления и моделирования в сложных системах». Самара: Самарский НЦ РАН, 2002.

11. Нариньяни А.С., Напреенко В.Г. Система оценки и управления инвестиционными проектами с использованием аппарата недоопреде-ленных моделей // Экономические и информационно-аналитические основы управления инвестиционными проектами / Под ред. К.В. Бал-

дина. М.; Воронеж: Изд-во НПО «МОДЭК», 2004. (Серия «Библиотека экономиста».)

12. НапреенкоВ.Г., Нариньяни А.С. Опыт недоопределенного моделирования экономики // Труды 9-й национальной конференции по искусственному интеллекту с международным участием — КИИ'2004. Т. 1. М.: Физматлит, 2004.

13. Напреенко В.Г. Синтез многопараметрических моделей экономики по неполным и противоречивым данным // Труды VIII-ой международной конференции «Проблемы управления и моделирования в сложных системах». Самара: Самарский НЦ РАН, 2006.

14. Напреенко В.Г. Методика экономического анализа научно-технических проектов с использованием финансовых показателей и экспертных оценок // Проблемы организационно-экономического механизма научно-технической деятельности в 1996 г. / ВНИИЭПРАНТ. М., 1997.

15. Горский П.В. Некоторые особенности экспертных опросов в социально-политической области // Труды международной научно-практической конференции «Теория активных систем». М.: ИПУ РАН, 2003.

i Надоели баннеры? Вы всегда можете отключить рекламу.