CC BY
106
Молоканова В.М. Оцінювання якісних показників портфелю проектів за допомогою теорії нечітких множин / В.М. Молоканова / / Управління проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ ім. В.Даля, 2012. - № 3 (43). - С. 106114.
УДК 65.012.32
В.М. Молоканова
ОЦІНЮВАННЯ ЯКІСНИХ ПОКАЗНИКІВ ПОРТФЕЛЮ ПРОЕКТІВ ЗА ДОПОМОГОЮ ТЕОРІЇ НЕЧІТКИХ МНОЖИН
Розглянуто можливості використання теорії нечітких множин при управлінні стратегічним портфелем організації. Запропоновано нечіткий підхід до оцінки цінностей проектів та формування портфелю на основі методів ранжування нечітких величин. Рис. 2, дж. 12.
Ключові слова: цінністно-орієнтований підхід, оцінка м'яких компонентів проекту, теорія нечітких множин, формування стратегічного портфелю проектів.
В.М. Молоканова
ОЦЕНКА КАЧЕСТВЕННЫХ ПОКАЗАТЕЛЕЙ ПОРТФЕЛЯ ПРОЕКТОВ С ПОМОЩЬЮ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ
Рассмотрены возможности использования теории нечетких множеств при управлении стратегическим портфелем организации. Предложено нечеткий подход к оценке ценностей проектов и формирование портфеля на основе методов ранжирования нечетких величин. Рис. 2, дж. 12.
Ключевые слова: ценностно-ориентированный подход, оценка мягких
компонентов проекта, теория нечетких множеств, формирование стратегического портфеля проектов.
V.M. Molokanova
QUALITY ASSESSMENT PORTFOLIO PROJECTS USING FUZZY SET THEORY
The possibilities of the use of fuzzy set theory in strategic portfolio management organization. A fuzzy approach to assessing the value of projects and portfolio formation methods based on ranking fuzzy variables. Figure. 2, j. 12.
Keywords: values-based approach, the assessment of the soft component of the project, the theory of fuzzy sets forming strategic portfolio.
Постановка проблеми та її зв’язок з практичним завданням. Останнім часом у професійній літературі все частіше згадують про цінності у контексті формування стратегії та проектного управління організацією. І це зрозуміло, оскільки поняття «цінність» у світлі загального менеджменту дає орієнтири для розвитку і впливає на бізнес-стратегію компанії. Не менш важливі поняття цінності і в побудові бренда компанії, адже у всіх своїх комунікаціях компанія повинна якось персоніфікувати обрані цінності, щоб сформувати певний імідж. Неоднозначність поняття цінності породжує серйозну проблему втрати реального змісту. В наш час нікого не здивувати термінами «місія» та «бачення
майбутнього» організації. Ці поняття давно увійшли в лексикон керівників і визначають стратегічний вектор розвитку організації, як у поточному часі, так і у віддаленій перспективі. Хоча у керівників існує певний скепсис відносно місії і бачення, бо дехто вважає ці терміни непрактичними «консультантськими штуками». Причини подібного відношення багато в чому зрозумілі, оскільки проголошення місії і бачення майбутнього, саме по собі, не гарантує хоч якогось наближення до їхнього реального втілення. І тут, головним інструментом виступає саме проектний менеджмент, оскільки при правильному застосуванні допомагає перевести декларативні лозунги у практичну діяльність. Саме проекти, програми та портфелі - це той інструментарій, що дозволяє інтерпретувати місію і бачення майбутнього компанії у зрозумілі для виконавців дії.
Постановка проблеми та її зв’язок з практичним завданням. Багато проектних проблем не піддаються формалізації шляхом прямих кількісних розрахунків. Проте такі задачі дуже важливі і саме від їх рішення буде залежати успіх проектного управління. Навіть звичайна оцінка інвестиційної ефективності проекту шляхом прогнозування майбутніх грошових потоків від реалізації продукту проекту користується досить невизначеними величинами. При прогнозуванні ефективності інвестиції, ми можемо достовірно визначити майбутні доходи проекту лише на невеликий горизонт часу. У реальній інвестиції, яку ми обґрунтовуємо за допомогою бізнес-плану, ми найчастіше маємо справу з часовим горизонтом у декілька років. У таких випадках, в рамках традиційних методів достовірний опис даних зазвичай неможливий через відсутність об'єктивної інформації про майбутні події. Ось чому, протягом останніх років зростає інтерес до прикладного використання нечітких методів в управлінні проектами.
Ще більш невизначеним є процес трансформації стратегії розвитку організації та збільшення бажаних цінностей у потрібні компоненти портфеля через формування ключових індикаторів досягнення мети, хоча список проектів-кандидатів до портфелю може містити в собі чисельні показники їхньої цінності, отримані за допомогою попереднього аналізу. Головне в такій постановці наукового завдання - це навчитися моделювати суб'єктивне відношення експертів, оскільки особа, що приймає рішення, свідомо або підсвідомо відходить від числових оцінок, заміняючи їх якісними характеристиками ситуації, що пропущені через власні мовні фільтри («високий/низький рівень фактору») [1]. Оскільки ми хочемо зберегти адекватність застосованих моделей і необхідний ступінь їхньої вірогідності, доводиться використовувати теорію нечітких множин, яку іноді називають теорією можливостей. Нечіткі числа ідеально підходять для планування факторів, оцінка яких утруднена, розмита або не має достатніх імовірнісних підстав. А у якості показників, які потрібно оцінити, можуть виступати будь-які якісні параметри, що є мірилом цінності майбутнього портфелю.
Метою статті є дослідження можливостей трансформації цінністно-орієнтованої стратегії розвитку організації у потрібні компоненти портфеля на засадах існуючих моделей і методів проектного управління з використанням апарату нечітких множин.
Основна частина. Методологія управління проектами використовує наступні ключові об'єкти управління: проект, програма, портфель. Як правило, впровадження професійного проектного менеджменту починається з окремих проектів. Вважається, що для того, щоб якісно управляти портфелем, компанії необхідно спочатку освоїти управління окремими проектами і програмами. Портфель представляє набір субпортфелів, програм, проектів і окремих робіт в певний момент часу [2]. Управління портфелем є складнішим завданням в
порівнянні з управлінням програмою. Це пов'язано з тим, що в портфелі внутрішні проекти і програми можуть бути як зв'язані, так і не зв'язані між собою. Це означає, що цілі портфеля можуть бути різними і навіть такими, що суперечать між собою. Випадок формування портфеля проектів, що впливають один на одного, представляється складнішим завданням, ніж формування портфеля з незалежних проектів, оскільки вимагає обліку ефекту синергізму. Таким чином, портфель може бути 2-х типів: незалежні проекти, що реалізуються одночасно, і набір зв'язаних між собою проектів, які можуть впливати на результати один одного.
У системі знань РМІ [2] управління портфелем поділяють на дві групи процесів: відбору і узгодження проектів; та контролю і моніторингу портфеля. Група відбору і узгодження проектів включає елементи управління портфелем, що відносять компоненти портфеля до певних категорій і піддають оцінці з метою їхнього включення/виключення до складу портфеля. Група процесів моніторингу і контролю - заснована на індикаторах діяльності, за допомогою яких періодично вирівнюються компоненти портфеля щодо стратегічних цілей (Див. рис. 1). Група процесів відбору і узгодження має бути забезпечена поточною інформацією про програмну/проектну діяльність, спрямовану на досягнення стратегічних цілей, дозволяючи оцінювати компоненти майбутнього портфеля та ефективно управляти ними. Дана група процесів активізується на час актуалізації стратегічних цілей організації в рамках формування довгострокових планів та бюджетів на найближчу перспективу або у випадку зміни ділової кон'юнктури. Застосовуючи методи вибору, координації та оцінки проектів, а також переглядаючи і удосконалюючи стратегію бізнесу, організація розв'язує суперечливі вимоги, що дозволяють максимально збільшити сукупну цінність портфеля. Завдання відбору проектів для формування «правильного портфеля досить складне, оскільки окрім економічної ефективності окремих проектів, необхідно також враховувати відповідність проектів обраній стратегії.
Процеси управління стратегічним портфелем
Група процесів відбору і узгодження
Ідентифікація
Категоризація
Оцінювання
Відбір
Ранжування
Балансування портфелю Ініціювання портфелю
Група процесів моніторингу і контролю
Відстежування портфелю та звітність Стратегічні зміни
Рис.1. Групи процесів управління стратегічним портфелем
Як, вже визначалось рівень стратегічного управління розвитком підприємства тісно пов'язаний із певною невизначеністю. Сучасна методологія
опису цілей ґрунтується на використанні методів декомпозиції, дедуктивних та індуктивних інструментах. Проте багато цілей за своєю природою не піддаються однозначній формалізації, тобто їх не вдається точно виміряти. У таких випадках зазвичай застосовують суб'єктивні експертні оцінки. Але суб'єктивна інформація визначається індивідуальною і колективною свідомістю, придбаними в результаті спостереження та участі в процесі функціонування системи. Вона виявляється у вигляді надання особливих переваг окремим цінностям проектів. Ці переваги чи недоліки часто несистематизовані і постійно змінюються в часі, отже формалізувати їх у числовому вигляді не представляється можливим. Як правило, для вирішення подібних завдань притягується апарат теорії вірогідності. Проте в управлінні проектами дуже часто це стає неможливим через нестачу наявних даних, що не дозволяє з достатньою мірою упевненості встановити адекватність вибраної для опису ситуації імовірнісної моделі.
Застосування можливостей теорії нечітких множин дозволяє провести асоціацію та надати математичний зміст нечітким експертним оцінкам, при цьому нечіткі множини дозволяють експерту мати більшу гнучкість при оцінці числових прогнозних величин. Далі залишається лише скористатися знайденими нечіткими чисельними показниками в завданнях порівняння об'єктів та їх оптимізації.
Стосовно проблеми формування портфеля проектів на основі цінністно-орієнтованного підходу із залученням теорії нечітких множин ми стикаємося з двома завданнями:
- здобуття оцінок показників проекту у вигляді нечітких чисел;
- формування оптимального портфеля на основі отриманих нечітких оцінок.
Обом наданим завданням присвячений значний обсяг літературних джерел.
Так, в роботах [3,4]. представлена техніка використання методу нечіткого інтервалу для оцінки фінансових параметрів проекту. Такий інструментарій дозволяє отримувати нечіткий інтервал і нечіткі величини для основних фінансових параметрів ИРУ і а також кількісну оцінку інвестиційних ризиків. Але існує проблема, що зазвичай ми повинні розглядати ще декілька локальних критеріїв, заснованих на нечітких факторах майбутнього проекту. Цілий ряд робіт присвячено багатокритеріальній нечіткій оцінці проектів [5,6,7], при цьому, велика увага приділяється формуванню багатокритеріальної оцінки за допомогою нечіткого аналога аналітичного ієрархічного процесу [8,9].
їв
09
□ В 0.7 06 0.5 0.4
□ З 02 0.1
20 40 60
Я Р, Я
Рис. 2. Нечіткий інтервал параметру Р і його функція приналежності )
Значно менше робіт присвячено оцінці проектів-кандидатів до портфелю організації на основі відповідності цінностям та стратегічним цілям компанії.
Зазвичай методи портфельного аналізу засновані на багатокритеріальному виборі і експертних даних. У таких випадках якісні показники виступають у вигляді бальної оцінки, що проставляється одним або декількома експертами. Надалі бальна шкала переводиться в числову. Числа, отримані за різними показниками одного проекту, агрегуються у один числовий показник, і дана загальна оцінка використовується у процесі ранжирування проектів.
Поява та розвиток теорії нечітких множин дозволило зробити процедуру переходу від бальної шкали до числової більш гнучкою та адекватною мисленню людини. Розглянемо, наприклад, п’ятибальну шкалу якісних оцінок проекту: «дуже погано», «погано», «середньо», «добре», «дуже добре». Кожному з балів можна співставити трапецієподібне нечітке число (Рис.2). Результатом оцінювання якісного показника проекту є нечітке число, лежаче на відрізку від 0 до 1. Але існує проблема, що зазвичай ми розглядаємо декілька локальних критеріїв проекту, заснованих на нечітких факторах майбутнього проекту. Одне із можливих рішень визначеної проблеми - розглядати нечіткі якісні критерії проекту як розрахунки чітких локальних критеріїв. Для цього можна застосувати методи ранжування проектів на основі нечітких величин [8].
Таким чином, величини невизначених параметрів можуть бути замінені відповідними нечіткими інтервалами. На практиці це означає, що для аналізу параметрів експерт встановлює найнижчу межу показника - р (песимістична оцінка) і верхню межу - Р4 (оптимістична оцінка) і внутрішні найбільш очікувані величини показників [р, р ]. Функція /л{Рі) зазвичай інтерпретована як функція приналежності, тобто міра приналежності величини параметра порахованому інтервалу [р - р ]. Функція приналежності змінюється безперервно від 0 (нижня межа інтервалу) аж до максимальної величини рівною 1 в області найбільш можливих величин. Зрозуміло, що функція не обов’язково буде лінійного типу, але такий спосіб найбільш придатний для використання і дозволяє представляти нечіткі інтервали у зручній формі четвіркою показників Р = [р , Р2, р, Р4 ]. Потім
всі необхідні обчислення виконуються із застосуванням правил нечіткої арифметики. Отриманий нечіткий інтервал дозволяє оцінювати границі можливих величин передбаченого параметра Р, інтервал його найбільш очікуваної величини, а також, оцінювати міру проектного ризику. Щоб оцінити ризики, треба взяти до уваги наступну властиву власність нечітких множин. Якщо А є нечіткою підмножиною потужнішої множини X з функцією приналежності /л(А). Із теорії
нечітких множин відомо, що для А існує доповнююча підмножина А з функцією приналежності ц( А)=1-ц(А), що часто використовується в теорії прийняття рішень для відображення заперечення нечітких понять. Головна відмінність нечіткої множини від звичайної точної полягає в тому, що пересічення нечіткого
множин А і А не порожнє, так що існує непорожня нечітка множина Ап А= В.
Зрозуміло, що чим ближче А до А , тим більше потужність множини В, і тим більше А відрізнятиметься від звичайної чіткої множини. Використовуючи цю обставину Р. Ягер [10] запропонував ввести градієнт дефазифікації нечіткої підмножини
1
, р = 1,2,...., да. (1)
О, (А,А) =1 п
і=1
ййр (А, А) = 1 - Вр (А, А). (2)
У роботі [10] доведено, що градієнт за формулою (2) це міра невизначеності випадкової величини і визначає міру ентропії за Шенноном. Тобто, градієнт нечіткості множини може лінгвістично бути інтерпретований як ризик або невизначеність отриманого параметру Р в інтервалі [р, р ]. Дійсно, чим
точніше інтервал, тобто чим більш він прямокутний, тим більшу міру невизначеності і ризику ми отримуємо. На перший погляд, це твердження може здатися парадоксальним. Проте, треба враховувати, що будь-який більш точний інтервал не містить додаткової інформації про відносну перевагу величин встановлених у ньому. Отже, він містить менш корисну інформацію, чим будь-який нечіткий інтервал, бо не враховує можливі ризики.
Таким чином, запропонований метод для оцінки одного параметру Р дозволяє отримати два критерії для оцінки проекту чи програми: нечіткий інтервал Р і міру невизначеності (або міру ризику). Така оцінка відповідності проекту запропонованій стратегії на основі одного параметру цінності Р дає два критерій для подальшого аналізу і далі може бути проведена за певною методикою [10], заснованою на використанні теорії нечітких множин.
Вище вже вказувалося на обмежені можливості людини при оцінці багатокритеріальної ситуації. Згідно даним психофізичних досліджень, людина упевнено розрізняє не більше 7-9 градацій на шкалі деякої ознаки [2]. У разі, коли при оцінюванні проекту розглядається декілька показників, як якісних, так і кількісних, з'являється необхідність в зведенні набору отриманих оцінок до однієї загальної (інтегральної) оцінки. Процес зведення передбачає виконання наступних дій:
1. Знаходження відносної ваги для кожного показника.
2. Оцінювання кожного показника проекту нечітким числом.
3. Нормування кількісних показників.
4. Агрегація нечітких оцінок проекту із заданими вагами і здобуття загальної оцінки проекту.
Знаходження вагів для показників є найбільш важливим і змістовним етапом. На цьому кроці дослідник вирішує, які показники є найбільш пріоритетними у порівнянні з іншими, що, зрештою, визначає вигляд рішення. Стандартним методом побудови вагових коефіцієнтів є аналітичний ієрархічний процес, запропонований Сааті [11]. Схема методу Сааті полягає в наступному. Для кожної пари показників експертами оцінюється число, яке показує, наскільки перший показник перевершує другий. Вважається, що в ідеальній ситуації виконується рівність:
а.
аі] = —, (3)
а
де а, а відповідна вага факторів і та j. На практиці, проте, можна добитися
і ]
лише наближеного виконання цієї рівності. Сааті. У статті Сааті [11] визначено, що практично можна добитися лише наближеного виконання рівності (3) і запропоновано алгоритм, що дозволяє знайти відповідний набір вагів.
У роботах [4,8,9] розглядається випадок, коли коефіцієнт порівняльної переваги вважається нечітким числом. Як правило, цей коефіцієнт береться з
нечіткої бальної шкали. Відповідно, ваги показників, що виходять в результаті узагальненого процесу також будуть будь-якими нечіткими числами. Далі виконується операція нормування, метою якої є приведення отриманого показника до нечіткого числа, лежачого на інтервалі від 0 до 1. Якщо А = (а, а, а, а) - це нечітке значення кількісного показника для конкретного
проекту, а верхня границя показника для всіх проектів - це деяке число N то після нормування показник проекту буде рівний:
— а а а а..
А = (-4 А -3, -1). (4)
N NN N
Якщо якісні параметри проекту оцінюють нечіткими числами Хх, Х2,............, Хи
П
а значення кількісного показника а,а,..............,а при а - 0 , та Xа = 1 -
і=1
відповідні ваги показників. Тоді загальна оцінка проекту буде рівна:
П
. X = X -іХі. (5)
і-1
Якщо значення показників будуть трапецієвидними нечіткими числами:
X = (-Хі,хі2,Хз,Х-4) , а і = 1,2,3,....,п , то тоді загальна оцінка проекту буде теж
нечітким числом:
Л
х = 12 а.хч,2 ах 2> 2 а.х.з,2 ах
V і=1 і=1 і=1 і=1 J
(6)
Це означає, що для ранжування таких проектів потрібно застосувати методи порівняння нечітких чисел. Для порівняння нечітких чисел є декілька відомих методів [4]: метод Чью-Парка, метод Чанга, метод Кауфмана-Гупта. Розглянемо приклад ранжирування трьох проектів за цими методами.
Будемо розглядати три проекти, загальна оцінка цінності яких, відображена
у вигляді наступних чисел: А = (40,60,60,90), А = (20,50,50,70),
А3 = (30,50,50,70). Вважаємо, що максимальний показник цінності проекту 100
балів, Після нормування отримуємо наступні нечіткі числа:
А = (0.4,0.6,0.6,0.9) , А = (0.2,0.5,0.5,0.7) , А = (0.3,0.5,0.5,0.7) . По методу
Чью-Парка кожному трапецевидному числу ставиться у відповідність чітке число:
/ а\ а ^ а ^ а ^ аА а ^ ао
ср (А) = -і---2---3-----4 + ^-2----3 . (7)
4 2
Впорядкування виконується за збільшенням величин ср(А). Для нашого випадку за методом Чью-Парка при введенні параметра w=1 маємо
ср (А ) = 1,22 > ср (А ) = 1,0 > ср (А ) = 0,97 . Отже, найкращим будемо
вважати перший проект, далі слідують третій, а потім другий проекти.
За методом Чанга трапецевидні числа А = (а,а2,а3,а4) упорядковуються відповідно до збільшення наступних величин:
ср (A) =
a‘
+ a3a4
(8)
6
Після проведення необхідних обчислювань будемо мати наступний
результат: ср(А ) = 0,16 > ср (А2) = 0,12 > ср (А ) = 0,10. Знову найкращим є
перший проект, але найгіршим виявляється третій.
За методом Кауфмана-Гупта обчислюються три наступні величини:
, ... а, + 2а2 + 2а3 + а4 , . .. а3 + а4 ,
ША) = -±--------2-—-3------4 , к%2(А) = -^-+ , = а, -ах. (9)
6 2
Вважаємо, що A > В, якщо kg(A) > kfi(B), або kg(A) = kgx(B) та kg2 (A) > kg2 (B), або якщо kg (A) = kg (B), kg (A) = kg (B) , але kg3( A) > kg(B) . Набір упорядковується за збільшенням відповідних величин. Перевіривши результат по методу Кауфмана-Гупта, отримуємо: kg,(A,) = 0,62 > kg(A3) = 0,50 > kg (A) = 0,48 , що співпадає з результатом
розрахунків за методом Чью-Парка.
Далі завдання формування портфеля проектів вирішується як оптимізаційна задача лінійного програмування в умовах обмеженості ресурсів [12]. Відповідно поставлену задачу можна вирішити за допомогою розширення можливостей MS Excel. Якщо проекти оцінюються з використанням нечіткої множини параметрів, ми маємо справу із завданням нечіткого лінійного програмування, при цьому нечіткою буде саме цільова функція. У такому випадку можна, наприклад, застосувати відомий програмний засіб Fuzzy Logic Toolbox. Подальші дослідження даної роботи будуть пов’язані із створенням докладної методики вирішення саме таких задач.
Висновки. З кінця минулого століття розвиток управління проектами здійснювався у напрямку розширення об’єктної бази застосування проектного підходу до сфер суспільної діяльності. Наслідком цього було зростання складності системного описання зазначених категорій проектів та їх моделювання. У сфері суспільної діяльності результати проектів, хоча і можуть бути частково оцінені низкою відповідних показників, досить важко піддаються повному системному опису і врахуванню численних наслідків. Зрозуміло, що вимога детермінованих вхідних даних при проектному аналізі є невиправданим спрощенням реальності, оскільки будь-який проект характеризується безліччю чинників невизначеності. Саме чинники невизначеності визначають ризики проекту.
Використання теорії нечітких множин відкриває нові можливості для вирішення задач оцінювання проектів і формування оптимального портфеля проектів. По-перше, теорія надає засоби для роботи з невизначеністю чисельних показників у тих випадках, коли наявної інформації про проект недостатньо, щоб робити статистичні висновки з необхідним рівнем достовірності. По-друге, на відміну від чітких методів, нечіткий метод враховує повний спектр можливих сценаріїв розвитку результату, а не лише нижню і верхню межі. По-третє, нечітка множина дозволяє враховувати якісні характеристики проектів, перетворюючи їх
в чисельний ряд. Таким чином, поряд із зростанням ролі м’яких компонентів в управлінні проектами зростає гнучкість методів на основі теорії нечітких множин, що дозволяє створювати нові більш ефективні засоби вирішення задач управління портфелями проектів.
ЛІТЕРАТУРА
1. Руководство к Своду знаний по управлению проектами (Руководство PMBоK®) Четвертое издание. - Project Management Institute, Four Campus Boulevard, Newtown Square, PA 19073-3299 USA, 200В.
2. Кини Р. Принятие решений при многих критериях: предпочтения и замещения / Р. Кини, X. Райфа; пер. с англ.; под ред. И.Ф. Шахнова. - М.: Радио и свіязь. - 19В1. -560 с.
3. Buckley J.J. The fuzzy mathematics of finance / J.J. Buckley // Fuzzy Sets and Systems. -19В7. - Р. 257-273.
4. Chui Y.C. Fuzzy cash flow analysis using present worth criterion / Y.C. Chui, S.P. Chan // Engineering Economist. - 1987. № 39. - Р. 113-13В.
5. Wang M. Ranking fuzzy numbers with integral value / Wang Mao-Jiun // Fuzzy sets and systems. - 1992. - P. 247-255.
6. Mohamed S. Modeling project investment decisions under uncertainty using possibility theory / Mohamed S. McGowan A.K. // International Project Management Journal. - 2001. -№ 19. - Р. 231-241.
7. Liang G.S. A fuzzy multicriterion decision making for facility site selection / G.S. Liang, M.J. Wang // International Journal of Production Research. - 1994. №19. - 1994. - Р. 213-230.
В. Chan D.Y. Application of extent analysis method in fuzzy AHP / D.Y. Chan // European Journal of Operation Research. - 199б. № 9. - Р. 649-ббб.
9. Lee J.W. Using analytic network process and goal programming for interdependent information system project selection / J.W. Lee, S.H. Kim // Computers & Operations Research. - 2000. - № 27. - Р. 367-3В2.
10. Yager R. A. On the measure of fuzziness and negation. Part 1. Membership in the unit interval / R.A. Yager // International System Engineering Journal. - 1979. - № 5. - Р. 221229.
11. Саати Т. Принятие решений: Метод анализа иерархий. / Т. Саати; пер. с англ.; под ред. Р.Г. Вачнадзе. - М.: Радио и связь, 1993. - 278 с.
12. Матвеев А.А. Модели и методы управления портфелями проектов / Матвеев А.А., Новиков Д.А., Цветков А.В. - М.: пМСоФТ, 1993. - 278 с.
Рецензент статті Стаття надійшла до редакції
к.т.н. проф. Малий В.В. 0б.0В.2012 р.
