CC BY
16
ivdon.ru/ru/magazine/archive/n1y2018/4916
Лингвистическая модель эвристического планирования в IT-проектах
И.Н. Мощенко, Е.В. Пирогов, И. Ф. Бугаян Южный федеральный университет, Ростов-на-Дону
Аннотация: Одним из ключевым моментов планирования отдельных итераций в IT-проектах является прогнозирование так называемого фокус-фактора. Более конкретно -сосредоточенности трудовых ресурсов и усилий команды на выполнении поставленных задач. В цели настоящей работы входило уточнение полученных ранее результатов по выбору оптимальных методик такого предсказания. При этом использовался иной критерий качества прогноза, Не ошибка планирования производительности итерации в целом, как раньше, а неточности предсказания самого фокус-фактора. Проведенный анализ по новому критерию полностью подтверждает все полученные ранее результаты. Среди рассмотренных математических методов прогноза для планирования в итерациях IT-проектов подходит больше всего экстраполяция по скользящему среднему (как арифметическому, так и геометрическому) за 1-4 предыдущих периода. Ошибка прогноза фокус-фактора для них около 4,7%.
Другой целью работы была формализация интуитивных методов планирования, осуществляемых конкретными командами разработчиков проектов. На этой основе в рамках теории нечетких множеств с использованием лингвистических переменных разработана эвристическая модель прогнозирования. Численные эксперименты на базе конкретных производственных данных показали для нее более высокую точность прогноза, чем для экстраполяции. Ошибка получилась порядка 3% против 4,7%. В работе представлена также комбинированная модель, использующая элементы, как эвристического подхода, так и вышеупомянутой экстраполяции. Она показала еще более высокую точность прогноза, со среднеквадратичной ошибкой порядка 1,5%. Полученные в работе результаты на наш взгляд полностью решают задачу об оптимальном методе планирования отдельных итераций при выполнении IT-проектов. Ключевые слова: управление, IT-проект, итерационный характер, планирование итерации, прогноз, фокус-фактор, скользящее среднее, среднеквадратичная ошибка, лингвистические переменные, нечеткий анализ, эвристическая модель.
Для минимизации организационных, производственных и социальных рисков в последнее время в IT-проектах все шире и шире используются гибкие итеративные подходы. Одной из наиболее передовых таких методологий управления является SCRUM технология. Ее особенность -разбиение всей работы на непродолжительные итерации (спринты), каждая из которых представляет собой цикличный процесс, повторяющийся постоянно на всем пути разработки продукта. Это позволяет постоянно отслеживать появляющиеся риски и минимизировать их последствия.
ivdon.ru/ru/magazine/archive/n1y2018/4916
Следует отметить, что эта технология интенсивно используется и развивается как за рубежом [1-4], так и у нас [5-8].
Выполнение каждого IT-проекта начинается с разработки долгосрочного плана реализации. Такой план должен формализовать общее видение, цели и задачи проекта и исходя из них - включать работы на срок от года до нескольких лет, а также предоставлять информацию, как по общему описанию работ так и разбиение на достаточно общие "глобальные" компоненты. В Scrum такие компоненты называются историями. Например, новый функционал, может быть скомпонован в историю, и наоборот -истории должны быть декомпозированы на задачи. По завершении этапа планирования продуктовый план путем декомпозиции на истории и задачи превращается в бэклог продукта. При этом последний представляет собой не просто список задач. Каждая из них приоритезирована (по степени важности) и расположена в порядке технологических зависимостей
Такой декомпозированный план является входящим параметром для следующего этапа - итерационного процесса разработки по методике Scrum.
Каждая итерация начинается, в свою очередь, также с планирования, целью которого является отбор задач из бэклога продукта, которые надо будет выполнить в текущий период. При отборе учитываются как приоретизация так и трудоемкость задач. Команда разработчиков, исходя из своего опыта, с одной стороны оценивает трудозатраты на каждую задачу, а другой - планирует производительность итерации. Эти величины измеряются в одинаковых единицах (человеко/днях, сторипоинтах, попугаях и т.д. [8]), что позволяет использовать балансные соотношения. Опасные риски могут развиваться на любом этапе такого планирования. Начиная с оценок характеристик задач и заканчивая предсказанием возможной производительности команды.
ivdon.ru/ru/magazine/archive/n1y2018/4916
Настоящая работа посвящена минимизации рисков, связанных с планированием производительности. Последнюю определяют на основе двух оценок. По загруженности членов команды на текущую итерацию и сфокусированности работников на выполнении поставленных задач. Произведение этих двух величин как раз и дают оценку потенциальной производительности. Первая из этих величин относится к кадровым задачам и в этой работе не рассматривается. Наиболее критичным является предсказание второго параметра. Так называемого фокус-фактора [8,9]. В нашей предыдущей работе, опубликованной в этом же номере журнала, исследованы некоторые методы прогнозирования этой характеристики [9]. Анализ проводился численно, на базе реальных производственных данных прогнозировался вышеуказанный фокус-фактор, а по нем уже производительность итерации. Она сравнивалась с фактической. Но такой критерий не совсем точно отражает точность прогноза фокус-фактора. Здесь сказывается еще ошибка оценки предполагаемой загруженности членов команды.
Одной из целей настоящей работы являлось уточнение полученных ранее результатов по выбору оптимальных методик вышеуказанного прогнозирования. При этом использовался иной критерий качества прогноза, не ошибка планирования производительности итерации в целом, как раньше, а неточности предсказания самого фокус-фактора. Для него рассчитывалось среднеквадратичное (по всему ряду используемых данных) отклонение прогнозируемого значения от фактического. Для всех методов прогноза фокус-фактора, рассмотренных в [9] мы проанализировали точность на основе этого фактора.
В таблице 1 показана зависимость от базы экстраполяции среднеквадратичной ошибки прогноза фокус-фактора методом скользящего
Инженерный вестник Дона, №1 (2018)
ivdon.ru/ru/magazine/arcliive/nly2018/4916
арифметического среднего. При этом усреднялись предыдущие фактические значения (Фф).
Таблица 1.
Зависимость ошибки прогноза от ширины базы экстраполяции, метод скользящего арифметического среднего, усреднение по (Фф)
Глубина базы прогноза h 1 2 3 4 5 6 7 тах
Относительная среднеквадратичная ошибка Oq, % 6,5 4,8 4,6 4,7 5,0 5,1 5,2 4,8
Здесь в последней колонке приведены результаты для экстраполяции по всему ряду исходных данных, то есть по методу среднего уровня. При оценке качества прогноза по производительности итерации в целом (см. [9]) именно для него наблюдалась минимальная ошибка. Уточнения, полученные в настоящей работе, показывают, что это не так. В методе скользящего арифметического среднего оптимальной базой прогноза являются 3-4 предыдущих периода.
Аналогичная зависимость, но уже для геометрического среднего, приведена в таблице 2. Здесь наблюдается та же тенденция, что и при оценке по производительности итерации в целом, приведенной в [9]. Минимальная ошибка соответствует глубинам прогноза в один, три и четыре периодов (хотя для предсказаний по трем предыдущим значениям точность и немного больше). Есть и небольшое отличие для наших настоящих результатов. В предыдущей работе получено, что в целом прогноз по геометрическому среднему дает немного меньшую погрешность, чем по арифметическому.
ivdon.ru/ru/magazine/archive/n1y2018/4916
Таблица 2.
Зависимость ошибки прогноза от ширины базы, метод скользящего геометрического среднего, расчет по (Фф)
Глубина базы прогноза h 1 2 3 4 5 6 7 8
Относительная 4.8 5,0 4,7 4,8 5,1 5,2 5,3 5,4
среднеквадратичная
ошибка Oq, %
Уточненные оценки показывают, что все-таки более лучшая экстраполяция достигается при арифметическом скользящем среднем. Хотя разница и невелика.
Так же, как и в [9], при базе экстраполяции в один период мы усредняли произведение (ФтФф) предыдущих прогнозного (Фт) и фактического (Фф) значений фокус-фактора. Полностью зависимость ошибки такого метода предсказаний от глубины усреднения приведена в таблице 3. Здесь опять наблюдается та же тенденция, что и в предыдущей работе. Ошибка прогноза при глубинах экстраполяции до семи периодов невелика и минимальна для начала ряда.
Таблица 3.
Зависимость ошибки прогноза от ширины базы, метод скользящего геометрического среднего, расчет по (ФтФф)
Глубина базы прогноза h 1 2 3 4 5 6 7
Относительная среднеквадратичная ошибка Oq, % 4,8 4,8 4,9 5,0 5,1 5,1 5,2
ivdon.ru/ru/magazine/archive/n1y2018/4916
Кроме вышеуказанных методов прогноза фокус-фактора в [9] мы исследовали также линейную и квадратичную регрессию и Байесовский подход. Для них точность предсказаний оказалась гораздо хуже, (среднеквадратичная ошибка не менее 14%). Уточненные оценки настоящей работы не сильно улучшили эти результаты, ошибка получилась порядка 12% и выше.
Таким образом, проведенный анализ по новому критерию практически полностью подтверждает все полученные ранее результаты. Среди всех рассмотренных математических методов прогноза фокус-фактора [9] для планирования в итерациях 1Т-проектов подходит больше всего экстраполяция по скользящему среднему (как арифметическому, так и геометрическому) за 1-4 предыдущих периода.
В качестве исходных параметров, как в этой, так и в выше цитированном исследовании использовались производственные данные одной из проектных групп реальной коммерческой фирмы в сфере 1Т. Небольшой фрагмент этих данных приведен в [9]. Но для лучшего понимания работы повторим его здесь (см. рис. 1).
Во второй колонке приведен номер итерации (в рассматриваемой команде итерации назывались спринтами), в первой ее длительность. Под трудоемкостью (третий и четвертый столбик) здесь понимается загруженность членов команды в данной итерации, планируемая (Тт) и фактическая (Тф). Она измерялась не в человеко/днях, а в сторипоинтах ^р), для справки один человеко/день равен 3 sp. В этих же единицах оценивалась производительность на данной итерации (колонки 5 и 6). Фактическая определялась по выполненным задачам. Как мы уже указывали, при планировании команда оценивала трудозатраты на каждую задачу. Сумма трудозатрат по всему выполненному объему и дает фактическую производительность (Пф). Планируемое (Пт) же значение этой величины
ivdon.ru/ru/magazine/archive/n1y2018/4916
рассчитывалось по произведению предполагаемой трудоемкости (Тт) на планируемый фокус-фактор (Фт)
Пт=Тт Фт . (1)
То есть прогнозный фокус-фактор определяет планируемую величину
производительности.
Рис. 1. Фрагмент производственных данных, на базе которых проводились численных эксперименты по анализу различных методов прогноза фокус-фактора.
Для оценки качества планирования рассматриваемая команда использовала точность оценки производительности (приведена в столбце 7), равная отношению ее фактического значения к планируемому. Фактический фокус-фактор наоборот, считается по отношению измеренных фактических производительности и трудоемкости.
Фф=Пф/Тф . (2)
ivdon.ru/ru/magazine/archive/n1y2018/4916
В рассматриваемом фрагменте данных оба фактора приведены в восьмой и девятой колонках.
Для планирования теоретического фокус-фактора в данном случае использовался интуитивный групповой коллективный прогноз. В нем участвовала вся команда. Это не значит, что оценка будущего фокус-фактора происходила наобум.
На основе предыдущего опыта у команды уже были выработаны нечеткие правила выбора прогнозного уровня, просто эти правила не были выявлены и формализованы, а использовались подсознательно. На рисунке 2 приведены данные по теоретическому и фактическому фокус-факторам для вышеупомянутого фрагмента. По горизонтальной оси показаны номера итераций.
140 120 100 80 60 40 20 0
Л
А ЛМ
\)0С*А /Л л/г-Л ^ /^Ч /
ХГУ
V V
Теоретич (ФТ)
-Факт {ФФ> 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Й1 П2 из иЛ и5 иб #7 и8 #9 #10#11#12#14#15#16#17#18#19#20#21#22#23#24#25#26
Рис. 2. Прогнозируемый и полученный фокус-факторы для фрагмента данных, представленных на рис. 1.
Из сравнения теоретического и фактического уровней фокус-факторов видно, по крайней мере, два нечетких правила:
ivdon.ru/ru/magazine/archive/n1y2018/4916
1и. если на настоящий момент фактический уровень выше ранее планируемого, то на следующий этап прогнозное значение надо повышать;
2и. если же на настоящий момент фактический уровень ниже ранее планируемого, то на следующий этап прогнозное значение надо понижать.
Как фактический, так и теоретический фокус-факторы колеблются около значения 80%. Если эти отклонения достаточно велики, то при прогнозе надо учитывать возможность уменьшение отклонений. Отсюда вытекает еще два правила:
3и. если отклонение реального уровня вверх достаточно велико, то, не смотря на правила 1 и 2, следует выбирать понижение прогнозного уровня;
4и. если отклонение реального уровня вниз достаточно велико, то, не смотря на правила 1 и 2, следует выбирать повышение прогнозного уровня. Здесь индекс «и» у номера означает, что это интуитивные правила.
Кроме выбора оптимального экстраполяционного метода
прогнозирования фокус-фактора, другой целью нашей работы было формализация интуитивного подхода к этой задаче и разработке на этой основе лингвистического метода планирования.
При этом мы пользовались подходом, предложенным в [10] для разработки эвристической модели обобщенного календарного планирования. Первый этап является общим для всех методологий, использующих лингвистические переменные - введение самих переменных. Для этого все входные и выходные (прогнозные) параметры моделей соответствующими нормировками сводятся к областям определения с одинаковым интервалом. На этом интервале задается дискретный набор лингвистических термов типа: низкий (Ц), вроде бы низкий (SL), средний (А), вроде бы высокий ^Н) и высокий (Н). И переменные характеризуются значениями из этого набора. При этом количество термов зависит от решаемых задач. Мы посчитали, что
ivdon.ru/ru/magazine/archive/n1y2018/4916
для наших условий достаточно пяти уровней. В выше цитированной работе
[10] их было семь. Основоположник метода анализа иерархий Т. Саати для задания лингвистических переменных использовал девять значений, последующие исследователя иногда расширяли этот набор до тринадцати
[11]. Следует отметить, что не обязательно для всех параметров задачи надо применять однотипные лингвистические переменные. Можно для каждого параметра дискретные уровни вводить по отдельности. Но тогда обрабатывать данные будет гораздо сложнее.
Для определения самих термов и правил работы с ними ранее Л. Заде предложил применять разработанную им теорию нечетких множеств [12]. В соответствии с чем, в [10] на втором этапе моделирования аппроксимировали уровни лингвистических переменных нечеткими числами. С функциями принадлежности, перекрывающими всю область (интервал) определения параметров задачи. При этом в цитируемой работе использовались экспоненциальные функции принадлежности [10]. Для нашей задачи они не совсем подходят. При прогнозировании фокус-фактора входными данными являются фактический и теоретический (прогнозный) фокус-факторы предыдущей итерации. На выходе мы должны иметь прогнозное его значение уже на текущий период [9]. И все время нужно будет преобразовывать четкие данные в лингвистические и наоборот. При перекрытии функций принадлежностей для различных термов эта задача становится очень сложной (хотя принципиально и решаемой по методике, предложенной Л. Заде [12]).
Если же эти функции не перекрываются, расчеты значительно упрощаются. Этого можно добиться, если использовать треугольные нечеткие числа [13]. На рис. 3 для примера приведена функция принадлежности одного из нечетких симметричных треугольных чисел. Такие числа полностью определяются своей нижней и верхней границами
ivdon.ru/ru/magazine/archive/n1y2018/4916
(вернее границами функции распределения amin и amax). Кратко их можно записывать в виде интервала ^щ, amax].
/
ОС /
/ Й1 а ад \ А
О 0.1 0 2 0 3 0.4 0 5 О 6
Рис. 3. Функция принадлежности симметричного треугольного нечеткого числа (взята из [13]). amin= 0.2; amax = 0.4.
В наших задачах фактические уровни фокус-фактора изменяются в диапазоне от 40% до 131% (см. рис. 2). Мы перенормировали этот показатель в единичный интервал (40% перешло в 0, а 131% - в 1). Теоретическое значение этого параметры также рассматривалось в этом масштабе.
Весь диапазон параметров разбивался нами на пять дискретных лингвистических уровней. В таблице 4 приведены лингвистические термы, соответствующие этим уровням, полные и краткие наименования. В последней строчке показаны их аппроксимирующие нечеткие треугольные числа, полностью определяемые границами функций принадлежности.
Вышеотмеченные первые два этапа разработки эвристической модели по методике, приведенной в [10], вспомогательные. На них вводится соответствующая математика. Третий этап является основным. Здесь по предыдущим производственным данным интуитивные правила, используемые при планировании, формализуются в нечеткие соотношения типа [10]:
ivdon.ru/ru/magazine/archive/n1y2018/4916
ЕСЛИ FSt есть_И 1м есть_, И Wt-1 есть_, ТО ^
есть_, (1)
где , Wt-1 и FSt - входные производственные параметры за предыдущий 1) и текущий (;) периоды, Pt - прогнозируемая величина, все они принимают значения из набора термов, которые подставляются в формулу вместо прочерков.
Таблица 4.
Аппроксимация лингвистических переменных треугольными нечеткими
числами.
Лингвистический терм низкий вроде бы низкий средний вроде бы высокий высокий
Краткое обозначение L SL А SH Н
Границы функции принадлежности нечеткого числа [0; 0.2] [0.2; 0.4] [0.4; 0.6] [0.6; 0.8] [0.8; 1]
Мы привели пример из [10], с параметрами, используемыми в этой работе. Для наших целей конкретный смысл этих величин несущественен, и более подробно останавливаться на этом не будем. Мы просто иллюстрировали в общем виде нечеткие правила. Всего их в цитируемой работе сорок. Общего алгоритма для вывода таких соотношений не существует, это скорее даже не наука, а искусство. Искусство управления. И результат во многом зависит и от опыта исследователей, и от их личных пристрастий. От произвола спасает наличие критерия в выборе нечетких правил прогноза. Сами правила выводятся на основе предыдущих
ivdon.ru/ru/magazine/archive/n1y2018/4916
производственных данных, и проверяются они на контрольной выборке из этих же данных.
В нашей задачи входными параметрами являются фактические (Фф)м и прогнозные (Фт)м значения фокус-факторов за предыдущий период (Ы) , а выходным - прогнозное (Фт) значения фокус-факторов на текущую (;) итерацию. Интуитивные правила, используемые для прогноза командой разработчиков приведены выше (см. 1и, 2и, 3и, 4и). По ним нами были выработано девять нечетких соотношений, приведенных в таблице 5.
Таблица 5.
Лингвистические модель для прогноза фокус-фактора
№ Если (Фф);-1 Если (Фт)м То (Фт);
1ф Н любое SH
2ф L любое SL
3ф SH SH SH
4ф SH А SH
5ф SH SL А
6ф SL SL SL
7ф SL А SL
8ф SL SH А
9ф А любое А
Здесь соотношения 1ф и 2ф соответствуют интуитивным правилам 3и, 4и, а остальные - правилам 1и, 2и. Следует отметить, что мы использовали мягкий вариант прогноза. При любом варианте входных параметров, планируемый фокус-фактор (Фт) не принимает ни низких (Ь), ни высоких (Н) значений.
ivdon.ru/ru/magazine/archive/n1y2018/4916
Предлагаемая методология была проверена на тех же производственных данных, что и вышеописанное исследование экстраполяционных методов планирования. На рисунке 4 представлены фактические значения фокус-фактора Фф и теоретические Фт (рассчитанные по модели).
Рис. 4. Временные ряды для фактического и теоретического (лингвистическая модель) фокус-факторов.
Напомним, точность прогноза определялась по среднеквадратичному (по всему ряду используемых данных) отклонению прогнозируемого значения фокус-фактора от фактического. Для лингвистической модели такие оценки показали более высокую точность предсказаний, чем для экстраполяции. Ошибка получилась порядка 3% против 4,7%.
Рисунок демонстрирует довольно хорошее качество прогноза, особенно для середины диапазона (60% - 100%) рассматриваемых факторов. На краях диапазона точность хуже. Для устранения этого недостатка нами была разработана еще одна модель, комбинированная, использующая элементы, как эвристического лингвистического подхода, так и вышеупомянутой экстраполяции по скользящему среднему. На первом этапе расчеты ведутся
ivdon.ru/ru/magazine/archive/n1y2018/4916
полностью по лингвистической модели и для текущего периода определяется промежуточное прогнозное значение фокус-фактора. Окончательное значение этой величины вычисляется как среднегеометрическое из промежуточного значения, для данной итерации, и фактического за предыдущий период.
Полученные таким образом величины показаны на рисунке 5, опять же совместно фактические и прогнозные. Для комбинированной модели точность предсказания оказалась примерно в два раза выше, среднеквадратичная ошибка порядка 1,5%. Эти результаты на наш взгляд полностью решают задачу об оптимальном методе планирования отдельных итераций при выполнении ^-проектов.
140
40--
20--
о н—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I—I
1234567В9 10111213141516171В19202122232425
Рис. 5. Временные ряды для фактического и теоретического (комбинированная модель) фокус-факторов.
В заключении статьи кратко приведем основные полученные результаты.
Проведенный анализ неточности предсказания фокус-фактора. полностью подтверждает все полученное ранее в предыдущей работе. Среди рассмотренных математических методов прогноза для планирования в итерациях ^-проектов подходит больше всего экстраполяция по
ivdon.ru/ru/magazine/archive/n1y2018/4916
скользящему среднему (как арифметическому, так и геометрическому) за 1-4 предыдущих периода. Ошибка прогноза фокус-фактора для них около 4,7%.
В рамках нечеткого подхода разработана лингвистическая модель, которая показала лучшее качество предсказания этой величины, около 3% .
Еще более высокой точностью прогноза обладает предложенная комбинированная модель, использующая элементы, как эвристического подхода, так и экстраполяции по скользящему геометрическому среднему. Для нее среднеквадратичная ошибка порядка 1,5%.
Все полученные результаты могут быть использованы командами разработчиков для минимизации рисков, возникающих при планировании отдельных итераций IT-проекта.
Выполнено по гранту ЮФУ № ВнГр-07/2017-20.
Литература.
1. Сазерленд Д. Scrum. Революционный метод управления проектами. М.: Манн, Иванов и Фербер, 2016. 288 с.
2. Пихлер Р. Управление продуктом в Scrum. Agile-методы для вашего бизнеса. М.: Манн, Иванов и Фербер, 2017. 240 с.
3. Pfeffer J., Berchez J. P. Agile working practices with scrum //ATZelektronik worldwide. - 2017. - Т. 12. - №. 5. - Pp. 52-55.
4. Kniberg H. Scrum and XP from the Trenches URL: wwwis.win.tue.nl/2R690/doc/ScrumAndXpFromTheTrenchesonline07-31.pdf.
5. Самойлова Т. А. Практика применения scrum в проектном менеджменте //Гуманитарные науки в XXI веке. - 2017. - №. 37. - С. 24-28.
ivdon.ru/ru/magazine/archive/n1y2018/4916
6. Ткаченко И. Н., Сивокоз К. К. Использование гибких технологий Agile и Scrum для управления стейкхолдерами проектов //Управленец. - 2017. -№. 4 (68).
7. Токач Д. Ю., Корягин К. П., Петров Г. Д. Использования методологии SCRUM для разработки Веб-сайтов. Инновации, технологии, наука сборник статей международной научно-практической конференции: в 4 частях. 2017. 2017. Уфа. Изд-во: ООО "Аэтерна" Сс. 179-181.
8. Вольфсон Б. Гибкие методологии разработки URL: tados.ru/wp-content/uploads/2017/04/Борис_Вольфсон_Гибкие_методологии.pdf.
9. Мощенко И.Н., Пирогов Е.В. Прогнозирование краткосрочной производительности в IT-проектах. Инженерный вестник Дона, 2018, №1. URL: ivdon.ru/ru/magazine/archive/n1y2018/4916.
10. Ринкс Д.Б. Эвристический подход к обобщенному календарному планированию производства с использованием лингвистических переменных: методология и применение. В сборнике Нечеткие множества и теория возможностей. Последние достижения. М: «Радио и связь», 1986. Сс. 349-370.
11. Мощенко И.Н., Пирогов Е.В. К выбору оценочной шкалы в методе анализа иерархий. Инженерный вестник Дона, 2017, № 4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4725.
12. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенного решения. М: Мир. 1976. 165 с.
13. Недосекин А., Овсянко А. Нечетко-множественный подход в маркетинговых исследованиях. URL: aup.ru/articles/marketing/15.htm. Дата обращения 15.12.2017.
ivdon.ru/ru/magazine/archive/n1y2018/4916
Referances
1. Sutherland J. Scrum. Revolyutsionniy metod upravleniya proektami. M.: Mann, Ivanov I Feber, 2016. 288 p.
2. Pikhler R. Upravlenie producom v Scrum. Agile-metodi dlya vashego biznessya [Product management in Scrum. Agile methods for your business]. M.: Mann, Ivanov I Feber, 2017. 240 p.
3. Pfeffer J., Berchez J. P. Agile working practices with scrum //ATZelektronik worldwide. - 2017. - T. 12. - №. 5. - Pp. 52-55. 4.
4. Kniberg H. Scrum and XP from the Trenches URL: wwwis.win.tue.nl/ 2R690/doc/ScrumAndXpFromTheTrenchesonline07-31.pdf
5. Samoylova T.A. Gumanitarnie nauki v XXI veke. 2017. No 37. Pp. 24-28.
6. Tkachenko I.N., Sivokoz K.K. Upravlenets. 2017. No 4 (68). Tokach D.Yu.,
7. Koryagin K.P., Petrov G.D. Innovatsii, technologii, nauka sbornik statei mejdunarodnoy nauchno-prakticheskoy konferentsii: v 4 chastiakh. 2017. Ufa. Izd-vo OOO "Aeterna" Pp. 179-181.
8. Vol'fson B. Gibkie metodologii razrabotki [Flexible development methodologies].URL: tados.ru/wpcontent/uploads/2017/04/EopHC_Bo.b$coH_ rH6KHe_MeTOgo.rorHH.pdf.
9. Moshchenko I.N., Pirogov E.V. Inzenernyj vestnik Dona (Rus), 2018, №1. URL: ivdon.ru/ru/magazine/archive/n1y2018/4916.
10. Rinks D.B. Nechetkie mnojestva I teoriya vozmojnostey. Poslednie dostijeniya. M: Padio I svyaz, 1986. Pp. 349 - 370.
11. Moshchenko I.N., Pirogov E.V. Inzenernyj vestnik Dona (Rus), 2017, №4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4725.
12. Zade L.A. Ponyatie lingvisticheskoi I ego primenenie k prinya priblijennogo resheniya [The concept of a linguistic variable and its application to making an approximate decision]. M: Mir. 1976. 165 p.
ivdon.ru/ru/magazine/archive/n1y2018/4916
13. Nedosekin A., Ovsyanko A. Nechtko-mnojestvenniy podkhod v marketingovikh issledovaniyakh [Fuzzy-multiple approach in marketing research].URL: aup.ru/articles/marketing/15.htm. Date accessed 15.12.2017.
