CC BY
19
оригинальная статья
УДК 004.732:656.09(045) © Пранкевич Д. А., 2020
рейтингование провайдеров облачных услуг методом порогового агрегирования
Диана Альбертовна Пранкевич, студентка отделения цифровых технологий Юргинский технологический институт (филиал), Национальный исследовательский Томский политехнический университет, Юрга, Россия Diana A. Prankevich, student, Department of Digital Technologies, Yurga Institute of Technology, branch of Tomsk National Research Polytechnic University, Yurga, Russia demolove7@inbox.ru
аннотация
С точки зрения бизнеса при переходе в облака ИТ-инфраструктура предприятия может превратиться из сдерживающего фактора в мощный катализатор развития. По мере расширения тенденции к переносу приложений и задач в облака производители придают все большее значение партнерским отношениям с провайдерами облачных сервисов. При выборе поставщика облачных услуг заказчики часто сравнивают различные параметры площадок, на базе которых разворачивается облако. В работе предлагается модель выбора провайдеров облачных услуг на основе применения метода порогового агрегирования, который используется в задачах многокритериального оценивания. Основной характеристикой предложенного метода является его некомпенсаторный характер. Он заключается в невозможности компенсировать низкие значения используемых критериев высокими значениями других критериев. На основе предложенной модели строится рейтинг, отражающий сравнительную значимость различных провайдеров облачных услуг для предприятия. Ключевые слова: облачные технологии; модель; провайдер; сервис; выбор; некомпенсаторность; рейтинг; метод порогового агрегирования
Для цитирования: Пранкевич д. А. рейтингование провайдеров облачных услуг методом порогового агрегирования. Научные записки молодых исследователей. 2020;8(1):59-67.
original paper
Rating оf Providers оf Cloud service by the Threshold Arrangement Method
abstract
As the trend towards the transfer of applications and tasks to the cloud expands, manufacturers attach increasing importance to partnerships with cloud services providers. When choosing a cloud service provider,
Научный руководитель: Разумников С.В., кандидат технических наук, доцент отделения цифровых технологий, Юргинский технологический институт (филиал) Национального исследовательского Томского политехнического университета, Юрга, Россия / Scientific supervisor: Razumnikov S. V., PhD, Associate Professor, Department of Digital Technologies, Yurga Institute of Technology, branch of Tomsk National Research Polytechnic University, Yurga, Russia.
customers often compare the various parameters of the sites on which the cloud is deployed. The paper proposes a model for choosing cloud service providers based on the use of the method for threshold aggregation, used in multi-criteria evaluation tasks. The main characteristic of the proposed method is its non-compensatory nature. It consists of impossibility to compensate for the low value of applied criterion with high values of other criteria. Based on the proposed model, the author compiled a rating reflecting the relative importance of various cloud service providers for the enterprise.
Keywords: cloud technologies; model; provider; service; choice; non-compensatory; rating; threshold aggregation method
For citation: Prankevich D. A. Rating оf providers оf cloud services by method for threshold aggregation. Научные записки молодых исследователей = Scientific notes of young researchers. 2020;8(1):59-67.
Введение
Рынок облачных технологий уверенно растет и ежедневно обретает новых пользователей. Если использовать публичные облака, то можно оперативно регулировать объем ресурсов по разным критериям, например время дня, сезон/не сезон, время года и др. Это позволяет повысить эффективность использования финансовых и вычислительных ресурсов. Можно выделить следующие причины, которые служат для перевода ИТ-приложений предприятий в облако: эффективность, гибкость, повышение продуктивности работы, управляемость, доступность в любой точке мира, надежность и отказоустойчивость [1-3]. По оценкам TAdviser, спрос на облачные сервисы в России продолжает расти более чем на 25% в год, а в сегменте IaaS - более чем на 35-40%, [4].
При принятии решения о внедрении облачных технологий на предприятии после выбора облачного сервиса необходимо разобраться, услугами какого провайдера лучше пользоваться. Для выбора такого поставщика важно его оценить, учитывая определенные параметры. При проведении оценки изучаются документы, соглашения, договора. В анализе должны принимать участие коллектив предприятия и эксперты, которые будут представлять собой команду облачной стратегии [5, с. 118; 6, с. 7, 200].
На практике часто мнение экспертов и участников коллектива выражается различными шкалами оценок, которые проставляются каждым экспертом в этом коллективе. Это может быть оценки «отлично», «средне», «плохо», «1, 2, 3, 4, 5» и т.д. Задача по некомпенсаторному агрегированию заключается в том, чтобы представить коллективное мнение более корректно из
полученных наборов индивидуальных оценок. Усреднять наборы оценок не всегда возможно, так как это может привести к неправильному результату, т.е. когда низкие оценки одного участника коллектива могут быть компенсированы средними или хорошими оценками других участников [8]. В случае такого важного выбора, как провайдера облачных услуг, такое компенсирование невозможно. Поэтому оценка провайдеров облачных услуг без учета компенсаций является современной актуальной задачей.
Целью работы является разработка модели выбора провайдера облачных услуг некомпенсаторным методом порогового агрегирования. Использование данного метода не позволяет компенсировать низкие оценки экспертов коллектива другими, более высокими оценками по другим критериям. Этот метод хорошо описан в работах [8-11] для разных градационных предпочтений.
Анализ облачного провайдера
При принятии решения на использование облачных решений для бизнеса создаются партнерские отношения с провайдером облачных услуг, а от продуктивности этих отношений напрямую зависит развитие ИТ-инфраструктуры компании в будущем. Использование услуг облака очень отличается от приобретенного продукта (собственного железа/проекта). Поставщик железа или системный интегратор при построении партнерских отношений руководствуется в первую очередь потенциальной вероятностью продать заказчику в дальнейшем следующий проект, в то время как для облачного провайдера имеет основной вес лояльность
клиента, ведь ее достижение автоматически означает, что заказчик продолжит потреблять услугу. Вероятность дополнительной продажи имеет значение, но это уже вторично по отношению к лояльности.
Второй важный момент при выборе поставщика облачных услуг - гибкость, получаемая заказчиками от облачного IaaS провайдера. И в этом случае существуют следующие трудности.
Во-первых, облачного провайдера необходимо тщательно изучить и оценить, что предоставляемые им продукты (услуги) соответствуют заявленным описаниям. Во-вторых, излишняя гибкость сама по себе должна быть поводом призадуматься. Провайдер, удовлетворяющий запросы всех заказчиков, может не справиться с поставленными задачами. Важно понимать, что для облачного провайдера стабильность бизнес-процессов является существенным фактором, который влияет на стабильность предоставления сервиса в долгосрочной перспективе.
Также важным аспектом при выборе облачного сервиса провайдера является предоставление тестового периода - бесплатно или по символической цене. Этот период рекомендуется использовать не только на технологическое тестирование, но также на отработку и налаживание взаимодействия со службой технической поддержки. Оценить качество предоставляемого поддержкой сервиса лучше до того, как запускать продуктивные сервисы. На начальном этапе подключения с заказчиками часто взаимодействуют выделенные специалисты, задача которых состоит в том, чтобы обеспечить максимально простой переход в облако. Хотя наличие таких специалистов является плюсом, стоит понимать, что они с заказчиками только на начальном этапе принятия решений о внедрении облачных ИТ. Впоследствии предстоит взаимодействовать со службой технической поддержки, и чем раньше начнется взаимодействие с ней напрямую, тем лучше.
Выбирая провайдеров облачных услуг для себя, безусловно, стоит отталкиваться от задач, которые необходимо решить, и требований к надежности сервисов. Например, компаниям со штатом 5-10 человек, вся ИТ-инфраструктура которых составляет сервер бухгалтерии и офисных работников, в подавляющем большинстве
случаев нет необходимости гнаться за высокой отказоустойчивостью. Если без особых потерь бизнес может пережить простой в несколько часов или день, то стоит ориентироваться на простейшие услуги вроде VPS или dedicated серверов. Такие услуги редко обеспечивают серьезный уровень надежности и возможности по построению сложных инфраструктур, но это компенсируется низкой ценой по сравнению с классической IaaS-инфраструктурой.
Некоторые заказчики смотрят в сторону зарубежных провайдеров облачных сервисов, к которым можно отнести гигантов облачной индустрии Azure, AWS, Google и их потребителей.
С одной стороны, крупные облачные сервис-провайдеры могут удовлетворить своими услугами подавляющее большинство заказчиков любого масштаба, но в среднем они на 15-30% дороже, чем провайдеры меньших размеров. Все зависит от масштабов бизнеса.
После выбора необходимого облачного сервиса необходимо разобраться, услугами какого провайдера лучше пользоваться. Существуют десятки компаний, которые оказывают данные услуги. В [12] описано, по каким критериям необходимо сравнивать облачные сервис-провайдеры, а также отмечено, на что в первую очередь необходимо обратить внимание. На основе значений этих критериев можно построить рейтинг, отражающий сравнительную значимость различных провайдеров. Для самих поставщиков и пользователей одной из основных проблем с современными облачными центрами обработки данных является их огромное потребление энергии, что делает управление потреблением энергии одной из самых горячих тем исследований в области облачных вычислений [13, 14]. Данный вопрос касается больше эффективности их применения.
Построение агрегированного рейтинга провайдеров облачных услуг методом порогового агрегирования
Решение по построению проранжированно-го списка альтернатив облачных провайдеров, которые оцениваются по нескольким критериям, осуществляется методом определения взвешенной суммы по критериям для каждой альтернативы и далее упорядочиванием по
найденному значению. Но у этого метода есть недостаток, заключающийся в том, что необходимо обосновывать суммирование и определять вес критериев [7]. В нашей ситуации такое обоснование не предусмотрено, и,следовательно, такой способ не дает нам уверенности в том, что суммирование взвешенных оценок будет обоснованным и что это даст осмысленные результаты. Низкие оценки по одному критерию могут быть компенсированы высокими или средними оценками других критериев, что является неприемлемым.
Для избегания таких проблем можно построить агрегированный рейтинг, который основан на применении метода порогового агрегирования, используемого в задачах многокритериального оценивания. В качестве параметров, по которым оцениваются облачные провайдеры, применяем рассмотренные выше критерии: Производительность дисковой подсистемы (ПДП), Используемое оборудование (ИО), Профиль деятельности компании (ПДК), Надежность площадки (НП), Гипервизор (Г), Служба поддержки (СП), SLA.
Особенностью данного метода является его некомпенсаторный характер, который заключается в том, что невозможно низкое значение одного из критериев компенсировать более высокими значениями по другим критериям. Из-за этого свойства уменьшается возможность принудительного улучшения провайдером своего места в рейтинге за счет улучшения своих данных или указания только максимальных значений.
Правило порогового агрегирования и рейтинговый индекс
Пусть A - конечное множество альтернатив, которые оцениваются по n критериям. В нашей задаче построения агрегированного рейтинга провайдеров облачных услуг альтернативами будут конкретные фирмы-поставщики.
Команда облачной стратегии для рассматриваемых 10 облачных сервис-провайдеров экспертным путем проставляет баллы согласно четырехградационной шкале (табл. 1), где 1 будет соответствовать самой низкой оценке (градации), а 4 - самой высокой.
Каждой альтернативе х из А поставлен в соответствие вектор (х1, ..., xn), где x. - это ранг
провайдера по соответствующему критерию /', т.е. х1 е{1,...,4}, i = 1,..,п .
Задача сводится к тому, чтобы на основании поставленных оценок (х^ ..., хп) командой по облачной стратегии для всех альтернатив х проранжировать множество А, т.е. для каждого провайдера найти его порядковый номер в агрегированном списке рейтинга. Поскольку для любого х] е А имеем х = (х^...,хп), то множество А будет состоять из всех возможных п-мерных векторов вида (х^...,хп).
Для решения описываемой задачи применим пороговое правило [15-18] и рассчитаем индекс по методу пороговой оценки.
Правило порогового агрегирования состоит в том, что сначала сравниваются числа единиц, т.е. количество оценок «неудовлетворительно» («плохо») в векторах х и у. Если они не равны, то предпочтительнее тот вариант (вектор), который будет иметь меньше единиц (худших оценок). Если в х и у количество единиц поровну, то сравнивается количество средних оценок (число двоек). Тот вариант, у которого их меньше, будет считаться более предпочтительным, и т.д. Если количество всех оценок поровну (и единиц, и двоек, и троек, и т.д.), то такие векторы считаются равными и несравнимыми. Значит, если плохих оценок поровну, то лучшим будет тот вариант, у которого меньше средних [15].
Пусть: т - число градаций, п - число параметров (критериев), Vj(х) - количество рангов у в векторе х , т.е. Vj(х) = {1 < i < п: х1 = у}. Отметим, что 0<Vj(х)<п для всех уе{1,...4} и х е А, а также Vl(x) +... + V4(x) = п для всех х е А.
В соответствии с правилом порогового агрегирования индекс альтернативы будет равен сумме количеств сочетаний из а по Ь:
т
Р (х) = 1су (1)
У=1
где количество сочетаний доопределено:
С\ = 1, и Сп+1 = 0; а и Ь зависят от} и определены следующим образом:
а(у) = п ^ (х) + т ° у °1; (2)
Ь(У) = т ° У , (3)
Таблица 1
Четырехградационная шкала оценок провайдеров
оценка Балл описание
Отлично 4 Показатель очень высокий, практически идеальный вариант
Хорошо 3 Показатель выше минимальных значений, но не самый лучший вариант
Удовлетворительно 2 Показатель на минимальном удовлетворительном уровне, соответствует минимальным стандартам
Неудовлетворительно 1 Показатель низкий, не соответствует минимальным стандартам
Источник: составлено автором.
Vj (x) определено как сумма: Vj (x) = ^ц(д)
q=1
m
и ^Vj(x) = n , а n(q) определено, как количест-
j =1
во параметров, по которым данная альтернатива имеет значение q (q: градация от 1 до m).
После нахождения количества сочетаний a по b находим C по формуле комбинаторики (4):
а b!(а - b)!
(4)
Функция предпочтения F в явном виде (для т > 4) представлена в работах [16] и [18, с. 94]. Подставив (2) и (3) в (1), получим комбинаторную формулу (5):
F (x ) = ^,Cn-Vi (x )+m- j J=1
m- j =V cm - j /г\
i-1 "Zj Cn-(n(1)+n(2)+...+n( j ))+m - j-1 (5)
j=1
В рамках обсуждаемой модели обозначено: п - число критериев для оценки, т = 4 - количество градаций (оценок). Тогда для случая 1, 2, 3, 4 имеем Vj(х) - количество оценок у у провайдера х. Функция Г(х) принимает натуральное значение на любом векторе х, равное порядковому номеру этого вектора в описанном выше строгом предпочтении, эта функция обладает оптимальными свойствами Парето-доминирования, симметрии и др. [15-17].
Нормированный индекс предпочтения по методу порогового агрегирования будет равен:
F
Threshold
F
(6)
где Fmax - это максимальное значение индекса предпочтения. Нормированный индекс меняет-
ся от 0 до 1, и поэтому чем выше значение индекса, тем выше будет оценка.
Построение
агрегированного рейтинга
В исследовании рассматривались данные десяти провайдеров облачных услуг, реально существующих на российском рынке. Каждый провайдер будет оцениваться по рассмотренным ранее 7 критериям. Для идентификации провайдеров присвоены номера от 1 до 10 в соответствии с числом рассматриваемых поставщиков. Поскольку большая часть показателей являются качественными, за исключением некоторых показателей (характеризующих скорость), то применим сразу экспертные оценки по шкале (см. табл. 1) и занесем их в табл. 2.
Проиллюстрируем положение векторов в рейтинге в зависимости от их оценок, представленных в табл. 2 для нашего варианта, используя рассмотренный выше некомпенсаторный метод рейтингования.
(1, 2, 3, 3, 3, 4, 4)4 (2, 2, 3, 3, 3, 4, 4)2 (2, 2, 3, 4, 4, 4, 4)
1
8 /Т Т П Л Л Л /1Ч1
(2, 3, 3, 4, 4, 4, 4)4
(3, 3, 3, 3, 3, 4, 4)7 (3, 3, 3, 3, 3, 4, 4)6
(3, 3, 3, 3, 4, 4, 4)7 (3, 3, 3, 4, 4, 4, 4)5
(3, 3, 4, 4, 4, 4, 4)2 (3, 4, 4, 4, 4, 4, 4)
10
Таблица 2
Баллы критериев для рассматриваемых провайдеров
№ Провайдер Критерии оценки
ио пдп нп сп пдк Г sla
1 ИТ-Град 4 4 4 4 2 3 2
2 CLoud4Y 3 4 4 4 4 4 3
3 Софтлайн 4 4 4 4 3 3 2
4 Мастерхост 1 4 2 4 3 3 3
5 Amazon 3 4 4 4 3 4 3
6 Microsoft 3 4 4 4 3 3 3
7 Ростелеком 3 4 3 4 3 3 3
8 Стек Групп 2 4 3 4 2 3 3
9 Даталайн 3 4 3 4 3 3 3
10 SeLecteL 4 4 4 4 4 3 4
Источник: составлено автором.
Нижний индекс указывает порядковый номер у вектора в рейтинге, а верхний индекс - порядковый номер провайдера в табл. 2.
Теперь рассчитаем индекс предпочтения по формуле (5). Рассмотрим пример расчета для максимума значений индекса. Для количества параметров п = 7 и числа градаций т = 4 находим индекс лучшей альтернативы, т.е. альтернативы, у которой все значения равны 4.
П(1) = П(2) = П(3) = 0 ; п(4) = 7 ;
/(1) = У(2) = У(3) = 0; /(4) = 7;
а(1) = п -/(1) + т - ] - 1 = 9; а(2) = 8; а(3) = 7; а(4) = -1;
Ь(1) = т - 1 = 3; Ь(2) = 2; Ь(3) = 1; Ь(4) = 0.
Индекс лучшей альтернативы:
Ртах = С9 + С8 + С7 + С°1 .
Приведем подробный пример расчета отношения С93 по формуле (4).
,3 9! 6!х 7х 8х 9 504
9 3!(9 - 3)! 3!х 6! 6
= 84.
Итак, F = 84 + 28 + 7 + 1 = 120, т.е. макси' max '
мальное значение индекса: 120.
Рассчитаем теперь индекс предпочтительности для провайдера с наихудшими оценками, имеющего порядковый номер 1 в рейтинге.
п(1) = 1 ; п(2) = 1; п(3) = 3; п(4) = 2;
V(1) = 1; V(2) = 2; V(3) = 5; V(4) = 7;
o(1) = n-V{1) + m - j - 1 = 8;
a(2) = 6; a(3) = 2; a(4) = -1.
Значения b(1.....4) будут такими же. Индекс для
альтернативы с порядковым номером 1 в рейтинге:
F = С83 + C62 + C2 + С0! = 56 +15 + 2 +1 = 74.
Тогда нормированное значение согласно формуле (6) примет вид
74
I = — = 0,617.
1 120
Аналогично рассчитываем другие индексы, находим нормированные значения и заносим результаты в табл. 3.
Для упрощения расчетов воспользуемся средствами Microsoft ExceL. На рисунке представ-
Источник: составлено автором.
Таблица 3
рейтинг провайдеров со значениями функций предпочтения
№ Провайдер Значение функции F(x) (индекса предпочтения) нормированное значение индекса предпочтения
1 SeLecteL 119 0,992
2 CLoud4Y 118 0,983
3 Amazon 117 0,975
4 Microsoft 116 0,967
5 Даталайн 115 0,958
6 Ростелеком 115 0,958
7 Софтлайн 110 0,917
8 ИТ-Град 104 0,867
9 Стек Групп 102 0,85
10 Мастерхост 74 0,617
140 120 100 80 60 40 20 0
Значение функции F(x) (индекса предпочтения)
Рис. График рейтинга провайдеров облачных услуг
Источник: составлено автором.
лен рейтинг провайдеров услуг в виде графика. Исходя из проведенных расчетов по методу порогового агрегирования, наилучшим провайдером облачных услуг является Selectel со значением функции предпочтения, равной 119, а наихудшим из рассматриваемых является Мастерхост со значением 74.
Выводы
В работе предложена модель выбора провайдеров облачных услуг на основе применения метода
порогового агрегирования, который используется в задачах многокритериального оценивания. На основе предложенной модели построен рейтинг, отражающий сравнительную значимость различных провайдеров облачных услуг для предприятия.
Использование рейтингового индекса на основе правила порогового агрегирования выражает не только количественные, но и качественные рейтинговые показатели, а также более чувствительно (по сравнению с другими методами) учитывает веса оценок.
65
Благодарность
Работа выполнена при финансовой поддержке гранта РФФИ № 18-07-00031 «Модели, алгоритмы и программное обеспечение системы поддержки принятия стратегических решений к переходу на облачные технологии».
Acknowledgements
The work was carried out with the financial support of RFBR grant No. 18-07-00031 "Models, algorithms and software for strategic decision support systems for the transition to cLoud technologies".
Список источников
1. Разумников С. В. Модель поддержки принятия решений о миграции корпоративных приложений в облачную среду. Научные труды Вольного экономического общества России. 2015;194:490-502.
2. Разумников С. В. Оценка эффективности и рисков от внедрения облачных ИТ-сервисов. Фундаментальные исследования. 2014;11-1:33-38.
3. Razumnikov S. V. Decision support system of transition IT-appLications in the cLoud environment. International Siberian conference on controL and communications SIBCON. 2015. URL: http://ieee.tpu. ru/musor/sbornik/fiLes/sections.htmL.
4. Семенихин М. Исследование TAdviser: Самые зрелые провайдеры облачных сервисов в России. 10.10.2018. TAdviser. URL: http://www.tadviser.ru/index.php/ (дата обращения: 23.10.2018).
5. Разумников С. В. Разработка модели процесса формирования облачной ИТ-стратегии. Инновационные, информационные и коммуникационные технологии: сборник трудов XV Международной научно-практической конференции. С. У. Увайсова, ред. М.: Ассоциация выпускников и сотрудников ВВИА им. проф. Жуковского; 2018. 652 с.
6. Разумников С. В. Разработка ИТ-стратегии и проектирование частной облачной среды на предприятии. Инновационные технологии в машиностроении. Сборник трудов IX Международной научно-практической конференции, 24-26 мая 2018, Юрга. Томск: Изд-во ТПУ; 2018. 295 с.
7. Разумников С. В. Интегральная модель оценки результативности внедрения облачных ИТ-сервисов. Научные труды Вольного экономического общества России. 2016;201(4):492-504.
8. Алескеров Ф. Т., Юзбашев Д. А. Якуба В. И. Пороговое агрегирование трехградационных ранжировок. Автоматика и телемеханика. 2007;(1):147-152.
9. ALeskerov F., Yakuba V., Yuzbashev D. A threshoLd aggregation of three-graded rankings. Math. Social Sci. 2007;(2):106-110.
10. ALeskerov F., Chistyakov V. V., KaLyagin V. A. The threshoLd aggregation. Econ. lett. 2010;(2):161-162.
11. ALeskerov F., Chistyakov V., KaLyagin V. SociaL threshoLd aggregations. Social Choice and Welfare. 2010;35(4):627-646.
12. Гачко Д., Стародобцев А. IaaS для бизнеса по кирпичикам. СПб.: ИТ-ГРАД; 2014. 25 с.
13. Lin W., Wang H., Zhang Y., Oi D., Wang J. Z., Chang V. A cLoud server energy consumption measurement system for heterogeneous cLoud environments. Information Sciences. 2018;468(Nov.):47-62.
14. Управление IOPs при аренде виртуальной инфраструктуры. How many IOPs is enough? IT-GRAD. URL: https://www.it-grad.ru/competence-center/technicaL-bLog/14/ (дата обращения: 23.10.2018).
15. Алескеров Ф. Т., Хабина Э. Л., Шварц Д. А. Бинарные отношения, графы и коллективные решения. 2-е изд., перераб. и доп. М.: ФИЗМАТЛИТ; 2012. 344 с.
16. Калягин В. А., Чистяков В. В. Аксиоматическая модель некомпенсаторного агрегирования: Препринт WP7/2009/01. М.: Изд. дом ГУ ВШЭ; 2009. 76 с.
17. Алескеров Ф. Т., Катаева Е. С., Писляков В. В., Якуба А. И. Оценка вклада научных работников методом порогового агрегирования. Управление большими системами. 2013;44:172-189.
18. Гончаров А. А., Чистяков В. В. Некомпенсаторное агрегирование и рейтингование студентов. XI Международная научная конференция по проблемам развития экономики и общества. В 3 кн. Е. Г. Ясин, ред. Высшая школа экономики. М.: Изд. дом Высшей школы экономики; 2011. 640 с.
References
1. Razumnikov S. V. Model of decision support on the migration of corporate applications in the cloud environment. Scientific works of the Free Economic Society of Russia. 2015;194:490-502. (In Russ.).
2. Razumnikov S. V. Evaluation of the effectiveness and risks from the introduction of cloud IT services. Fundamental research. 2014;1(11):33-38. (In Russ.).
3. Razumnikov S. V. The decision support system of transition IT-applications in the cloud environment SIBCON. 2015 URL: http://ieee.tpu.ru/musor/sbornik/files/sections.html. (In Russ.).
4. Semenihin M. Research of TAdviser: The most mature cloud service providers in Russia. URL: http://www. tadviser.ru/index.php/, free (accessed on 23.10.2018). (In Russ.).
5. Razumnikov S. V. Development of a model for the formation of a cloud IT strategy. In: Uvaisov SU, ed. Innovation, information and communication technologies: A collection of works of the XV International Scientific and Practical Conference. Moscow; 2018. (In Russ.).
6. Razumnikov S. V. Development of IT strategy and design of a private cloud environment at the enterprise. In: Innovative technologies in mechanical engineering: Collection of works of the IX International Scientific and Practical Conference; 2018. (In Russ.).
7. Razumnikov S. V. An integrated model for assessing the effectiveness of the introduction of cloud IT services. Scientific works of the Free Economic Society of Russia. 2016;4(201):492-504. (In Russ.).
8. Aleskerov F. T., Yuzbashev D. A., Yakuba V. I. Threshold aggregation of three-graded rankings. Automatics and Remote Control. 2007;1:147-152. (In Russ.).
9. Aleskerov F. T., Yuzbashev D. A., Yakuba V. I. A threshold aggregation of three-graded rankings. Math. Social Sci. 2007;2:106-110. (In Russ.).
10. Aleskerov F., Chistyakov V. V., Kalyagin V. A. The threshold aggregation. Economic letters. 2010;2:161-162. (In Russ.).
11. Aleskerov F., Chistyakov V. V., Kalyagin V. A. Social threshold aggregations. Social Choice and Welfare. 2010;4(35):627-646. (In Russ.).
12. Gachko D., Starodobevtsev A. IaaS for business. IT-GRAD. St. Petersburg; 2014. (In Russ.).
13. Lin W., Wang H., Zhang Y., Oi D., Wang J. Z., Chang V. A cloud server energy consumption measurement system for heterogeneous cloud environments. Information Sciences. 2018;(468):47-62.
14. Manage IOPs when renting a virtual infrastructure. How many IOPs is enough? URL: https://www.it-grad.ru/competence-center/technical-blog/14/ (accessed on 23.10.2018). (In Russ.).
15. Aleskerov F. T., Habina EL, Schwartz DA. Binary relations, graphs and collective solutions. 2nd ed. Moscow: FIZMATLIT; 2012. (In Russ.).
16. Kalyagin V. A., Chistyakov V. V. Axiomatic model of non-compensatory aggregation. Moscow: Higher School of Economics; 2009. (In Russ.).
17. Aleskerov F. T., Kataev E. S., Pislyakov V. V., Yakuba A. I. Assessment of the contribution of researchers by the method of threshold aggregation. Managing large systems. Special Issue 44: "Scientometrics and Expertise in the Management of Science"; 2013:172-189. (In Russ.).
18. Goncharov A. A., Chistyako V. V. Non-compensatory aggregation and rating of students. In: Yasin EG, ed. XI International Scientific Conference on the Development of the Economy and Society. Higher School of Economics. Moscow: Higher School of Economics; 2011. (In Russ.).
