CC BY
34
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2020 Управление, вычислительная техника и информатика № 50
ОБЗОРЫ
УДК 004.75
DOI: 10.17223/19988605/50/15
Н.В. Петухова, М.П. Фархадов, Д.Л. Качалов
РАЗГРУЗКА И КОНСОЛИДАЦИЯ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ В СРЕДЕ ТУМАННЫХ И ГРАНИЧНЫХ ВЫЧИСЛЕНИЙ
Исследование выполнено при частичной финансовой поддержке РФФИ в рамках научного проекта № 19-29-06044 (разделы 2, 3, 4) и при поддержке Президиума РАН в рамках научного проекта по Программе 7 (I.30).
Анализируются задачи управления ресурсами, возникающие в среде туманных и граничных вычислений при организации обслуживания запросов, посылаемых устройствами интернета вещей. На основании обзора публикаций выявлены основные темы исследований в этой области и представлены примеры решения задач, относящихся к распределению заявок на обслуживание, к методам стимулирования поставщиков ресурсов к предоставлению их в общий пул, к проблемам энергосбережения.
Ключевые слова: интернет вещей; туманные вычисления; граничные вычисления; распределение задач; консолидация ресурсов; энергосбережение; стохастические модели; теория игр.
Туманные вычисления (fog computing) представляют собой технологию, которая позволяет использовать для хранения и обработки информации память и вычислительные ресурсы, расположенные ближе к устройствам интернета вещей, где генерируются данные, за счет чего снижется нагрузка на сеть и облачные дата-центры и уменьшается время реакции, потребление энергии и эксплуатационные расходы. Кроме того, для выполнения сторонних вычислений могут быть привлечены свободные ресурсы самих устройств интернета вещей, как предполагает концепция граничных вычислений (edge computing). В результате среда для обработки данных оказывается состоящей из многих устройств, различных по техническим характеристикам и программным возможностям. При этом необходимо учитывать, что устройства, выполняющие задачи, зачастую являются мобильными и предоставляются для решения «чужих» задач без всякого постоянного расписания. Очевидно, что такие структуры значительно отличаются от ставших уже привычными облачных дата-центров и ставят перед разработчиками целый ряд новых задач.
Цель работы - выявить на основании обзора публикаций основные задачи управления ресурсами в среде туманных и граничных вычислений и подходы к их решению, учитывающие особенности таких сетей.
1. Цели и методы решения задач управления ресурсами
Обзоры работ, посвященных архитектуре, технологиям и программно-техническим средствам, используемым в среде туманных и граничных вычислений, регулярно появляются в открытом доступе и показывают, что интерес к этой тематике постоянно растет. Обсуждаются как общие вопросы: концепция, архитектура, технические решения, приложения [1-4], так и специальные, например безопасность [5, 6]. Определены ключевые особенности таких сетей: гетерогенность технических средств, их географическая распределенность, мобильность, высокие требования потребителей к времени реакции, ограниченность ресурсов, энергосбережение.
Чаще всего темами исследований в области управления распределенными ресурсами туманных и граничных сетей, как показывает обзор публикаций, являются задачи выбора ресурса для выполнения возникающих заявок на обслуживание, разгрузка ресурсов, способы привлечения ресурсов в общий пул, проблемы энергосбережения.
Целевые функции и методы решения зависят от конкретной системы. Чаще всего рассматриваются следующие показатели и их комбинации: время отклика, расход энергии, доступность сервиса, экономическая эффективность.
Для обоснования и оценки предлагаемых подходов и алгоритмов управления авторами используется различный математический аппарат: аналитические модели, основанные на теории очередей, линейное и нелинейное программирование, теория графов, теория игр, имитационное моделирование.
2. Распределение заявок на обслуживание и разгрузка ресурсов
Наибольшее количество исследований относится к решению задачи выбора места для переноса выполнения вычислений с устройства, где возникла такая необходимость, на другое устройство или сервер. Авторы работы [7] приводят обзор публикаций по данной тематике, и называют следующие причины, вызывающие перенос задач с одних устройств на другие:
- приложение требует больше вычислений, чем может обеспечить собственное устройство;
- сокращение сетевых задержек на передачу больших объемов данных;
- балансировка нагрузки;
- необходимость длительного хранения накапливаемой информации;
- выгрузка данных с целью обеспечения необходимой конфиденциальности, безопасности, надежности и доступности;
- выгрузка задач с облачных серверов на вычислительные средства более низких уровней.
Классифицируются алгоритмы переноса задач и сформулированы задачи, требующие дальнейших исследований.
Авторы статьи [8] процесс распределения задач разделили на два этапа. На первом этапе запросы на обслуживание распределяются между fog кластерами, на втором этапе происходит выбор узла кластера, который будет выполнять поступившую заявку. При распределении запросов между кластерами для обслуживания заявки выбирается ближайший кластер, загрузка которого позволяет предоставить нужные ресурсы. Выбор узла внутри кластера осуществляется с учетом нестабильности присутствия узлов в туманной сети. Для этого авторы вводят показатель, названный ими репутацией узла, который количественно выражает степень надежности устройства и представляет собой статистическую вероятность того, что узел останется в кластере на время, требуемое данной задачей. Если статистическая оценка является малодостоверной из-за того, что число выполненных узлом задач недостаточно велико, то показатель репутации узла определяется типом устройства. Авторы разделили устройства сети на три категории: мобильные узлы (смартфоны), статические узлы (настольные компьютеры, серверы) и полумобильные узлы (планшеты, ноутбуки). Показатели репутации этих узлов, по оценкам авторов, находятся в соотношении 1 : 1,5 : 1,25. Оптимальная схема распределения ресурсов кластера формулируется авторами как многоцелевая задача, которая минимизирует время обслуживания заявки и максимизирует общую стабильность функционирования кластера.
Для решения поставленной задачи авторы используют улучшенный генетический алгоритм сортировки без доминирования (NSGA-II), предложив свою формулу для вычисления меры близости к соседу, учитывающую разнонаправленность целевых функций. Для оценки эффективности предложенного алгоритма авторы сравнили его с алгоритмом M. Aazam и E. Huh [9] и с алгоритмом случайного выбора ресурса. Эксперименты показали, что при малых нагрузках все три схемы практически эквивалентны. Однако при увеличении количества задач среднее время обработки задач с использованием предложенного алгоритма было меньше, чем при двух других алгоритмах, а средняя стабильность успешного выполнения задач превосходила этот показатель для других алгоритмов. Авторы объясняют этот выигрыш вводом в рассмотрение показателя репутации устройств.
В работе [10] предложен алгоритм распределения задач с целью минимизации задержки обслуживания приложений интернета вещей и разработана аналитическая модель для оценки предложенного алгоритма. Рассмотрены централизованный и распределенный подходы к маршрутизации задач внутри домена. Выбор узла для передачи задачи осуществляется на основе оценки ожидаемого времени обслуживания запроса, которое включает время ожидания в очереди и время обслуживания. Для упрощения модели авторы рассматривают два класса запросов на обслуживание: «легкие», требующие короткого времени обслуживания, и «тяжелые», сложные для обработки. Такое упрощение недалеко от реальности. Например, сенсоры и датчики могут регулярно отправлять в ближайший узел свои показания, образуя поток «легких» запросов. В то же время запрос на распознавание номера автомобиля, посылаемый дорожной видеокамерой, является «тяжелым» запросом. Для расчета средних длин очередей и ожидаемого времени обслуживания fog узлы рассматриваются авторами как марковские системы обслуживания с неограниченным буфером и пуассоновскими входными потоками легких и тяжелых запросов, поступающих в узел j с интенсивностями X, и Х, соответственно. Времена обработки этих запросов распределены экспоненциально с интенсивностями у, и у, соответственно. На основании описания алгоритма составляется система уравнений состояния и выводятся выражения для интенсивностей перехода, что позволяет найти стационарные вероятности состояний и ожидаемые времена обслуживания заявок. Эксперименты показали хорошее совпадение расчетных данных и результатов моделирования.
В работе [11] авторы также применяют аналитическую модель, чтобы количественно оценить выигрыш, получаемый от взаимодействия дата-центров.
Авторы работы [12] ставят перед собой задачу сокращения пространства поиска узлов-кандидатов для размещения вычислительной нагрузки в гетерогенной среде туманных вычислений и обосновывают свои правила размещения нагрузки. Результатом работы является получение достаточно качественного решения задачи размещения заявок на вычисления в ограниченные временные сроки.
3. Игровые модели для консолидации ресурсов
Yan Sun и Nan Zhang в работе [13] представляют алгоритм краудфандинга для привлечения ресурсов в сеть. Чтобы обеспечить постоянный объем пула ресурсов, авторы разработали механизм стимулирования поставщиков, основанный на теории повторяющихся игр. Согласно разработанному алгоритму, брокер (локальный дата-центр) обеспечивает активным поставщикам (владельцам ресурсов) больший поток задач, в результате чего они имеют возможность увеличить свой доход а. Если задача завершена, то поставщик ресурсов получает дополнительный доход в (а < в), но несет издержки ф, а брокер получает доход 9 (9 > 0). Если задача не завершена, то доход брокера равен 0. Чтобы стимулировать владельцев ресурсов выполнять задачи до конца и вовремя, брокер заносит «нерадивого» владельца ресурсов в черный список и не предоставляет ему новых задач, лишая его дохода. Авторы разработали также триггерную стратегию в соответствии с концепцией повторяющейся игры с целью заставить владельцев ресурсов корректно выполнять задачи. Стратегия на стороне брокера: на первой стадии платить более высокое вознаграждение в*; если доход брокера всегда равен 9 на фазе (t - 1), то продолжать платить в*; в противном случае не платить вознаграждения, в* = 0. Стратегия на стороне поставщика: если доход выше а, принять задачу. Если доход на предыдущей (t - 1) фазе всегда равен в*, поставщик продолжает выполнять задачи на фазе t, в противном случае он задачу не выполняет. Показано, что эта комбинация стратегий представляет собой равновесие Нэша, совершенное на подиграх.
Авторы работы [14] предложили эффективную схему стимулирования пользователей предоставлять свои ресурсы для разгрузки серверов облака на основе теории некооперативных игр. Взаимодействие между серверами облака и устройствами, обладающими свободными ресурсами, формулируется как игра Штакельберга. На первом шаге облако назначает платеж. На втором шаге каждое устройство называет объем предоставляемых ресурсов, ориентируясь на величину платежа. Авторы
доказывают, что для предложенной ими схемы игры Штакельберга между облаком и устройствами существует равновесие Нэша и оно уникально. Был рассмотрен также более общий случай, когда устройство может присоединиться к общему пулу вычислительных ресурсов или покинуть его, и показано, как изменяется при этом равновесие, что очень важно для изучения динамики процесса разгрузки серверов облака. На основе полученных теоретических результатов авторы разработали два алгоритма разгрузки серверов и показали их эффективность с точки зрения уменьшения времени отклика.
Другие модели применения теории игр можно найти в работах [15-17].
4. Энергосбережение
Проблема энергосбережения важна для технических средств туманной сети, а для устройств интернета вещей она является едва ли не первостепенной.
В работе [18] авторы рассматривают задачу максимизации времени жизни облака мобильных устройств за счет перераспределения задач между устройствами. Такие задачи могут возникать при проведении группой людей аварийно-спасательных работ, в обстановке военных действий и чрезвычайных ситуаций, при управлении группой роботов. Рассмотрена сеть из n мобильных устройств, каждое из которых имеет запас энергии Еи и доступную вычислительную емкость С" в момент времени t. Каждое устройство и выполняет набор задач Тки, k = 1, ..., j. Каждая задача характеризуется временем жизни TTLTk и затратами энергии на вычисления Стк и на передачу данных DTk. Задачи независимы и могут выполняться одновременно. Етки,У обозначает ожидаемые затраты энергии на запуск задачи Тки на устройстве v. Эти затраты энергии являются функцией затрат на выполнение вычислений и на передачу данных в другой узел, и задача заключается в том, чтобы продлить время жизни сети путем распределения задач. Для оценки параметров задач авторы разработали специальную платформу, которая позволяет генерировать профили расхода энергии для различных запросов на выполнение вычислений и на передачу данных. Эта информация используется затем как входные данные для системы моделирования. Предложены различные алгоритмы распределения задач и исследованы различные структуры мобильного облака.
В работе [19] ставится задача нахождения компромисса между задержками и электропотреблением в среде туманно-облачных вычислений. Определены функции энергозатрат и задержек и составлена целевая функция задачи разделения нагрузки. Для ее решения применен метод декомпозиции, для чего поставленная задача разделена на три подзадачи, каждая из которых решается одним из известных методов оптимизации. Затем итерационно решается исходная задача.
В работе [20] авторы рассматривают взаимодействие туманной сети и облака с точки зрения удовлетворения требований по времени отклика с учетом выбросов углерода. Дата-центры облака разделены на две категории в зависимости от того, какую энергию они используют: возобновляемую -зеленые дата-центры, имеющие нулевые выбросы углерода, или традиционную - коричневые дата-центры с выбросами углерода, пропорциональными потребленной энергии. В облачные дата центры поступают запросы трех типов: обработка данных, хранение информации, программное обеспечение как сервис (PaaS, StaaS, SaaS), отличающиеся средним временем обслуживания. Рассматриваются различные стратегии маршрутизации запросов: «ближайший дата-центр», «ближайший зеленый дата-центр», «ближайший зеленый, но со штрафом». Последняя стратегия означает, что выбираемый зеленый центр находится дальше, чем ближайший коричневый, что будет оцениваться штрафом за увеличение длины пути. Трафик fog узлов рассматривается как марковский модулированный пуассо-новский поток. Основной результат, полученный авторами, состоит в том, что предложенный ими подход позволяет уменьшить как задержки обслуживания запросов, так и углеродный след облачных структур без значительного ухудшения производительности сети.
В работе [21] авторы рассмотрели взаимодействие между конечными пользователями и облаком, центры которого обладают источниками возобновляемой энергии, резервируемыми энергией из электросетей. Целью являлась минимизация общего потребления энергии, что достигается исполь-
зованием схемы миграции задач на основе учета стоимости миграции при обеспечении необходимого качества обслуживания задач.
В работе [22] авторы решают задачу разгрузки вычислений с мобильных периферийных устройств, где плотное развертывание точек радиодоступа обеспечивает высокую скорость доступа к вычислительным ресурсам туманной сети, но также увеличивает межсотовые помехи. Для совместной оптимизации использования радио- и вычислительных ресурсов сформулирована задача распределения нагрузки с целью минимизации энергопотребления мобильных станций при ограничениях по времени ожидания и по энергопотреблению. Для простейшего случая получен аналитический результат. Для более общего многопользовательского сценария разработаны централизованные и распределенные алгоритмы на основе методов последовательного выпуклого приближения с доказуемой сходимостью к локальным оптимальным решениям.
Анализ публикаций показывает, что вопросам энергосбережения уделяется все больше внимания. Во многих моделях решается как задача обеспечения необходимого времени отклика, так и минимизации расхода энергии.
Заключение
Организация взаимодействия устройств в сетевой среде интернета вещей на фоне постоянного развития технических средств и растущих потребностей подключаемых приложений требует дальнейших разработок в сфере управления и оптимизации функционирования сетевых и вычислительных ресурсов. Задачи управления ресурсами особенно актуальны для туманных и граничных сетей. Обзор публикаций, относящихся к этой области исследований, показывает, что авторы учитывают при разработке моделей как особенности устройств, обеспечивающих сервисы, в первую очередь разнотипность, мобильность, ограниченную энергоемкость, так и особенности потребителей сервисов, такие как высокие требования ко времени реакции и к надежности исполнения заявок. Формулировка целевых функций и выбор методов решения во многом зависят от особенностей конкретных приложений. Чаще всего задача решается как оптимизационная для доминирующего параметра при условии выполнения требований по другим характеристикам.
Первоочередными задачами управления ресурсами считаются в настоящее время поиск более эффективных схем стимулирования для объединения ресурсов, вопросы безопасности, надежности и доступности ресурсов, алгоритмы и модели энергосбережения, учет собственных затрат на реализацию процедур, решающих перечисленные задачи.
Потребность в решении этих задач велика и будет, без сомнения, продолжать расти.
ЛИТЕРАТУРА
1. Fernando N., Loke S.W., Rahayu W. Mobile cloud computing: a survey // Future Generation Computer Systems. 2013. V. 29,
No. 1. P. 84-106.
2. Ahmed A., Ahmed E. A survey on mobile edge computing // Proc. of the 10th Int. Conf. on Intelligent Systems and Control
(ISCO), IEEE. 2016. P. 1-8.
3. Liu H., Eldarrat F., Alqahtani H., Reznik A., de Foy X., Zhang Y. Mobile Edge Cloud System: Architectures, Challenges, and
Approaches // IEEE Systems Journal. 2017. V. 12 (3). Р. 2495-2508.
4. Gonzalez N., Goya W., Pereira R., Langona K., Silva E. et al. Fog computing: Data analytics and cloud distributed processing on
the network edges // Proc. of the 2016 35th Int. Conf. of the Chilean Computer Science Society (SCCC). 2016. P. 1-9.
5. Рябоконь В.В., Кузькин А.А., Тутов С.Ю., Махов А.С. Обзор угроз информационной безопасности в концепции гранич-
ных вычислений // Вестник Евразийской науки. 2018. № 3. URL: https://esj.today/PDF/79ITVN318.pdf (дата обращения: 12.08.2019).
6. Roman R., Lopez J., Mambo M. Mobile edge computing, Fog et al.: a survey and analysis of security threats and challenges //
Future Generation Computer Systems. 2018. V. 78, pt. 2. P. 680-698.
7. Aazam M., Zeadally S., Harras K.A. Offloading in fog computing for IoT: Review, enabling technologies, and research opportuni-
ties // Future Generation Computer Systems. 2018. V. 87, Oct. P. 278-289.
8. Sun Y., Lin F, Xu H. Multi-objective Optimization of Resource Scheduling in Fog Computing Using an Improved NSGA-II //
Wireless Personal Communications. 2018. V. 102 (2). P. 1369-1385.
9. Aazam M., Huh E. Fog computing micro datacenter based dynamic re-source estimation and pricing model for IoT // IEEE
29th Int. Conf. on Advanced Information Networking and Applications. 2015. P. 687-694.
10. Yousefpour A., Ishigaki G., Gour R., Jue J.P. On Reducing IoT Service Delay via Fog Offloading // IEEE Internet Things J. 2018. V. 5, is. 2. P. 998-1010.
11. Flicker C., Guillemin F., Robert P., Guilherme T. Analysis of an Of-floading Scheme for Data Centers in the Framework of Fog Computing. 2016. 8 р. URL: https://arxiv.org/pdf/1507.05746.pdf (accessed: 12.08.2019).
12. Клименко А.Б., Сафроненкова И.Б. Решение задачи распределения вычислительной нагрузки в средах туманных вычислений на базе онтологий // Известия ЮФУ. Технические науки. 2018. № 8. С. 83-94
13. Sun Y., Zhang N. A resource-sharing model based on a repeated game in fog computing // Saudi Journal of Biological Sciences, 2017. V. 24 (3). P. 687-694.
14. Liua Y., Xua C., Zhanb Y., Liuc Z., Guana J., Zhang H. Incentive mechanism for computation offloading using edge computing: a Stackelberg game approach // Computer Networks. 2017. V. 129, pt. 2. P. 399-409.
15. Cao Z, Zhang H., Liu B, Sheng B. A Game-theoretic Framework for Revenue Sharing in Edge-Cloud Computing System. 2018. 10 р. URL: https://arxiv.org/pdf/1711.10102.pdf (accessed: 12.08.2019).
16. Zhang H., Liu B., Susanto H., Xue G., Sun T. Incentive mechanism for proximity-based mobile crowd service systems // IEEE INFOCOM : The 35th Annual IEEE Int. Conf. on Computer Communications. 2016. P. 1-9.
17. Chen Y., Chen H., Yang S., Gao X., Guo Y., Wu F. Designing Incentive Mechanisms for Mobile Crowdsensing with Intermediaries // Wireless Communications and Mobile Computing. 2019. Article ID 8603526. 20 р. URL: https://doi.org/10.1155/ 2019/8603526 (accessed: 12.08.2019).
18. Mtibaa A., Fahim A., Harras K., Ammar M. Towards resource sharing in mobile device clouds: Power balancing across mobile devices // Proc. of the 2013 2nd ACM SIGCOMM Workshop on Mobile Cloud Computing, MCC 2013. P. 51-56.
19. Самуйлов К.Е. К построению модели разделения нагрузки в системе туманных вычислений // Информационные технологии и телекоммуникации. 2017. Т. 5, № 1. С. 8-14
20. Borylo P., Lason A., Rzasa J., Szymanski A., Jajszczyk A. Energy-aware fog and cloud interplay supported by wide area software defined networking // Proc. of the 2016 IEEE Inter. Conf. on Communications (ICC). 2016. P. 1-7.
21. Fan Q., Ansari N., Sun X. Energy Driven Avatar Migration in Green Cloudlet Networks // IEEE Communications Letters. 2017. V. 21, No. 7. P. 1601-1604.
22. Sardellitti S., Scutari G., Barbarossa S. Joint optimization of radio and computational resources for multicell mobile-edge computing // IEEE Transactions on Signal and Information Processing over Networks. 2015. V. 1, No. 2. P. 89-103.
Поступила в редакцию 12 августа 2019 г.
Petukhova N.V., Farkhadov M.P., Kachalov D.L. (2020) UNLOADING AND CONSOLIDATION OF COMPUTING RESOURCES IN THE ENVIRONMENT OF FOG AND BOUNDARY COMPUTING. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie vychislitelnaja tehnika i informatika [Tomsk State University Journal of Control and Computer Science]. 50. pp. 123-129
DOI: 10.17223/19988605/50/15
The article analyzes the management tasks in the fog and edge computing when requests of Internet of Things (IoT) devices are processing. The features of the managed objects are determined: the hardware heterogeneity, the mobility of resources, short response time, resource constraints, energy saving. Based on the review of publications over the past five years, the most urgent management problems in the fog and edge networks have been identified. These tasks include the routing of requests, resources offloading, the control of energy savings. The classification of the reasons for the transfer of tasks from one device to another is given. Examples of researches related to the problem of selecting a resource for service requests are given. Traditional models of resources and algorithms description are supplemented with new characteristics relevant to these networks. The example is an indicator of the instability of the presence of a resource in a fog or edge network. One more example is requests separating into two or more inputs with different characteristics, which is typical for many IoT applications. Power saving is the subject of many studies. Challenges are often a reflection of new realities. For example, the aim can be to distribute requests between the data centers in order to minimize the carbon footprint and to meet the requirements for response time. A specific problem is to attract resources to the common pool. Various algorithms are proposed based on game theory. The future priority tasks are listed in conclusion.
Keywords: internet of things; fog computing; edge computing; offloading; resource consolidation; power saving stochastic models; game theory.
PETUKHOVA Nina Vasilievna (Senior Researcher, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation). E-mail: nvpet@ipu.ru
FARKHADOV Mais Pasha (Doctor of Technical Sciences, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation). E-mail: mais@ipu.ru
KACHALOVDmitry Leonidovich (Post-graduate Student, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation). E-mail: comdcompdim@mail.ru
REFERENCES
1. Fernando, N., Loke, S.W. & Rahayu, W. (2013) Mobile cloud computing: a survey. Future Generation Computer Systems. 29(1).
pp. 84-106. DOI: 10.1016/j.future.2012.05.023
2. Ahmed, A. & Ahmed, E. (2016) A survey on mobile edge computing. Proc. of the 10th Int. Conf. on Intelligent Systems and
Control (ISCO). IEEE. pp. 1-8. DOI: 10.1109/ISC0.2016.7727082
3. Liu, H., Eldarrat, F., Alqahtani, H., Reznik, A., de Foy, X. & Zhang, Y. (2017) Mobile Edge Cloud System: Architectures,
Challenges, and Approaches. IEEE Systems Journal. pp. 1-14. DOI: 10.1109/JSYST.2017.2654119
4. Gonzalez, N., Goya, W., Pereira, R., Langona, K., Silva, E. et al. (2016) Fog computing: Data analytics and cloud distributed
processing on the network edges. Proc. of the 2016 35th Int. Conf. of the Chilean Computer Science Society (SCCC). pp. 1-9. DOI: 10.1109/SCCC.2016.7836028
5. Ryabokon, V.V., Kuzkin, A.A., Tutov, S.Yu. & Mahov, A.S. (2018) Review of information security threats in the concept of
edge computing. Vestnik Evraziyskoy nauki - The Eurasian Scientific Journal. 3(10). [Online] Available from: https://esj.today/PDF/79ITVN318.pdf (Accessed: 12th August 2019).
6. Roman, R., Lopez, J. & Mambo, M. (2018) Mobile edge computing, Fog et al.: a survey and analysis of security threats and
challenges. Future Generation Computer Systems. 78(2). pp. 680-698. DOI: 10.1016/j.future.2016.11.009
7. Aazam, M., Zeadally, S. & Harras, K.A. (2018) Offloading in fog computing for IoT: Review, enabling technologies, and research
opportunities. Future Generation Computer Systems. 87. pp. 278-289. DOI: 10.1016/j.future.2018.04.057
8. Sun, Y., Lin, F. & Xu, H. (2018) Multi-objective Optimization of Resource Scheduling in Fog Computing Using an Improved
NSGA-II. Wireless Personal Communications. 102(2). pp. 1369-1385. DOI: 10.1007/s11277-017-5200-5
9. Aazam, M. & Huh, E. (2015) Fog computing micro datacenter based dynamic re-source estimation and pricing model for IoT.
IEEE 29th Int. Conf. on Advanced Information Networking and Applications. pp. 687-694.
10. Yousefpour, A., Ishigaki, G., Gour, R. & Jue, J.P. (2018) On Reducing IoT Service Delay via Fog Offloading. IEEE Internet Things J. vol.5. issue 2. pp. 998-1010. DOI: 10.1109/JIOT.2017.2788802
11. Fricker, C., Guillemin, F., Robert, P &Guilherme, T. (2016) Analysis of an Of-floading Scheme for Data Centers in the Framework of Fog Computing. [Online] Available from: https://arxiv.org/pdf/1507.05746.pdf (Accessed: 12th August 2019).
12. Klimenko, A.B. & Safronenkova, I.B. (2018) Ontology based work-load allocation problem solving in fog computing environment. Izvestiya SFedU. Tekhnicheskie nauki - Izvestiya SFedU. Engineering Sciences. 8. pp. 83-94. DOI: 10.23683/2311-31032018-8-83-94.
13. Sun, Y. & Zhang, N. (2017) A resource-sharing model based on a repeated game in fog computing. Saudi Journal of Biological Sciences. 24(3). pp. 687-694. DOI: 10.1016/j.sjbs.2017.01.043
14. Liua, Y., Xua, C., Zhanb, Y., Liuc, Z., Guana, J. & Zhang, H. (2017) Incentive mechanism for computation offloading using edge computing: A Stackelberg game approach. Computer Networks. 129(2). pp. 399-409. DOI: 10.1016/j.comnet.2017.03.015
15. Cao, Z., Zhang, H., Liu, B. & Sheng, B. (2018) A Game-theoretic Framework for Revenue Sharing in Edge-Cloud Computing System. Pages 10. [Online] Available from: https://arxiv.org/pdf/1711.10102.pdf
16. Zhang, H., Liu, B., Susanto, H., Xue, G. & Sun, T. (2016) Incentive mechanism for proximity-based mobile crowd service systems. In IEEE INFOCOM. The 35th Annual IEEE International Conference on Computer Communications. pp. 1-9. DOI: 10.11 09/INFOCOM.20 16.7524549
17. Chen, Y., Chen, H., Yang, S., Gao, X., Guo, Y. & Wu, F. (2019) Designing Incentive Mechanisms for Mobile Crowdsensing with Intermediaries. Wireless Communications and Mobile Computing. Article ID 8603526. DOI: 10.1155/2019/8603526
18. Mtibaa, A., Fahim, A., Harras, K. & Ammar, M. (2013) Towards resource sharing in mobile device clouds: Power balancing across mobile devices. Proc. of the 2013 2nd ACM SIGCOMM Workshop on Mobile Cloud Computing, MCC-2013. pp. 51-56. DOI: 10.1145/2534169.2491276
19. Samuylov, K. (2017) On the Construction of Workload Allocation Model in Fog Computing System. Informatsionnye tekhno-logii i telekommunikatsii. 5(1). pp. 8-14.
20. Borylo, P., Lason, A., Rzasa, J., Szymanski, A. & Jajszczyk, A. (2016) Energy-aware fog and cloud interplay supported by wide area software defined networking. Proc. of the 2016 IEEE Int. Conf. on Communications (ICC). pp. 1-7. DOI: 10.1109/ICC.2016.7511451
21. Fan, Q., Ansari, N. & Sun, X. (2017) Energy Driven Avatar Migration in Green Cloudlet Networks. IEEE Communications Letters. 21(7). pp. 1601-1604. DOI: 10.1109/LCOMM.2017.2684812
22. Sardellitti, S., Scutari, G. & Barbarossa, S. (2015) Joint optimization of radio and computational resources for multicell mobile-edge computing. IEEE Transactions on Signal and Information Processing over Networks. 1(2). pp. 89-103.
