CC BY
38ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ПЕРЕДАЧИ МУЛЬТИМЕДИА КОНТЕНТА ДЛЯ ПРИЛОЖЕНИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ НА БАЗЕ БЕСПРОВОДНОЙ СЕНСОРНОЙ СЕТИ
Ч.З. Динь1, Р.В. Киричек1, А.Е. Кучерявый1, М.А. Маколкина1*
^анкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, 193232, Российская Федерация *Адрес для переписки: makolkina@list.ru
Информация о статье
УДК 654.027
Язык статьи - русский
Ссылка для цитирования: Динь Ч.З., Киричек Р.В., Кучерявый А.Е., Маколкина М.А. Экспериментальное исследование передачи мультимедиа контента для приложений дополненной реальности на базе беспроводной сенсорной сети // Труды учебных заведений связи. 2019. Т. 5. № 2. С. 76-87. DOI:10.31854/1813-324X-2019-5-2-76-87
Аннотация: В статье представлены результаты экспериментального исследования передачи мультимедиа контента для приложений дополненной реальности на базе беспроводной сенсорной сети. В качестве технологии передачи данных в беспроводной сенсорной сети рассматриваются IEEE 802.15.4 и протокол ZigBee, а также IEEE 802.11. Выбор данных технологий позволяет обеспечить взаимодействие устройств интернета вещей между собой с возможностью самоорганизации и доставки данных для приложений дополненной реальности путем ретрансляции через промежуточные узлы. В первой части статьи экспериментально выявляются особенности передачи голоса и изображений через фрагмент сети. При передаче голоса рассматриваются различные языки и определяется качество восприятия на приемной стороне. Во второй части статьи экспериментально выявляются особенности передачи данных через промежуточные узлы, для этой цели используется натурное и имитационное моделирование. На основе проведенного исследования и последующего анализа представлены зависимости параметров функционирования сети от количества узлов в сети и количества переходов.
Ключевые слова: дополненная реальность, интернет вещей, самоорганизующаяся сеть, mesh-network, мультимедиа трафик, ZigBee, WiFi, QoS, QoE.
Введение
В настоящее время одним из движущих факторов в модернизации современных сетей связи является переход к сценариям взаимодействия в рамках сетей связи пятого поколения 5G/IMT-2020 [1, 2]. Сети пятого поколения предполагают сценарии, на базе которых должна обеспечиваться бесшовная связь между устройствами и приложениями интернета вещей [3]. Одним из таких сценариев является взаимодействие устройств интернета вещей между собой в структуре самоорганизующейся сети. Самоорганизующиеся сети, как правило, имеют ячеистую топологию и позволяют обеспечить доставку данных от узла к узлу путем построения маршрута до места назначения. Ввиду того, что согласно эталонной архитектуре построения Умных городов должен обеспечиваться непрерывный мониторинг различных объектов городской инфраструктуры с возможностью полу-
чения данных с датчиков, возникает возможность использования ячеистой топологии для организации сети сбора данных с таких объектов, а также доставки их в приложения дополненной реальности для большей информативности [4]. Оконечные устройства интернета вещей собирают данные датчиков, установленных на тех или иных объектах, отправляют их на сервер для дальнейшей обработки. Ввиду того, что каждый фрагмент сети, обработка на сервере, отправка в приложение дополненной реальности вносит соответствующую сетевую задержку, предлагается оптимизировать данный процесс путем использования узлов обслуживания приложений (Application Point), которые будут располагаться в непосредственной близости к пользователю и сети сбора данных.
В настоящее время существуют различные технологии и протоколы, на базе которых могут строиться самоорганизующиеся сети. Наиболее извест-
ны и распространены такие, как ZigBee, WiFi, Bluetooth. Они ориентированы на работу в нелицензи-руемых участках радиочастотного спектра, а отличаются друг от друга рядом параметров, например, такими, как пропускная способность и энергопотребление. Поэтому каждая из этих технологий может использоваться для решения определенных прикладных задач, имеющих различные требования к параметрам функционирования сети.
Далее мы рассмотрим более подробно функционирование сетей, построенных с использованием двух технологий: ZigBee и WiFi. Такой выбор обусловлен тем, что они наиболее существенно отличаются параметрами пропускной способности и энергопотребления.
Устройства на технологии ZigBee достаточно широко распространены и имеют полную реализацию стека протоколов и программную поддержку построения самоорганизующейся беспроводной сенсорной сети. Поэтому рассмотрим данную технологию на примере реальной сети, приведем результаты натурного моделирования.
Устройства на базе технологии WiFi также широко распространены, однако для построения беспроводных сенсорных сетей они применяются реже из-за относительно большего энергопотребления, поэтому у авторов на данный момент не было полной реализации стека протоколов самоорганизующейся сети. Для этой технологии результаты получены методом имитационного моделирования.
Оценка параметров качества передачи изображения и речи поверх протокола ZigBee в режиме прозрачного канала
В настоящее время большой популярностью пользуются сети с низким энергопотреблением и потерями (LLN, от англ. Low-Power and Lossy Networks) [5], которые открывают перед пользователями широкие функциональные возможности, а именно - самоорганизация, низкая стоимость, простое развертывание. Топология сетей предполагает следующие реализации: точка-точка (между устройствами внутри LLN-сети), точка-многоточие (от головного узла-шлюза до подмножества оконечных устройств внутри LLN-сети), и многоточие-точка (от устройства внутри LLN-сети к головному узлу-шлюзу).
Несмотря на все их достоинства, также имеются и ограничения: низкая скорость передачи, высокие потери данных, нестабильность. При построении таких сетей также необходимо учитывать эти недостатки.
Наиболее распространенной реализацией LLN-сетей является спецификация ZigBee [6], которая позволяет создавать самоорганизующиеся сети [7] с ячеистыми топологиями, представленными на рисунке 1, и низкой стоимостью, передающие не-
большие объемы информации, и, характеризующиеся низким энергопотреблением.
Когда речь идет о беспроводных сенсорных сетях, под самоорганизацией понимается автоматический выбор топологии сети, автоматическое подключение новых устройств к сети, автоматический выбор маршрутов передачи пакетов в сети без участия человека, это одна из характерных сторон спецификации ZigBee. В рамках этой спецификации выпущено большое количество публикаций по применению в концепции интернета вещей [8, 9], и выделяется как следующий этап в эволюции в области беспроводных сенсорных сетей [10] и является составляющей сетей связи в рамках концепции Интернета Вещей [11, 12].
Рис. 1. Топологии ZigBee
Помимо этого, проводится множество исследований по применению этой технологии в летающих сенсорных сетях [13], что позволит в полной мере реализовать ее функционал исходя из различных типов устройств ZigBee.
Согласно спецификации [14] сети ZigBee строятся из базовых станций трех основных типов: координаторов, маршрутизаторов и конечных устройств. Координатор генерирует сеть, формирует и выполняет функции центра управления сетью и доверительного центра - устанавливает политику безопасности, задает настройки в процессе присоединения устройств к сети, ведает ключами безопасности. Маршрутизатор, в свою очередь, транслирует пакеты, осуществляет динамическую маршрутизацию, восстанавливает маршруты при перегрузках в сети или отказе какого-либо устройства; маршрутизатор может обслуживать до 32 «спящих устройств». Конечное устройство может принимать и отправлять пакеты, но не занимается их трансляцией и маршрутизацией. Конечные устройства могут подключаться к координатору или маршрутизатору, но не могут иметь дочерних устройств. Также они могут переводиться в спящий режим для экономии заряда аккумуляторов.
Разработчиками этой спецификации преследовалась цель по передаче небольших объемов данных, преимущественно текстовых и нечувствительных к задержкам. Несмотря на это, была поставлена цель проанализировать возможности передачи мультимедиа трафика с надлежащим качеством по сети ZigBee. Исследование возможностей передачи таких данных, как голос, видео, изображение позволит расширить спектр услуг для конечных пользователей на базе сетей WPAN. Для достижения поставленной цели, согласно Рекомендациям МСЭ [15], были выделены следующие задачи:
- изучение существующих алгоритмов и способов передачи данных через сети LLN;
- разработка лабораторного стенда для исследования;
- проведение эксперимента по передаче изображения;
- проведение эксперимента по передаче голоса;
- оценка качества передачи голоса и изображения субъективным методом оценки качества восприятия.
Известно, что существуют уже разработанные решения для передачи голоса через канал ZigBee, и проведены исследования, но, во-первых, коммерческие разработки выполнены под определенное аппаратное обеспечение и не являются универсальной технологией, во-вторых, исследования не предполагали оценку качества передачи согласно имеющимся стандартам.
Для практической реализации и проведения экспериментов был собран испытательный лабораторный стенд на основе отладочных комплектов фирмы Silicon Labs, в основе которых лежат ZigBee модули Telegesis. Было выбрано два устройства ETRX3, удовлетворяющие условиям исследования, которые позволяют управлять сетью через АТ-команды и быстро установить соединение через асинхронный приемопередатчик (UART, от англ. Universal Asynchronous Receiver-Transmitter). Так как поставлена задача передать голос и изображение, то стенды будут отличаться своими компонентами, кроме основного компонента исследования - сети ZigBee. Между двумя компьютерами была установлена беспроводная сеть, которая имитировала собой прозрачный канал. Схема лабораторного стенда для передачи изображения представлена на рисунке 2.
В качестве исходных данных было выбрано изображение размером 37 Кбайт, очевидно, что разрешение у картинки небольшое, но оно более чем достаточное, чтобы распознать объекты и проанализировать их действия. После срабатывания сенсора, информация поступает на модуль ZigBee ETRX3. Изображение потом передается на координатор посредством беспроводной сети. При необходимости возможна дальнейшая передача на компьютер через UART-интерфейс, который рабо-
тает на скорости 115200 бит/с, используя аппаратный контроль потока.
идет идет
Прозрачный канал Рис. 2. Схема лабораторного стенда для передачи изображения
Модули ETRX3 позволяют передавать данные двумя способами. Первый способ имеет название AT+DMODE и имитирует работу прозрачного канала. В рамках этого способа данные передаются потоком без подтверждения передачи, благодаря чему достигается более высокая скорость передачи данных, а именно 12,7 Кбит/с. Второй способ передачи позволяет нумеровать пакеты и подтверждает корректное получение данных, что помогает восстановить потерянные части и называется AT+SCASTB. Поскольку при передаче изображения необходимо учитывать такие показатели качества восприятия, как задержки и потери, был выбран второй способ передачи - AT+SCASTB. В случае возникновения потери, произойдет не полная передача данных, и результирующее изображение будет повреждено и, как следствие, не будет отображаться. AT+SCASTB позволяет транслировать данные с маршрутизатора на координатор, заданный в сети как Sink. Это модуль в сети ZigBee, который выполняет функции приема всех транслируемых по сети данных и передает их на асинхронный приемопередатчик. При использовании способа AT+SCASTB удалось корректно передавать данные и получать изображение без искажений, но скорость данного способа гораздо меньше первого и составляет 7,5 Кбит/с. Исходное изображение удалось передать за 39 с.
Следующии эксперимент был направлен на передачу голоса по сети ZigBee, схема стенда для передачи голоса представлена на рисунке 3.
UART UART
Прозрачный канал
Рис. 3. Схема лабораторного стенда для передачи голоса
Задачей этого эксперимента было передать голос в реальном времени. Параметры проведения опыта те же самые, как и в предыдущем случае, но в этом стенде задействованы микрофон для входных данных - речи, и громкоговоритель, для вывода информации. Каждый эксперимент проводился по 15 с, испытуемый говорил в микрофон на разных языках, голос передавался на аналого-цифровой преобразователь, а затем переводился в PCM-формат. Способом передачи данных был выбран AT+DMODE, потому что трафик данного вида не чувствителен к небольшим потерям, а больше
зависим от скорости передачи и задержек. Была выбрана частота дискретизации 8000 Гц с квантованием 8 бит, буфер передачи отправлял данные каждые 10 мс. Таким образом, один пакет вмещал 80 бит. Данные характеристики гарантировали низкое качество звука, и, более того, собрать на приемной стороне полноценное аудио для вывода не удалось. Поэтому было решено задействовать кодек: выбран алгоритм сжатия с потерями A-Law, соответствующий стандарту G.711 [16]. Благодаря компрессии трафика удалось увеличить квантование до 16 бит, чтобы заполнить каждый пакет по 80 бит. После перевода в РСМ-формат на передающей стороне трафик сжимался и затем передавался по прозрачному каналу. Приемная сторона восстанавливала данные и выводила на громкоговоритель, где ассистент оценивал качество результата.
Одной из важных проблем, связанной с реализацией сетевых решений, является обеспечение качества обслуживания для каждой услуги, причем требования к параметрам передачи по сети специфические для разных приложений и типов трафика. В рекомендации 1ТЫ-Т Y.1540 [17] выделены следующие сетевые характеристики как наиболее важные с точки зрения степени их влияния на качество обслуживания:
- пропускная способность;
- надежность сети/сетевых элементов;
- задержка (мс) и джиттер задержки;
- величина потерь (%);
- живучесть сети - возможность сохранения работоспособности сети при выходе из строя отдельных элементов.
В рамках данного исследования производится анализ влияния сетевых характеристик на качество передачи изображения и голоса, согласно имеющимся рекомендациям [18], через беспроводную сенсорную сеть. Это позволит определить дальнейшую целесообразность использования спецификации ZigBee для передачи мультимедийного трафика в подобных технологиях.
Наибольший интерес представляет передача изображения, поскольку на сегодняшний день большинство сервисов ориентировано на визуализацию информации. А повсеместное использование сенсорных сетей позволяет предположить, что в скором времени передача изображения в сетях ZigBee станет обыденным делом. Например, если сработал датчик движения на удаленном участке, охраняемом объекте или даче, то пользователю будет удобно получить изображение, показывающее, что или кто вызвал срабатывание. Если это пробежала лиса или другое животное - нет необходимости вызывать специальные службы.
Очевидно, что в существующих сенсорных сетях передать изображение или видео с приемлемыми показателями качества обслуживания проблема-
тично. Но для реализации определенных приложений, например, «умная инфраструктура», значений данных показателей будет достаточно.
Для оценки качества передачи изображения и голоса была выбрана методика, предложенная в Рекомендации МСЭ-Т Р.913 [19]. В качестве субъективного метода оценки - метод ACR (от англ. Absolute Category Rating), подробно описанный в Рекомендации МСЭ-Т Р.910 [20]. Данный метод использует категориальные оценки. Тестовая последовательность представляется один раз и оценивается по установленной шкале оценок. Преимуществом метода ACR является способность оценивать только принятую последовательность у получателя, не имея эталонной, что позволяет приблизиться к реальным условиям работы сети и оценкам конечных пользователей [21].
В ходе эксперимента оценивались такие параметры, как скорость передачи, количество потерь, степень распознавания речи на разных языках. Оценку проводили четыре эксперта, продолжительность разговора составляла 15 с. Всего проводилось по 5 экспериментов на каждый язык. Решение проводить эксперименты по передачи речи, используя отрывки на разных языках, было принято исходя из того факта, что по качеству речи к каждому языку предъявляются разные требования. Субъективная оценка может отличаться от одного языка к другому, в силу того, что языки отличаются по звучанию: какие-то более мелодичные, какие-то более четкие и легки для распознавания и понимания и т. д. Именно поэтому эксперименты проводились на: русском, английском, французском, арабском и белорусском языках. Чтобы снизить вероятность выставления более низкой оценки экспертом для иностранной речи, в состав экспертной группы входил, как минимум, один носитель каждого из языков. Экспертные оценки определяются в соответствии со следующей пятибалльной шкалой: 5 - отлично; 4 - хорошо; 3 - приемлемо; 2 - плохо; 1 - неприемлемо.
Первый этап анализа результатов - это вычисление средней оценки для каждой демонстрации по формуле (1):
- -IV
ujkr N £ ^ uijkr i = 1
(1)
В таблице 1 представлен пример оценки 1 фрагмента речи на русском языке группой экспертов по пятибалльной шкале, а в таблице 2 - на английском языке.
Как видно, результаты оценки фрагмента на английском языке выше, чем на русском при приблизительно равных условиях передачи. Это связано с субъективным восприятием информации экспертами. В группе экспертов находились иностранные студенты, которым воспринимать английский язык привычнее, поэтому и наблюдалась
некоторая тенденция завышения оценок, обусловленная человеческими особенностями.
ТАБЛИЦА 1. Результаты оценки фрагмента речи на русском языке
№ эксперимента Технические характеристики ACR-оценки
Эксперты
Средние потери, % Средняя скорость, Бит/с 1 2 3 4
1 10,73 389 3,5 4 3,5 3,5
2 13,45 365 3 3,5 3,5 3
3 10,22 422 3 3,5 3 4
4 11,47 370 3 3 3,5 3
5 11,34 369 2,5 3 2,5 3
Среднее 11,44 383,00 3,00 3,40 3,20 3,30
ТАБЛИЦА 2. Результаты оценки фрагмента речи на английском языке
№ эксперимента Технические характеристики ACR-оценки
Эксперты
Средние потери, % Средняя скорость, Бит/с 1 2 3 4
1 11,45 353 3 3 3,5 3
2 12,04 312 2,5 3 3 3
3 10,12 412 3,5 4 3,5 4
4 11,34 368 3,5 3,5 3,5 3,5
5 12,28 302 3 3 2,5 3
Среднее 11,45 349,00 3,10 3,30 3,20 3,30
Для дальнейшей обработки первоначальных данных рассчитан доверительный интервал 5 по формуле (2), который получен из стандартного отклонения 5 оценок и размера каждой выборки, согласно Рекомендации МСЭ ВТ.500-13 [15]:
где
5
8ikr = 1,96^=,
Jkr , VF
_ lyN (ujkr-uijkr) jkr = ^¡Lí=i
(2)
Результаты расчетов для русского, английского, французского, арабского и белорусского языков объединены в таблицу 3.
Таблица 3. Сводные результаты расчетов по всем языкам
Язык Оценка Потери, % Скорость, Бит/с Доверительный интервал
Русский 3,23 11,44 383,00 (3,04; 3,40)
Английский 3,23 11,45 349,40 (3,04; 3,40)
Французский 3,35 11,47 348,10 (3,22; 3,48)
Арабский 3,0 11,13 331,00 (2,81; 3,19)
Белорусский 3,2 11,27 352,20 (3,04; 3,36)
Оценка субъективными методами проводилась для исследования взаимосвязи между объективными показателями, характеризующими работу сети и субъективным восприятием информации пользователями в зависимости от возникающих искажений при передаче. Для наглядного отображения полученных результатов используем аппроксимацию логистической кривой [22], исходя из функции:
5
а =--7-7-.
1 + е в
Результат представлен на рисунке 4.
,1 5,5
ш 1-^ 5
тс
8 4,5
5
6 4
о;
£ 3,5
0 ' ш _
£ 3
£¡ 2,5
1 2
1 10 100
Количество эксперимента Рис. 4. Аппроксимация логистической кривой
Следующим шагом в анализе было определение взаимосвязи между получившимися результатами. Для установления степени взаимосвязи субъективных оценок качества передачи, как с потерями, так и скоростью передачи рассчитаем коэффициент корреляции. Исходя из того, что коэффициент корреляции между субъективной оценкой и потерями 0,904, а субъективной оценкой и между скоростью передачи - 0,318, можно сделать вывод, что оценки больше зависят от количества потерянных пакетов, нежели от скорости передачи по сети ZigBee.
По результатам проведенного исследования можно сделать следующие выводы.
1) В связи с небольшой скоростью передачи и высокими потерями, качество передачи голоса значительно уступает качеству традиционных сетей связи. Большее влияние на качество передачи голоса по сети ZigBee оказывает уровень потерь пакетов.
2) На данный момент передача потокового видео по сети ZigBee проблематична по причине нехватки ширины полосы пропускания канала. Возможна передача изображения невысокого разрешения, предъявляющего небольшие требования по задержке и джиттеру.
3) При сжатии голоса, с применением кодеков, работающих с потерей полезной информации, увеличивается вероятность доставки пакета по сети, но при потере пакета при передаче по сети, теряется большой сегмент полезной информации. Выбор кодека с улучшенным алгоритмом сжатия позволит улучшить результаты.
и
Экспериментальное исследование передачи мультимедиа контента для приложений дополненной реальности на базе беспроводной сенсорной сети
Взаимодействие элементов лабораторного стенда
Перед разработкой лабораторного стенда была описана последовательность взаимодействия элементов. Существующие на сегодняшний день решения для приложений дополненной реальности предполагают формирование запроса для вывода вспомогательного слоя информации на базе видеоаналитики. Это возможно благодаря наличию у смартфона или очков внешней камеры, которая делает снимок и в реальном времени формирует запрос в базу данных. Предложенное решение имеет ряд существенных ограничений ввиду того, что на удалении более 10 м, а также в ночное время видеоаналитика работает, как правило, некорректно и не позволяет достоверно считывать информацию и производить видеомониторинг.
Предлагаемый ниже подход принципиально отличается от существующих решений тем, что для вывода информации об объекте используется непосредственное получение информации от этого объекта по сети.
Клиент приложения дополненной реальности: традиционно приложения дополненной реальности разрабатываются для мобильных устройств (смартфона, смарт-очков и др.). В ситуации, когда приложение хочет получить информацию о том или ином объекте, оно формирует и отправляет запрос к ближайшему узлу обслуживания приложения (Application Point). Через беспроводную точку доступа на базе технологии WiFi мобильное устройство подключается к узлу обслуживания приложения.
Узел обслуживания приложения дополненной реальности: данный узел осуществляет взаимодействие с элементами системы и поддерживает протокольное взаимодействие. Узел обслуживается по принципу «издатель-подписчик», т. е. клиент подписывается на каналы предоставления информации объектов; клиент может получить данные от объектов, когда приложение дополненной реальности формирует запрос и ожидает данные для формирования слоя визуализации. Оконечные устройства беспроводной сенсорной сети, функционирующие как издатели, отправляют собираемые данные по этим каналам. Таким образом, информация об объектах может быть предоставлена клиенту (приложению дополненной реальности) так быстро, как это возможно.
Беспроводная сенсорная сеть для сбора данных: как говорилось ранее, в качестве самоорганизующейся сети рассматривается сеть с поддержкой протокола ZigBee. Оконечные устройства Zigbee оснащены различными датчиками, а также содержат информацию о самом объекте. Собираемые
данные с заданной периодичностью отправляются к шлюзу или по запросу клиента. После этого шлюз перенаправляет запросы к облачному сервису и узлу обслуживания приложения.
На рисунке 5 изображена схема лабораторного стенда.
ZigBee Gateway
WSN - ZigBee Node Рис. 5. Структура лабораторного стенда Аппаратное обеспечение
В качестве устройства дополненной реальности используется смартфон Xiaomi Redmi 6A/2 с Android 8.х, который периодически формировал и отправлял запросы к узлу обслуживания приложения.
Роль узла обслуживания приложения выполнял персональный компьютер, который был подключен к облачному сервису и шлюзу сети сбора данных.
В качестве маршрутизаторов и оконечных устройств ZigBee использовались отладочные платы EM35xx Development Kit, представленные на рисунке 6.
Рис. 6. Отладочная плата EM35xx
Оконечное устройство ZigBee могло взаимодействовать с другим контроллером с использованием соединения USB-UART. При проведении экспериментов оконечное устройство подключалось к ноутбуку, на котором была запущена программа генерации данных датчиков. В качестве шлюза ZigBee использовался USB-шлюз ETRX3 Series ZigBee Module, подключаемый к ноутбуку, который взаимодействует с основным облаком, а также с узлом обслуживания приложения дополненной реальности.
Программное обеспечение
На смартфоне запускалось приложение дополненной реальности, разработанное для операционной системы Android 8.х, которое подключалось к узлу обслуживания приложений через беспроводную точку доступа WiFi и периодически отправляло запрос для получения информации от объектов. Для дальнейшего исследования качества обслуживания предоставляемой услуги, приложение записывало моменты времени отправки запроса и получения ответа. На узле обслуживания приложения запускался сервер, который работал по принципу «издатель-подписчик». Для шлюза ZigBee использовалась программа, написанная на Python. Программа осуществляла управление USB-шлюзом на базе AT-команд через адаптер USB-UART. Принцип работы программы заключался в следующем: шлюз получает данные датчиков и перенаправляет их к облачному сервису и узлу обслуживания приложения. Однако шлюз получает запросы из узла обслуживания приложения (от клиента) и перенаправляет их к конечным узлам. После этого шлюз получает ответы оконечных устройств и перенаправляет их к узлу обслуживания приложения, чтобы предоставить их непосредственно клиенту.
Для оконечного устройства запускается программа, разработанная на языке программирования Python. Она управляет модулем ZigBee с помощью AT-команд через адаптер USB-UART. Программа работает с учетом того, что данные датчиков периодически генерируются и отправляются к шлюзу, однако оконечное устройство отвечает на запросы, когда оно получает их от шлюза (т. е. из клиента).
Сценарии экспериментального исследования
Для оценки качества обслуживания рассматривается время ожидания ответа после формирования и отправки запроса от приложения дополненной реальности. Процесс обслуживания изображен на рисунке 7.
AR Client
App. Point
Gateway
Sensor Node
REQ REQ -» REQ
Response
Response <- -> Response
<-
1 Round-Trip Time
Рис. 7. Процедура запроса и ответа
Вначале приложение дополненной реальности отправляет запрос к узлу обслуживания, далее узел обслуживания передает этот запрос к шлюзу сети сбора данных, а шлюз перенаправляет запрос к оконечному сенсорному узлу. После получения за-
проса сенсорный узел посылает ответ к шлюзу, который направляет его к узлу обслуживания, а он, в свою очередь, передает этот ответ к клиенту приложения дополненной реальности.
Согласно структуре лабораторного стенда можно наблюдать, что фрагмент беспроводной сенсорной сети имеет большое влияние на время предоставления данных к клиенту. Как было описано выше, ячеистая топология сети ZigBee вносит задержку и влияет на процесс передачи данных, поэтому при рассмотрении этого сценария необходимо учитывать характеристики сети, такие как плотности узлов и количество пройденных маршрутизаторов. В этой связи, для экспериментов была развернута сеть ZigBee, соответствующая двум сценариям проведения экспериментов.
Первый сценарий заключается в том, что рассматривается влияние плотности сети на круговую задержку доставки данных для приложений дополненной реальности. В этом сценарии количество узлов в сети увеличивается на каждой стадии эксперимента, при этом времена формирования и отправки запроса и получения ответа фиксируется в соответствующий лог-файл. Распределение узлов в сети изображено на рисунке 8.
AR Application
ZigBee Gateway
ZigBee Routers ZigBee Devices
Рис. 8. Распределение узлов в сети (увеличение плотности сети)
Второй сценарий рассматривает увеличение количества маршрутизаторов между шлюзом и оконечным узлом, т. е. количество переходов для каждого пакета увеличивается. Распределение маршрутизаторов в сети изображено на рисунке 9.
AR Application
ZigBee Gateway
ZigBee Routers
ZigBee Devices
Рис. 9. Распределение узлов в сети (увеличение количества маршрутизаторов)
Для записи времени отправки запроса и получения соответствующего ответа, приложение дополненной реальности формирует и отправляет запрос с номером, например, «Request 1», и время отправки сохраняется в файле для дальнейшей обработки. Далее если сенсорный узел получает «Re-quest 1», то он отвечает соответствующим ответом «Response 1». Когда приложение дополненной реальности получает ответ «Response 1», оно записывает время получения ответа в файл. После каждого эксперимента формируется два файла записи
времени отправки и получения с сообщениями какого запроса и ответа. Таким образом, возможно вычислить круговую задержку между клиентом дополненной реальности и сенсорным узлом. Анализ результатов экспериментов
Для первого сценария была получена круговая задержка, которая изменяется при увеличении количества улов в сети. Результаты экспериментов по первому сценарию представлены на рисунке 10.
Количество узлов в сети Рис. 10. Влияние плотности сети на RTT
Чем больше количество узлов в сети, тем больше время задержки. Высокая плотность сети предполагает, что будет занято больше каналов или в результате одновременного обращения к среде передачи будет происходить коллизия. Следовательно, сообщения могут быть задержаны при передаче между шлюзом и оконечным узлом.
Во втором сценарии было рассмотрено количество пройденных маршрутизаторов. При этом каждый запрос и ответ проходил через всю цепочку маршрутизаторов. Соответственно, круговая задержка должна увеличиваться с увеличением количества маршрутизаторов. Зависимость круговой задержки от количества переходов (хопов) для второго сценария приведена на рисунке 11. Согласно данным можно увидеть, что круговая задержка увеличивается с ростом количества маршрутизаторов между шлюзом и конечным узлом.
Количество хопов
Рис. 11. Влияние количества маршрутизаторов на RTT
По результатам измерения задержки мы видим, что если приложение передает запрос к конечному узлу и ожидает ответ от него, то такая круговая задержка является существенной и негативно сказывается на качестве восприятия. Для оптимизации данного подхода целесообразно кэшировать собираемые данные. Данные могут быть сохранены на узле или получены по запросу к облачному
сервису, на котором все данные датчиков сохраняются. В таком случае, когда приложение дополненной реальности подключается к узлу обслуживания, то информации о соответствующих объектах сразу отправляются к нему, обеспечивая лучшее качество восприятия.
Экспериментальное исследование передачи мультимедиа контента для приложений дополненной реальности на базе беспроводной сети стандарта WiFi (IEEE 802.11)
Наряду с технологией ZigBee для построения беспроводных сенсорных сетей могут быть использованы и другие технологии беспроводной связи. В частности, наибольшее распространение в настоящее время, получили стандарты WiFi и Bluetooth. Они также позволяют организовать сеть ячеистой структуры mesh или Ad Hoc. Их особенность состоит в потенциально большей полосе пропускания канала, по сравнению с технологией ZigBee. Это дает возможность существенно сократить время доставки сообщений. Использование этих технологий также привлекательно тем, что их поддерживает большинство современных пользовательских устройств. Это дает возможность взаимодействовать с терминалом дополненной реальности напрямую, минуя шлюз. Также существуют решения для построения самоорганизующихся сетей на базе данных технологий.
Выберем для сравнения технологию WiFi и проведем исследование ее потенциальных возможностей в Ad Hoc. Для исследования будем использовать систему имитационного моделирования OMNeT++.
Модель исследуемой сети
Будем рассматривать построение модельной сети в двумерной зоне обслуживания, представляющей собой квадрат со стороной 600 м. Выбор размеров области обслуживания произведен исходя из усредненных оценок географических параметров наиболее посещаемых мест (скверы, зоны отдыха, вокзалы, кампусы и т. д.). Количество узлов сети будем изменять в зависимости от цели эксперимента. Каждый из узлов сети оснащен трансивером WiFi и может выполнять функции, как оконечного, так и транзитного узла. Конкретная функциональность узла определяется целью эксперимента.
Будем рассматривать случай, когда узлы сети неподвижны в зоне обслуживания. В качестве транспортного уровня будем рассматривать использование протоколов TCP и UDP.
Результаты имитационных экспериментов
Будем исследовать зависимость основных параметров качества обслуживания трафика, таких как пропускная способность, время доставки сообщений и вероятность потерь пакетов от конфигурации сети и интенсивности трафика.
1) Зависимость пропускной способности от количества транзитов.
В общем случае длина маршрута зависит от особенностей конкретной сети и в практических приложениях может составлять до десятка транзитных участков. Рассмотрим модель сети, в которой имеются два оконечных узла, один из которых исполняет роль сервера, а второй - клиента. Клиент производит передачу данных в виде файла серверу под управлением протокола TCP. Поскольку данный протокол обеспечивает гарантированную доставку и производит передачу данных на скорости близкой к максимально достижимой - пропускной способности, то будем оценивать величину последней на основе анализа достижимой скорости передачи данных между клиентом и сервером. Маршрут между клиентом и сервером будет содержать несколько транзитных участков.
В таблице 4 приведены результаты имитационных экспериментов. В ходе экспериментов производилась регистрация исходящего трафика клиента и входящего трафика сервера.
ТАБЛИЦА 4. Зависимость параметров трафика от количества транзитов
Количество транзитов Интенсивность трафика (клиент), Мбит/с Интенсивность трафика (сервер), Мбит/с RTT, мс
0 8,8 8,8 7,3
1 9,4 4,7 13,6
2 7,3 3,3 19,5
3 7,0 2,9 22,3
4 6,6 2,8 23,2
5 6,2 2,7 24,3
6 6,1 2,6 25,0
7 5,9 2,5 25,5
8 5,7 2,5 25,8
9 5,7 2,5 26,1
10 5,5 2,4 26,5
11 5,2 2,4 27,0
На рисунке 12 приведена зависимость пропускной способности от количества транзитных узлов в маршруте, построенная по данным таблицы 4.
10,0
9,0
ю 8,0
7,0
8 6,0
Ю О 5,0
о с 4,0
В5 3,0
X 2,0
Е? 1,0
С 0
—-Q • о
0 2 4 6 8
Количество транзитов
10
- Эксперимент — Аппроксимация
Рис. 12. Зависимость пропускной способности от количества транзитов
На том же рисунке приведена зависимость про пускной способности (бит/с) согласно выражению:
Шпй
Ъ =
ЯТТ'
(4)
где - размер окна передачи (бит); ЯТТ - время отклика (мс).
Размер окна в данных экспериментах составлял Шпё = 7504 байт. Из рисунка видно, что полученные данные достаточно близки к оценкам, согласно выражению (4).
На рисунке 13 приведена зависимость круговой задержки ЯТТ от количества транзитных узлов. Зависимость ЯТТ рассчитывается по формуле:
Wnd
ЯТТ = —— + 2Ъ0(1 - е-к), Ьо
(5)
где Ь0 = 11000 бит/с; k - количество транзитных участков.
30
25 20
о
I—.' 15
I—
ее
10
4 6 8
Количество транзитов
10
12
Рис. 13. Зависимость круговой задержки ЯТТ от количества транзитов
2) Зависимость вероятности потерь от интенсивности трафика.
Структура модели аналогична той, которая использована в предыдущем эксперименте. Сеть состоит из 13 узлов, представляющих собой один «линейный» маршрут. Между узлом-источником и уз-лом-назначения передаются дейтаграммы ГОР через 11 транзитных узлов. В ходе эксперимента регистрируются переданные и принятые дейтаграммы. Результаты эксперимента приведены в таблице 5.
На рисунке 14 представлена эмпирическая зависимость доли потерянных дейтаграмм от интенсивности трафика.
Данные аппроксимированы выражением:
Р = Ро+-
1-Р
ЛС2 + С,
уПЬ + 1
■Р
С2 + С.
2ПЬ
(6)
1- Р^
где С2 и С2 - квадратичные коэффициенты вариации, соответственно, распределений входящего потока и времени обслуживания; пь - размер буфера; р - загрузка системы; р0 - вероятность потерь, зависящая от количества транзитных участков маршрута (по результатам эксперимента при 11 транзитных узлах р0 = 0,1).
5
0
0
2
2
2
ТАБЛИЦА 5. Результаты эксперимента
Интенсивность трафика, Мбит/с Средний интервал между дейтаграммами, мс Продолжительность эксперимента, с Дейтаграмм
Передано, шт. Принято, шт.
1 8,000 15,919 2037 1866
2 4,000 15,335 3863 3506
3 2,667 15,324 5823 5287
4 2,000 15,817 7970 7255
5 1,600 15,151 9374 8437
6 1,333 15,201 11404 10306
7 1,143 15,135 13294 12002
8 1,000 15,119 15124 13432
9 0,889 10,251 11826 8859
10 0,800 10,232 12923 8866
11 0,727 10,118 13795 8712
12 0,667 10,170 15375 8778
13 0,615 10,137 16577 8781
14 0,571 10,553 18473 9233
15 0,533 10,121 19031 8718
0,6
Я 0,5
0,4
0,3
° 0,2
¿± 0,1
0,0
У
0
2
14
16
4 6 8 10 12 Интенсивность трафика, Мбит/с Рис. 14. Зависимость доли потерянных дейтаграмм от интенсивности трафика
На рисунке 15 приведено распределение потерянных дейтаграмм по участкам маршрута.
0
1
2 3
Номер участка маршрута
Рис. 15. Распределение количества потерянных дейтаграмм по участкам маршрута
4
10
Из приведенных выше результатов видно, что качество функционирования самоорганизующейся сети, построенной с использованием технологии WiFi, существенно зависит от ее параметров, в частности, от длины маршрута и интенсивности трафика. Однако, численные значения пропускной способности и величины задержки, которые имеют место при изменении длины маршрута и интенсивности трафика в достаточно широких пределах, существенно отличаются от значений, полученных для сети, построенной с применением технологии ZigBee. Например, при проведении имитационных экспериментов величина круговой задержки RTT не превысила значения 30 мс, в наихудшем случае, а пропускная способность не снижалась ниже, чем 2 Мбит/с.
Из этого можно сделать вывод, что использование стандартов WiFi для построения беспроводных сенсорных сетей, в ряде случаев, приемлемо для многих приложений дополненной реальности.
Полученные зависимости параметров функционирования от длины маршрута, позволяют выбрать наиболее подходящую конфигурацию сети, в которой как длина маршрута, так и параметры функционирования удовлетворяют требованиям решаемых прикладных задач.
Заключение
В статье были рассмотрены новые подходы по доставке данных в приложениях дополненной реальности на базе самоорганизующейся сети. Предлагаемый подход является одним из сценариев, который используется в сетях связи пятого поколения 5G/IMT-2020 и может быть рассмотрен для внедрения в существующих решениях в Умных городах. Область применения сетей IEEE 802.15.4 для передачи мультимедийной информации является специфической. Данные сети применимы там, где предъявляются невысокие требования к качеству передачи мультимедиа данных. Главным преимуществом использования таких сетей является низкая стоимость, высокая автономность, простота и надежность эксплуатации этих сетей, что позволяет рассматривать эти сети для передачи мультимедийных данных в будущем для приложений дополненной реальности.
Предложены методы предоставления услуг дополненной реальности на основе mesh-сети и оценены показатели качества обслуживания для услуг дополненной реальности.
В дальнейшем, на базе разработанного фрагмента модельной сети предлагается разработать дополнительные сценарии с передачей информации на базе технологий LPWAN.
Список используемых источников
1. Мухизи С., Мутханна А.С., Киричек Р.В., Кучерявый А.Е. Исследование моделей балансировки нагрузки в программно-конфигурируемых сетях // Электросвязь. 2019. № 1. С. 23-29.
2. Атея А.А., Мутханна А.С., Кучерявый А.Е. Интеллектуальное ядро для сетей связи 5G и тактильного интернета на базе программно-конфигурируемых сетей // Электросвязь. 2019. № 3. С. 34-40.
3. Yastrebova A., Kirichek R., Koucheryavy Y., Borodin A., Koucheryavy A. Future Networks 2030: Architecture and Requirements // Proceedings of the 10th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT, Moscow, Russia, 5-9 November 2018). Piscataway, NJ: IEEE, 2018. D0I:10.1109/ICUMT.2018.8631208
4. Ateya A.A., Muthanna A., Gudkova I., Abuarqoub A., Vybornova A., Koucheryavy A. Development of Intelligent Core Network for Tactile Internet and Future Smart Systems // Journal of Sensor and Actuator Networks. 2018. Vol. 7. Iss. 1. D0I:10.3390/jsan7010001
5. RPL: IPv6 Routing Protocol for Low-Power and Lossy Networks: RFC 6550. March 2012.
6. IEEE Std 802.15.4-2011. IEEE Standard for Local and metropolitan area networks. Part 15.4: Low-Rate Wireless Personal Area Networks (LR-WPANs). NY: IEEE, 2011.
7. Кучерявый А.Е., Прокопьев А.В., Кучерявый Е.А. Самоорганизующиеся сети. СПб: Типография «Любавич», 2011. 312 с.
8. Росляков А.В., Ваняшин С.В., Гребешков А.Ю., Самсонов М.Ю. Интернет вещей. Самара: ИУНЛ ПГУТИ, ООО «Издательство Ас Гард», 2014. 340 с.
9. Кучерявый А.Е. Интернет Вещей // Электросвязь. 2013. № 1. С. 21-24.
10. Киричек Р.В., Парамонов А.И., Прокопьев А.В., Кучерявый А.Е. Эволюция исследований в области беспроводных сенсорных сетей // Информационные технологии и телекоммуникации. 2014. № 4. С. 29-41. URL: http://www.sut.ru/ doci/nauka/review/4-14.pdf (дата обращения 10.06.2019)
11. Гольдштейн Б.С., Кучерявый А.Е. Сети связи пост-NGN. СПб: БХВ-Петербург, 2013. 160 с.
12. Futahi A., Paramonov A., Koucheryavy A. Wireless sensor networks with temporary cluster head nodes // Proceedings of the 18th International Conference on Advanced Communication Technology (ICACT, Pyeongchang, South Korea, 31 January-3 February 2016). Piscataway, NJ: IEEE, 2016. PP. 283-288. D0I:10.1109/ICACT.2016.7423362
13. Кучерявый А.Е., Владыко А.Г., Киричек Р.В., Парамонов А.И., Прокопьев А.В., Богданов И.А. и др. Летающие сенсорные сети // Электросвязь. 2014. № 9. C. 2-5.
14. ZigBee Alliance (01/2008). ZigBee Specification (Document 053474r17).
15. Рек. МСЭ-R BT.500-13 (01/2012). Методика субъективной оценки качества телевизионных изображений.
16. Rec. ITU-T G.711 (1998; 08/2009). Amendment 1 New Annex A on lossless encoding of PCM frames.
17. Rec. ITU-T Y.1540 (11/2007). Internet protocol data communication service. IP packet transfer and availability performance parameters.
18. Rec. ITU-T Y.1541 (05/2002). Network performance objectives for IP-Based Services.
19. Rec. ITU-T Р.913 (01/2014). Methods for the subjective assessment of video quality, audio quality and audiovisual quality of Internet video and distribution quality television in any environment.
20. Rec. ITU-T P.910 (04/2008). Subjective video quality assessment methods for multimedia applications.
21. Маколкина М.А. Анализ субъективных методов оценки качества IPTV // Информационные технологии моделирования и управления. 2013. № 5(83). С. 492-500.
22. Кучерявый А.Е., Парамонов А.И. Модели трафика для сенсорных сетей в u-России // Электросвязь. 2006. № 6. С. 15-19.
* * *
EXPERIMENTAL INVESTIGATION OF THE TRANSMISSION OF MULTIMEDIA CONTENT
FOR AUGMENTED REALITY APPLICATIONS ON THE BASIS OF A WIRELESS SENSOR NETWORK
T.D. Dinh1, R. Kirichek1, A. Koucheryavy1, M. Makolkina1
1The Bonch-Bruevich Saint-Petersburg State University of Telecommunications, St. Petersburg, 193232, Russian Federation
Article info
Article in Russian
For citation: Dinh T.D., Kirichek R., Koucheryavy A., Makolkina M. Experimental Investigation of the Transmission of Multimedia Content for Augmented Reality Applications on the Basis of a Wireless Sensor Network. Proceedings of Telecommunication Universities. 2019;5(2):76-87. (in Russ.) Available from: https://doi.org/10.31854/1813-324X-2019-5-2-76-87
Abstract: The article presents the results of an experimental investigation of the transfer of multimedia content for augmented reality applications based on a wireless sensor network. IEEE 802.15.4 and ZigBee protocol, as well as IEEE 802.11 (WiFi) are considered as a data transmission technology in a wireless sensor network. The choice of these technologies allows the interaction of Internet of Things devices with each other with the possibility of self-organization and delivery of data for augmented reality applications by relaying through intermediate nodes. In the first part of the article, the features of the transmission of voice and images through a network fragment are experimentally identified. During voice transmission, different languages are considered and the quality of perception at the receiving side is determined. In the second part of the article, the features of data transmission through intermediate nodes are experimentally identified for this purpose, full-scale and simulation modeling are used. On the basis of the conducted research and subsequent analysis, the dependences of the network operation parameters on the number of nodes in the network and the number of transitions are presented.
Keywords: augmented reality, Internet of Things, self-organizing network, multimedia traffic, mesh-network, ZigBee, WiFi, QoS, QoE.
References
1. Muhizi S., Muthanna A., Kirichek R.V., Koucheryavy A.Eu. Analysis and modeling of load balancing in software-defined networks. Electrosvyaz. 2019;1:23-29. (in Russ.)
2. Ateya A.A., Muthanna A., Koucheryavy A.Eu. Intelligent core network for 5G and tactile internet systems based on software defined networks. Electrosvyaz. 2019;3:34-40. (in Russ.)
3. Yastrebova A., Kirichek R., Koucheryavy Y., Borodin A., Koucheryavy A. Future Networks 2030: Architecture and Requirements. Proceedings of the 10th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT), 5-9 November 2018, Moscow, Russia. Piscataway, NJ: IEEE; 2018. Available from: https://doi.org/10.1109/ ICUMT.2018.8631208
4. Ateya A.A., Muthanna A., Gudkova I., Abuarqoub A., Vybornova A., Koucheryavy A. Development of Intelligent Core Network for Tactile Internet and Future Smart Systems. Journal of Sensor and Actuator Networks. 2018;7(1). Available from: https://doi.org/10. 3390/jsan7010001
5. RPL: IPv6 Routing Protocol for Low-Power and Lossy Networks: RFC 6550. March 2012.
6. IEEE Standards Association. IEEE Std 802.15.4-2011. IEEE Standard for Local and metropolitan area networks. Part 15.4: Low-Rate Wireless Personal Area Networks (LR-WPANs). NY: IEEE; 2011.
7. Koucheryavy A.E., Prokopiev A.V., Koucheryavy Y.A. Samoorganizuiushchiesia seti [Self-Organizing Network]. St. Petersburg: Lyubavich Printing House; 2011. 312 p. (in Russ.)
8. Rosliakov A.V., Vaniashin S.V., Grebeshkov A.I., Samsonov M.I. Internet veshchei [Internet of Things]. Samara: Povolzhskiy State University of Telecommunications and Informatics Publ., As Gard Publ., 2014. 340 p. (in Russ.)
9. Koucheryavy A.E. Internet Veshchei [Internet of Things]. Electrosvyaz. 2013;1:21-24. (in Russ.)
10. Kirichek R.V., Paramonov A.I., Prokopiev A.V., Koucheryavy A.E. The Investigation Evolution in the Wireless Sensor Networks Area. TelecomIT. 2014;4:29-41. (in Russ.) Available from: http://www.sut.ru/doci/nauka/review/4-14.pdf [Accessed 10th June 2019]
11. Goldshtein B.S., Koucheryavy A.E. Seti sviazi post-NGN [Post-NGN communication networks]. St. Petersburg: BHV-Petersburg Publ.; 2013. 160 p. (in Russ.)
12. Futahi A., Paramonov A., Koucheryavy A. Wireless sensor networks with temporary cluster head nodes // Proceedings of the 18th International Conference on Advanced Communication Technology (ICACT, Pyeongchang, South Korea, 31 January-3 February 2016). Piscataway, NJ: IEEE, 2016. PP. 283-288. D0I:10.1109/ICACT.2016.7423362
13. Koucheryavy A.E., Vladyko A.G., Kirichek R.V., Paramonov A.I., Prokopiev A.V., Bogdanov I.A., Dort-Goltz A.A. Flying Sensor Networks. Electrosvyaz. 2014;9:2-5 (in Russ.)
14. ZigBee Alliance. ZigBee Specification (Document 053474r17). January 2008.
15. Rec. ITU-R BT.500-13. Methodology for the subjective assessment of the quality of television pictures. January 2012.
16. Rec. ITU-T G.711 (1998) Amendment 1 New Annex A on lossless encoding of PCM frames. August 2009.
17. Rec. ITU-T Y.1540. Internet protocol data communication service. IP packet transfer and availability performance parameters. (November 2007)
18. Rec. ITU-T Y.1541. Network performance objectives for IP-Based Services. May 2002.
19. Rec. ITU-T P.913. Methods for the subjective assessment of video quality, audio quality and audiovisual quality of Internet video and distribution quality television in any environment. January 2014.
20. Rec. ITU-T P.910. Subjective video quality assessment methods for multimedia applications. April 2008.
21. Makolkina M.A. Analiz subieektivnykh metodov otsenki kachestva IPTV [Analysis of Subjective Methods for Assessing the Quality of IPTV]. Informatsionnye tekhnologii modelirovaniia i upravleniia. 2013;5(83):492-500. (in Russ.)
22. Kucheryavy A.E., Paramonov A.I. Traffic models for sensor networks in u-Russia. Electrosvyaz. 2006;6:15-19. (in Russ.)
