CC BY
168
ИНФОРМАЦИОННЫЕ КОМПЛЕКСЫ И СИСТЕМЫ DATA PROCESSING FACILITIES AND SYSTEMS
Видов М.И. Vidov M.I.
аспирант Финансово-технологической академии, Россия, г. Королев
УДК 681.3.053
ИСПОЛЬЗОВАНИЕ ПЕРЦЕПЦИОННОЙ МЕТРИКИ И СТАТИСТИЧЕСКИХ МОДЕЛЕЙ ДЛЯ ОЦЕНКИ КАЧЕСТВА ВИДЕОИЗОБРАЖЕНИЙ В УСЛОВИЯХ ПОТЕРИ ПАКЕТОВ
В данной статье предлагается рассмотрение перцепционной оценки качества видеоизображений и краткий обзор протоколов субъективной и объективной оценок качества видео. Также предлагается обзор визуальной системы человека и некоторых аспектов поведения человеческого зрения. В статье предложена методика тестов для изучения влияния потерь пакетов и артефактов кодирования на перцепционное качество видео, разработаны четыре группы тестов и отобраны видеопоследовательности для их проведения.
Ключевые слова: перцепционная метрика, статистические модели, видеоизображение, пакеты.
USAGE OF PERCEPTUAL METRICS AND STATISTICAL MODELS FOR QUALITY ASSESSMENT OF VIDEO IN TERMS OF PACKET LOSS
This paper proposes a review of perceptual video quality assessment, and an overview of the protocols of subjectiveand objective video quality assessment. It also provides an overview of human visual system and some aspects of thehuman vision behavior.The paper proposed a method of tests to examine the impact of packet loss and coding artifacts on perceptual quality. Four groups of tests have been developed andseveral sequences selected for being conducted.
Key words: perceptual metric statistical models, video, packages.
Вследствие быстрого усовершенствования различных телевизионных приложений и служб (видеотелефония, широковещательная передача мобильного видео, интернет-телевидение), а также визуализации систем управления [1] и загруженности вычислительных устройств [2] существует потребность в точной и эффективной оценке качества видеоизображений. Цель оценки качества изображения состоит в разработке вычисляемой качественной метрики, которая будет в состоянии оценить качество изображения. Основной критерий - лучшая непротиворечивость оценки качества с
человеческой оценкой (перцепционной метрикой).
Поскольку люди являются конечными пользователями, перцепционное качество видео может быть оценено двумя различными способами, а именно при помощи субъективной оценки качества или при помощи объективного прогнозирования качества. Каждый из этих способов имеет свои достоинства и недостатки. Субъективная оценка качества видео получается из субъективных оценок группы пользователей. Преимуществом этого метода оценки качества является то, что полученные оценки качества видео от пользователей могут быть очень
близки к реальной оценке от большого количества пользователей, но с условием, если субъективные тесты хорошо разработаны и выполнены.
С другой стороны, одним из недостатков этого подхода оценки качества является то, что он требует большого количества времени и является очень трудоемким процессом, например, планирование и выполнение одного из таких тестов для нескольких видеоклипов требуют от нескольких часов до нескольких недель и, следовательно, оценки большого числа тестовых последовательностей. А в некоторых обстоятельствах это даже невозможно, например, в режиме реального времени оценки качества.
Таким образом, крайне необходимо более эффективное решение оценки качества, которое не требует участия субъектов после разработки и является применимым для большего числа приложений. Объективное прогнозирование оценки, как альтернативное решение для субъективной оценки качества, имеет все эти желаемые характеристики. Потому что данный метод может имитировать суждение людей относительно качества видео на основе математических моделей и может быть легко применим к любой тестовой видеопоследовательности. В настоящее время ему уделяют все больше и больше внимания в промышленных и образовательных учреждениях. Однако отсутствие полного понимания зрительной системы восприятия человека и большое количество возможных элементов, которые зависят как от приложений, так и от контента, делают разработку таких эффективных метрик оценки качества видео очень сложной задачей.
За несколько лет непрерывных усилий исследователей был сделан значительный прогресс в исследовании оценки качества видео. Несколько объективных метрик качества видео были стандартизированы ITU (Международный союз электросвязи). Однако, поскольку до сих пор не существует единой универсальной метрики качества, которая может достичь удовлетворительных результатов в замене субъективных оценок, существуют два параллельных направления, исследующие эту область.
Одно из них направлено на изучение эффективных и точных субъективных схем оценки качества для различных видеоприложений таким образом, что они могут не только обеспечивать улучшенное качество оценки для различных видеоизображений, но также обеспечивать гарантированный «контроль данных» для разработки и проверки объективных метрик качества.
Другое направление заключается в повышении эффективности и применимости объективных ме-
трик качества таким образом, что они могут надежно справляться с различными новыми видеоприложениями.
В связи с быстрым развитием в последние годы числа потребителей мультимедийных продуктов, ориентированных на сетевые службы, оценка качества видеоизображений, передаваемых по различным сетевым каналам, становится все более и более актуальной. Среди других артефактов (искажений) потери при передаче являются основной причиной ухудшения качества передаваемого видео [3].
Субъективная оценка качества обычно требует субъективного эксперимента, где качество каждой тестируемой видеопоследовательности оценено при помощи средней экспертной оценки (MOS) качества видео от субъектов. Как самый точный и надежный способ перцепционной оценки качества видео, субъективная оценка качества обеспечивает контроль данных для оценки и валидации объективной оценки качества.
Для того чтобы упростить разработку субъективных тестов оценки качества и стимулировать применимость результатов различных субъективных тестов, основанных на введении VQEG (Экспертная группа качества видео), ITU (Международный союз электросвязи) предложил детализированные протоколы проведения субъективных экспериментов для измерения перцепционного качества видео в своих рекомендациях: ITU-R Rec. BT.500 для телевизионных систем и ITU-T Rec. P.910 для мультимедийных приложений в 2002 и 2008 гг. соответственно. Эти рекомендации похожи, и обе предлагают некоторые наиболее часто использованные процедуры для субъективной оценки качества, такие как процедуры просмотра, критерии для отбора наблюдателей и тестовых видео, и методы анализа данных. Большинство исследований в области субъективной оценки качества следуют этим стандартам.
Все предложенные методы тестирования эталонных видеопоследовательностей могут быть распределены по следующим категориям: метод единственного просмотра и метод двух просмотров.
DSCQS (Double Stimulus Continuous Quality Scale) - непрерывная оценка качества по результатам двух просмотров. Отличительной особенностью является то, что видеоролик воспроизводится в псевдослучайном порядке, а затем повторяется. Структура презентации тестовых материалов для данного метода представлена на рис. 1.
Рис. 1. Структура презентации тестовых материалов для DSCQS (ITU-T Rec. BT.500)
По окончании просмотра наблюдателю дается некоторое время для выставления оценки. Методика оценивания также пятибалльная: 5 - превосходное качество, 4 - хорошее качество, 3 - удовлетво-
рительное качество, 2 - плохое и 1 - очень плохое качество. Шкала оценок для DSCQS показана на рис. 2.
Превосходное
Хорошее
Удовлетворительное
Плохое
Очень плохое
Рис. 2. Шкала DSCQS (ITU-T Rec. BT.500)
Наблюдатель записывает выставленную оценку в специальный бланк или заносит данные в специализированную программу. Затем все оценки усредняются и преобразуются в стандартную шкалу (от 0 до 100). Таким образом, всегда можно оценить различия между оригинальным и искаженным видеорядом. По окончании сбора информации от всех экспертов данные обрабатываются с использованием статистических алгоритмов [4].
В предыдущих исследованиях VQEG (Экспертная группа качества видео), которая изучает контекстуальные эффекты, было показано, что DSCQS был одним из самых надежных методов. Тем не менее недостатком DSCQS является избыточность метода, что ограничивает масштабы тестовых последовательностей.
DSIS (Double Stimulus Impairment Scale) - попарная оценка ухудшения качества видео. Наблюдателю предлагается сравнить две видеопоследовательности - искаженную и оригинальную.
Длительность теста - 8 секунд. Наблюдатель оценивает визуальные искажения по пятибалльной шкале. Максимальный балл - 5 - соответствует незаметным искажениям, средний балл - 3 - искажения мешают смотреть, минимальный - 1 - изображение просматривать невозможно [4].
SDSCE (Simultaneous Double Stimulus for Continuous Evaluation) - метод непрерывной оценки с двумя источниками непрерывного воздействия. В предыдущих методах длительность просмотра видеопоследовательностей при оценке, как правило, ограничивалась 10 с, что не является представлением реального положения дел. Поэтому был разработан данный метод.
В методе SDSCE зрители должны смотреть две видеопоследовательности одновременно (структура презентации тестовых материалов для данного метода представлена на рис. 3): одно видео без искажений, а другое - его обработанная версия.
Без ошибки С ошибкой
Рис. 3. Пример формата отображения метода SDSCE (ITU-T Rec. BT.500)
В тесте зрители должны проверить различия между двумя последовательностями и оценить тестовое видео с помощью ползунка. Для того чтобы получить значимые статистические данные, продолжительность каждой видеопоследовательности должна быть не менее двух минут [4].
Тем не менее недостаток этого метода заключается в том, что зрители время от времени должны переключать свое внимание между двумя изображениями.
Методы единственного просмотра ACR (Absolute Category Rating) - абсолютный рейтинг категории. Так как любой из методов двух просмотров не может воспроизводить реальные условия просмотра, когда отсутствует образец для сравнения, был разработан метод ACR.
ACR является очень эффективным методом, и большое количество последовательностей может быть проверено в относительно короткое время. В связи с отсутствием образца для сравнения предполагается, что все демонстрируемые образцы являются видеопоследовательностями без искажений. Однако в большинстве практических ситуаций некоторые артефакты неизбежно вводятся в фазе захвата видео, и, следовательно, эти артефакты не могут быть отделены от тех, которые создаются в целях тестирования этого метода [5, 6].
Чтобы решить эту проблему, VQEG ввела метод ACR-HR (ACR-Hidden Reference), где оригинальные неизмененные версии тестовых последовательностей вставляются случайно в тестовый набор данных и оцениваются зрителями. Но зрители не знают о существовании этих образцов. Обычно вычисляется разница между опорной и тестовой последовательностями для того, чтобы удалить воздействие образца.
SSCQE (Single-Stimulus Continuous Quality Evaluation) - непрерывная оценка качества в ходе единственного просмотра. Наблюдателю демонстрируется несколько видеороликов. Количество искажений в этих роликах может быть различным. Оценки выставляются в пределах от 0 (за худшее качество) до 1 (за лучшее качество). Оценка выставляется только один раз и в дальнейшем не может быть изменена [4].
MOS (Mean Opinion Score) - методика простого усреднения оценок экспертов. Представленная ниже табл. 1 содержит оценки MOS для кадров тестируемой видеопоследовательности, полученной на выходе канала связи и прошедшей процедуру сжатия. Параметр MOS может изменяться в интервале от 1 до 5. Оценка 1 соответствует самому низкому качеству, а оценка 5 - самому высокому.
Таблица 1
Оценки MOS
MOS Качество Оценка измерения
5 Превосходное Искажение не заметно
4 Хорошее Искажение заметно, но несильно
3 Удовлетворительное Немного заметно
2 Плохое Заметное искажение
1 Очень плохое Очень заметное искажение
Основная разница между методами двух просмотров и одного просмотра заключается в том, что в первом методе зритель может сравнить образец и обработанное видео и, следовательно, быть более точным в своих суждениях, тогда как в последнем методе зритель видит ролик только один раз и после этого должен судить о его качестве. Методы двух просмотров дают более точную оценку качества в каждом голосовании зрителя, но и требуют больше времени для выполнения тестов, чем методы одного просмотра. Методы одного просмотра позволяют получить набор из более субъективных суждений в условиях ограниченного времени и, следовательно, позволяют выполнить больше голосований зрителей, которые могут быть получены для повышения точности теста. В конце концов, эти два метода имеют очень похожие эффективности с точки зрения точности.
Визуальная система человека (Н"УЗ). Цель оценки качества изображения заключается в имитации человеческой оценки разнородностей изображений. Хотя полностью функции зрительной системы человека не изучены, знание основ зрительной системы человека по-прежнему полезно для понимания визуального поведения. Некоторые аспекты поведения человеческого зрения моделируются, чтобы имитировать человеческую оценку визуального качества. Четыре из них являются популярными для разработки оценки качества.
1. Чувствительность освещенности. В ранних исследованиях результаты экспериментов показали, что зрительная система человека реагирует на изменение освещенности в логарифмической зависимости. Рассмотрим световую область с освещенностью I + Л/ , окруженную фоном с освещенностью I (рис. 4).
L
2%
Рис. 4. Чувствительность освещенности
Едва заметная разница Л/ пропорциональна освещенности фона I. Эксперименты показали, что отношение почти постоянно и составляет 0,02. Едва заметная разница Л/ пропорциональна фоновой освещенности, что видно из формулы 1. Некоторые методы оценки качества [7, 8] включают эту особенность в свои структуры
Л1 ос I. (1)
Более позднее исследование показывает, что чувствительность человеческой визуальной системы к освещенности не только зависит от общей освещенности фона, но также и от освещенности близлежащих объектов.
2. Контрастная чувствительность. Существует известная диаграмма Кэмпбелла - Робсона, которая иллюстрирует, что человеческая визуальная система имеет различные отклики на визуальные сигналы с различными частотами. Это свойство называется контрастной чувствительностью [9]. Кэмпбелл и Робсон получили график (рис. 5), в котором пространственная частота увеличивается (полосы становятся тоньше) в горизонтальном направлении, и контрастность уменьшается (черно-белые полосы сливаются в простую серой области) в вертикальном направлении.
Рис. 5. График контрастной чувствительности (график Кэмпбелла - Робсона)
Набор различимых полос иллюстрирует визуальную чувствительность к различным частотам. В теории человеческое зрение имеет граничные частоты, эквивалентные наименьшим полосам, которые люди не могут различить даже с самой большой контрастностью. Многие методы оценки качества используют это свойство.
3. Разложение визуального канала. Первичная зрительная кора головного мозга чувствительна к различным ориентациям, частотам и цветам, которые несут визуальные сигналы. Это свидетельствует о том, что зрительные функции аналогичны фильтрам с ориентацией и частотной избирательностью.
Таким образом, можно сказать, что зрительная
система человека может разложить визуальное поле в многоканальную систему.
4. Маскирование контраста. Маскирование контраста имеет место, когда различные компоненты изображения присутствуют в одном и том же пространственном положении. Простой пример ниже дает четкий рисунок. На рис. 6а показано необработанное изображение. В верхней половине рис. 6б имеется дополнительный белый шум, в то время как нижняя половина рис. 6в имеет такое же количество белого шума. Люди с большей вероятностью замечают шум на среднем рисунке, а не на правом. Наличие одного компонента (трава) уменьшает видимость другого компонента (шум) на рис. 6в.
Как правило, эффект маскирования контраста сильнее, когда два компонента имеют сходные частоты и направления [10]. На основании этого заявления маскирование, как правило, моделируется в пределах каждого канала. Это свойство зрения также широко применяется во многих методах оценки качества.
Помимо субъективных метрик, которые используют особенности человеческого зрения, существуют также объективные метрики оценки качества видеоинформации. Для автоматизации процессов оценки качества потокового видео разработаны объективные метрики, позволяющие оце-
нивать качество видеоинформации в двух режимах. В первом режиме для анализа доступна вся видеопоследовательность, во втором - оценка формируется отдельно для каждого кадра. Остановимся подробнее на пиксельных метриках, которые входят в объективные метрики.
К пиксельным метрикам относятся:
1. MSE (Mean Square Error) - среднеквадратиче-ская ошибка, определяемая как расстояние между двумя пикселями. Для вычисления этого параметра необходимо усреднить значение разности между отсчетами оригинальной и искаженной последовательностей:
^ M—l N-1
V^Tr^ZZl/'^")-/^")]2, (2)
здесь f- оригинальный кадр, f - искаженный, N и М - параметры, отвечающие за формат кадра.
2. SNR (Signal-to-Noise Ratio) - отношение между уровнем сигнала и уровнем шума, вычисленными для данного изображения, определяемое по формуле:
M-1N-1
Ц[/>,«)]2
рое используется для определения качества работы алгоритмов кодирования и зависит от величины различий между оригинальным и искаженным изображением. Вычисляется отношение PSNR с помощью уравнения:
_ ... . 7.*^ .
(4)
PSNR =20-login(—
SNR-
т=0 л=0
M-1N-1
YLU\rn,n)-f{m,ri)]2
(3)
3. PSNR (Peak Signal-to-Noise Ratio) - пиковое (логарифмическое) отношение сигнал - шум, кото-
ЭЮ KRSME'
4. SSIM (Structural Similarity Image Measure) - показатель структурной схожести j-го локального окна n-го видеокадра. Позволяет определить схожесть трех компонент изображения: яркости, контраста и структурного сходства. Эта метрика позволяет учесть особенности восприятия видеоинформации зрительной системой человека:
ssim„.=0,8SSIM ;ркоиъ+ о, lssiM ™
насыщенность
•+o)issiM;;;er.
(5)
5. MSAD (Sum of absolute differences) - метрика, учитывающая усредненную абсолютную разность соответствующих пикселей сравниваемых кадров:
п,т
MSAD =
I ^
mn
(6)
MSE и PSNR - две наиболее популярные метрики оценки качества. Но так как они всего лишь обрабатывают каждый пиксель в изображении как независимую часть данных, отношения между пикселями изображения всегда остаются нерассмотренными. Кроме того, они не берут во внимание какое-либо свойство зрительной системы человека, поэтому не могут коррелировать с перцепционной оценкой качества. Однако из-за отсутствия полного понимания зрительной системы человека темпы исследований в этой области довольно малы.
Так как на перцепционное качество видео влияют как потери пакетов, так и артефакты кодирования, предлагается разработать серию тестов для изучения влияния каждого фактора, сначала отдельно, а затем совместно. После предварительного изучения было предложено несколько факторов, которые могут оказывать существенное влияние на восприятие качества. Два фактора связаны с кодированием видео: артефакты кодирования (вызваны потерями кодирования, которые определяются QP - параметром квантования, регулирующим количество сохраненных пространственных деталей) и метод маскирования ошибок. Пять факторов связаны с потерями при передаче: количество событий потери пакетов, наборы потерь пакетов, продолжительность потерь пораженного сегмента, степень потери и позиция потерь в тестовой видеопоследовательности.
В тестах предлагается рассматривать передачу видео в беспроводных сетях 3G, где частота кадров, разрешение и битрейт довольно низкие и потери при передаче появляются хаотично. Были разработаны несколько субъективных тестов для изучения воздействия каждого из вышеуказанных факторов.
Хотя в первую очередь важен общий рейтинг пользователя для видеопоследовательности, необходимо исследовать мгновенную реакцию зрителя на потери изображения, а также влияние этой реакции на общий рейтинг. Поэтому необходимо учитывать и записывать как непрерывный, так и общий рейтинг.
В частности, зрителю будет предложено дать как непрерывную, так и общую оценку качества в конце видеопоследовательности. Зритель должен перетащить ползунок мышью и дать оценку в баллах от 0 до 100 («100» означает наилучшее качество) как в непрерывном, так и в общем рейтинге. В каждом тесте зритель должен оценивать все видеопоследовательности в случайном порядке, а затем этот же порядок повторяется снова так, чтобы зритель дал оценки два раза, что может быть использовано для проверки непротиворечивости зрителей. (Каждый прогон будет содержать большое количество клипов, так что маловероятно то, что оценки зрителя в следующем прогоне будут зависеть от того, что он увидит до этого.) Вся процедура будет контролироваться интерактивным программным обеспечением YUVviewer, интерфейс которого показан на рис. 7, и каждый сеанс будет длиться не более 30 минут без перерыва.
Рис. 7. Интерфейс приложения YUVviewer
Для тестовых прогонов предлагается использовать пять видео с различным содержанием. В данных видео присутствуют кадры с людьми в помещениях, спортивные игры вне помещений, медленные и быстрые объекты. Кроме того, эти видео включают в себя различные движения камеры. Все
последовательности записаны в разрешении QVGA (320 х 240), с кодировкой частотой кадров 12 или 15 кадров в секунду, продолжительность клипов от 20 до 40 с. Табл. 2 содержит краткое описание видеопоследовательностей.
Таблица 2
Описание тестовых видео
Название Описание
Отрывок из фильма Люди ходят и разговаривают
Гонки Формулы-1 Автомобили в движении, команда во время пит-стопа
Интервью Люди сидят, разговаривают, портретная съемка
Париж Люди сидят и разговаривают, двигаются
Баскетбольный матч Игроки бегают, кидают мяч, празднуют
Все тестовые видеопоследовательности закодированы в соответствии со стандартом H.264, с использованием JM10.0 кодера, работающего с фиксированным параметром квантования QP. Значение QP колеблется от 26 до 38, скорость передачи данных изменяется от 40 до 256 кбит, и длина GOP (группы последовательных фотографий в кодированном потоке видео) составляет 2 с.
Чтобы изучить воздействие вышеупомянутых факторов, влияющих на потерю качества, была подготовлена 51 тестовая последовательность с различными комбинациями кодирования и конфигурациями потерь пакетов. Последовательности были разделены на четыре группы. Для каждой группы
Описание те
предлагается провести отдельные субъективные тесты с различными целями. Тесты 1 и 2 предназначены для того, чтобы выяснить, как потери пакетов влияют на перцепционное качество. Тест 3 связан с влиянием артефактов кодирования.
Последовательности, используемые в первых трех тестах, взяты из одного видеофильма. Последовательности, используемые в тесте 4, взяты из всех пяти источников видео и содержат как артефакты кодирования, так и артефакты потерь, и они будут использоваться для проверки предлагаемой метрики. Табл. 3 содержит краткое описание наборов последовательностей всех четырех тестов.
Таблица 3
говых групп
Тест 1 (12 последовательностей) Тест 2 (13 последовательностей)
Описание последовательностей Изучаемые факторы Описание последовательностей Изучаемые факторы
3 последовательности с одинаковой ошибкой и различными позициями Позиция потерь 3 последовательности с одинаковой ошибкой и различными позициями Позиция потерь
Продолжение таблицы 3
Тест 1 (12 последовательностей) Тест 2 (13 последовательностей)
3 последовательности с различной длиной ошибки (GOP = 2 с) Длина ошибки 2 последовательности с малой длиной ошибки Длина ошибки, наглядность потерь
3 последовательности с различными наборами потерь Набор потерь 5 последовательностей с различными PSNR drop-фреймами (кадры, которые кодек пропускает) Тяжесть потерь, наглядность потерь
3 последовательности с различным числом потерь Число потерь 3 последовательности с различными комбинациями ошибок Комбинации ошибок
Тест 3 (7 последовательностей) Тест 4 (25 последовательностей)
Описание последовательностей Изучаемые факторы Описание последовательностей Изучаемые факторы
7 последовательностей с различным значением параметра квантования QP PSNR 25 последовательностей с различным значением параметра квантования QP и случайными потерями пакетов Потери пакетов
Для теста 2 необходимо будет использовать так называемые drop-фреймы. Drop-фреймами называются кадры, которые кодек пропускает; на их место в видеопоследовательности подставляется последний сжатый кадр. Drop-фреймы являются средством понижения битрейта сжимаемой последовательности. Однако при большом количестве drop-фреймов в последовательности наблюдается эффект «слайд-шоу» - вместо динамической сцены
кодируется лишь один кадр, который и будет показан в нужный интервал времени при проигрывании сжатого видео.
Графики вида PSNR/framesize позволяют оценить количество реальных кадров в видеопоследовательности.
Графики, поясняющие PSNRframesize и PSNR/ Framesize (с drop-фреймами), представлены соответственно на рис. 8 и 9.
Рис. 8. Графики PSNR/Frame size
Рис. 9. Графики PSNR/Framesize (с drop-фреймами)
При сравнении кодеков на данных графиках следует обращать внимание на то, как близко к оси ординат расположены ветви на графике. Чем левее находится ветвь кодека, тем меньшие средние размеры кадров характерны для соответствующей сжатой последовательности и, следовательно, тем больше FPS на выходе. Таким образом, кодеки, чьи ветви расположены левее, дают на выходе больше FPS при том же качестве.
В разработанных тестах будут использоваться drop-фреймы, уменьшающие значение PSNR на 10 дБ, в частности, в тесте на определение влияния длины ошибки на перцепционное качество видео.
Таким образом, в данной статье рассмотрена перцепционная оценка качества видеоизображений, приведен краткий обзор протоколов субъективной и объективной оценок качества видео. Рассмотрены методы субъективной оценки качества видео. Предложена методика тестов для изучения влияния потерь пакетов и артефактов кодирования на перцепционное качество видео, разработаны четыре группы тестов, отобраны видеопоследовательности для их проведения.
Список литературы:
1. Артюшенко В.М. Анализ систем управления космическим летательным аппаратом [Текст] / В.М. Артюшенко, М.И. Видов // Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-2011): сб. статей II Международной заочной научно-технической конференции / Поволжский гос. ун-т сервиса. - Тольятти: Изд-во ПВГУС, 2011. - С. 18-29.
2. Артюшенко В.М. Визуализация и анализ загруженности терминальной вычислительной
машины многоцелевого лабораторного модуля международной космической станции [Текст] / В.М. Артюшенко, М.И. Видов // Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-2012): сб. ст. II Международной заочной научно-технической конференции. Ч. 1. - Тольятти: Изд-во ПВГУС, 2012. - С. 90-96.
3. Артюшенко В.М. Оценка качества видеоинформации в телекоммуникационных сетях [Текст] / В.М. Артюшенко, М.В. Марков // Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-2011): сб. статей II Международной заочной научно-технической конференции / Поволжский гос. ун-т сервиса. - Тольятти: Изд-во ПВГУС, 2011.
- С. 36-59.
4. Рекомендация МСЭ-R BT.500-13. Методика субъективной оценки качества телевизионных изображений. - Женева, 2012.
5. Рекомендация МСЭ-R BT.1908. Методы объективного измерения качества изображения для радиовещательных применений с использованием ТВЧ при наличии эталонного сигнала с ухудшенными характеристиками. - Женева, 2012 г.
6. ITU-T Recommendation P.910: Subjective video quality assesment methods for multimedia applications. - 2008.
7. Wang Z. A universal image quality index [Текст] / Z. Wang, A. Bovik // IEEE Signal Processing Letters.
- 2002. - Т. 9. - № 3. - pp. 81-84.
8. Wang Z. Image quality assessment: From error measurement to structural similarity [Текст] / Z. Wang, A. Bovik, H. Sheikh and E. Simoncelli // IEEE Transactions on Image Processing. - 2004. - Т. 13. - № 4. - pp. 600-612.
9. Campbell J.W. Application of Fourier analysis
