CC BY
15
УДК 655.28.022
КОНТРОЛЬ КАЧЕСТВА ВИДЕО МЕТОДОМ ОПРЕДЕЛЕНИЯ СРЕДНЕГО ЦВЕТА КАДРА CONTROL VIDEO QUALITY BY DETERMINING THE FRAME AVERAGE COLOR
Н. Е. Проскуряков, Б. С. Яковлев
Тульский государственный университет, г. Тула, Россия
N. E. Proskuriakov, B. S. Yakovlev
Tula State University, Tula, Russia
Аннотация. В современных условиях, несмотря на многообразие программно-аппаратных комплексов для создания и продвижения мультимедийных проектов, по-прежнему большой проблемой является оптимальный выбор кодеков и настроек качества операций рендеринга в зависимости от задач разработчиков или площадки, на которой в дальнейшем будет находиться материал. В большинстве случаев сейчас под «оптимальными параметрами» рендеринга видео понимается творческая деятельность человека, которая на основе визуального осмотра, специфических и субъективных представлениях о качестве «картинки» продукта, должна получить баланс между «качеством» картинки и итоговым размером файла. По сути, сейчас практически нет инструментария для того, чтобы просто сравнить два одинаковых видео на качество и произвести количественную оценку качества видеофайла. Поэтому данное направление исследований является важным и актуальным. Основная цель работы - определить возможность применения среднего цвета кадров и отклонение Ддля оценки качества видеофайлов, полученных при различных настройках рендеринга. Представлены результаты экспериментальных исследований определения среднего цвета и отклонения AE*ab для кадров видеофайла. Экспериментальными и аналитическими средствами
выявлены возможности применения данного метода для определения качества видеофайл и нахождения отличий от оригинала. Как показало исследование, наиболее качественными кодеками стали H265, DivX, MPEG2. Также было установлено что DivX показал наибольшую стабильность по отклонению AE*ab. Предложенный метод может быть применим для предварительной оценки качества полученных фильмов, так как средний цвет не учитывает точность некоторых важных параметров, например четкости текста на кадрах. Он хорошо справляется с общим определением качества кадров видео.
Ключевые слова: средний цвет, изображение, видео, кодек, модель RGB, C#, pixelColor.R, pixelColor.G, pixelColor.B, H265, DivX, MPEG2.
DOI: 10.25206/2310-9793-7-2-143-148
I. Введение
Сегодня можно констатировать, что развитие цифровых технологий приобрело всеобщий масштаб. Без них невозможны развитие, разработка и конструирования сложных технических, электротехнических комплексов, проектирование и тестирование на устойчивость зданий, контроль качества различных видов продукции, производство фильмов, обработка звука и многое другое.
Они несомненно упрощают жизнь человека, его работу, приводят к повышению качества итогового продукта, но также порождают некоторый дисбаланс и путаницу. Пользователи не всегда успевают за прогрессом, но чаще они просто не знают, какая из существующих технологий подойдет лучше для достижения поставленных целей. Связано это и с психологическими аспектами, и с нехваткой данных о технологиях, свойствах форматов, особенностей тех или иных подходов.
Также не стоит забывать о том, что некоторые типы данных сами по себе не до конца изучены. Например, работа с графикой, и ее обработка были доступны пользователям практически с самого начала использования персонального ЭВМ, а панорамное видео появилось недавно и стало доступно только после технического совершенствования оборудования, предназначенного для его создания.
Однако и в существующих уже длительное время технологиях наблюдаются нерешенные полностью вопросы. Так, на сегодняшний день весьма трудно найти относительно простой и точный способ сравнения качества видео, в частности их визуального отличия. Без этого очень трудно определить, какой формат лучше выбрать для хранения видео и какая степень компрессии лучше подойдет при условии, что надо сохранить наилучшее качество.
Определение данных свойств на глаз, выборочным сравнением зон кадра, на наш взгляд, носит субъективный характер, зависящий и от физиологических возможностей обработчика видео, от элемента случайности и от наличия специального оборудования, например калиброванного монитора, что иногда является непозволительной роскошью для обычных пользователей.
Наибольший интерес у исследователей вызывают программные реализации некоторых улучшений видео при его записи, последующей обработке, как показано в работе [1, 2]. Также постоянно требует усилий усовершенствование форматов, кодеков и иных программных реализаций хранения и передачи видеоданных [4].
Отдельно стоят вопросы контроля качества, среди которых встречаются крайне интересные и современные подходы и методы, например вариант анализа видеофрагментов при помощи нейронных сетей, обученных на просмотр видео, на основе которых они могут произвести сравнительный анализ.
Описанная выше технология не может быть выполнена в домашних условиях и пока не внедрена повсеместно. Поэтому мы считаем, что вправе предложить метод и инструментарий для сравнения качества изображения видеофайла для объективного и ситуативного анализа, влияния настроек рендеринга видео.
Суть предлагаемого метода - определять у случайных кадров видео средний цвет изображения, затем
a
определять значение AE*b и сравнивать их результаты.
Данный метод рассчитан как на обычных пользователей, так и профессионалов, он может быть применим для определения степени изменения качества кадров в видеофрагменте при точечных или глобальных изменениях настройки рендеринга. Это позволит легче определить наиболее подходящий вариант настроек.
II. Постановка задачи
Основной задачей является определения качества видео в зависимости от выбранного кодека, компрессии при анализе изображения по среднему цвету. Для оценки качества видеоизображения был выбран такой
w *
критерий, как отклонение AE*b.
Важнейшей задачей при оценке среднего цвета является выявление настроек, после которых начинается необратимое искажение цвета на кадре видеофайла. Предполагается, что на данный параметр могут влиять тип графического формата, его компрессия и применяемый кодек. В дальнейших экспериментах была предпринята попытка установить влияние графического формата и кодека на качество изображения в видео.
III. Теория
В качестве контроля отклонения полученного среднего цвета от эталонного, оригинального было взято отклонение AE*ab, определяемое по методике в равноконтрастной системе CIE-76 [5] и формуле
*
&Eab =
= V (L 2 - Li) + (a* - a*) + (b* - b*) .
По данной методике отклонение AEab не должно превышать единицы и стремится к нулю. В качестве инструмента автоматизации расчета использовался сторонний калькулятор Delta-E Calculator [6].
Получение видеофрагментов было выполнено в программе Format Factory 4.1.0. Данная программа была выбрана как наиболее популярная, применяемая в постобработке видео для уменьшения занимаемого объема видеофайла. Ее настройки были взяты по умолчанию. Преобразование полученных файлов в графический формат было выполнено в программе Adobe Premiere Pro CC, выпуск 2015.3, так как программа Format Factory 4.1.0 не может преобразовывать видеоданные в графику.
Дальнейшие расчеты по определению среднего цвета кадра мы проводили по программному обеспечению, разработанному ранее [7], которое работает по принципу опроса пикселей в изображении и определяет по ним средний цвет. По этой же программе выполняли расчет среднего цвета кадров на 4-секундном видеофрагменте для каждого 10-го кадра, т. е для кадров 10, 20, 30, 40, 50.
Эталонное видео было получено при помощи кодека H:265 с частотой 30 кадров в секунду. Затем данное видео было пересохранено в форматы MP4, MPG, AVI, WMV. Для каждого формата поддерживается ряд кодеков, их список приведен в табл. 1.
ТАБЛИЦА 1 ПЕРЕЧЕНЬ ВИДЕО ФОРМАТОВ И КОДЕКОВ
Видео формат Кодек Размер кадра (ширина и высота), pixel Размер файла
Оригинальный файл (MP4) X264 1920x1080 5 Мб 360 Кб
MP4 AVC(H264); HEVC(H265); MPEG4(DivX); MPEG4(Xvid) 1920x1080 1 Мб 536 Кб 977 Кб 3 Мб 117 Кб 3 Мб 133 Кб
MPG MPEG Video Version 2 1920x1080 8 Мб 577 Кб
AVI Uncompressed 16bpp. YUV 4:2:2 (UYVY) 1920x1080 494 Мб 304 Кб
WMV Windows Media Video 9 Screen (MSS2) 1920x1080 3 Мб 740 Кб
IV. Результаты экспериментов
Исследования проводились с применением разработанного ПО и Format Factory 4.1.0, запущенных на ЭВМ следующей конфигурации: Windows 10, Intel CPU Family:6, Model:10, Stepping:9 with MMX, SSE Integer, SSE FP, SSE2, SSE3, SSE4.1, SSE4.2, HyperThreading, Physical processor count: 4, Logical processor count: 8, Processor speed: 3410 MHz, Built-in memory: 16338 MB, OpenGL Drawing: Enabled, Video Card Renderer: GeForce GTX1060 6GB/PCIe/SSE2, Video Card: NVIDIA GeForce GTX1060 6GB, Driver Version: 23.21.13.9135.
В результате были получены графические файлы формата PNG, которые в дальнейшем были проанализированы на средний цвет кадра. Кадры 10-й, 20-й, 30-й, 40-й и 50-й из файла-образца приведены на рис. 2. Результаты измерений и расчетов hE*ab представлены в табл. 2.
д)
Рис. 2. Образцы кадров из оригинального видеофайла для кадров: а - 10-й; б - 20-й; в - 30-й; г - 40-й; д - 50-й
ТАБЛИЦА2
РЕЗУЛЬТАТЫ ОПРЕДЕЛЕНИЯ СРЕДНЕГО ЦВЕТА КАДРА ВИДЕОФАЙЛА И РАССЧИТАННЫЕ ДЛЯ НЕГО ДЕ^
Номера кадров Видеоформат Кодек Показатель среднего цвета по каналам R.G.B Значение hE*ab
10 92.85.71
20 30 40 Оригинальный файл (MP4) X264 94.86.73 95.85.73 94.83.72 -
50 103.92.84
ОКОНЧАНИЕ ТАБЛИЦЫ 2
Номера кадров Видеоформат Кодек Показатель среднего цвета по каналам R.G.B Значение SE*ab
10 92.84.71 0.7976
20 95.86.74 0.7532
30 MP4 AVC(H264) 93.83.72 1.0018
40 98.87.77 1.8266
50 100.89.82 1.3476
10 92.85.71 0
20 94.85.73 0.7957
30 MP4 HEVC(H265) 94.85.73 0.4715
40 93.83.73 0.7936
50 103.92.84 0
10 92.85.72 0.6115
20 93.85.73 0.714
30 MP4 MPEG4(DivX) 94.85.74 0.7889
40 93.83.73 0.7936
50 103.93.84 0.7863
10 92.84.72 1.3023
20 94.85.73 0.7957
30 MP4 MPEG4(Xvid) 95.85.73 0
40 94.83.71 0.6125
50 104.93.84 0.7078
10 92.85.72 0.6115
20 93.85.72 0.4198
30 MPG MPEG Video Version 2 95.85.74 0.6108
40 94.83.73 0.613
50 103.92.84 0
10 92.85.71 0
20 30 40 AVI Uncompressed 16bpp. YUV 4:2:2 (UYVY) 94.86.72 94.85.73 95.84.72 0.6098 0.4715 0.7156
50 102.92.83 0.7435
10 96.90.73 2.6209
20 30 40 WMV Windows Media Video 9 Screen (MSS2) 92.86.77 93.87.77 91.83.75 2.647 2.3303 2.3698
50 101.94.93 4.6992
V. Обсуждение результатов
По данным, приведенным в табл. 1 и 2, были построены графические зависимости, представленные на рис. 3 и 4. В данной экспериментальной работе мы предлагаем новый метод оценки качества видео по показателям среднего цвета. Данный метод позволяет получить реальные числовые данные при анализе видеофайла, так как, на наш взгляд, оценка качества изображения визуально является некорректной и может быть заменена на более точную оценку.
Анализ данных табл. 1 и 2 (рис. 3) выявил, что наименьший размер файла создает кодек H265. Он же об* *
ладает наилучшими показателями по AEab, так как в его значениях чаще встречается полное совпадение AEab по кадрам, когда ЬЕ*аЪ =0 (рис. 4). Это условие, на наш взгляд, является крайне важным и определяющим для оценки качества видеофайла. Косвенно в пользу данного факта говорят факты его активного внедрения вместо кодека H264 и то, что он является одним из самых новых на сегодня.
Из рис. 4 следует, что значения АЕ*Ь для кодеков H265, UYVY, DivX, MPG дают близкие результаты и хорошую динамику. Кодеки H264 и Xvid показали свою нестабильность и большой разброс по значениям SE*ab . Однако, их значения SE*ab входят в допустимую зону, которая не должна превышать ЬЕ*аЪ =2. Кроме того, кодек H264 является основным для многих видео-хостингов, таких как YouTube. И пока складывается подобная ситуация, он будет и дальше часто применяться в сфере интернет-вещания.
Рис. 3. Градации размера файла в зависимости от типа кодека
20 30 40
Номера кадров
Рис. 4. Распределение ДЕ*аЪ в зависимости от типа кодека
В данной статье мы не анализировали возможности тонкой настройки значений кодеков для окончательного рендеринга видео. На наш взгляд, данная задача облегчится, если будут использованы подобные точные подходы, потому что только таким способом можно увидеть реальные отличия в кадрах, пережатых при разных настройках.
Стоит отметить, что кодеки обладают большим количество настроек, каждая из которых уникальна и оказывает влияние на итоговое качество видео. Из-за этого влияющих факторов и их вариаций достаточно много, такую задачу можно решить только опытным путем, путем подбора оптимальных значений настроек кодека. Более того, часто для различных жанров или же просто отдельных фильмов приходится применять индивидуальный подход в настройке сжатия. Это связано с тем, что иногда нужно в ущерб качеству снизить размер файла, что в целом вполне объяснимо. Естественно, что визуально такую работу делать проблематично и нельзя поручиться за качественный анализ. Поэтому предложенный метод, на наш взгляд, хорошо подходит для таких задач.
VI. Выводы и заключение
1. Кодек Uncompressed 1бbpp. YUV 4:2:2 (UYVY) показал хороший результат по значениям AE*¿, но имеет непозволительно большой размер файла, поэтому не подходит для хранения данных.
2. Кодек H265 обладает наилучшими показателями по AE*¿ и наименьшим размером файла. Фактически это идеальный вариант кодека на сегодняшний день.
3. Кодеки UYVY, DivX, MPEG2 дают близкие результаты по качеству картинки, но они обладают большим размером файла, чем H265. Поэтому их надо выбирать исходя из конкретно поставленных задач.
4. Кодек DivX показал свою стабильность по качеству. Четыре из пяти экспериментов дали между собой близкие результаты по AE*ab.
5. Кодек MSS2 показал наихудший результат, он превышает порог значений AE* на всех исследуемых кадрах, а также показал максимальные значения AE*ab из всех исследуемых кодеков. Однако мы считаем, что это может быть вызвано некорректным поведением и настройками по умолчанию программного обеспечения, при помощи которого производилось пережатие в данный формат.
6. Предложенный метод позволяет получить реальные числовые данные при анализе качества видео, и может применяться для предварительной оценки качества полученных фильмов, так как средний цвет не учитывает точность некоторых важных параметров, например четкости текста на кадрах. Однако он хорошо справляется с общим определением качества кадров видео.
Список литературы
1. Kulkarni S., Bormane D.S and Nalbalwar S.L Video Stabilization Using Feature Point Matching // Journal of Physics: Conference Series. 2017. Vol. 787. DOI: 10.1088/1742-6596/787/1/012017.
2. Zeqi F., Peng Y. L., Kebin J. Visual Perception Based Rate Control Algorithm for HEVC // Journal of Physics: Conference Series. 2017. Vol. 960. DOI: 10.1088/1742-6596/960/1/012041.
3. Acqualagna L., Bosse S., Porbadnigk A.K., Curio G., Müller K. R., Wiegand T., Blankertz B. EEG -based classification of video quality perception using steady state visual evoked potentials (SSVEPs) // Journal of Neural Engineering. 2015.Vol. 12, no. 2. DOI: 10.1088/1741-2560/12/2/026012.
4. Manjanaik N., Parameshachar B. D., Hanumanthappa S.N., Banu R. Intra Frame Coding In Advanced Video Coding Standard (H.264) to Obtain Consistent PSNR and Reduce Bit Rate for Diagonal Down Left Mode Using Gaussian Pulse // IOP Conference Series: Materials Science and Engineering. 2017. Vol. 225. Р. 012209. DOI: 10.1088/1757-899X/225/1/012209.
5. Fairchild M. D. Color appearance models. Rochester, 2004. 617 p.
6. Delta-E Calculator. URL: http://colormine.org/delta-e-calculator.
7. Проскуряков Н. Е., Яковлев Б. С., Архангельская Н. Н. Определение параметров, влияющих на время расчета среднего цвета изображения // Проблемы машиноведения: материалы III Междунар. науч.-техн. конф., 23-24 апр. 2019 г., Омск, ОмГТУ. В 2 ч. Ч. 2. 2019. С. 342-350.
УДК 681.2.084; 615.471
РАЗРАБОТКА ЭЛЕКТРИЧЕСКОЙ МОДЕЛИ МЫШЕЧНОЙ ТКАНИ И УСТРОЙСТВА РЕГИСТРАЦИИ БИОПОТЕНЦИАЛОВ
DEVELOPMENT OF MUSCULAR TISSUE ELECTRICAL ANALOG AND DESIGNING THE DEVICE FOR BIOPOTENTIAL REGISTRATION
В. О. Рябчевский, Г. В. Никонова, А. A. Кабанов
Омский государственный технический университет, г. Омск, Россия
V. O. Ryabchevsky, G. V. Nikonova, A. A. Kabanov
Omsk State Technical University, Omsk, Russia
Аннотация. Представлена разработка совместимой SPICE модели мышцы человека и устройства для тестирования оборудования и компонентов устройства регистрации сигналов электромиографии (ЭМГ). Используются инструменты моделирования сигнала реального ЭМГ в программе NI Multisim. Разработана модель мышцы, основной которой является линейно-частотно модулирующий генератор, формирующий сигнал частотой 50-500Гц с амплитудой 100мВ, который эмулирует поведение мышечного несинхронного сигнала. Проведено исследование мышечной и нервной ткани по осциллограммам биопотенциалов во взаимодействии со средой разработки систем измерения NI LabVIEW.
Ключевые слова: мышца, биопотенциал, SPICE модель, эмулятор, Multisim.
DOI: 10.25206/2310-9793-7-2-148-154
I. Введение
Электрические потенциалы возникают во всех мышцах и нервах живого организма. Они могут быть обнаружены в любой живой клетке или органе. Элементарной биологической ячейкой, производящей электрическую энергию, является отдельная клетка. Разность потенциалов между возбужденной и невозбужденной частями клетки возникает таким образом, что потенциал возбужденной части всегда меньше потенциала невозбужденной части. Также возникает биопотенциал между различными участками тканей. Эта разность электрических потенциалов в одних случаях имеет главное, а в других - побочное значение для жизнедеятельности организма и является сопутствующим фактором его деятельности [1].
Биопотенциалы не являются постоянными величинами, а изменяются в зависимости от физико-химического состояния клетки или ткани, концентрации и состава, соприкасающихся с ними солевых растворов [2].
С помощью осциллограмм биопотенциалов исследуют мышечную или нервную ткань. Очевидно, что при этом разность потенциалов определяется совокупностью потенциалов отдельных клеток. Живые клетки можно в грубом приближении рассматривать как электрические генераторы. Тогда общая разность потенциалов, а также сопротивление ткани будут, очевидно, зависеть от характера соединения клеток. В отдельных случаях клетки соединены как бы последовательно друг с другом. Образуемая в этом случае ЭДС может достигать нескольких сотен миливольт [3].
II. Постановка задачи
Сигнал от мышцы является крайне маленьким, его амплитуда составляет от нескольких микровольт до 4-5 мВ [4]. Обычно, при регистрации биопотенциалов между электродами, отводящими потенциал, находится не одно волокно, а целая система (ствол) мышечных или нервных волокон, т. е. имеет место как бы параллельное соединение биологических генераторов. Поэтому величина ЭДС в этом случае остается примерно той же,
