CC BY
1ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
ВЕСТНИК ТОГУ. 2024. № 1 (72)
ИГ
УДК 004.627
М. А. Дружинин, А. В. Левенец
СПОСОБ ПОВЫШЕНИЯ ОДНОРОДНОСТИ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ ПЕРЕД СЖАТИЕМ
Дружинин М. А. - специалист отдела дистанционных образовательных технологий ресурсно-информационного образовательного центра, ТОГУ, e-mail: maxdruzhinin01@gmail.com; Левенец А. В. - д-р техн. наук, профессор высшей школы компьютерных и цифровых технологий, ТОГУ, e-mail: 000621@pnu.edu.ru.
Рассмотренный в статье способ предварительной обработки измерительных данных основывается на принципах геометрического подхода к представлению данных. Способ преобразует исходные данные в набор данных с более однородной структурой, что позволяет сжимать их с большей эффективностью. Повышение однородности осуществляется за счет формирования слов с отличной от исходных данных разрядностью, составленных из частей разных отсчетов исходных данных, в результате чего у преобразованных данных наблюдается более узкий динамический диапазон значений, что потенциально может привести к повышению эффективности их сжатия по сравнению с исходным набором данных.
Ключевые слова: сжатие данных, предварительная обработка, однородные структуры, данные измерений, геометрический подход.
Введение
Актуальность задачи сжатия измерительных данных, несмотря на активное применение вычислительной техники, позволяющей относительно легко реализовывать сложные алгоритмы обработки данных, остается достаточно высокой. В первую очередь это связано с особенностями измерительных данных, делающих их схожими с данными стохастического характера, что отрицательно сказывается на эффективности работы алгоритмов сжатия [1]. В настоящее время продолжается поиск новых методов сжатия и разработка на их основе новых алгоритмов сжатия, однако, как правило, основной упор разработчики делают на сжатие мультимедийной информации, а данным измерений уделяют существенно меньше внимания [2-4]. Большинство разрабатываемых алгоритмов относятся к специализированным, ориентированным на определенный класс данных и применение их к данным другого типа не обеспечивает высокую эффективность сжатия. Как следствие, для обратимого сжатия оцифрованных измерительных данных основным
© Дружинин М. А., Левенец А. В., 2024
ВЕСТНИК ТОГУ. 2024. № 1 (72)
инструментом остается разностный метод с последующим префиксным кодированием.
В настоящее время с развитием алгоритмов сжатия измерительных данных можно связать геометрический подход к представлению данных, на основе которого можно разрабатывать алгоритмы предварительной обработки и сжатия, позволяющие, по крайней мере, в некоторой степени учитывать внутренние корреляционные связи в кадре измерительных данных, составленном из отсчетов, полученных от разных источников информации [5]. Такая связь источников информации может определяться общим объектом измерения, например, физической связью между элементами объекта, особенностями системы передачи данных и пр.
В основе геометрического подхода лежит формирование из исходного набора данных битовой последовательности с последующим ее «сворачиванием» в более сложную структуру (в простейшем случае - двумерную). Правила формирования структур предполагают, что однородность полученной структуры будет выше, чем у исходного набора данных, что обеспечивает эффективность ее сжатия. Следует отметить, что важной проблемой для такого рода преобразований остается достаточно большой объем служебной информации, необходимой для восстановления данных, что может значительно снизить эффективность преобразования. Такими образом, одной из актуальных задач становится разработка способов преобразования измерительных данных в однородную упорядоченную структуру.
Способ преобразования данных
В качестве одного из способов формирования однородных структур была предложена предварительная обработка, более подробно описанная в [6]. В ее основе лежат следующие основные действия. Из исходных данных формируется прямоугольная битовая область, которая далее разбивается на одинаковые прямоугольные объекты. Из полученных объектов по определенным правилам формируются слова, образующие новую, более однородную последовательность.
Так, если исходный набор данных состоит из L ^-разрядных слов, то из них будет сформирована битовая последовательность длиной Lk. Полученная битовая последовательность преобразуется в прямоугольный набор битов размерностью M*N, который далее разбивается на одинаковые объекты размерностью m*n. Каждый объект соответствует слову разрядностью mn новой последовательности данных. Можно предполагать, что при соответствующем разбиении у полученной последовательности динамический диапазон значений будет более низким, чем у исходной и, следовательно, она может быть сжата более эффективно, чем исходная.
На эффективность преобразования непосредственно влияют параметры m и n, выбор которых зависит от размеров прямоугольного набора M и N, статистические параметры входного потока данных, сила корреляционных связей неклассического типа, куда следует отнести связи между группами бит разных слов исходной последовательности данных и др. Следует отметить, что в данной работе производится оценка возможностей предложенного преобразования и не рассматривается вопрос оптимального разбиения.
СПОСОБ ПОВЫШЕНИЯ ОДНОРОДНОСТИ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ ПЕРЕД СЖАТИЕМ
ВЕСТНИК ТОГУ. 2024. № 1 (72)
Результаты исследования
При проведении исследования в качестве исходных данных были взяты наборы восьмиразрядных показаний датчиков, полученные системой сбора телемеханических данных на ряде энергетических объектов. При анализе данных знак не учитывался, т.е. рассматривалось только их битовое представление.
Эффективность преобразования оценивалась отношением числа появления такого слова к общему числу слов последовательности (частотой появления наиболее часто встречающегося слова). Такая оценка позволяет грубо оценивать эффективность сжатия полученной последовательности данных простейшим алгоритмом, основанном на применении кодов переменной длины [6]. Средняя оценка эффективности вычислялась по 1000 реализациям. Для получения сравнительных оценок использовались результаты исследований, полученные для данных рассматриваемого типа в [5], по которым было определено, что средняя эффективность исходных данных телеизмерений, вычисленная по предложенному способу, составляет примерно 0,112.
В процессе исследования из исходных наборов данных формировались прямоугольные битовые наборы размерностейM*N, 8 <M < 16, 8 < N < 16. Согласно исследуемому способу, наборы разбивались на объекты размерности m*n, 1 < m < 4, 1 < N < 4, т.е. размерность 1*1 не рассматривались в силу своей тривиальности. В случае необходимости недостающие биты получались за счет дублирования строк (столбцов) прямоугольного набора. Например, если область с размерностью 9*8 бит разбивалась на слова конфигурации 3*3, то она дополнялась до необходимой размерности 9*9 бит путем дублирования крайнего правого столбца бит. Формирование слов из объекта осуществлялось как объединение строк объекта, причем старшим битом сформированного слова считался крайний левый бит последней строки. Следует отметить, что результаты первичных исследований рассматриваемого способа проведены в [6], а здесь приведены дополнительные результаты исследования эффективности преобразования для важного случая больших размерностей прямоугольных битовых наборов.
Полученные результаты для некоторых размеров прямоугольного набора для наиболее простого объекта размерностью 2*1 приведены в табл. 1. В таблице для средних значений оценки эффективности в скобках приведены значения относительной эффективности, которая определялась как отношение эффективности преобразованной последовательности данных к эффективности исходных (непреобразованных) данных. Относительные оценки эффективности для максимального и минимального значений не приводятся в силу невысокой практической значимости.
Анализ полученных данных показывает, что применение предложенной предварительной обработки существенно (в среднем, в четыре раза) повышает однородность преобразованных данных по сравнению с исходными. Тем не менее, следует отметить, что увеличение размеров прямоугольного набора приводит к незначительному уменьшению средних значений оценок эффективности, при этом наблюдается локальные максимумы средних оценок для размеров прямоугольного набора, кратных степени двух.
ВЕСТНИК ТОГУ. 2024. № 1 (72)
Таблица 1
Эффективность преобразования для различных размеров прямоугольного набора
Размеры набора Эффективность
минималь- ная средняя Максимальная
8x8 0,28 0,492 (4,39) 0,75
8x9 0,275 0,493 (4,4) 0,775
8x10 0,275 0,493 (4,4) 0,775
8x11 0,31 0,488 (4,36) 0,75
8x12 0,31 0,488 (4,36) 0,75
8x13 0,29 0,484 (4,32) 0,75
8x14 0,285 0,484 (4,32) 0,75
8x15 0,28 0,493 (4,4) 0,75
8x16 0,28 0,493 (4,4) 0,75
9x8 0,3 0,491 (4,38) 0,75
9x9 0,296 0,434 (3,88) 0,629
9x10 0,267 0,491 (4,38) 0,780
9x11 0,296 0,482 (4,3) 0,740
9x12 0,296 0,488 (4,36) 0,740
9x13 0,3 0,481 (4,29) 0,746
9x14 0,3 0,481 (4,29) 0,746
9x15 0,31 0,491 (4,38) 0,75
9x16 0,31 0,491 (4,38) 0,75
10x8 0,3 0,484 (4,32) 0,7
10x9 0,28 0,487 (4,35) 0,74
10x10 0,28 0,487 (4,35) 0,74
10x11 0,3 0,474 (4,23) 0,7
10x12 0,3 0,474 (4,23) 0,7
10x13 0,3 0,476 (4,25) 0,7
10x14 0,3 0,476 (4,25) 0,7
10x15 0,3 0,484 (4,32) 0,7
10x16 0,3 0,484 (4,32) 0,7
Очевидно, что здесь проявляются общие свойства двоичного представления числа, усиленные особенностями статистических параметров исходных данных, которые заключаются, в частности, в относительно небольшом динамическом диапазоне изменения их значений, что приводит к относительно редкому изменению старших бит слова и, как следствие, к увеличению однородности преобразованных данных на соответствующих размерностях прямоугольного битового набора, когда слабо изменяющиеся части исходных слов располагаются в разных выделяемых объектах на одинаковых местах.
Аналогичные результаты были получены для случая разбиения прямоугольного набора на объекты других размерностей. При этом следует отметить, что увеличение размерности объекта не приводит к увеличению оценки эффективности, принятой в данной работе и в первую очередь это следует связать с естественным
СПОСОБ ПОВЫШЕНИЯ ОДНОРОДНОСТИ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ ПЕРЕД СЖАТИЕМ
ВЕСТНИК ТОГУ. 2024. № 1 (72)
расширением динамического диапазона преобразованных данных. Тем не менее, полученные результаты показывают только возможности метода, и оценка дает представление об однородности данных, но дает слабое представление о эффективности сжатия таких данных. Действительно, очевидна прямая связь между степенью однородности данных на входе алгоритма сжатия и эффективностью работы этого алгоритма. однако следует учитывать также особенности работы алгоритма сжатия, поэтому для получения более точного представления о эффективности сжатия данных после применения к ним предлагаемого способа предварительной обработки, следует использовать более сложный способ оценки.
Для получения общего представления о эффективности преобразования в табл. 2 сведены результаты исследования для случая максимальной величины второй размерности битового набора, принятой в рамках данной работы. Здесь подтверждается сделанные выше выводы о повышении эффективности способа для значений размерности, кратных степени двух и, более того, наблюдается локальные увеличения оценок эффективности для четных размерностей. При этом значения оценок относительной эффективности варьируются в пределах четырех процентов, т.е. практически не изменяются. Также следует отметить, что диапазон изменения минимальных и максимальных значений оценок эффективности более широк, составляя в среднем 10-15 % от максимальной величины оценки. Тем не менее, даже минимальное значение оценки эффективности больше такой же оценки, полученной для исходных необработанных данных более чем в два раза.
Таблица 2
Эффективность преобразования для наибольшей второй размерности ______________________прямоугольного набора_____________________
Размеры набора Эффективность
минимальная средняя максимальная
8x16 0,28 0,493 (4,4) 0,75
9x16 0,31 0,491 (4,38) 0,75
10x16 0,3 0,484 (4,32) 0,7
11x16 0,27 0,48 (4,28) 0,636
12x16 0,271 0,482 (4,3) 0,667
13x16 0,269 0,48 (4,28) 0,692
14x16 0,285 0,471 (4,21) 0,714
15x16 0,283 0,486 (4,34) 0,733
16x16 0,281 0,493 (4,4) 0,75
Заключение
Такими образом, предложенный способ показывает достаточно высокую эффективность формирования из наборов измерительных данных более однородных последовательностей, для которых можно предполагать повышение коэффициента сжатия, по сравнению с исходными данными. Средняя величина оценки эффективности преобразования показывает, что однородность преобразованных
ВЕСТНИК ТОГУ. 2024. № 1 (72)
данных возрастает более чем в четыре раза, причем минимальные значения эффективности обеспечивают рост однородности не менее, чем в два раза. Дальнейшие исследования следует связать с получением оценки эффективности преобразования с точки зрения задачи сжатия.
Библиографические ссылки
1. Современная телеметрия в теории и на практике / А. В. Назаров, Г. И. Козырев, И. В. Шитов и др. СПб. : Наука и техника, 2007. 672 с.
2. Обзор способов снижения избыточности телеметрической информации / Ф. Н. Байбекова, В. В. Подольцев, Н. М. Беспалова, Л. А. Сологубова // Радиопромышленность. 2019. № 2. С. 8-16.
3. Спиваковский А. М. Управляемое сжатие данных. СПб. : Ниц Арт-Печатный цех, 2018. 258 с.
4. Совершенствование алгоритмов сжатия-восстановления сигналов для систем телеизмерений / Е. А. Ломтев, М. Г. Мясникова, Н. В. Мясникова, Б. В. Цыпин // Измерительная техника. 2015. № 3. С. 11-15.
5. Богачев И. В., Левенец А. В., Чье Ен Ун. Предварительная обработка и сжатие телеметрических данных на основе геометрического подхода М. : РУ-САЙНС, 2021. 168 с.
6. Способ предварительной обработки измерительных данных перед сжатием / И. В. Богачев, А. В. Левенец, Чье Ен Ун, М. А. Шарапов // Информатика и системы управления. 2023. № 4. C. 134-139.
Title: Method for Increasing Homogeneity of Measurement Data before Compressing
Authors’ affiliation:
Druzhinin M. A. - Pacific National University, Khabarovsk, Russian Federation Levenets A. V. - Pacific National University, Khabarovsk, Russian Federation
Abstract: The method of preliminary processing of measurement data discussed in the article is based on the principles of a geometric approach to data presentation. The method transforms the original data into a data set with a more homogeneous structure, which allows them to be compressed with greater efficiency. Increasing homogeneity is achieved by forming words with a different bit depth from the original data, composed of parts of different samples of the original data. As a result, the converted data have a narrower dynamic range of values, which can potentially lead to an increase in the efficiency of their compression compared to the original data set.
Keywords: data compression, preprocessing, homogeneous structure, measurement data, geometric approach
