CC BY
2ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
УДК 004.627
И. В. Богачев, А. В. Левенец, Чье Ен Ун, В. В. Бондаренко
ПРИМЕНЕНИЕ АЛГЕБРЫ ЛОГИКИ К ЗАДАЧЕ СЖАТИЯ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ
Богачев И. В. - канд. техн. наук, доц. каф. «Автоматика и системотехника», Тихоокеанский государственный университет, тел.: +7 (914) 777-07-25, e-mail: [email protected]; Левенец А. В. - д-р техн. наук, проф. каф. «Автоматика и системотехника», Тихоокеанский государственный университет, тел.: +7 (914) 191-33-39, e-mail: [email protected]; Чье Ен Ун - д-р техн. наук, зав. кафедрой «Автоматика и системотехника», Тихоокеанский государственный университет, e-mail: [email protected], тел.: (4212) 37-51-91; Бондаренко В. В. - аспирант каф. «Информационные системы, математика и правовая информатика», Приамурский государственный университет имени Шолом-Алейхема, тел.: +7 (999) 010-20-97, e-mail: [email protected].
В работе предложен подход к обратимому сжатию кадров измерительных данных, в основе которого лежит представление их разностно-битового вида в виде таблицы истинности некоторой логической функции нескольких переменных, с последующей ее минимизацией. На его базе разработан алгоритм обратимого сжатия, позволяющий перейти от непосредственного сжатия данных, к адаптивному префиксному кодированию данных, представленных в виде минимальной дизъюнктивной нормальной формы. Приведены экспериментальные результаты, показывающие, что предложенный алгоритм обеспечивает достаточно высокую общую эффективность сжатия наборов данных с достаточно широким диапазоном статистических параметров.
Ключевые слова: информационно-измерительные и управляющие системы, обратимое сжатие, измерительные данные, кадры данных, булева функция, минимизация, алгоритм Куайна - Мак-Класки.
Введение
Решение задачи обеспечения обоснованности и повышения уровня оперативности принимаемых решений в различных областях хозяйственной деятельности в первую очередь связано со своевременным использованием необходимой информации, что в свою очередь предполагает обновление или модернизацию технических средств обработки, передачи и хранения данных.
© Богачев И. В., Левенец А. В., Чье Ен Ун, Бондаренко В. В., 2022
ВЕСТНИК ТОГУ. 2022 № 4 (67)
ЗГ|
При этом, даже самые современные информационно-измерительные и управляющие системы (ИИУС) имеют свои ограничения в производительности и пропускной способности каналов связи, кроме того, их применение существенно ограничивается высокой стоимостью. Вследствие этого внимание научного и технического сообществ направлено в сторону поиска новых подходов к оптимизации процесса хранения данных, а также разработки более эффективных алгоритмов их структурного упорядочивания и сжатия, что подтверждается исследованиями как отечественных [1-5], так и зарубежных [6-10] авторов.
Следует отметить, что в настоящее время универсальным алгоритмам сжатия данных внимания практически не уделяется, но, при этом разработано большое количество специализированных алгоритмов, ориентированных на некоторый заранее заданный тип сжимаемой информации, что и определяет их достаточно высокую эффективность для него, однако такие алгоритмы зачастую либо не пригодны, либо малоэффективны при сжатии данных других типов [11]. При этом основными типами данных, для которых разрабатываются специализированные алгоритмы сжатия являются изображения, видео и звуковые записи, что связано с ростом трафика в сети Internet, который в большинстве своем генерируется социальными сетями. Зачастую в основе таких алгоритмов лежит учет физиологических ограничений человека, подразумевающий удаление части информации, не являющейся необходимой для достаточно качественного ее воспроизведения. Необходимо отметить, что в настоящее время универсальным алгоритмам сжатия данных внимания практически не уделяется.
Необходимо отметить, что помимо данных мультимедиа, в настоящее время весьма значительно вырос объем измерительных данных, основной отличительной особенностью которых является определенная схожесть со случайными последовательностями [5]. Кроме того, следует учитывать то обстоятельство, что при сжатии таких данных крайне нежелательна потеря информации, следовательно, применяемые алгоритмы сжатия данных должны обладать свойством полной обратимости. В таком случае, становится очевидной необходимость в разработке специализированных алгоритмов обратимого сжатия, ориентированных на измерительные данные.
Описание алгоритма сжатия
В основе предлагаемого алгоритма лежит представление множества отсчетов, поступающих в один и тот же момент времени, в виде кадров, содержащих результат их дельта-кодирования, представленных в битовом виде [12], как таблицы истинности некоторой логической функции нескольких переменных (ЛФНП), с последующей ее минимизацией. Такой подход позволяет перейти от непосредственного сжатия данных, к кодированию получившейся в процессе минимизации минимальной дизъюнктивной нормальной формы (МДНФ).
Богачев И. В., Левенец А. В.,
вк™ ТОГу. 2022.№ 4 (67) Чье Ен Ун, Бондаренко В. В.
ПРИМЕНЕНИЕ АЛГЕБРЫ ЛОГИКИ К ЗАДАЧЕ -
СЖАТИЯ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ ЖЛЛЖ ТСГУ. 2)22 № 4 (67)
Пример представления телеметрического кадра данных, состоящего из четырех четырехразрядных отсчетов в виде таблицы истинности некоторой ЛФНП, представлен в табл. 1.
Таблица 1
Пример кодирования кадра_
Х1 Х2 Хз Х4
00 01 10 11
00 0 0 0 1
01 0 0 0 1
10 0 0 1 0
11 0 0 1 1
Минимизацию предлагается производить с использованием алгоритма Куайна - Мак-Класки, который позволяет получить приемлемую скорость и качество минимизации при относительно простой программной реализации.
Для примера, представленного в таблице 1, совершенная дизъюнктивная нормальная форма (СДНФ) будет выглядеть следующим образом:
X] X2Х^ X^ V X¡X2Х^ X^ V X¡X2Х^Х^ V X] X2Х^Х^ V X^ X^Х^ X^ .
После минимизации СДНФ будет получена МДНФ вида: X^ * Х^Х^ V X! * Х^ X^ V X¡X\Х^ *,
где вместо переменных, не вошедших в свои группы, подставлен символ «*».
Для того, чтобы представить итоговую функцию в двоичном коде, необходимо каждой переменной МДНФ поставить в соответствие уникальный префиксный код (ПК), как показано в табл. 2.
Таблица кодирования символов МДНФ
Таблица 2
Состояние Префиксный код
переменной ПК1 ПК2 ПК3
X 0 10 10
10 0 11
* 11 11 0
В данном случае достаточно выделить только три варианта построения префиксного кода для кодирования МДНФ, т.к. важно не то, сочетанием каких бит будет закодирована каждая переменная, а то, какому символу будет присвоен самый короткий код. При этом выбор конкретного ПК должен происходить на основе статистических наблюдений и либо определяться статически на протяжении всего времени передачи данных, либо изменяться динамически.
Если закодировать СДНФ и МДНФ одинаковыми ПК, то очевидно, что во втором случае потребуется значительно меньшее количество бит. Важно заметить, что если обмен данными происходит дискретно, то такой код уже готов
Богачев И. В., Левенец А. В.,
ВЕСШЖ ТОГУ. 2022.№ 4 (67) Чье Ен Ун, Бондаренко 13.13.
к дальнейшей передаче, но такой подход на практике используется редко. Зачастую перед разработчиками ИИУС стоит требование к организации процесса непрерывной передачи данных, для чего полученный результат необходимо «обернуть» в специальный формат описания сжатого кадра, структура которого в зависимости от подхода к кодированию может принимать вид, представленный на рис. 1.
Рэ.сж Qпер СМДНФ Р'э.сж Qпер <2м ^ СМДНФ
Поле Набор полей Поле тт ,
Поле данных . Набор полей описания Поле данных
флагов описания флагов
а) б)
Рис. 1. Структура формата описания в случае статического (а) и динамического (б) подходов к кодированию
Заголовок обоих форматов состоит из одного бита флага Рэ.сж, который устанавливается в единицу, если для сжимаемых данных удалось получить положительный коэффициент сжатия, в противном случае он устанавливается в ноль и вместе с ним передаются несжатые данные в своем исходном виде. После заголовка идет набор полей описания, которое состоит в зависимости от подхода к кодированию из двух или трех полей, заканчивается же формат полем данных (Смднф), в котором хранится закодированное представление МДНФ.
Поля описания имеют следующий смысл: поле Qпер определяет количество переменных, поле Qм определяет количество минитерм МДНФ и поле Qк кодирует используемый префиксный код. Размер поля Qк всегда равен двум битам, а размер оставшихся полей в битах вычисляется соответственно следующим образом: ^ =[ («•т -1)]; ^ =| (^ — где п - число источников данных с разрядностью т.
Непосредственно алгоритм представления телеметрического кадра как таблицы истинности логической функции нескольких переменных и последующей ее минимизации, с целью сжатия данных можно описать как последовательность, состоящую из следующих шагов:
Шаг 1. Создается вектор с длиной равной п • т, после чего биты разностно-битового представления кадра заносятся в вектор последовательно по строкам сверху вниз и слева направо в каждой строке;
Шаг 2. Определяется последний элемент в векторе, значение которого равно единице, идущие после него элементы удаляются;
Шаг 3. Определяется достаточное число переменных, необходимых для кодирования всех элементов вектора;
Шаг 4. Вектор представляется как таблица истинности ЛФНП, при этом если число строк таблицы больше числа бит вектора, то оставшиеся строки заполняются битами, принимающими значение нуля;
ПРИМЕНЕНИЕ АЛГЕБРЫ ЛОГИКИ К ЗАДАЧЕ СЖАТИЯ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ
ВЕСТНИК ТОГУ. 2022 № 4 (67)
Шаг 5. По полученной таблице составляется СДНФ, которая далее минимизируется согласно алгоритму Куайна - Мак-Класки;
Шаг 6. Полученная в результате минимизации МДНФ кодируется одним из префиксных кодов, представленных в табл. 2;
Шаг 7. Полученный двоичный код записывается в специальный формат описания сжатого кадра в месте со значениями флагов и полей описания, после чего процесс сжатия можно считать оконченным.
Процедура декодирования данных основывается на восстановлении телеметрического кадра из полученной для него МДНФ. При этом в начале восстанавливается таблица истинности, затем табличное значение функции последовательно по строкам сверху вниз и слева направо в каждой строке считывается на восстанавливаемый кадр, который изначально был заполнен битами, принимающими значение нуля. Никаких дополнительных манипуляций больше не требуется, что делает предложенный алгоритм ассиметричным.
Исследование эффективности работы алгоритма сжатия
Тестирование разработанного алгоритма (LC) проводилось с использованием данных телемеханики (телеизмерения и телесигнализация), полученных от ряда объектов энергетики (подстанции и генерирующие станции) с помощью системы сбора и передачи телемеханики ТМ-800. В качестве тестовых использовались пять наиболее характерных наборов данных (НД), сформированных из отсчетов, полученных как в штатном режиме работы объекта (стационарные наборы НД1, НД3 и НД5), так и в режиме перевода энергосети из одного состояния в другое (нестационарные наборы НД2 и НД4). Следует отметить, что исходный объем наборов варьировался от 11 до 19 тысяч кадров, но после дельта-кодирования из наборов были удалены кадры, значение всех отсчетов в которых были равны нулю и опорный (первый) кадр, что в свою очередь незначительно его уменьшило.
Результаты работы алгоритма LC приведены в табл. 3, при этом оценивались средний коэффициент (СКС) и среднее время (СВС) сжатия для каждого набора c использованием статического префиксного кодирования.
Таблица 3
Усредненные параметры эффективности работы алгоритма ЬС с использованием ста_тического префиксного кодирования_
Параметр НД
НД1 НД2 НД3 НД4 НД5
ПК1 2,7871 1,7192 2,6438 2,0524 3,5702
СКС, ед ПК2 2,8637 1,6788 2,8180 2,0303 3,5733
ПК3 2,3029 1,3945 2,1945 1,6358 2,8961
ПК1 0,0578 0,1956 0,0560 0,1556 0,0649
СВС, мс ПК2 0,0592 0,1968 0,0561 0,1543 0,0623
ПК3 0,0602 0,1980 0,0540 0,1534 0,0635
ЗГ|
Полученные результаты показывают, что предложенный алгоритм обеспечивает высокие показатели коэффициента сжатия как для стационарных, так и нестационарных потоков кадров данных, обеспечивая при этом достаточно высокое быстродействие. Кроме того, следует отметить, что алгоритм практически не теряет в скорости работы при сжатии нестационарных данных. Важно отметить, что в данном случае невозможно выделить наиболее оптимальный префиксный код, лишь при использовании ПК3 алгоритм показывает заметно более низкие результаты. В таком случае предлагается провести аналогичное исследование, но с использованием динамического префиксного кодирования, результаты которого представлены в табл. 4.
Таблица 4
Усредненные параметры эффективности работы алгоритма ЬС с использованием _динамического префиксного кодирования_
Параметр НД
НД11 НД12 НД13 НД14 НД15
СКС, ед 2,9747 1,7267 2,8867 2,0622 3,7984
СВС, мс 0,0794 0,2338 0,0748 0,1916 0,0817
Из сравнительного анализа результатов, представленных в табл. 3 и 4 видно, что динамический подход к кодированию не требует значительно больших временных затрат, при этом позволяя существенно увеличить средний коэффициент сжатия, что особенно заметно на стационарных наборах данных.
С целью подтверждения эффективности работы алгоритма LC, предлагается сравнить полученные для него результаты, представленные в табл. 5, с результатами работы универсальных алгоритмов сжатия (АС) RLE и LZW, которые часто применяются в ИИУС [13, 14].
Таблица 5
Результаты исследования эффективности алгоритмов RLE и LZW
АС Параметр НД
НД1 НД2 НД3 НД4 НД5
RLE СКС, ед 1,5393 1,3391 1,5539 1,4610 1,6388
СВС, мс 0,0226 0,0361 0,0257 0,0350 0,0288
LZW СКС, ед 1,2587 1,1996 1,3127 1,3782 1,5108
СВС, мс 0,0485 0,0672 0,0526 0,0698 0,0601
Как видно, алгоритмы общего назначения в целом показали невысокую эффективность по сравнению с алгоритмом ЬС, обеспечив достаточно низкий коэффициент сжатия для всех типов данных. С другой стороны, они гарантируют практически одинаковое время сжатия для всех наборов, что делает их использование наиболее эффективным в условиях, когда необходимо максимальное быстродействие на данных смешанного типа. При этом алгоритм ЬС на нестационарных НД дает относительно низкий коэффициент сжатия, одновременно с этим затрачивая значительное количество времени на сжатие по
Богачев И. В., Левенец А. В.,
ВЕСТИ® ТОГУ 2022.№ 4 (67) Чье Ен Ун, Бондаренко 13.13.
ПРИМЕНЕНИЕ АЛГЕБРЫ ЛОГИКИ К ЗАДАЧЕ -
СЖАТИЯ ИЗМЕРИТЕЛЬНЫХ ДАННЫХ ЖСПИС ТСГУ. 2)22 № 4 (67)
сравнению с результатами, полученными для стационарных наборов. Такое поведение означает малую эффективность в случае работы с данными нестационарного и смешанного типа, а также принципиальную непригодность при условии работы в «жестком» реальном времени.
Заключение
Результаты проведенных исследований показали, что предложенный алгоритм сжатия измерительных данных, основанный на представлении раз-ностно-битового кадра в виде таблицы истинности некоторой логической функции нескольких переменных с последующей ее минимизацией, обеспечивает достаточно высокую среднюю эффективность сжатия на данных с различными по стационарности свойствами. Так, показано, что алгоритм LC эффективно работает с данными как стационарной группы обеспечивая для них средний коэффициент сжатия порядка 3,22, что больше, чем показывают алгоритмы RLE и LZW, для которых это значение составляет 1,58 и 1,36 соответственно, так и нестационарной, показывая для них достаточно приемлемый средний коэффициент сжатия в 1,89, что несколько ниже, чем значения, полученные для алгоритмов RLE (1,40) и LZW (1,29). При этом для алгоритма LC среднее время сжатия положительно коррелирует с эффективностью сжатия стационарных наборов, чего нельзя сказать при работе с наборами, обладающими нестационарными свойствами.
Дальнейшее развитие предложенного подхода можно связать как с уменьшением объема данных, хранимых в полях формата описания сжатого кадра, так и с разработкой алгоритмов его непосредственного сжатия.
Исследование выполнено за счет гранта Российского научного фонда № 22-21-00146, https://rscf.ru/project/22-21-00146/.
Библиографические ссылки
1. Орешко В.В. Алгоритмы устранения избыточности информации, передаваемой от бортовых телеметрических систем на Землю // Ракетно-космическое приборостроение и информационные системы, 2017. Т. 4, № 2. С. 85-94.
2. Совершенствование алгоритмов сжатия-восстановления сигналов для систем телеизмерений / Е.А. Ломтев, М.Г. Мясникова, Н.В. Мясникова, Б.В. Цыпин // Измерительная техника. 2015. № 3. С. 11-15.
3. Победоносцев В .А. Определение количества информации о непрерывных сигналах. Элементарная теория. М.: Радиотехника, 2017. 168 с.
4. Тулекбаев Е.Т. Эффективные методы сжатия телеметрической информации для наземных комплексов управления // Вестник науки и образования. 2017. № 10. С. 14-20.
5. Обзор способов снижения избыточности телеметрической информации / Ф.Н. Бай-бекова, В.В. Подольцев, Н.М. Беспалова, Л.А. Сологубова // Радиопромышленность. 2019. № 2. С. 8-16.
6. Efficient Sequential Compression of Multichannel Biomedical Signal / Capurro I. et al. // IEEE Journal of Biomedical and Health Informatics, 2017. Vol. 21, № 4. P. 904-916. DOI: 10.1109/JBHI.2016.2582683.
$
Богачев И. В. , Левенец А. В. ,
ВЕСТИ® ТСТУ. г022. № 4 (67) Чье Ен Ун, Бондаренко В. В.
7. Chen-Wei Huang, Jian-Jiun Ding. Efficient EEG Signal Compression Algorithm with Long Length Improved Adaptive Arithmetic Coding and Advanced Division and Encoding Techniques // 23 rd International Conference on Digital Signal Processing (DSP) : Proceedings. Shanghai, China, 2018. D0I:10.1109/ICDSP.2018.8631886.
8. Xin Zhang, Jafar Saniie. Unsupervised Learning for 3D Ultrasonic Data Compression // 2021 IEEE International Ultrasonics Symposium (IUS) : Proceedings. Xi'an, China, 2021. DOI: 10.1109/IUS52206.2021.9593654.
9. Tsung-Han Tsai, Fong-Lin Tsai. Efficient Lossless Compression Scheme for Multi-channel ECG Signal // 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) : Proceedings. Brighton, UK, 2019. D0I:10.1109/ICASSP.2019.8683836.
10. Xiaojin Shi, Yunhua Zhang, Xiao Dong. Evaluation of BAQ on Tiangong-2 interferomet-ric imaging radar altimeter data compression // 22nd International Microwave and Radar Conference (MIKON) : Proceedings. Poznan, Poland, 2018. D0I:10.23919/MIK0N.2018.8405306.
11. Левенец, А.В., Токарев Р.Е., Чье Ен Ун. Применение популярных алгоритмов компрессии изображений для сжатия измерительных данных // Вестник ТОГУ. Хабаровск, 2012. № 4. С. 125-132.
12. Богачев И.В., Левенец А.В., Чье Ен Ун. Статистический анализ телеметрических данных с точки зрения задачи сжатия // Информационно-управляющие системы. 2017. № 1. С. 11-16. DOI: 10.15217/issn1684-8853.2017.1.11
13. Богачев И.В., Левенец А.В., Чье Ен Ун. Предварительная обработка и сжатие телеметрических данных на основе геометрического подхода. М.: РУСАЙНС, 2021. 168 с.
14. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео / Ватолин Д., Ратушняк А., Смирнов М., Юкин В. М.: Диалог-МИФИ, 2003. 384 с.
Title: Applying the Algebra of Logic to the Problem of Measurement Data Compression Authors' affiliation:
Bogachev I.V. - Pacific National University, Khabarovsk, Russian Federation Levenets A.V. - Pacific National University, Khabarovsk, Russian Federation Chye En Un - Pacific National University, Khabarovsk, Russian Federation Bondarenko V.V. - Sholom-Aleichem Priamursky State University, Birobidzhan, Russian Federation
Abstract: The authors propose an approach to reversible compression of measurement data frames, which is based on the representation of their bit-difference form as a truth table of some logical function of several variables, followed by its minimization. On its basis, a reversible compression algorithm has been developed, it allows to switch from direct data compression to encoding the minimal disjunctive normal form obtained in the process of minimization using adaptive prefix coding. The presented experimental results show that the proposed algorithm provides a sufficiently high overall compression efficiency for data frames that differ in stationary properties.
Keywords: information-measuring and control systems, reversible compression, measurement data, data frames, Boolean function, minimization, Quine-McCluskey algorithm.
