ПРИМЕНЕНИЕ ФРЕЙМВОРКА LIGHTAUTOML ДЛЯ СЕНТИМЕНТНОГО АНАЛИЗА ТЕКСТА Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ

УДК 004.627

И. В. Богачев, А. В. Левенец, Чье Ен Ун

АЛГОРИТМ ОБРАТИМОГО СТРУКТУРНОГО ПРЕОБРАЗОВАНИЯ КАДРОВ ТЕЛЕМЕТРИЧЕСКИХ ДАННЫХ С ОТОБРАЖЕНИЕМ НА ПОВЕРХНОСТЬ ТОРА КАК СРЕДСТВО ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ

Богачев И. В. - канд. техн. наук, доц. кафедры «Автоматика и системотехника, e-mail: [email protected]; Левенец А. В. - д-р техн. наук, проф. кафедры «Автоматика и системотехника», e-mail: [email protected]; Чье Ен Ун - д-р техн. наук, проф. кафедры «Автоматика и системотехника», тел.: (4212) 37-51-91, e-mail: [email protected] (ТОГУ)

В статье описан алгоритм обратимого структурного преобразования кадров телеметрических данных на основе их отображения на поверхность тора. Предложенный алгоритм отличается инвариантностью относительно разрядности и объема данных. Приведены результаты исследований, показывающие принципиальную эффективность практического применения алгоритма структурного преобразования на данных, которые обладают наименее стационарными свойствами.

Ключевые слова: измерительные данные, кадр данных, предварительная обработка, структурное преобразование, сжатие, коэффициент сжатия.

Введение

Современные информационно-измерительные системы (ИИС) должны не просто выполнять бесперебойную передачу измерительных данных, но и гарантировать выполнение ряда строгих требований, заключающихся в обеспечении передачи требуемого объема данных за фиксированное время, заданного уровня достоверности передачи и т.д.

До некоторой поры развития ИИС, озвученные требования эффективно удовлетворялись за счет применения передовых технических средств и материалов при разработке их каналов связи. Но, в последнее время это стало мало возможным, а иногда и вовсе невозможным ввиду возникшей необходимости сохранять баланс между экономической и технической эффективностью работы систем. В связи с этим для выполнения предъявляемых требований акцент сместился на обработку потока передаваемых данных, стало важ-

© Богачев И. В., Левенец А. В., Чье Ен Ун, 2021

ВЕСТНИК ТОГУ. 2021 № 4 (63)

13Г

ВЕСТНИК ТОГУ. 2021. № 4 (63)

но в первую очередь сокращать его избыточность, что зачастую достигается путем применения специализированных алгоритмов сжатия измерительных данных. Их применение позволяет либо использовать более мощные помехо-защищенные коды, либо увеличивать эффективную скорость передачи данных.

Наиболее активно проблема сжатия измерительных данных обсуждалась в середине-конце ХХ века, после чего произошел некоторый спад интереса ученых к данной области, но в настоящее время ей вновь уделяется пристальное внимание [1, 2]. При этом традиционно было принято, что даже в том случае, если сжимается набор отсчетов, полученных от разных источников (например, объединенных в кадры телеметрии), то сжатию все равно подвергаются данные от каждого источника в отдельности. В современных работах [3-5] предложен другой подход к сжатию измерительных данных, когда кадр представляется единой информационной единицей, что позволяет увеличить средний коэффициент сжатия таких данных по сравнению с классическим подходом за счёт учёта корреляционных связей между источниками информации.

Важно понимать, что такой подход хоть и приводит к повышению эффективности сжатия, но и ставит ее в строгую зависимость от того, насколько сильно соответствует структура объединенных в кадры данных, некоторой их «идеальной» модели, заложенной в применяемом алгоритме. Такая зависимость означает, что все большую актуальность получает решение задачи предварительной обработки данных на основе их структурного преобразования. Так, в работе [6] предлагается алгоритм преобразования одномерного представления измерительного сигнала в двумерную форму, а в работе [7] предложен алгоритм, в основе которого лежит отображение данных на кубическую структуру с последующими манипуляциями над ней. Однако представленные алгоритмы имеют ряд недостатков, например, первый алгоритм не предполагает дополнительных манипуляций над полученным в ходе его применения представлением данных, а второй позволяет производить предварительную обработку фиксированного числа источников измерительных данных, со строго заданной разрядностью.

Вследствие вышесказанного возникает острая практическая необходимость в разработке эффективных алгоритмов предварительного структурного преобразования кадров измерительных данных, в основу которых будет положено приведение структуры кадров к виду, на котором выбранный алгоритм сжатия покажет наибольшую эффективность. Также очевидно, что ввиду специфики обрабатываемых данных осуществляемые алгоритмами преобразования должны быть строго и однозначно обратимы.

Представление кадров измерительных данных

При разработке алгоритмов структурного преобразования кадров данных следует учесть следующие их особенности:

АЛГОРИТМ ОБРАТИМОГО СТРУКТУРНОГО ПРЕОБРАЗОВАНИЯ КАДРОВ ТЕЛЕМЕТРИЧЕСКИХ ДАННЫХ С ОТОБРАЖЕНИЕМ НА ПОВЕРХНОСТЬ ТОРА КАК СРЕДСТВО ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ

- кадр можно представить, как один объект, внутренняя структура которого может быть изменена некоторым обратимым способом. В частности, можно представить кадр как битовую линейную последовательность, отображенную на геометрически более сложные структуры;

- данные, полученные от сложного технического объекта и объединенные в кадр, будут связаны друг с другом, в том числе и неявным образом. Этот эффект может проявиться, например, за счет физических взаимодействий между составляющими частями телеметрируемого объекта, учет широкого спектра которых практически невозможен. Следовательно, если алгоритм преобразования будет обрабатывать кадр в целом, то эффективность его работы повысится;

- одним из основных свойств измерительных данных является их «стационарность», под которой понимается ограничение арифметической разности между значением одного и того же отсчета в соседних кадрах на уровне четырех единиц (без учета знака), что показано в работе [8]. Из этого свойства следует, что будет наиболее эффективно производить процедуру предварительного преобразования на кадрах, представленных в разностном виде, который позволит существенно снизить динамический диапазон данных.

Исходя из вышесказанного, если кадр содержит отсчеты, полученные от n датчиков, то разностный кадр можно представит в виде вектор-столбца d размерностью n:

d = (db d2, ..., di, ..., dn)T.

Предполагая, что данные имеют разрядность m, каждый элемент di вектор-столбца d можно представить в виде бинарной последовательности и записать в виде вектор-строки b размерности m:

di = bi = (bu, bi,2, ., bij, ., bim).

Таким образом, вектор-столбец d можно представить в виде бинарной матрицы B размерности n х m:

B = (bi, b2, ..., bj, ..., bn)T.

Такое рассмотрение кадров данных позволит не только уменьшить их динамический диапазон, но и способствовать выявлению корреляций между соседними отсчетами.

Общие принципы структурного преобразования

Исходя из описанных ранее особенностей представления структуры телеметрических кадров, специализированные алгоритмы структурного преобразования должны выполнять следующие операции:

1. Отображение кадра на некоторый геометрический объект, в качестве которого могут выступать: плоскость, поверхность тора и т.д.;

2. Фиксация допустимых для выбранного геометрического объекта операций преобразования;

3. Прямое преобразование структуры отображенного кадра на основе использования зафиксированных операций преобразования (получение элемен-

ВЕСТНИК ТОГУ. 2021. № 4 (63)

ВЕСТНИК ТОГУ. 2021. № 4 (63)

тарной единичной функции прямого преобразования) или некоторого их набора (получение групповой единичной функции прямого преобразования);

4. Контроль текущей структуры кадра путем вычисления некоторой характеризующей ее оценки с точки зрения дальнейшего сжатия, указывающей на увеличение или уменьшение коэффициента сжатия кадра относительно целевого алгоритма;

5. Оценка возможности дальнейшего преобразования структуры кадра (получение совокупной функции прямого преобразования);

6. Запоминание и передача той последовательности преобразований над кадром, для преобразованного вида которого удалось получить оценку, характеризующую максимальный коэффициент сжатия;

7. Восстановление изначальной структуры кадра, путем проведения манипуляций обратных тем, что были произведены для прямого преобразования (получение совокупной функции обратного преобразования).

В общем виде набор операций, необходимый для полного прямого преобразования можно записать как совокупную функцию прямого преобразования (СФПП) Е, которая может быть определена следующим образом:

к ц

Бпр = Е(В, Я, Я) = £ Е (В, £ Я, ,, Я),

¡=1 м

где Е7 - 7-ая единичная функция прямого преобразования (ЕФПП), описывающая пошаговый процесс преобразования исходной матрицы В; Впр - матрица, полученная в ходе преобразования; Я - совокупность операций прямого преобразования (ОПП), проведенных над матрицей В; Я7]- - ]-ая ОПП в 7-ой ЕФПП над матрицей В; К - число ЕФПП; Ьг - число ОПП в 7-ой ЕФПП; 51 -используемый геометрический объект, при этом в работе рассматриваются в качестве него плоскость и поверхность тора

Тогда набор преобразований, необходимый для полного обратного преобразования можно записать как совокупную функцию обратного преобразования (СФОП)которая может быть определена следующим образом:

к К

Б = / (Бпр., г, Я) = £ / (Бпр, £ г,,, Я) ,

¡=1 ¿=1

где /г - 7-ая единичная функция обратного преобразования (ЕФОП) над матрицей Впр; г - совокупность операций обратного преобразования (ООП), проведенных над матрицей Впр; -]-ая ООП в 7-ой ЕФОП над матрицей Впр; к -число ЕФОП; ¡г - число ООП в 7-ой ЕФОП.

При этом устанавливаются следующие соотношения:

ЕЕ = £Л - ,+1 , К = к,

¡=1 ¡=1 ц К

£т, ] -¡+1,1- ]+1, ц =К. ¡=1 ¡=1

АЛГОРИТМ ОБРАТИМОГО СТРУКТУРНОГО ПРЕОБРАЗОВАНИЯ КАДРОВ ТЕЛЕМЕТРИЧЕСКИХ ДАННЫХ С ОТОБРАЖЕНИЕМ НА ПОВЕРХНОСТЬ ТОРА КАК СРЕДСТВО ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ

Таким образом, для проведения обратного преобразования необходимо знать используемый геометрический объект и порядок произведенных манипуляций над ним.

Описание алгоритма структурного преобразования

В основе разработанного алгоритма лежит отображение битового представления телеметрического кадра на поверхность тора, выбор которого в качестве поверхности отображения позволяет сохранять все возможные априорные корреляции, установившиеся внутри телеметрического кадра, при этом снимая ограничения, вводимые границами плоскости. Пример отображения матрицы В, а также соответствия расположения битового представления кадра на плоскости и на поверхности тора представлен на рис. 1.

б)

Рис. 1. Отображение кадра на прямоугольной области (а) и поверхности тора (б)

ВЕСТНИК ТОГУ. 2021. № 4 (63)

ВЕСТНИК ТОГУ. 2021. № 4 (63)

При этом преобразование данных между прямоугольной областью и поверхностью тора происходит согласно следующим формулам:

где 1 - индекс строки, указывающий на номер отсчета в кадре данных, у - индекс, указывающий на номер разряда отсчета, и/ - представление индексов 1 и у в системе координат тора, Ву - бит отсчета, представленный в системе координат прямоугольной области, В'гу - бит отсчета, представленный в системе координат тора.

В случае проведения преобразований на поверхности тора может быть определено 2 • п • (т - 1) • т • (п - 1) различных операций преобразования, каждая из которых является циклическим сдвигом на некоторое число позиций одного из сегментов кольца или трубы тора в прямом, либо обратном направлении. При этом для сегмента кольца число позиций, на которое его возможно сдвинуть лежит в диапазоне от 1 до п - 1, а для сегмента трубы - от 1 до т - 1.

Важно отметить, что использование такого числа операций преобразования предположительно является малоэффективным и более рациональным можно считать подход, при котором за одну операцию преобразования будет приниматься некоторое число допустимых для поверхности тора операций, что позволит сократить количество бит, отводимых на кодирование преобразования. В общем случае предлагается рассмотреть следующие операции преобразования над поверхностью тора:

- циклический сдвиг всех четных (нечетных) сегментов кольца или трубы тора на одну позицию по (против) часовой стрелке;

- циклический сдвиг групп сегментов кольца или трубы тора на одну позицию с некоторым шагом по (против) часовой стрелке.

Независимо от используемых операций преобразования можно предложить следующий алгоритм преобразования телеметрических кадров с отображением на поверхность тора, при этом с целью минимизации числа преобразований, служащей для увеличения быстродействия алгоритма, необходимо искусственно ввести такую величину, как пороговое значение, выражающуюся в процентах от текущего размера области памяти, в которой хранятся результаты преобразований:

1. Задается строгий набор предлагаемых к использованию операций прямого преобразования. Для каждого элемента набора в соответствие ставится некоторый префиксный код;

2. Битовое представление кадра отображается на поверхность тора;

3. Каждая из операций применяется к поверхности тора при этом получают его преобразованные структуры, из которых в свою очередь формируется буфер структур (БС);

4. Каждый хранящийся в БС элемент, проходит процедуру оценки. Полученные результаты заносятся в буфер результатов (БР), в котором предлагается хра-

В- = ./. *' = * - п

]' = ] -т ■ -

п

т

АЛГОРИТМ ОБРАТИМОГО СТРУКТУРНОГО ПРЕОБРАЗОВАНИЯ КАДРОВ ТЕЛЕМЕТРИЧЕСКИХ ДАННЫХ С ОТОБРАЖЕНИЕМ НА ПОВЕРХНОСТЬ ТОРА КАК СРЕДСТВО ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ

ВЕСТНИК ТОГУ. 2021. № 4 (63)

нить троики, состоящие из структуры тора, кодовой последовательности, указывающей на примененные операции и оценки эффективности произведенного преобразования, после чего БР сортируется в порядке убывания оценок;

5. На основе порогового значения рассчитывается какой процент от общего числа элементов БР необходимо исключить, после чего происходит их удаление;

6. Если исчерпана возможность для дальнейшего преобразования, то процедура завершается и происходит переход к шагу 8, иначе происходит переход к шагу 7;

7. Каждая из операций преобразования применяется ко всем структурам тора, хранящимся в БР, после чего из полученных результатов формируется новый БС и происходит переход к шагу 4;

8. В качестве результата работы процедуры структурного преобразования принимается набор операций, хранящийся в первом элементе БР.

Результат работы алгоритма предлагается зафиксировать в специальном формате описания, представленном на рисунке 2. Важно отметить, что набор предлагаемых к использованию операций прямого преобразования полагается заранее известным и не требует указания на него в формате.

К

э.пр

Q

с

Поле флагов Поле описания

Рис. 2. Структура формата описания

Флаг Кэ.пр фиксирует эффективность структурного преобразования над телеметрическим кадром (устанавливается если в результате преобразования удалось добиться увеличения коэффициента сжатия, полученного тестовым алгоритмом сжатия). Поля описания имеют следующий смысл: поле Q описывает число примененных ОПП, а поле С описывает закодированные префиксным кодом примененные операции преобразования, при этом их размер рассчитывается согласно следующим формулам:

е=1+

1°82

п • т

1 + |_1°§2 (п • т -1)]

-1

С = д-(1 + (п • т -1)]),

где ц - число примененных операций.

Важно отметить, что если преобразование произвести не удалось, то передается только один бит флага Кэ.пр, в противном случае передается весь формат описания.

Исследование эффективности алгоритма структурного преобразования

Тестирование разработанного алгоритма проводилось с использованием телемеханических данных (телеизмерения и телесигнализация), полученных от ряда объектов энергетики (подстанции, генерирующие станции) с помо-

ВЕСТНИК ТОГУ. 2021. № 4 (63)

щью системы сбора и передачи телемеханики ТМ-800. В тестовый набор данных входили как наборы, полученные в штатном режиме работы объекта, так и полученные в режиме перевода энергосети из одного режима в другой.

В качестве тестового алгоритма сжатия, было принято решение использовать алгоритм, основанный на представлении матрицы В как логической функции нескольких переменных и ее приведении к виду совершенной дизъюнктивной нормальной формы с последующей минимизацией алгоритмом Куайна - Мак-Класки. Более подробно алгоритм описан в работе [9].

В данном исследовании приведены результаты работы с пятью наиболее характерными наборами данных, объем которых варьировался от 11 до 19 тысяч кадров. В табл. 1 приведены их основные свойства, при этом оценивались математическое ожидание (МО), дисперсия (Д) и среднеквадратическое отклонение (СКО).

Таблица 1

Свойства наборов данных_

Параметр НД1 НД2 НД3 НД4 НД5

МО -0,00271 -0,01438 -0,00002 0,00551 -0,00302

Д 1,87195 31,56749 1,50591 4,90671 1,05320

СКО 1,36819 5,61850 1,22715 2,21511 1,02625

Анализируя результаты, представленные в табл. 1, можно сделать вывод, что наиболее ярко выраженной стационарностью обладают наборы НД1, НД3 и НД5, при этом наборы НД2 и НД4 обладают этим свой свойством в меньшей степени.

Результаты работы тестового алгоритма сжатия, используемого без предварительного преобразования кадров данных приведены в табл. 2, при этом в ходе исследования оценивались средний коэффициент (СКС) и среднее время (СВС) сжатия для каждого набора.

Таблица 2

Результаты исследования алгоритма сжатия_

Параметр НД1 НД2 НД3 НД4 НД5

СКС, ед 2,8451 1,6422 2,3909 1,9293 2,4333

СВС, мс 0,1441 0,1649 0,1455 0,1538 0,1480

Важно отметить, что особенностью данного алгоритма является обеспечение сжатия с одинаковой средней скоростью, как стационарных (НД1, НД3 и НД5), так и нестационарных (НД2 и НД4) наборов кадров.

С целью определения характеристик алгоритма структурного преобразования было проведено исследование, в котором он был применен над каждым НД и при этом фиксировались следующие параметры: средний коэффициент и среднее время сжатия одного кадра для каждого набора телеметрических кадров данных с применением предварительного преобразования; процент прироста среднего коэффициента сжатия кадров, для которых преобразование оказалось эффективным (СКСПК); процент кадров от всего набора, для

АЛГОРИТМ ОБРАТИМОГО СТРУКТУРНОГО ПРЕОБРАЗОВАНИЯ КАДРОВ ТЕЛЕМЕТРИЧЕСКИХ ДАННЫХ С ОТОБРАЖЕНИЕМ НА ПОВЕРХНОСТЬ ТОРА КАК СРЕДСТВО ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ

которых преобразование оказалось эффективным (ЧПК). При этом с целью сохранения баланса между временем, отводимым на преобразование и коэффициентом сжатия преобразованного кадра пороговое значение, было принято равным 20 %.

Результаты тестирования алгоритма, основанного на преобразовании на поверхности тора приведены в табл. 3, в качестве групповых модификаций для которого были выбраны следующие: поворот всех четных продольных и поперечных сегментов на один шаг по часовой стрелке; поворот групп по два и четыре сегмента продольных и поперечных сегментов с шагом в два и четыре сегмента соответственно на один шаг по часовой стрелке.

Таблица 3

Результаты исследования алгоритма структурного преобразования

НД НД1 НД2 НД3 НД4 НД5

СКС, ед 2,8711 1,7031 2,4212 1,9965 2,4555

СВС, мс 24,6387 26,7005 23,8663 24,0865 24,6762

СКСПК, % 9,9737 10,3547 9,2869 12,5971 8,1284

ЧПК, % 15,5561 41,5734 20,1916 34,3255 17,4478

Полученные в ходе исследований результаты показывают, что несмотря на то, что предложенный алгоритм структурного преобразования позволяет достичь лишь незначительного прироста среднего коэффициента сжатия на тестовых наборах данных, по сравнению с результатами сжатия их до преобразования, следует отметить значительное увеличение коэффициента сжатия отдельных кадров, для которых предложенный алгоритм оказался эффективным. Следует также отметить, что прослеживается направленность на увеличение частоты удачных преобразований структуры кадров на тех наборах, которые обладают наименее стационарными свойствами.

Заключение

Полученные результаты говорят о том, что предложенный алгоритм можно использовать при разработке адаптивной системы сжатия, в основу которой ляжет не только выбор оптимального для текущей структуры кадров данных алгоритма сжатия, но и выбора алгоритма предварительного структурного преобразования данных перед сжатием. Однако, далее встает вопрос о разработке эффективных с точки зрения простоты реализации, скорости оценки и эффективности критериев выбора оптимального алгоритма преобразования, что в свою очередь требует дополнительных исследований.

Помимо этого, следует отметить, что основным преимуществом предложенного алгоритма является его эффективность на данных, обладающих нестационарными характеристиками, уменьшение избыточности в которых является одной из важнейших задач в теории обратимого сжатия. Таким образом, одно из направлений дальнейшего исследования предложенного алгоритма может быть связано с исследованием зависимости качества преобразования от степени стационарности телеметрических кадров.

ВЕСТНИК ТОГУ. 2021. № 4 (63)

ВЕСТНИК ТОГУ. 2021. № 4 (63)

Библиографические ссылки

1. Совершенствование алгоритмов сжатия-восстановления сигналов для систем телеизмерений / Е. А. Ломтев [и др.] // Измерительная техника. 2015. № 3. С. 11-15.

2. Победоносцев В. А. Определение количества информации о непрерывных сигналах. Элементарная теория // М.: Радиотехника. 2017. 168 с.

3. Чье Ен Ун, Левенец А. В. Методы и алгоритмы сжатия измерительных данных в информационно-измерительных системах / Хабаровск: Изд-во Тихоокеан. гос. ун-та. 2016. 200 с.

4. Богачев И. В., Чье Ен Ун, Левенец А. В. Геометрический подход к сжатию данных телеметрических систем // Информатика и системы управления. 2015. №4(46). С. 16-22.

5. Богачев И. В., Чье Ен Ун, Левенец А. В. Статистический анализ телеметрических данных с точки зрения задачи сжатия // Информационно-управляющие системы. 2017. № 1(86). С. 11-16.

6. Левенец А. В., Нильга В. В. Структурное упорядочение данных для задач сжатия в информационно-измерительных системах // Вестник Тихоокеанского государственного университета. 2009. № 2(13). С. 45-52.

7. Левенец А. В., Чье Ен Ун, Федяев А. Ю. Способ кубического преобразования для повышения эффективности сжатия данных // Вестник Тихоокеанского государственного университета. 2010. № 3(18). С. 43-52.

8. Левенец А. В. Классификация телемеханических данных и их разностных рядов с точки зрения задачи сжатия // Вестник ТОГУ. 2009. №4(15). С. 71-80.

9. En Un Chye, Bogachev I.V., Levenets A.V. Selection Criteria of the Compression Algorithm In Information-Measuring System // International Conference on Industrial Engineering (ICIE-2016). Proceedings. Chelyabinsk. 2016. DOI: 10.1109/ICIEAM.2016.7911541

Title: Algorithm of Reversible Structural Transformation of Telemetry Data Frames with Display on the Surface of a Torus as a Means of Increasing the Efficiency of Compression

Authors' affiliation:

Bogachev I. V. - Pacific National University, Khabarovsk, Russian Federation Levenets A. V. - Pacific National University, Khabarovsk, Russian Federation Chye En Un - Pacific National University, Khabarovsk, Russian Federation

Abstract: The article describes an algorithm for reversible structural transformation of telemetry data frames based on their display on the surface of a torus. The proposed algorithm is distinguished by its invariance with respect to the bit width and data volume. The results of studies are presented, showing the fundamental effectiveness of the practical application of the structural transformation algorithm on data that have the least stationary properties.

Key words: measurement data, data frame, preprocessing, structural transformation, compression, compression ratio.