CC BY
72
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ у/
УДК 004.627
с1о1:10.15217/1ззп1684-8853.2016.3.2
ПРИМЕНЕНИЕ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ ДЛЯ КЛАССИФИКАЦИИ ТЕЛЕМЕТРИЧЕСКИХ ДАННЫХ В СИСТЕМАХ СЖАТИЯ
И. В. Богачева, ассистент
А. В. Левенеца, канд. техн. наук, доцент
Чье Ен Уна, доктор техн. наук, профессор
аТихоокеанский государственный университет, Хабаровск, РФ
Постановка проблемы: адаптивные по алгоритму системы сжатия данных включают в свой состав как неотъемлемую часть некоторый классификатор, позволяющий осуществить выбор наиболее эффективного способа сжатия поступающих данных. Традиционно выбор оценочных характеристик для классификатора основывается на экспертном мнении, что может ухудшить качество классификации при обработке достаточно сложно структурированных данных. Кроме того, для таких систем следует обеспечивать параллельность процедур обучения классификатора и сжатия данных, что увеличивает вычислительные затраты и усложняет архитектуру приемо-передающих устройств. Таким образом, вопрос о разработке эффективного классификатора для систем сжатия стоит достаточно остро. Цель: оценка возможности применения нейронной многослойной сети прямого распространения с заданной архитектурой в качестве классификатора телеметрических данных. Результаты: исследовано поведение усредненных ошибок обучения, обобщения и подтверждения в зависимости от объема обучающей выборки, полученных для ряда наборов телеметрических данных. На основе полученных данных предложены оптимальные параметры обучения нейронной сети. Проведен сравнительный анализ эффективности работы предложенного подхода и ряда специализированных численных методов: фонового, энтропийного, окрестностного и диэдрического. Полученные результаты позволяют сделать вывод о том, что даже простейшая и наиболее универсальная архитектура искусственной нейронной сети существенно превосходит системы с применением численных методов оценки классифицирующего признака. Дальнейшее развитие предложенного подхода предполагает проведение более глубокого анализа архитектуры нейронной сети для формирования оптимальных конфигураций для различных объемов обучающих выборок и разработку узкоспециализированных архитектур нейронных сетей, ориентированных на заданный тип данных.
Ключевые слова — телеметрические данные, искусственная нейронная сеть, классификация данных, сжатие данных.
Введение
Вопрос о минимизации избыточности в информационных сообщениях, в частности телеметрических данных, в целях их компактного описания на настоящий момент стоит достаточно остро и вызван практическими ограничениями объемов современных носителей информации, ограниченной полосой пропускания каналов связи и т. п. Решение поставленной проблемы обычно связывают с алгоритмами сжатия данных как специализированных, так и общего назначения [1].
Необходимо отметить, что системы сжатия данных могут использовать как один, так и несколько алгоритмов сжатия, как это показано в работах [2, 3] для случая телеметрических данных. В первом случае для сжатия всех кадров данных без какого-либо исключения используется один алгоритм, что не позволяет учитывать структурные особенности данных и, как следствие, вызывает потери в эффективности сжатия. Система сжатия с несколькими алгоритмами в этом смысле более эффективна, здесь для каждого кадра вычисляется некоторый характеризующий параметр, который позволяет произвести выбор наиболее эффективного алгоритма сжатия. Для телеметрических данных коррект-
ность такого подхода может быть обоснована в том случае, если на заданном наборе алгоритмов существует связь вида «классифицирующий признак — алгоритм компрессии». С практической точки зрения это утверждение предполагает, что для объединенных в кадры данных, получаемых от фиксированного числа источников с известными параметрами, существует некоторый признак, который может быть положен в основу классификации телеметрических данных с точки зрения выбора оптимального алгоритма сжатия.
Необходимо учитывать, что у предложенного [3] подхода к построению системы сжатия есть ряд недостатков. В частности, выбор оценочных характеристик основывается на экспертном мнении, что ухудшает качество классификации в случае анализа достаточно сложно структурированных данных. Кроме того, необходимо обеспечивать параллельность выполнения процессов обучения и сжатия, что приводит к дополнительным вычислительным затратам и усложнению архитектуры передающей стороны.
В качестве решения, позволяющего устранить указанные недостатки предложенного подхода при использовании некоторого априори выбранного метода оценки, может оказаться применение искусственных нейронных сетей (ИНС). Типовыми
задачами, на решение которых ориентированы ИНС, являются прогнозирование, принятие решений, классификация, предсказание и т. д. [4-6].
Основным преимуществом использования нейронных сетей, применимым к задаче классификации телеметрических данных, является то, что оценка вырабатывается в соответствии с законами, положенными в основу работы ИНС (т. е. отсутствует экспертное влияние), а также появляется возможность настройки классификатора до начала функционирования системы сжатия и передачи данных.
Определение формата входных и выходных данных
Данные, полученные от измерительной части информационной системы, не всегда возможно напрямую подавать на вход нейронной сети, в связи с этим они должны быть особым образом приспособлены к дальнейшей обработке путем их нормализации.
В данной работе анализируются телеметрические данные, полученные от некоторого энергетического объекта и представляющие собой восьмиразрядные числа, объединенные в кадры, размер которых равен количеству датчиков, установленных на объекте. В таком случае можно предположить, что достаточно эффективным способом нормализации будет применение алгоритма дельта-кодирования, представляющего собой поэлементное вычисление операции арифметической разности между отсчетами от одного и того же датчика в текущем и предыдущем кадрах, что позволяет существенно снизить динамический диапазон данных. Если телеметрический кадр содержит отсчеты п датчиков, то разностный кадр можно представить в виде вектор-столбца x размерностью п:
— ("V "V "V "V ^Т
— ^»л^ 1 у »V 2 > ♦ ♦ ♦ > у > ♦ ♦ ♦ > п/ '
В этом случае, учитывая разрядность данных к, поступающий на вход нейронной сети вектор-столбец X примет следующий вид:
X = (х
11, Х12
— , х1к, х
2к
у у у \Т
п1 пк) .
На выходе ИНС будет формироваться вектор-столбец Y вида
Y = (У^ У2, Ур Ут)Т
где т — количество классифицирующих признаков.
В таком случае каждому элементу выходного вектор-столбца у у можно поставить в однозначное соответствие некоторый алгоритм из заданного набора алгоритмов сжатия, а элемент, имеющий
максимальное значение, предлагается принимать за решение ИНС в пользу конкретного алгоритма.
Выбор архитектуры нейронной сети
В настоящее время разработано большое число различных типов нейронных сетей, поэтому решение о выборе той или иной реализации ИНС обычно принимается на основе либо экспертной оценки, либо эмпирических опытов, которые явным образом смогут указать на наиболее эффективную архитектуру. У обоих подходов есть недостатки; так, для экспертной оценки необходимо наличие экспертных знаний, что не всегда представляется возможным, особенно если решаемая задача обладает достаточно высоким уровнем новизны, а эмпирические опыты ввиду широкой номенклатуры ИНС ведут к значительным ресурсным и временным затратам, которые не всегда позволительны.
Компромиссным решением может стать применение простой в реализации и одновременно хорошо изученной архитектуры нейронной сети. Согласно теории нейронной сети, формально для решения любой поставленной задачи достаточно использовать двухслойную полносвязную сеть [4, 7]. Исходя из вышесказанного, было принято решение применить для поставленной задачи нейронную многослойную сеть прямого распространения (многослойный персептрон), состоящую из некоторого количества входных узлов, образующих входной слой; одного или нескольких скрытых слоев вычислительных нейронов и одного выходного слоя нейронов. В общем виде архитектура нейронной сети представлена на рис. 1, где приняты следующие обозначения: х1 — ¿-й элемент входного вектора X; ¥ — функция активации; — ¿-й сумматор у-го слоя ИНС; у1 — ¿-й элемент выходного вектора Y; 1Ь1 — ¿-й весовой коэффициент входного слоя; НЬ ■ — ¿-й весовой коэффициент у-го срытого слоя.
В качестве функции активации нейронов было принято решение использовать сигмоидаль-ную функцию вида
¥(х) = (1 + е-х)-1.
Выбор такой функции был обусловлен тем, что она позволяет как усиливать слабые сигналы, так и не насыщаться от сильных.
Нейронная сеть обучалась при помощи метода масштабируемых сопряженных градиентов. Использованный алгоритм наиболее эффективен среди стандартных алгоритмов обучения ИНС, а также не содержит настраиваемых параметров, что позволяет упростить процедуру исследования [8].
21, х22
Входной слой (1Ь) Скрытые слои (ИЬ) Выходной слой (ОЬ)
■ Рис. 1. Общий вид нейронной сети
Определение параметров обучения нейронной сети
Важно отметить, что в теории нейронных сетей не существует четкого определения понятия «обученная сеть». В данной работе под этим термином будет пониматься такая сеть, в процессе обучения которой ошибка обучения не превышает некоторое заданное значение, при этом под ошибкой ИНС понимается ошибка классификации, которая условно определялась как отношение количества некорректно классифицированных кадров к их общему числу. В процессе исследования определялись ошибка обучения, получаемая на наборе обучающих данных; ошибка обобщения, получаемая на наборе данных, не содержащих одинаковых с обучающим набором кадров, но при этом равным ему по размеру, и ошибка подтверждения, получаемая на наборе, из которого были сделаны обучающая и обобщающая выборки и многократно превосходящем их по размеру.
При неудачной инициализации весовых коэффициентов процесс обучения нейронной сети может занять неприемлемо большое время, поэтому процесс обучения принудительно останавливался либо при достижении заданного количества итераций обучения, либо когда приращение ошибки обучения становилось меньше заданной величины.
При проведении исследований были произвольно выбраны следующие предельные значения указанных параметров: ошибка обучения ИНС ограничивалась величиной 2,5 %, приращение ошибки обучения ИНС составляло 10-5, а максимальное количество итераций обучения ИНС принималось равным 350.
Перед обучением нейронной сети необходимо определить количество классифицирующих признаков и установить однозначную связь между ними и структурой кадров данных и, следовательно, алгоритмами сжатия. При проведении исследования использовались три алгоритма сжатия, основанные: 1) на учете корреляции между нулевыми битами [9]; 2) на учете корреляции между единичными битами [9]; 3) на гамма-коде Элиаса. Выбор алгоритма сжатия (определение класса данных) осуществлялся по эффективности сжатия.
Одной из основных задач при проведении исследований, связанных с нейронными сетями, является задача определения параметров обучающей выборки, к которой обычно предъявляются два основных требования: состоять из минимального количества элементов и при этом обладать максимальной обобщающей способностью.
Для определения оптимального размера обучающей выборки было проведено исследование, в ходе которого объем обучающей выборки увеличивался с некоторым равномерным шагом,
после чего на каждом шаге вычислялись ошибки обучения и обобщения. Оптимальным считался размер выборки, при котором фиксировался локальный минимум как ошибки обучения, так и ошибки обобщения.
Каждый опыт проводился столько раз, сколько было необходимо для получения 10 реализаций обученной нейронной сетью, что позволило исключить влияние случайно задаваемых весов нейронов на начальном этапе. При этом параметры нейронной сети принимали следующие значения: количество скрытых слоев равно трем, количество нейронов во входном слое определялось объемом анализируемого кадра данных и разрядностью его элементов, а количество нейронов в каждом скрытом слое равно половине количества элементов во входном слое.
Исследование проводилось на нескольких наборах исходных данных (НД), отличающихся друг от друга числом кадров в наборе. Так, набор нД1 содержит 18 846 кадров, НД2 — 14 272 кадра, а НД3 — 35 562 кадра. Результаты проведенного исследования для нескольких наборов исходных данных показаны на рис. 2.
Следует отметить, что максимальный размер обучающей выборки был ограничен величиной, не превышающей 25 % от общего числа кадров в наборах.
Анализ полученных данных показывает, что в целом зависимость ошибок обобщения и под-
■ Рис. 2. Поведение ошибок обучения, обобщения и подтверждения на наборах НД1 (а), НД2 (б) и НД3 (б): 1 — ошибка обобщения; 2 — ошибка подтверждения; 3 — ошибка обучения
тверждения от размера выборки имеет нелинейный характер, но несмотря на это тривиальный выбор максимального объема выборки приводит к минимальному значению погрешности. Таким образом, по результатам проведенного исследования в качестве оптимального объема выборки рекомендуется принять число кадров равным 25 % от общего числа кадров в наборе, так как при этом значении достигаются наименьшие ошибки для всех наборов.
Применение нейронной сети к задаче классификации телеметрических кадров
Очевидно, что нейронная сеть позволяет получить наиболее низкое значение ошибки подтверждения на том наборе данных, на котором она обучалась. Однако в реальных условиях возможны ситуации, когда при сохранении параметров телеметрической системы (общего числа датчиков, числа датчиков каждого типа и т. д.) изменяется коэффициент стационарности кадров. Такую ситуацию можно смоделировать путем обучения нейронной сети на данных, полученных из одного набора, и фиксации ошибки подтверждения на данных из другого набора. Здесь необходимо учесть, что в данном случае объем обобщающей и обучающей выборок должен обеспечивать минимальное значение ошибок. Результаты проведенного исследования приведены в табл. 1.
Анализ данных, представленных в табл. 1, показывает, что нейронная сеть с достаточно высокой эффективностью способна классифицировать телеметрические кадры из наборов, на которых она не была обучена, что на практике может позволить не переобучать ИНС при изменении коэффициента стационарности кадров.
При проведении исследования результаты метода классификации данных с помощью нейронной сети (МК5) сравнивались с аналогичными результатами, полученными с помощью нескольких методов численной оценки кадров данных, в основе которых лежали различные способы расчета некоторой численной характеристики.
■ Таблица 1. Ошибка подтверждения на сторонних наборах
Обучающий набор Ошибка подтверждения на наборе данных, %
НД1 НД2 НД3
НД1 11,22 14,17 12,35
НД2 13,51 11,48 12,24
НД3 16,59 17,14 11,57
В качестве таких методов были предложены методы на основе:
— вычисления количества бит, отличных от «фона» кадра, под которым понимается значение бит, численность которых является наибольшей (МК1);
— вычисления энтропии кадра (МК2);
— вычисления для каждого бита кадра некоторой «окрестности», под которой понимается сумма текущего бита и среднего арифметического суммы бит, его окружающих в пределах окрестности, описанной квадратом с заданной длиной стороны (МК3);
— определения диэдрической группы кадра, под которой понимается группа симметрии правильного многоугольника (МК4).
Полученные результаты исследования пяти предложенных методов на трех группах исходных данных приведены в табл. 2.
Из анализа полученных данных видно, что среди численных методов для разных наборов данных наиболее высокие результаты показывают разные методы. Так, наилучший результат для наборов данных НД1 и НД3 дает метод МК3, а для набора данных НД2 — методы МК1 и МК2. Интересным фактом являются почти одинаковые значения погрешностей, полученных при использовании методов МК1 и МК2. Также необходимо отметить, что эффективность предложенных численных методов для набора данных НД3 находится практически на одном уровне, в то время как для других наборов погрешности заметно различаются. При этом в среднем наиболее эффективным является метод МК3, который дает незначительное снижение ошибки классификации по сравнению с другими методами на наборе данных НД2, но обеспечивает существенное снижение погрешности для набора НД1.
Несмотря на достаточно хорошие показатели эффективности численных методов, качество классификации на всех исследованных наборах данных при помощи искусственной нейронной сети заметно (примерно в 1,5-2,3 раза) превышает лучшие показатели среди численных методов оценки, что говорит о перспективности предложенного решения. Следует также отметить, что
значения погрешностей, полученных для решения с нейронной сетью, в отличие от численных методов, не так существенно отличаются для разных наборов данных.
Такой результат в первую очередь связан с более сложной (или, точнее, более громоздкой) в вычислительном отношении структурой ИНС. Так, если для наиболее ресурсоемкой операции вычисления оценки по МК3 для кадра данных с объемом п ^-разрядных отсчетов требуется 16пк операций умножения и 10пк операций сложения, а для наименее ресурсоемкой операции вычисления оценки по МК1 — только пк операций сложения, то аналогичные показатели для нейронной сети с N слоями составляют примерно Ыпк(пк + 2) и Nn2k2 операций умножения и сложения соответственно. Здесь следует подчеркнуть, что с точки зрения производительности ИНС могут выигрывать только в том случае, если для их реализации будут использоваться вычислительные системы, обеспечивающие полную параллельность работы составляющих ИНС нейронов, в результате чего эквивалентное число операций будет составлять примерно (пк + 2) операций умножения и пк операций сложения.
Заключение
Таким образом, результаты, полученные в ходе проведенных исследований, позволяют сделать вывод о том, что даже простейшая и наиболее универсальная архитектура ИНС существенно превосходит системы с применением численных методов оценки классифицирующего признака. Дальнейшее развитие предложенного подхода предполагает несколько направлений: во-первых, проведение более глубокого анализа архитектуры ИНС для формирования оптимальных конфигураций для различных объемов обучающих выборок; во-вторых, разработку узкоспециализированной архитектуры ИНС, ориентированной на заданный тип данных. Как можно предположить, оба направления развития могут привести к улучшению уже полученных результатов и открывают широкое поле для проведения исследований.
Литература
1. Ватолин Д., Ратушняк А., Смирнов М., Юкин В.
Методы сжатия данных. — М.: ДИАЛОГ-МИФИ, 2003. — 384 с.
2. Богачев И. В., Левенец А. В., Чье Ен Ун. Геометрический подход к сжатию данных телеметрических систем // Информатика и системы управления. 2015. № 4(46). С. 16-22.
■ Таблица 2. Сравнение классифицирующей способности
Набор данных Ошибка классификации набора, %
МК1 МК2 МК3 МК4 МК5
НД1 31,10 31,10 21,81 25,20 11,22
НД2 15,69 15,69 17,46 18,63 11,48
НД3 29,75 29,75 28,47 29,44 11,57
3. Богачев И. В., Левенец А. В. Алгоритм сжатия данных телеметрических систем // Материалы секционных заседаний 55-й студ. науч.-техн. конф. ТОГУ, Хабаровск, 27 апреля 2015 г., 2015. С. 166171.
4. Круг П. Г. Нейронные сети и нейрокомпьютеры. — М.: Изд-во МЭИ, 2002. — 176 с.
5. Слепнев Е. С. Применение искусственных нейронных сетей для анализа предаварийных ситуаций турбоагрегатов электростанций // Интернет-журнал «Науковедение». 2014. № 3(22). http:// naukovedenie.ru/PDF/46TVN314.pdf (дата обращения: 29.04.2016).
6. Гареев А. Ф. Применение вероятностной нейронной сети для задачи классификации текстов //
Наука и образование: Электронное научное издание. 2004. № 11. http://technomag.bmstu.ru/doc/ 46810.html (дата обращения: 29.04.2016).
7. Haykin S. Neural Networks: A Comprehensive Foundation. — Prentice-Hall, 1999. — 823 p.
8. Moller M. F. A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning // Neural Networks. 1993. N 6. P. 525-533.
9. Богачев И. В., Левенец А. В. Алгоритмы сжатия телеметрических данных // Теория и практика современной науки: материалы XVIII Междунар. науч.-практ. конф., Москва, 24-25 июня 2015 г. М., 2015. С. 53-59.
UDC 004.627
doi:10.15217/issn1684-8853.2016.3.2
Artificial Neural Networks in Classifying Telemetry Data for Compression Systems
Bogachev I. V.a , Assistant Professor, [email protected] Levenets A. V.a, PhD, Tech., Associate Professor, [email protected] Chye En Una, Dr. Sc., Tech., Professor, [email protected]
aPacific National University, 136, Tikhookeanskaia St., 680035, Khabarovsk, Russian Federation
Introduction: Data compression systems with algorithmic adaptation always contain a certain classifier which chooses the most efficient way to compress the input data. Traditionally, the choice of estimation characteristics for the classifier is based on expert opinion, and this can lead to a worse quality of classification when processing data with complex structure. Furthermore, for such systems you have to provide parallelism of the procedures which train the qualifier and compress the data. This increases the computational cost and complicates the architecture of the transceivers. Thus, the problem of developing an efficient qualifier for compression systems is a pressing issue. Purpose: The aim of the research is to estimate the possibility of using a neural multilayer direct-propagation network with a given architecture as a telemetry data classifier Results: We studied the behavior of averaged errors in training, generalization and acknowledgement depending on the size of the learning sample obtained for several sets of telemetry data. On the base of the obtained data, optimal parameters of neural network training have been offered. The proposed approach has been compared in terms of efficiency to some specialized numerical methods, namely: background, entropy, neighborhood and dihedral methods. The results lead to the conclusion that even the simplest and most versatile architecture of an artificial neural network significantly exceeds the systems with numerical methods of estimating the classifying attribute. Further development of this approach involves a more in-depth analysis of neural network architecture in order to generate optimal configurations for various amounts of training samples and develop specialized neural network architectures for specified data types.
Keywords — Telemetry Data, Artificial Neural Network, Data Classification, Data Compression.
Reference
1. Vatolin D., Ratushniak A., Smirnov M., Iukin V. Metody szhatiia dannykh [Data Compression Methods]. Moscow, DIALOG-MIFI Publ., 2003. 384 p. (In Russian).
2. Bogachev I. V., Levenets A. V., Chye En Un. Geometrical Approach to Data Compression of Telemetry Systems. In-formatika i sistemy upravleniia, 2015, no. 4(46), pp. 16-22 (In Russian).
3. Bogachev I. V., Levenets A. V. Telemetry Data Compression Algorithm. Materialy sektsionnykh zasedanii 55-i studencheskoi nauchno-tekhnicheskoi konferentsii TOGU [Materials of Breakout Sessions of the 55th Student Scientific and Technical Conference in PNU]. Khabarovsk, 2015, pp. 166-171 (In Russian).
4. Krug P. G. Neironnye seti i neirokomp'iutery [Neural Networks and Neurocomputers]. Moscow, MEI Publ., 2002. 384 p. (In Russian).
5. Slepnev E. S. Application of Artificial Neural Networks for the Analysis of Pre-Emergency Situations of Turbine Power
Plants. Internet-zhurnal "Naukovedenie", 2014, no. 3(22). Available at: http://naukovedenie.ru/PDF/46TVN314.pdf (accessed 29 April 2016) (In Russian).
6. Gareev A. F. Application of Probabilistic Neural Network for Text Classification Tasks. Nauka i obrazovanie, 2004, no. 11. Available at: http://technomag.bmstu.ru/doc/46810. html (accessed 29 April 2016) (In Russian).
7. Haykin S. Neural Networks: A Comprehensive Foundation. Prentice-Hall, 1999. 823 p.
8. Moller M. F. A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning. Neural Networks, 1993, no. 6, pp. 525-533.
9. Bogachev I. V., Levenets A. V. Telemetry Data Compression Algorithms. Materialy XVIII Mezhdunarodnoi nauchno-prakticheskoi konferentsii "Teoriia i praktika sovremennoi nauki" [Materials of XVIII Intern. Scientifically-Practical Conf. "Theory and Practice of Modern Science"], Moscow, 2015, pp. 53-59 (In Russian).
