Контроль достоверности и устранение ошибок в данных, регистрируемых системой наблюдения за деятельностью субъектов больших систем административноорганизационного управления

Селезнев В.П.; Велесевич С.В.

УДК 65

В.П. Селезнев, С.В. Велесевич

КОНТРОЛЬ ДОСТОВЕРНОСТИ И УСТРАНЕНИЕ ОШИБОК В ДАННЫХ, РЕГИСТРИРУЕМЫХ СИСТЕМОЙ НАБЛЮДЕНИЯ ЗА ДЕЯТЕЛЬНОСТЬЮ СУБЪЕКТОВ БОЛЬШИХ СИСТЕМ АДМИНИСТРАТИВНООРГАНИЗАЦИОННОГО УПРАВЛЕНИЯ

Семинар № 14

Управление деловыми процессами в системах административноорганизационного управления (АОУ) опирается на представительный объем разнородной информации, в том числе о текущих значениях и динамике показателей процессов, о состоянии внешней среды, о реализованных управлениях и ресурсах, которыми обеспечивается их функциониров ание.

Для сбора необходимой информации в составе рассматриваемых систем, как правило, создаются специализированные подсистемы формирования и сбора статистической информации [1], подобные той, функциональная схема которой представлена на рис. 1. Такого рода подсистемы создаются на основе следующих положений:

• единообразный для всех процессов и объектов наблюдения способ формирования информационного описания результатов наблюдения - многотабличные формы с произвольным количеством таблиц (разделов), каждая из которых может иметь индивидуальную архитектуру построения. Любой параметр отчетной формы однозначным образом идентифицируется кодом таблицы отчетных материалов, в которой он размещен, а также кодами строки и столбца

(графы) ячейки своего позиционирования в этой таблице1;

• описание информационных категорий семантики предметной области с помощью справочников (или нормативно-справочной информации), которые открыты для пополнения пользователями системы (справочники являются внешними информационными ресурсами для систем наблюдения). В актуальном состоянии справочники поддерживаются технологиями и инструментальными средствами, которые специально создаются для решения этой задачи и, как правило, на основе глобальных технологий общего пользования, в первую очередь, технологий Интернет;

• централизованное (с уровня головного офиса системы) управление изменениями с целью поддержание средств системы наблюдения на всех иерархических уровнях системы и во всех точках их развертывания в состоянии, адекватном текущим потребностям в информации вышестоящих органов управления;

1 Следует отметить, что, как правило, указания кода таблицы не требуется - даже при повторяющейся нумерации граф, нумерация строк внутри формы уникальна.

Третий уровень 1 Второй уровень Первый уровень

Рис. 1. Облик инструментальных средств подсистемы формирования и сбора данных наблюдения за процессами и объектами большой системы АОУ

• расширяемость наблюдения, реализуемого вышестоящим органом управления, на следующем уровне управления, т.е. возможность органа управления следующего уровня иерархии включать в состав наблюдаемых характеристик дополнительные параметры для их сбора со своего нижележащего уровня, а также реализовывать этими же средствами собственное наблюдение за процессами в подведомственных ему нижележащих структурах системы

АОУ;

• универсальность интерфейсов взаимодействия с различными OLTP-системами, обеспечивающими функционирование процессов, за которыми организуется наблюдение, и открытость этих интерфейсов для разработчиков OLTP систем;

• реализация в системе различных механизмов сбора данных, в том числе и путем ручного ввода требуемой информации;

• использование единого набора настраиваемых инструментов для формирования алгоритмов первичного контроля данных на предмет их достоверности при работе с данными разных предметных областей;

• автоматизация процессов прие-ма информационных посылок и их загрузки в информационные системы, автоматизация контроля исполнения графиков предоставления отчетности, а также первичной (синтаксической) оценки данных на достоверность и уведомления представившего информацию о результатах ее приема.

Представленная выше подсистема наблюдения являет собой определенный комплекс инструментов сбора данных, необходимых для формирования тех или иных управлений, а также для разработки соответствующих аналитических

средств, которые необходимы для формирования искомых управлений. Как для формирования управлений, так и разработки инструментов, с помощью которые управления формируются, нужны достоверные данные о наблюдаемых процессах. Это предполагает включение в состав подсистем сбора данных соответствующих инструментов семантического контроля принимаемой информации (включение фильтров недостоверной информации). Разработка таких фильтров являет собой сложную задачу. Отметим, что для систем АОУ эти инструменты имеют принципиально иное построение в сравнении с инструментами фильтрации данных, которые реализуются в технических системах, например, автоматического управления. Здесь иная природа шумов в данных. Это, главным образом, случайные или преднамеренные искажения информации, которые вышестоящая организация должна своевременно выявить и устранить, но в режиме диалога с организацией, предоставившей отчетные материалы.

Алгоритмы, которые реализуют функцию контроля поступающей информации, могут реализовывать различные процедуры [2]. Вместе с тем их множество условно можно разделить на два подмножества:

• алгоритмы, которые строятся на анализе уклонения поступающих данных измеряемых функций от их прогнозных значений;

• алгоритмы, строящиеся на проверке функциональных соотношений, которым принимаемые данные должны удовлетворять.

Алгоритмы первого подмножества осуществляют текущий контроль уклонения принимаемых данных у от их прогнозируемых значений у на величину более допустимой величины е :

||у(^) - У(^)|| <е VI > п, (1)

где y(ti) - измерение наблюдаемой функции в момент времени ^ ; У-(^) -прогнозируемое значение измеряемой функции на момент ^ ; п - минимальное количество измерений, по которому можно построить функцию У(Ч), характеристики которой отвечают заданным требованиям; ||п|| - оператор нормы, в

качестве которой, как правило, используют евклидову норму близости функций.

При этом прогнозные значения рассчитываются как соответствующая экстраполяция функции, аппроксимирующей исторические данные рассматриваемого процесса.

Проблема реализации такого подхода к проверке достоверности данных заключается в построении функции прогноза €, которая удовлетворительным образом решает задачу прогнозирования. Известно, что регрессионные модели, которые для этого используются чаще всего, решают настоящую задачу достаточно плохо. Более качественные результаты прогноза могут быть получены, если представляется возможным построить математическую модель рассматриваемого процесса. Модель, воспроизводящую этот процесс хотя бы на качественном уровне, т.е. с достаточно большой метрической ошибкой, но правильным воспроизведением фазовых характеристик [3]. Такие модели можно использовать в составе алгоритма определения функций прогноза с целью улучшения возможностей этих функций правильно предсказывать поведение рассматриваемого процесса на временном интервале прогноза.

Смысл алгоритма построения функций прогноза У и место указанных моделей

в составе алгоритма их построения показан на рис. 2.

Преимущество представленного варианта построения функций про-гноза в сравнении с традиционными схемами их синтеза состоит в том, что на интервале экстраполяции предла-гаемая функция аппроксимации учи-тывает не только данные прошлых периодов, но и данные качественного прогностического моделирования со-ответствующих процессов. Таким об-разом, смысл аппроксимации, пред-ставленной на рис. 2, заключается в описании тех неувязок, которые име-ют место между модельными данными и наблюдаемой действительностью. Опыт использования таких за-висимо-стей для прогнозирования развития процессов показал их преимущество по отношению к функциям, которые реализуют простую аппроксимацию исторических данных.

Второе подмножество алгоритмов проверки поступающих данных выявляет наличие в них соотношений, которым эти данные должны удовлетворять [4]. Рассматриваемые алгоритмы, как правило, не локализуют точно место ошибки в данных, но выявляют то их подмножество, в котором ошибка (ошибки) имеют место быть.

На организационном уровне алгоритмы настоящей группы реализуются как представленная ниже последовательность действий:

Вначале на основе изучения наблюдаемых процессов строится система продукционных правил вида:

ЕСЛИ <условие_не_выполняется> ТО <ошибка>, которым должны удовлетворять рассматриваемые данные.

Далее программными средствами отчетности осуществляется проверка того, удовлетворяют ли принятые данные этим правилам. Если данные не удовлетворяют тому или иному правилу, фик-

сируется наличие ошибки, формируется соответствующий

Рис. 2. Схема использования данных моделирования для прогнозирования процесса

Рис. 3. Прецеденты использования программного комплекса фильтрации данных

протокол. Протокол с описанием имеющих место ошибок направляется субъекту системы АОУ, который представил данные, не прошедшие проверку на достоверность. Настоящий протокол также помещается в репозиторий программного комплекса и хранится там как актуальный документ до получения от указанного источника либо объяснений того, почему представленные данные не должны удовлетворять тому правилу, проверка которого выявила рассматриваемую ошибку, либо до получения новых данных отчетности, которые эту ошибку исправляют. Диаграмма прецедентов использования программной реализации представленного алгоритма показана на рис. 3. Схема функционирования делового процесса проверки данных представлена на рис. 4.

Таким образом, фильтрация данных осуществляется в режиме формализованного диалога с тем субъектом системы АОУ, который эти данные представил.

Обратим внимание, что выявление ошибок в данных отчетности по методу сравнения принимаемых показателей с их прогнозными значениями являет собой одно из возможных правил проверки ин-

1. Селезнев В.П., Велесевич С.В. Поддержка в актуальном состоянии информационного обеспечения высшего уровня территориально распределенных иерархических систем административно-организационного уп-равления. Горный информациионно-аналити-ческий бюллетень. - № 9, 2006. - С. 197-203.

2. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования. - М.:

формации. Это правило можно рассматривать как еще одно продукционное правило, которым должны удовлетворять данные отчетности. А, следовательно, диалог с источником информации для устранения аномалий в данных, выявляемых путем сравнения с прогнозными значениями рассматриваемых показателей, может быть организован представленным выше образом.

Представленные механизмы фильтрации данных достаточно универсальны в том смысле, что они применимы к системам АОУ различного предназначения. Кроме того, они позволяют реализовать в составе рассматриваемой подсистемы отчетности организационную схему проверки данных на достоверность, близкую к той, что используется и для их сбора. Таким образом, по существу, в рамках одной технологии осуществляется сбор и проверка данных на достоверность, что упрощает как реализацию в составе рассматриваемой подсистемы сбора данных отчетности алгоритмов фильтрации отчетных материалов, так и эксплуатацию подсистемы отчетности с расширенными функциональными возможностями.

--------------- СПИСОК ЛИТЕРАТУРЫ

Статистики, 1979. - 254 с., ил.

3. Бусленко Н.П. Моделирование сложных систем. - М.: Наука. Гл. ред. Ф.м.л. 1978. -С. 499.

4. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и Data Mining. -СПб.: БХВ-Петербург, 2004. - 336 с. ШИН

— Коротко об авторах ----------------------------------------------------------------

Селезнев В.П. - кандидат технических наук, старший научный сотрудник,

Велесевич С.В. - аспирант кафедры АСУ,

Московский государственный горный университет.

Доклад рекомендован к опубликованию семинаром № 14 симпозиума «Неделя горняка-2007». Рецензент д-р техн. наук, проф. Н.И. Федунец.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Селезнев В. П., Велесевич С. В.