Модель идентификации свойств ошибок в технологии обработки данных Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 00405244 Г.Н. Исаев

ВАК 05.13.18 РИНЦ 20.53.19

Модель идентификации свойств ошибок в технологии обработки данных

Разработана модель идентификации свойств ошибок обработки данных в технологии информационных систем. Задача распознавания свойств решается на основе классификации статистической структуры ошибок, обозначаемые как дефекты. Классификация выполняется посредством агломера-тивного кластер-анализа по метрике Эвклида. Экспериментальная кластеризация проведена по переменным времени и стоимости обнаружения и устранения дефектов. Выявлены три основные класса дефектов - по достоверности, полноте и своевременности обработки данных. Выполнен анализ каждого класса дефектов по их параметрам, весовой значимости, причинам возникновения и др. С учетом идентификации свойств дефектов решаются задачи улучшения качества ИС.

Ключевые слова: распознавание свойств ошибок, кластер-анализ, модель, обработка данных, причины ошибок, устранение ошибок, информационные системы.

MODEL IDENTIFICATION OF PROPERTIES OF ERRORS IN DATA PROCESSING TECHNOLOGY

The recognition problem is solved on the basis of the properties of the statistical classification structure errors, referred to as defects. Classification is performed by agglomerative cluster analysis on Euclidean metric. Experimental clustering carried out by varying the time and cost of finding and eliminating defects. We identified three major classes of defects - for accuracy, completeness and timeliness of the data. The analysis of each class of defects in their parameters, the weight value, the causes and others. In view of the identification of the properties of defects solved the problem of improving the quality of information systems.

Keywords: recognition of the properties of the error, the cluster analysis model, the processing ofdata, sources of error, error recovery, information systems.

1. Введение

В функционировании информационных системах (ИС) часто возникают многочисленные ошибки различного характера - искажение символов, пропуск показателей, запаздывание документов на различных этапах обработки документов. Эти ошибки можно идентифицировать как дефекты (от лат. defectus -недостаток) технологии обработки данных ИС. Дефекты вызывают необходимость привлечения дополнительных ресурсов на их обнаружение и исправление, а самое главное - они снижают уровень качества ИС. В подобных условиях пользователям ИС может быть выдана недостоверная, неполная и несвоевременная информация [1]. Одним из путей предотвраще-

ния или снижения объема дефектов представляется распознавание свойств дефектов и создание на этой основе эффективного средства нейтрализации статистической структуры дефектов. Создается противоречие между необходимостью распознавания свойств и наличием метода идентификации этих свойств. борьбы с дефектами. Таким образом актуальной становится задача создание способа идентификации дефектов, возникающих на различных участках ИС.

Можно сделать допущение, что статистическая структура дефектов будет неоднородной. Это затрудняет уточнение природы дефектов, их типизацию, определение состава и значений показателей оценки качества ИС, а самое главное - создание эффективной системы диагнос-

тики и предотвращения дефектов. В методологическом плане свойства, неоднородность какой-либо совокупности можно устранить путем классификации, то есть определения классов дефектов. В нашем случае для решения этой задачи наиболее приемлемым представляется агломеративный кластер-анализ [2].

Традиционно кластеризация проводится по времени обнаружения и исправления дефектов. В современных условиях повышения требований к экономической составляющей ИС наиболее адекватной представляется кластеризация не только по времени, но и по стоимости обнаружения и исправления дефектов. В дальнейшем данные по каждому классу дефектов подвергаются статистической

Георгий Николаевич Исаев, к.т.н., доцент кафедры Сервисного инжиниринга Тел.: 8 (977) 342-80-12 Эл. почта: georg.isaev@mail.ru Российский государственный университет туризма и сервиса http://www. rguts.ru

George N. Isaev,

са^Ле^^а., the senior lecturer of faculty of Service engineering Tel.: 8 (977) 342-80-12 E-mail: georg.isaev@mail.ru The Russian state university of tourism and service http: //www.rguts.ru

обработке на ЭВМ с целью получения фактических значений единичных, групповых, интегральных, обобщенных и комплексных показателей. Затем можно выполнить измерение и оценку качества ИС и ее компонентов и определить затем меры по улучшению качества ИС.

1. Формальная модель кластер-анализа дефектов обработки данных

Исходя из существа кластер-анализа, дефекты, оказавшиеся в одной группе, должны быть сходными между собой, а дефекты, принадлежащие разным классам, разнородными, относящимися к различным ветвям дерева классификации. Критерием разнородности выберем некоторую метрику, посредством которой дефекты могут быть объединены в некоторый класс по количественному критерию сходства (различия) классифицируемых дефектов. Можно использовать различные критерии, например, евклидово расстояние

[3].

Пусть множество D = D2, ..., Dn} отображает выборку, состоящую из дефектов, регистрируемых по участкам ИС. Имеется некоторое множество характеристик G = {0\, 02, ..., От}, присущих каждому из Di. Количественное измерение у-ой характеристики дефекта Di обозначим Ху, тогда вектор X = [Ху] размерности т х 1 будет соответствовать каждому ряду измерений для каждого Di. Отсюда множество дефектов D располагает множеством векторов измерений X = х1, х2, ..., хп, которые характеризуют множество D. Отметим, что множество D может быть отображено как п точек в /»-мерном пространстве Rp. Задача кластеризации дефектов заключается в том, чтобы для анализа некоторого целого числа (5 < п) на основе х^ е Хразбить множество D на конечное число подмножеств

Щ(Щ С D) где 1 < i < 5, так, чтобы

Щ П = 0, I, ]

ЦЖ; = В.

;=1

Отправной точкой для определения состава и содержания показателей качества ИС является получение укрупненных классов дефектов, сформированных в результате кластеризации. Априори можно предположить, что в результате будут получены классы дефектов, соответствующих оценкам по достоверности, полноте, своевременности и др.

Для дальнейшего рассмотрения существа иерархической агломе-ративной классификации статистической структуры дефектов ИС с учетом концептуальных положений кластер-анализа, изложенных в [2, 3], уточним обозначения дефектов и процесс их кластеризации: Ху - элементы (дефекты) матрицы исходных данных Х («ведомость дефектов»), где i = 1, 2, .., п - номер строки (шифр, код дефек-та),у = 1, 2, ..., т - номер столбца (шифр, код признака - время и / или стоимость обнаружения и исправления дефекта); Xj - среднее значение признака Ху для п дефектов (среднее по столбцу у), определяемое по формуле

— 1 п х] =~Т х

П 1=1

а - среднее квадратическое отклонение признака Ху, определяемое по формуле

затем определяется ZiJ- - нормированный элемент матрицы Х

Zij = {xij - xj

после чего матрица дефектов Х заменяется матрицей Z. Затем вычисляются расстояния dik - квадрат евклидова расстояния между дефектами i и k.

m 2

dik = Z(zj - zkj ! ■ j=

После подсчета расстояния dik для всех пар дефектов матрица Z заменяется симметричной матрицей Q (матрица расстояний). На основе этой матрицы проводится кластеризация. Вначале кластеризации каждый дефект обозначается как отдельный кластер. На первом шаге кластеризации определяется пара дефектов, расстояние dj между которыми минимально. Эти

дефекты объединяются в один кластер, в матрице расстояний «вычёркиваются» строка и столбец, соответствующие первому из этих дефектов. Затем матрица расстояний рассчитывается вновь, так как расстояние пары дефектов будущего кластера может измениться относительно оставшихся в матрице расстояний дефектов.

Алгоритм заканчивается при условии, если все дефекты из «ведомости дефектов» будут объединены в один общий кластер, то есть при условии сформирования «ствола» дерева классификации. По распечатке дендрограммы можно в дальнейшем путем анализа выявить состав и свойства классов дефектов.

Полученные в результате кластеризации однородные статистические структуры должны быть подвергнуты дальнейшей обработке на ЭВМ с целью получения оценок, в частности, математического ожидания по времени и по стоимости относительно классов дефектов, эмпирических распределений случайных величин по времени и стоимости, причины возникновения дефектов и др.

2. Экспериментальная обработка данных по исследованию модели кластер-анализа дефектов обработки данных

Ввод в ЭВМ и обработка полного объема данных «Ведомости дефектов» выполнялись в соответствии с требованиями планирования эксперимента [4]. С целью устранения неоднородности в соответствии с моделью проведен кластер-анализ статистической структуры дефектов. Классификация дефектов выполнялось посредством программы кластер-анализа данных. В результате получены распечатки пятистолбцовой таблицы, описывающей пошаговый процесс объединения кластеров, а также редуцированный вариант дендрограммы кластеризации дефектов (рис.). Дендрограмма отображена в соответствии с машинной распечаткой в виде древовидной горизонтальной схемы. Слева от схемы помещены 3 столбца цифр. 1-й столбец указывает номера строк (реализаций) вводимых данных в ЭВМ из

«Ведомости дефектов», 2-й - содержит коды дефектов, участвующих в кластеризации, 3-й - указывает последовательность объединения дефектов на каждом шаге.

По дендрограмме видно, что на 497 шаге завершено объединение дефектов в классе по достоверности - дефекты с кодами 72, 74, 77, 85, 86 и др. На шаге 504 сформировался класс дефектов по полноте - коды 12, 22, на шаге 514 сформировался класс дефектов по своевременности - код 3. Предварительно можно констатировать, что для измерения и оценки качества ИС в роли первичных показателей могут выступать показатели достоверности, полноты и своевременности обработки данных.

Анализ классификации позволяет установить, что внутри классов дефектов распределение модификаций дефектов равномерно. Можно предположить, что на уровне отдельного класса дефектов отсутствует какая-либо закономерность в рас-

пределении модификаций дефектов. Вместе с тем, очередность и характер объединения классов дефектов свидетельствуют о том, что сначала объединяются дефекты по достоверности, затем по полноте и, наконец, дефекты по своевременности, что подтверждает выдвинутые ранее предположения. Более конкретное представление о значимости каждого класса дефектов можно получить путем дальнейшей обработки статистической структуры по каждому классу дефектов в отдельности и в комплексе.

Оценка параметров ИС выполняется посредством реализации соответствующей программы статистического анализа данных. На внутримашинном уровне исходные данные могут быть представлены следующими массивами: массив А - данные по дефектам достоверности, массив В - по полноте, массив DE - по своевременности.

Полученные на ЭВМ основные параметры для удобства ана-

Таблица 1

Карта данных распределения дефектов достоверности по времени

Границы Абсолютная Относительная Относительная

интервалов (мин.) частота (символ) частота накопленная частота

1-2 12 0,08 0,08

2-3 38 0,25 0,33

3-4 52 0,34 0,67

4-5 34 0,22 0,89

5-6 13 0,08 0,97

6-7 5 0,03 1

Таблица 2

Характеристика дефектов достоверности по типам

№ п/п Типы дефектов Характер адреса ошибки Всего

цис )ра буква слово

кол-во % кол-во % кол-во % кол-во %

1 Замена символов 22 14,3 51 33,2 - - 73 47,4

2 Пропуск символа, слова 12 7,8 37 24,1 19 12,3 68 44,2

3 Лишние символы - - 5 3,3 - - 5 3,3

4 Дублирование символов, слова 1 0,6 1 0,6 4 2,6 6 3,9

5 Перестановка символов - - 1 0,6 - - 1 0,6

6 Сдвиг (транспозиция) символа - - - - 1 0,6 1 0,6

Итого 35 22,7 95 61,7 24 15,6 154 100

Таблица 3

Характеристика дефектов по полноте

Типы дефектов Код типа дефекта Количество дефектов % дефектов

Отсутствие кода значения реквизита-признака 12 55 33,13

Отсутствие документографы 21 8 4,82

Отсутствие реквизита-основания 22 103 62,05

Итого 166 100

лиза и оценки уровня качества, представляются по разработанной унифицированной форме в виде «Карты данных распределения дефектов» (КДРД). Как пример в табл. 1 приведены данные дефектов достоверности по времени.

Объем выборки: документов -200, символов - 100000,

Среднее выборочное: х = 3,084 Среднее квадратическое отклонение: 8 = 1,188

Границы доверительного интервала среднего выборочного: нижняя - 2,895, верхняя - 3,274; Вероятность дефекта

р = 154 / 100000 = 0,00154 Показатель достоверности ра = 1 - 0,00154 = 0,99846 Оценка математического ожидания дефекта X = х х р = 3,084 х х 0,00154 = 0,0047493 минут.

Дефекты по достоверности имеют сравнительно более широкий спектр модификаций (табл. 2). Наибольший процент дефектов состав-

ляет «замена символов» - 47,4%, при этом 33,2% падает на буквы, а остальные на замены цифр. Следующий тип дефекта «пропуск символа, слова» составляет 44,2%, причем из этого объема 24,1% составили пропуски букв, 12,3% - пропуски слов, 7,8% - пропуски цифр. Эти виды ошибок можно, прежде всего, объяснить невнимательностью операторов ввода документов в ЭВМ. Подобное предположение обосновывается, например, тем, что из 154 дефектов 19 дефектов падает на пропуск слова, то есть 12,3%. Общий объем ошибок по буквам составил 61,7%, меньше чем по цифрам кодовой части документов - 22,7%, и по словам - 15,6%. Подобное распределение по классам информации можно объяснить тем, что буквенного текста по объему больше, чем цифрового в два раза. Вместе с тем, 15,6% ошибок на уровне слов - типа «пропуск», «дублирование», «сдвиг» свидетельствуют, прежде

всего, о недостаточной внимательности, собранности операторов ввода данных в ЭВМ. Дефекты типа «дублирование символов» как относительно буквы, так и относительно цифры - 2 ошибки (1,2%) произошли по причине аппаратных сбоев клавиатуры. Это явно свидетельствует о недостаточном уровне профилактических и ремонтных работ по обслуживанию комплекса технических средств.

Относительно класса дефектов по полноте наибольшую долю дефектов (62,05%) составляет «отсутствие значения реквизита-основания» (табл. 3).

Специалисты предприятий не всегда указывают в первичных документах отдельные реквизиты-основания, что свидетельствует об отсутствии необходимых знаний инструктивного материала, должной технологической дисциплины и контроля данных. Второе место (33,13%) занимают дефекты типа «отсутствие кода признака», например, признаки типа «форма собственности предприятия», «территориальное расположение предприятия» и другие не всегда указываются исполнителями. Модификации ошибок типа «отсутствие документо-графы» составили 8,82% дефектов полноты и означают, что в некоторых документах не всегда проставляются реквизиты-основания, что противоречит требованиям инструкций по составлению документов.

В силу однозначности дефектов по своевременности этот класс дефектов не дифференцируется. Эти дефекты отмечаются кодом З -«запаздывание пачки документов» в соответствии с кодификатором дефектов. С целью конкретизации путей улучшения качества обработки данных необходимо рассмотреть также и факторы-причины, обусловившие появление дефектов (табл. 4).

Сведения были получены путем обработки исходных данных «Ведомости дефектов». Проведем анализ факторов-причин в порядке их расположения по возрастанию кодов. «Неразборчивость знаков в документе» обусловило ошибки достоверности, конкретные модификации которых рассмотрены

Таблица 4

Распределение дефектов по причинам их возникновения

№ п/п Наименование факторов-причин Коды факторов причин Всего дефектов Наименование видов дефектов и массивов

достоверность массив А полнота массив В своевременность

всего массив БЕ в том числе:

кол-во дефектов % дефектов к-во дефектов % дефектов к-во дефектов % дефектов массив Б массив Е

к-во дефектов % дефектов к-во дефектов % дефектов к-во дефектов % дефектов

1 Неразборчивость знаков в документе 108 5 1,0 5 1,0

2 Отсутствие поля контрольной суммы 110 26 5,0 26 5,0

3 Отсутствие технологических карт этапа 202 2 0,4 - - 2 0,4

4 Недостаточный уровень контроля на предшествующем этапе технологии 204 75 14,6 1 0,2 61 11,8 13 2,6 4 0,8 9 1,8

5 Неисправность клавиатуры 231 2 0,4 2 0,4

6 Нерегулярность инструктажа по контролю качества 304 4 0,8 - - 3 0,6 1 0,2 1 0,2 - -

7 Недостаточный опыт контролеров 306 1 0,2 1 0,2

8 Невнимательность операторов 307 118 22,9 103 2,0 15 2,9

9 Плохая технологическая дисциплина 308 65 12,6 1 0,2 30 5,8 34 6,6 21 4,1 13 2,5

10 Недостаточный уровень диспетчеризации технологии 311 10 1,9 - - - - 10 1,9 10 1,9 - -

11 Нет системы управления качеством 312 47 9,1 2 0,4 31 6,0 14 2,7 10 1,9 4 0,8

12 Недостаточное знание применяемых классификаторов (кодификаторов) 318 1 0,2 - - 1 0,2

13 Недостаточный уровень форм материального стимулирования труда 333 48 9,3 13 2,5 20 3,9 15 2,9 12 2,3 3 0,6

14 Низкий уровень прямоточности технологического процесса 336 111 21,6 - - 3 0,6 108 21,0 106 20,6 2 0,4

Итого 515 100 154 29,9 166 32,2 195 37,9 164 31,8 31 6,1

выше. Эти ошибки составляют 1% от общего объема. Не всегда коды проставляются разборчиво, что затрудняет считывание данных операторами на этапе ввода данных в ЭВМ. В цифровой части таблицы документа имеется 5% ошибок.

Недостаточный уровень контроля на предшествующих этапах обработки обусловил 14,6% дефектов, в том числе по полноте 11,8%, по достоверности 0,2%. Качество обработки снижается также по причине отсутствия технологических карт, в которых содержатся, в частности, схемы контроля правильности данных, время обработки и другие параметры технологии.

Содержание причины «неисправность клавиатуры» рассмотрена выше. Причина «нерегулярность инструктажа по контролю качества» объясняет 0,8% дефектов, допущенных на этапах выдачи документов предприятиями и индексаторами. Недостаточность профессионального опыта операторов ввода дан-

ных в ЭВМ обусловила 0,2% ошибок. Большинство операторов ввода данных в основном молодые люди и сравнительно недавно закончили курс профессионального обучения. С целью подсчета частоты факторов-причин, обусловивших появление дефектов, были получены по указанной программе данные частотности причин. Поскольку массивы А и В имели модификации по видам дефектов, то в соответствии с кодами дефектов были получены также частотности дефектов.

Самой значительной проблемой по объему дефектов является «невнимательность операторов ввода» (22,9%). Если ошибки достоверности составили здесь 20%, то дефекты полноты только 2,9%. Фактор-причины «недостаточная технологическая дисциплина» составляет 12,6% и наблюдается на всех этапах обработки, по всем видам дефектов. Больше половины здесь составили дефекты своевременности (6,6%), причем 4,1% за

счет несвоевременного индексирования документов. Недостаточный уровень диспетчеризации технологического процесса обусловил 1,9% дефектов из-за запаздывания поступления документов от индексаторов. Отсутствие системы управления качеством обусловило 9,1% дефектов, при этом 6,0% по полноте, 2,7% по своевременности и 0,4% по достоверности. Недостаточное знание применяемых в технологии классификаторов составило 0,2% дефектов и относится к полноте, так как в данном случае кодировщики этапа индексирования затруднялись в идентификации кодируемых признаков.

Довольно значительный объем дефектов (9,3%) объясняется недостаточным уровнем форм материального стимулирования труда по всем этапам обработки. Сотрудники, занятые в технологии, не имеют нормативной базы поощрения за качество труда, например, по показателям своевременности, полноты, досто-

верности обрабатываемой документации. Вторым по объему дефектов (21,6%) является фактор-причина «недостаточный уровень прямоточ-ности технологического процесса». При этом основной объем (21,0%) дефектов падает на своевременность, то есть запаздывание в выдаче документов от этапа индексирования на этап ввода в ЭВМ. В силу сложившихся обстоятельств функции кодирования были поручены сотрудникам, которые не всегда и не везде могли обеспечить кодирование документов с необходимым качеством.

Общий объем дефектов, связанный с несвоевременностью представления документов составляет 37,9%. Второе место по объему дефектов занимают факторы-причины по полноте - 32,2% и третье -29,9% факторы-причины, связанные с достоверностью.

Если классифицировать факторы-причины по содержательному признаку, то можно условно выделить класс документационно-ин-формационных факторов. Сюда можно отнести факторы-причины, имеющие коды 108, 110, 202. Затем можно выделить класс технологических факторов - 204, 231, 308, 311, 336. К организационным факторам можно отнести факторы - 304, 306, 307, 312, 318, 333. Разумеется, подобная классификация условна, так как на практике каждый фактор одного класса при определенных условиях может пересекаться с факторами других классов.

Особое внимание следует обратить на фактор-причину «отсутствие системы управления качеством». Управление таким сложным объектом как комплекс информационных систем требует включения

и активного использования всего комплекса факторов, воздействующих на качество ИС. Традиционная диспетчеризация технологии и локальные схемы контроля данных с позиций современных требований к качеству обработки должного эффекта не дают [5].

По существу, большинство рассмотренных факторов прямо или косвенно относятся к системе управления качеством и являются ее элементами. Поэтому каждая из мер, направленная на нейтрализацию негативных факторов и достижение положительного эффекта в общем комплексе работ по улучшению качества ИС целесообразно идентифицировать как логический этап разработки и реализации управляющих воздействий системы управления на качество ИС. В связи с этим, одной из важных задач в улучшении качества обработки данных следует признать устранение отрицательного влияния факторов документационно-инфор-мационного, технологического и организационного характера.

Действенность плана оргтехме-роприятий по улучшению качества зависит во многом от того, насколько полно выявлены факторы, влияющие на тот или иной параметр качества технологии обработки данных. План должен учитывать документационно-информацион-ные, технологические, аппаратные, программные, организационные и другие факторы. Критерием значимости того или иного фактора, их ранжирование, целесообразно принимать степень влияния фактора на уровень качества технологии, например, относительный уровень производительности, себестоимос-

ти обработки документов, абсолютную и относительную меры дефектов и др.

3. Заключение

На уровень качества функционирования ИС в значительной мере влияют дефекты, возникающие на различных участках обработки данных. Поскольку статистическая структура дефектов, как правило, является неоднородной, то в задачах улучшения качества необходимо распознавать свойства дефектов и на этой основе принимать меры по их предотвращению.

Одним из действенных средств нейтрализации дефектов может быть модель распознавания свойств дефектов. Модель строится на базе агломеративного кластер-анализа статистической структуры дефектов. Наборы данных по каждому дефекту регистрируются в «Ведомости дефектов» по этапам (участкам) технологии обработки данных ИС.

Последующая компьютерная обработка данных ведомости дефектов результируется получением дендрограммы и таблицы кластеризации дефектов. Посредством анализа дендрограммы и таблицы можно определить основные классы дефектов, статистические оценки распределения дефектов по их классам, причины возникновения дефектов, показатели для оценки качества ИС и др.

На базе полученных результатов по каждому классу дефектов выполняются организационно-технические мероприятия по предотвращению дефектов и тем самым повышению уровня качества функционирования ИС.

Литература

1. Исаев Г.Н. Управление качеством информационных систем: Теоретико-методологические основания. - М.: Наука, 2011. - 279 с.

2. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. - М: Финансы и статистика, 1986. - 232 с.

3. Кулаичев А.П. Методы и средства комплексного анализа данных. - М.: ФОРУМ: ИНФРА-М, 2006. - 512 с.

4. Халафян А.А. Промышленная статистика. Контроль качества, анализ процессов, планирование экспериментов в пакете STATISTICA. - М.: Либроком, 2013. - 384 с.

5. Eppler M., Wittig D. Conceptualizing information quality: A review of information quality frameworks from the last ten years. In: Proceedings of the 2000 Conference on Information Quality. Klein, B. D. & Rossin, D. F. (eds.); Boston: M.I.T. 2000, p. 83-91.

6. Исаев Г.Н. Устройство для определения состава показателей качества информационных систем. Патент RU № 46 U1, G 06 F 19/00. Бюллетень Федеральной службы по интеллектуальной собственности, патентам и товарным знакам, 2005, № 28 от 10.10.2005.