CC BY
170
УДК 004.942
Кузькин Александр Александрович
ГКОУ ВПО Академия Федеральной службы охраны Российской Федерации
Россия, Орёл1 Адъюнкт
E-Mail: [email protected]
Оценивание показателей эффективности и результативности ИТ-процессов с использованием гибридных нейро-нечетких сетей
Аннотация: Для обеспечения эффективного функционирования современных
инфокоммуникационных систем внедряются системы управления информационными технологиями на базе сервисного подхода. Важную роль при решении задач управления информационными технологиями играет оценка качества и эффективности предоставления ИТ-услуг. Повышение качества и эффективности ИТ-услуг не возможно без оценки ИТ-процессов. Однако на современном этапе основным инструментом оценки эффективности ИТ-процессов является метод экспертных оценок, реализуемый в рамках моделей зрелости.
В статье предложен подход к оцениванию показателей эффективности и результативности ИТ-процессов на основе интеллектуального анализа данных, а конкретно, гибридной нейро-нечеткой системы. Рассмотрен типичный способ конструирования гибридных архитектур на примере систем, функционально эквивалентных систем Сугено. Предложена адаптивная нейро-нечеткая система выводы (Adaptive Neuro Fuzzy Interference System, ANFIS), реализованная в виде нейро-подобной структуры, состоящей из пяти слоев. Приведен способ настройки параметров функцийй принадлежностей для архитектуры ANFIS. В качестве примера разработанного подхода построена и обучена модель гибридной нейро-нечеткой системы оценивания показателей результативности и эффективности процесса «Управление проблемами». Данный подход позволит формализовать процедуру оценивания и повысить ее адекватность.
Ключевые слова: Информационные технологии; инфокоммуникационная система; оценка эффективности; показатель результативности; показатель эффективности; нейро-нечеткая сеть; лингвистическая переменная; функция принадлежности.
Идентификационный номер статьи в журнале 57TVN114
1 302040, Российская Федерация, г. Орёл, ул. Лескова, д. 36, кв. 113 1
Alexander Kuzkin
The Academy of the Federal Guard Service of the Russian Federation
Russia, Orel E-Mail: [email protected]
Evaluation of the IT processes efficiency index using hybrid neuro-fuzzy networks
Abstract: To provide an effective functioning of modern information and communication systems there have been implemented information technology management systems based on the service approach. Evaluation of the IT services efficiency index provided by users is of primary importance in solving the problems of information technology management. IT services improving is impossible without estimating their efficiency. However, nowadays a main means of estimating IT processes efficiency is a method of expert judgment realized within maturity evaluation models.
In the article an approach of evaluating the IT processes efficiency index based on the intelligent data analysis specifically a hybrid neuro-fuzzy system has been suggested. A typical mode of designing hybrid architectures learning by example of functionally equivalent Sugeno systems has been considered.
There has been proposed an Adaptive Nuero Fuzzy System realized as a structure similar to a neuronic one. A method of the ANFIS architecture membership function settings has been taken into account.
A hybrid neuro-fuzzy system model designed for evaluating a process of “Manage problems” has been created as an example of the developed approach. This approach will allow to formalize a procedure of estimating and increasing its validity.
Keywords: Information technologies; infocommunication systems; efficiency assessments; Key Goal Indicator; Key Performance Indicator; neuro-fuzzy network; linguistic variable; membership function.
Identification number of article 57TVN114
На современном этапе информационные технологии (ИТ) рассматривают как один из основных инструментов реализации стратегических задач в различных сферах деятельности. Развитие форм государственного управления в контексте программы «Информационное общество (2011 - 2020 годы)», положении о единой вертикально интегрированной государственной автоматизированной информационной системе "Управление" и управление в экономике приводят к использованию все более сложных ИТ для автоматизации процессов управления госструктурами и крупным компаниями. Рост ценности и значимости обрабатываемой информации приводит в свою очередь к необходимости эффективного управления ИТ. Вводятся новые принципы организации и управления, новые ИТ-услуги для пользователей. Постоянно изменяются и дополняются требования к современным ИТ. В свою очередь усложнение процессов управления ведет к качественному и количественному росту их обеспечивающей составляющей - инфокоммуникационной системы (ИКС).
Для обеспечения успешного функционирования современных ИКС внедряются системы управления ИТ, в основе которых лежит сервисный подход на базе международных стандартов и практик (ITSM). Актуальность для России данного подхода подтверждается большим количеством его внедрений в ИКС крупнейших компаний телекоммуникационной, добывающей, металлургической и др. отраслей, а также в ИКС федеральных и региональных структур. В таблице 1 приведены «лучшие практики» («best practice») и стандарты (международные и национальные) в области управления ИТ.
Важную роль при решении задач управления ИТ играет оценка потенциальной способности ИКС выполнять свойственные ей целевые задачи. Другими словами речь идет о качестве и эффективности предоставления ИТ-услуг. В сфере ИТ качественное и эффективное предоставление сервисов в соответствии с требованиями заказчика предполагает наличие системы или методологии внутреннего контроля. Подобная система контроля должна быть неразрывно связана с требованиями заказчика, организовывать виды ИТ деятельности в виде прозрачной процессной модели, в которой определены основные ИТ-ресурсы и цели контроля. Всем этим требования соответствует методология CobiT, в рамках которой сервисный подход реализован при помощи модели, подразделяющей 34 отдельных ИТ-процесса в четыре домена.
В CobiT подробно рассматривается оценка эффективности ИТ-процессов, включающую в себя постановку и контроль целей (достижение которых поддается оценке), которые определяют результаты ИТ-процессов и пути достижения этих результатов (потенциал процесса и эффективность).
Таблица 1
Практики и стандарты в области управления ИТ
Название Область применения
ITIL (Information Technology Infrastructure Library) Рекомендации по предоставлению качественных услуг, а также процессов и компонентов, необходимых для их поддержки.
Стандарт COBIT (Control Objectives for Information and related Technology) Руководство в области управления ИТ, аудита и информационной безопасности. Контроль и аудит всеми аспектами ИТ
MOF (Microsoft Operations Framework) Управление обслуживанием информационных систем, которые представлены в виде функций управления услугами (Service Management Functions, SMF)
HP References model Корпоративная модель, разработанная на основе и в полном соответствии с библиотекой ITIL.
IPMA, PMI, PRINCE2 Методологии управления проектами
ISO 9000/9001 Quality management systems (в российской интерпретации семейство ГОСТ Р ИСО/МЭК ИСО:9000) Стандарты, определяющие требований к системам менеджмента безотносительно отраслевой специфики.
ISO/IEC 20000 Information technology -Service management (ITSM), (в российской интерпретации ГОСТ Р ИСО/МЭК 20000) Стандарты, определяющие требования к системе управления услугами, выполнение которых, обеспечивает гарантии качества ИТ-услуг для потребителей.
ISO/IEC 27001 - Information technology -Security techniques Стандарты в области управления информационной безопасностью
Составлена автором
Повышение эффективности ИТ-процессов в свою очередь невозможно без разработки соответствующей системы показателей и процедуры их оценки. В рамках CobiT выделяются показатели результативности (Key Goal Indicator KGI) и эффективности (Key Performance Indicator KPI) для всех описанных ИТ-процессов. А инструментом, который позволяет, оценить на каком уровне нужно обеспечивать управление и контроль над ИТ, является модель зрелости ИТ-процессов. В основе данной модели лежит метод экспертных оценок, она позволяет оценить текущее положение, определить, где именно требуется улучшение и внедрение инструментария мониторинга этих улучшений.
Вместе с этим, задача интерпретации достигнутого уровня результативности процесса предоставления ИТ-услуги по частным значениям KPI не является однозначной для организаций различного типа, степени автоматизации и перечня решаемых задач. Анализ тенденций развития систем управления ИТ показывает необходимость расширения функциональности последних как за счет совершенствования механизмов оценивания, так и за счет внедрения механизмов прогнозирования состояния KGI и KPI ИТ-процессов.
При планировании ИТ-услуг в ИКС, которая в свою очередь является сложным техническим объектом, приходится решать формализуемые и трудноформализуемые задачи. Решение последних связано как со стратегическими, так и с тактическими задачами (выбор конкретных величин управляющих параметров для получения требуемого результата). Для решения тактических задач привлекаются различные экспериментальные исследования. Однако, сроки и ресурсоемкость оценивания экспериментальных данных достаточно велики.
К тому же развитие современных ИКС приводит к увеличению объема экспериментальных данных (данных мониторинга) за счет роста числа узлов и пользователей, введения новых ИТ-услуг. В связи с этим при оценивании состояния KGI и KPI требуется обработка большого количества данных и участие группы экспертов, что делает данную процедуру инерционной и не приспособленной для оперативного реагирования на изменения влияния отдельных показателей в процессе функционирования. Построение универсальных аппроксиматоров позволит сократить сроки, снизить ресурсоемкость и повысить качество результатов, что позволит успешно решать задачи планирования ИТ-услуг.
В настоящее время существует достаточно большой перечень моделей, методов и алгоритмов оценивания, основанных как на математических, так и на эвристических подходах. Решение задачи оценивания состояния KGI и KPI ИТ-процессов характеризуется рядом особенностей: взаимное влияния параметров, их высокая динамика, сложность прогнозирования показателей и т.д. Указанные особенности значительно осложняют решение задачи подобного рода аналитическими средствами (методы распознавания, основанные на построении разделяющих поверхностей, методы потенциальных функций, решающие деревья и др.).
Одним из наиболее перспективных направлений решения задачи оценивания состояния KGI и KPI ИТ-процессов являются методы, основанные на использовании интеллектуального анализа данных. В интеллектуальном анализе с помощью хорошо известных методов в данных выделяются закономерности, которые помогают принимать обоснованные решения по сложным проблемам, именно такой и является задача планирования ИТ-услуг.
Применив алгоритмы интеллектуального анализа данных к данной задаче, мы сможем прогнозировать тенденции, выделять закономерности, создавать правила и рекомендации, анализировать последовательность событий в сложных наборах данных и обнаруживать новые зависимости.
В рамках предлагаемого подхода, экспериментально полученная информация о KGI и KPI ИТ-процессов может быть использована для построения интеллектуальной системы планирования ИТ-услуг на основе математического аппарата нечеткой логики (НЛ) и искусственных нейронных сетей (ИНС). Основой данной системы будет процедура оценивания состояния KGI и KPI ИТ-процессов с помощью гибридных нейро-нечетких систем (ГНС).
Гибридизация нейронных сетей с нечеткой логикой позволяет существенно повысить эффективность работы таких нейро-нечетких систем за счет того, что недостатки, присущие одной из технологий, компенсируются преимуществами другой. В частности, ИНС обладают хорошей способностью обучаться, но процесс работы обучающей сети сложен для понимания. В тоже время системы НЛ хорошо объясняют выводы, но имеют ограничения на количество входных переменных. Вследствие этого возможно построение ГНС, в которых выводы формируются на основе НЛ, а ФП (функции принадлежности) подстраиваются с помощью ИНС. Преимущество таких систем очевидно: построенная структура не только используют априорную информацию, но могут приобретать новые знания, являясь логически «прозрачными» [1].
В настоящее время предложено большое число различных по архитектуре, возможностям и используемым методам гибридных нейро-нечетких моделей [2, 3, 4]. На основе их анализа можно выявить следующие ключевые свойства: возможность
автоматического формирования набора решающих правил; возможность применения различных алгоритмов обучения; возможность оперативного обучения в процессе поступления данных; возможность изменения структуры; сохранение заложенных в систему
знаний в процессе параметрической оптимизации или обучения новым правилам. Основные особенности некоторых гибридных нейро-нечетких систем приведены в таблице 2.
Таблица 2
Основные особенности гибридных нейро-нечетких систем (ГНС)
Тип модели Особенности применения
ANFIS - настраиваемые параметры в первом и последнем скрытом слое; - структура набора правил должна быть известна заранее (тип и количество функций принадлежности для каждой переменной); - обучение в два этапа: - параметры 51 фиксированы, МНК используется для оценки параметров 52, - параметры 52 фиксированы, параметры 51 оценивается алгоритмом обратного распространения ошибки.
NEFCON - лингвистические нечеткие модели; - возможность индуцирования и оптимизации набора правил.
NEFCLASS - структура набора правил может меняться; - возможность оптимизации набора правил.
FALCON - обучение в два этапа: - обучение без учителя; - параметрическая оптимизация (метод градиентного спуска).
FUN - алгоритм перестройки связей и изменения параметров функций принадлежности носит случайный характер.
Составлена автором
Алгоритмы, позволяющие на основе данных наблюдений строить нечеткую систему, на начальных этапах используют либо нечеткую кластеризацию, либо покрытие пространства многомерными гиперкубами, либо оптимизацию многомерных решетчатых структур, возникающих при разбиении координатных осей и-мерного пространства на нечеткие подмножества.
Перечнем основных проблем при этом является обеспечение единственности представления одного и того же лингвистического значения при интерпретации для индуцирования набора правил, приведение получаемых дискретных функций принадлежности к одной из стандартных форм, а также избежание серьезных информационных потерь после проецирования получаемых в результате кластеризации областей (прямое произведение нечетких множеств не воспроизводит в точности породивший их кластер). Рекомендации по выбору гибридных нейро-нечетких моделей в зависимости от типа решаемой задачи могут быть представлены в виде таблицы 3.
Таблица 3
Выбор типа гибридных нейро-нечетких систем (ГНС) в зависимости от типа решаемой задачи
Тип модели Тип решаемой задачи
NEFPROX, NEFCLASS Интеллектуальная обработка и анализ данных
NEFCLASS Задачи классификации
NEFCLASS Принятие решений
ANFIS, NEFPROX, FBF Аппроксимация нелинейных зависимостей
NEFCON, ARIC, GARIC, ANFIS, FUN, AMN Интеллектуальное управление
NNDFR, ANFIS Моделирование
FAM, NEFPROX Прогнозирование (выявление тенденций в данных)
Составлена автором
В соответствии с этим, для построения системы оценивания состояния KGI и KPI ИТ-процессов, целесообразно использовать адаптивную систему нейро-нечеткого вывода -ANFIS (Adaptive Network-based Fuzzy Inference System) [4]. В данной системе выводы делаются на основе аппарата НЛ, а параметры ФП настраиваются с помощью алгоритма обратного распространения ошибки в процессе обучения ИНС, выявления эффекта переобучения и определения количества настраиваемых коэффициентов. Такой подход позволит выделять закономерности и обнаруживать новые зависимости, спрогнозировать состояния KGI и KPI для всех ИТ-процессов. Моделирование процедур оценивания состояния KGI и KPI выполнено в среде MATLAB с пакетом расширения Fuzzy Logic Toolbox [3, 4].
Система оценивания состояния KGI и KPI ИТ-процессов представлена в виде нейро-нечеткой пятислойной сети прямого распространения сигнала типовой структуры [5]. Количество входов напрямую зависит от исследуемого ИТ-процесса. Другими словами для каждого ИТ-процесса, описанного в рамках методологи CobiT строится свой нечеткий регулятор с прогнозирующей нейро-нечеткой сетью (ННС). В котором Xj - входные параметры НСС (KPI), i = 1, п; е - выходной параметр НСС (KGI). Для лингвистической оценки входных переменных Xj используются четыре терма. В качестве терм-множества лингвистической переменной Xj используется множество Тх = {«ниже SLA», «критическое значение», «рабочее значение», «перевыполнение SLA»}. Терм множество выходной лингвистической переменной е составляет множество Те = {«низкий», «критический», «рабочий», «высокой»}. Система нечеткого выводы содержит 4 правила. В нейро-нечеткой системе ANFIS размерность терм-множества выходных переменных Те должна быть равна количеству правил.
Рассмотрим назначение слоев ГНС [3, 5].
Слой 1. Выполняет раздельную фаззификацию, другими словами, определяет нечеткие термы входных параметров. Выходы узлов этого слоя представляют собой значения ФП при конкретных значениях входов. Каждый узел слоя является адаптивным и описывается ФП H-Aj(.xi), где Xj - вход -го узла, Aj - лингвистическая переменная из терм-множества Тх, ассоциированная с данным узлом. Для термов входных переменных выбраны гауссовы функции принадлежности:
где С[, 0[, Ь - параметры настройки функций принадлежности, подлежащие настройки в процессе обучения. Параметры этого слоя относятся к так называемым параметрам предпосылок.
Слой 2. Определяет антецеденты (посылки) нечетких правил. Каждый узел соединен с узлами первого слоя, которые формируют правила вывода. Фиксированные узлы данного слоя перемножают входные сигналы с помощью выполнения нечеткой логической операции "И" на параметрах посылок правила. Каждому узлу этого слоя ставится в соответствие одно нечеткое правило. В нашем случае количество правил, а соответственно и узлов равно четырем. Выходами нейронов слоя являются степени истинности посылок каждого -го правила базы знаний системы, вычисленные по формуле:
Слой 3. Осуществляет нормализацию степеней выполнения правил. Количество неадаптивных узлов этого слоя также равно четырем, каждый из которых рассчитывают относительную степень (вес) выполнения нечеткого правила по формуле:
МлМ “----------- '■ “ 1 ”
(1)
Wj = min ^Aj(x) ,j = 1, ....4
(2)
Ж,-
Щ = 1....4 (3)
Слой 4. Адаптивные узлы четвертого слоя рассчитывают вклад каждого нечеткого правила в выход сети по формуле:
еI = ЩТ}=1{с]1х1),] = 1... А (4)
где четкие число ej задает заключение каждого ] -го правила и рассматривается как нечеткое множество с гауссовыми функциями принадлежности.
Слой 5. Неадаптивный узел этого слоя суммирует вклады всех правил:
е = 14=1е (5)
Рассмотрим применение предлагаемого подхода для оценивания состояния KGI и КР1 процесса «Управление проблемами» (ББЮ). Показатели эффективности и результативности для данного процесса, выделенные в рамках методологии СоЫТ, приведены в таблице 4.
Таблица 4
KPI и KGI процесса «Управление проблемами»
КРІ
Х1 Число решаемых проблем в настоящее время
х2 Число инцидентов, разрешенных при помощи базы данных
Х3 Общее число инцидентов
Х4 Среднее число открытых проблем
Х5 Число проблем, не решенных в течение Тзад
Х6 Число инцидентов, решенных путем обучения пользователей
Х7 Число повторных проблем
Х8 Среднее время закрытия проблемы
Х9 Число ЯБС, инициированных процессом «Управления проблемами»
Х10 Процент проблем, по которым не выявлена первопричина
Х11 Затраты на решения проблем
кет
Єдост Доступность ИТ-услуг
Єуров Уровень переделов в решениях и услугах
Составлена автором
Из таблицы 3 следует, что для оценивания состояния KGI и КР1 процесса ББЮ необходимо построение двух нечетких регуляторов с прогнозирующей ННС. Каждый из них будет иметь 11 входов (КР1) и по одному выходу, соответствующему KGI данного ИТ-процесса.
Система оценивания состояния KGI и КР1 процесса «Управления проблемами» содержит две подсистемы нечеткого логического вывода - для оценивания показателя доступности ИТ-услуг и уровня пределов в решениях и услугах. Каждая подсистема представлена в виде нейро-нечеткой пятислойной сети прямого распространения сигнала типовой структуры (рис. 1).
Рис. 1. Структура ANFIS-сети для оценивания состояния KGIи KPIпроцесса «Управления проблемами»
Программная реализация ГНС получена в MATLAB Fuzzy Logic Toolbox с использованием программной m-функции anfis на основе настроенной системы нечеткого вывода. В процессе обучения, параметры узлов сети настраиваются так, чтобы минимизировать стандартную ошибку (RMSE) - невязку между экспериментально
измеренными показателями е и выходами сети е:
5 = J1X’[=i([e* - е]2) ^ min, (6)
где Т - количество наблюдений в выборке обучающих данных.
M-функция обучения сети anfis для определения параметров функций принадлежности систем нечеткого вывода типа Сугено может использовать алгоритм обратного
распространения ошибки или алгоритм гибридного обучения. Обучение параметров функций принадлежности гибридной нейро-нечеткой сети реализовано с применением метода
обратного распространения ошибки, основанном на градиентном методе наискорейшего спуска.
Обучающая выборка содержит N = 200 наблюдений. Задано начальное значение шага 10-4 в направлении антиградиента критерия 8 при изменении параметров функций
принадлежности. Обучающее множество: средняя ошибка - 2,85*10-1, максимальная ошибка - 4,97*10-2, распознано - 91%. Тестовое множество: средняя ошибка - 2,68*10-1,
максимальная ошибка - 6,23*10-2, распознано - 89%, рисунок 2.
2.00Е-09 1.00Е-01 2.10Е-01 3.10Е-01 4.10Е-01 5.10Е-01 6.20Е-01 7.20Е-01 8.20Е-01
Среднеквадратическая ошибка
Рис. 2. Оценка качества работы гибридных нейро-нечетких систем (ГНС)
Оценка качества работы ГНС при решении задачи оценивания состояния KGI и KPI процесса «Управления проблемами» производилась на основе экспериментальных данных, полученных в результате проведения натурного эксперимента программного продукта IBM Tivoli. Данные решения компании IBM обладают мощными средствами по сбору и анализу статистики, а также средствами визуализации состояния параметров функционирования ИКС. В процессе эксперимента обрабатывались данные полученный из отчетов аудиторских проверок консалтинговых компаний, которые содержали сведения о различных видах запросов на обслуживание, проблемах и инцидентах, а также значения основных показателей системы управления ИКС и службы Service Desk.
Сравнение результатов обучения, полученных с помощью разработанных предложений, показывает их хорошую согласованность с экспериментальными данными, полученными при оценивании показателей эффективности и результативности ИТ-процессов. Полученное решение может послужить основой для аппаратной реализации предложенного нейро-нечеткой алгоритма при решении задач оценивания состояния KGI и KPI ИТ-процессов.
ЛИТЕРАТУРА
1. Карпенко А. П. Многокритериальная оптимизация на основе нейро-нечеткой
аппроксимации функции предпочтений лица, принимающего решения / А. П. Карпенко, Д. А. Моор, Д. Т. Мухлисуллина // Электронное научно-техническое издание: наука и образование.- 2010.- №1.
(http://technomag.edu.ru/doc/143964.html)
2. Ярушкина, Н. Г. Основы теории нечетких и гибридных систем: Учебное пособие. - М.: Финансы и статистика, 2004. 320 с.
3. Леоненков, А. В. Нечеткое моделирование в среде МАТЬАБ и fuzzyTECH. -СПб.: БХВ-Петербург, 2003. 736 с.
4. Штовба С.Д. Проектирование нечетких систем средствами МАТЬАБ. М.: Горячая линия - Телеком, 2007. 288 с.
5. Круглов В.В. Искусственные нейронные сети. Теория и практика / В.В. Круглов, В.В. Борисов.- М.: Горячая линия - Телеком, 2002. 382 с.
6. Заде, Л. Понятие лингвистической переменной и его применение к принятию приближенных решений [Текст] / Л. Заде, под ред. Н.Н. Моисеева, С.А. Орловского; пер. с англ. - М.: Мир, 1976. 168 с.
7. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом "Вильямс". 2007.
8. Современный эксперимент: подготовка, проведение, анализ результатов / В. Г. Блохин, О. П. Глудкин, А. И. Гуров, М. А. Ханин; Под ред. О. П. Глудкина. -М.: Радио и связь, 1997. 232 с.
Рецензент: Смирнов Сергей Владиславович, преподаватель, кандидат технических наук, ГКОУ ВПО «Академия Федеральной службы охраны Российской Федерации».
REFERENCES
1. Karpenko A. P. Mnogokriterial'naja optimizacija na osnove nejro-nechetkoj approksimacii funkcii predpochtenij lica, prinimajushhego reshenija / A. P. Karpenko, D. A. Moor, D. T. Muhlisullina // Jelektronnoe nauchno-tehnicheskoe izdanie: nauka i obrazovanie.- 2010.- №1. (http://technomag.edu.ru/doc/143964.html)
2. Jarushkina, N. G. Osnovy teorii nechetkih i gibridnyh sistem: Uchebnoe posobie. -M.: Finansy i statistika, 2004. 320 s.
3. Leonenkov, A. V. Nechetkoe modelirovanie v srede MATLAB i fuzzyTECH. - SPb.: BHV-Peterburg, 2003. 736 s.
4. Shtovba S.D. Proektirovanie nechetkih sistem sredstvami MATLAB. M.: Gorjachaja linija - Telekom, 2007. 288 s.
5. Kruglov V.V. Iskusstvennye nejronnye seti. Teorija i praktika / V.V. Kruglov, V.V. Borisov.- M.: Gorjachaja linija - Telekom, 2002. 382 s.
6. Zade, L. Ponjatie lingvisticheskoj peremennoj i ego primenenie k prinjatiju priblizhennyh reshenij [Tekst] / L. Zade, pod red. N.N. Moiseeva, S.A. Orlovskogo; per. s angl. - M.: Mir, 1976. 168 s.
7. Bishop, C. M. 1995. Neural Networks for Pattern Recognition, 3rd ed. Oxford: Oxford University Press.
8. Goldschmidt T., Dittrich A. and Malek M., 2009 Quantifying Criticality of Dependability-Related IT Organization Processes in CobiT.
9. Drejper N., Smit G. Prikladnoj regressionnyj analiz. M.: Izdatel'skij dom "Vil'jams". 2007.
10. Sovremennyj jeksperiment: podgotovka, provedenie, analiz rezul'tatov / V. G. Blohin, O. P. Gludkin, A. I. Gurov, M. A. Hanin; Pod red. O. P. Gludkina. - M.: Radio i svjaz', 1997. 232 s.
