CC BY
215
Прецедентный подход к построению моделей процесса поиска неисправностей при диагностировании сложных технических систем
Ключевые слова: бортовая автоматизированная система управления, технологическая система, контроль, диагностирование, поиск неисправностей, прецедент, интеллектуальная система поддержки принятия решений.
Для обеспечения высокого качества, соответственно надежности и долговечности, современных бортовых автоматизированных систем управления (БАСУ) летательных аппаратов необходимо повышать эффективность технологических систем контроля и диагностирования, как БАСУ в целом, так и ее составных частей в отдельности. В процессе технологического проектирования современных средств диагностирования и контроля технического состояния изделия необходимо решить задачу поиска, обоснования и выбора прогрессивных методов, методик и алгоритмов решения практических задач в условиях жестких временных ограничений и при наличии различного рода неопределенностей в исходной информации и экспертных знаниях. Исследуется механизм правдоподобных рассуждений на основе прецедентов (накопленного опыта) для интеллектуальной системы поддержки принятия решений в процессе контроля и диагностирования сложной технической системы (БАСУ). Описывается процесс управления данными и знаниями в ИСППР, структура прецедента и библиотеки прецедентов, функционирование ИСППР при диагностировании БАСУ. На простом примере рассмотрен механизм извлечения прецедентов. Предложенный подход к решению задач технического контроля и диагностирования особенно эффективен в случаях, когда основным источником знаний о задаче является опыт, а целью — не гарантированное верное решение, а лучшее из имеющихся в библиотеке прецедентов.
Смирнов В.А.,
ЗАО "НПЦ"Аквамарин", ведущий инженер-электроник отдела новой техники, vlad.sm2010@yandex.ru
Введение
Современный этап развития бортовых автоматизированных систем управления (БАСУ) летательных аппаратов характеризуется повышением их сложности. Одна из важнейших задач, решение которой направлено на обеспечение надежности таких сложных технических систем — совершенствование систем контроля и диагностирования технического состояния, как БАСУ в целом, так и ее составных частей. Частная задача из области проблем проектирования технологических систем контроля и диагностирования, а именно, поиск неисправностей при диагностировании сложных технических систем, может быть эффективно решена при использовании системного анализа, информационных технологий и методов искусственного интеллекта.
Исследования и разработки по созданию таких перспективных диагностических систем связаны с проблемой, актуальной в области искусственного интеллекта, формального представления знаний высококвалифицированных специалистов, моделирования их рассуждений в процессе контроля и диагностирования. Существенный вклад в изучение проблем представления знаний и автоматизации рассуждений на знаниях внесли Поспелов Д.А., Ларичев О.И., Башлыков A.A., Еремеев А.П., Вагин В. Н„ Варшавский П.Р., Карпов Л.E., Куриленко И.Е. и многие другие.
Анализ опубликованных работ показывает, что применение подобных методов моделирования рассуждений в интеллектуальных системах поддержки принятия решений в процессе контроля и диагностирования сложных систем позволяет принимать обоснованные и эффективные управ-
ляющие воздействия. Однако существующие модели и алгоритмы не всегда могут быть непосредственно применены для организации интеллектуальной поддержки при решении задач поиска неисправностей в БАСУ, так как не учитывают специфических свойства таких систем и особенности их контроля и диагностирования. Разработка и совершенствование известных эффективных, способных к адаптации, модификации и обучению моделей представления и обработки знаний, учитывающих специфику предметной области, является актуальной научно-технической задачей. Их реализация позволяет рационально использовать накопленный объем данных и знаний, автоматизировать процесс принятия решений с использованием этих знаний. Интеграция традиционных и интеллектуальных методов, предназначенных для решения плохо структурированных задач, существенно повышает эффективность контроля и качество принимаемых решений.
Постановка задачи
Целью работы является повышение качества и обоснованности принимаемых решений при диагностировании БАСУ, расширение функциональных возможностей контрольнопроверочной аппаратуры (КПА) за счет организации интеллектуальной поддержки принятия решения на основе рассуждений по прецедентам. В соответствии с указанной целью в работе поставлены и исследованы следующие задачи:
- определение основных особенностей, присущих исследуемой технической системе, с точки зрения ее контроля и диагностирования;
- разработка метода диагностирования на основе прецедентного подхода, ориентированного на применение в системе диагностирования БАСУ;
- рассмотрение основных функциональных элементов интеллектуальной системы поддержки принятия решений (ИСППР).
Основные особенности БАСУ с точки зрения
ее контроля и диагностирования
Контроль и диагностирование БАСУ осуществляется с использованием КПА, осуществляющей управление процессом контроля - выдачей в объект контроля стимулирующих воздействий и анализом принимаемой информации, содержащей ответную реакцию. Алгоритм диагностирования состоит из определенной совокупности элементарных проверок, а также правил, устанавливающих последовательность реализации элементарных проверок, и правил анализа результатов последних. Каждая проверка состоит из определенного количества проверяемых параметров. Численные значения измеренных парамегров в зависимости от попадания в интервал допустимых значений получают лингвистическую оценку "годен" или "не годен". Если хотя бы один из параметров элементарной проверки получил оценку "не годен", то результату проверки присваивается лингвистическая оценка "не в норме". Дальнейшая локализация неисправностей производится с использованием ремонтноэксплуатационной документации по таблице, где приведен перечень возможных неисправностей в процессе эксплуатации и рекомендации по действиям при их возникновении. Выявленный неисправный блок необходимо демонтировать из БАСУ. Дальнейшее диагностирование целесообразно выполнять на отдельном, специализированном для этого блока, стенде диагностики в целях локализации неисправностей.
Одним из недостатков существующей контрольнопроверочной аппаратуры является невозможность локализовать неисправность до конкретного блока при некоторых сочетаниях итогов проверок. Особенностью принятия решений в процессе диагностирования БАСУ является необходимость учета неопределенностей различной степени и характера. Они представляют собой случайности, недостоверности (неточности измерений), нечеткости (наличие качественных оценок вместо количественных), неполноту (отсутствие достаточно полного математического описания для данной системы), двусмысленности (многозначность понятий).
Традиционные методы плохо приспособлены для работы с неточными, неопределенными или частично истинными данными и знаниями и трудно реализуемы, так как основаны на строгих математических зависимостях. Как показывает практика, при малых объемах статистических данных методы теории вероятностей и математической статистики могут приводить к неточным выводам. В таких случаях решающую роль играет высокая квалификация опытных специалистов. Они предлагают оптимальное решение, на основании сочетания теоретического понимания проблемы и практических навыков ее решения [1], эффективность которых доказана в результате практической деятельности в данной области. Одним из таких естественных способов рассуждений, который они применяют на первых порах, сталкиваясь с новой задачей поиска неисправностей, состоит в следующем: они анализируют ситуацию, вспоминают, какие решения принимались ранее в подобных случаях. При необходимости эти решения адаптируются в соответствии с текущей ситуацией.
Прецедентный подход к диагностированию БАСУ
Предлагаемый подход основан на одном из методов интеллектуального анализа данных (Data Mining) — методе мо-
делирования рассуждений на основе прецедентов (CBR — Case-based Reasoning). Вывод, основанный на прецедентах, является моделью управления знаниями в интеллектуальных системах поддержки принятия решений (ИСППР) и позволяет получить решение неизвестной задачи, используя накопленный опыт решения похожих задач, хранящийся в библиотеке прецедентов, и адаптируя его к новым условиям. Вывод на основе прецедентов показал свою эффективность в случаях, когда отсутствует возможность полного математического описания предметной области и основным источником знаний для решения задач является опыт. Следует отметить, что полученное на основе метода решение не является гарантированно верным, а служит лишь отправной точкой процесса поиска правильного решения. Интуитивно понятно, что правильнее начинать с какого-то приблизительного решения в условиях отсутствия четкого варианта действий. Такой подход к принятию решений основан на многолетней практике работы высококвалифицированных специалистов при диагностировании сложных систем.
С общим описанием метода можно ознакомиться в работе [2]. Для практической реализации процессов, входящих в CBR-цикл, моделей представления знаний о прецедентах не существует каких-то универсальных решений. Они являются специфичными в каждой конкретной прикладной системе и опираются на знания о проблемной области.
Применительно к решению задачи поиска неисправностей в БАСУ, под прецедентом подразумевается описание состояния отказа системы и подробное указание действий, которые принимались в такой ситуации и могут служить образцом для повторного применения при аналогичных обстоятельствах. Целью применения данного метода является уменьшение неопределенности при диагностировании.
Важным шагом в процессе формализации знаний является построение модели, отражающей сущность функционирования проблемной области, показывающей механизм, обеспечивающий достижение поставленной цели. Хорошо построенная модель может только уточняться (детализироваться или упрощаться), но не перестраиваться. Основные процессы поиска решения на основе прецедентов при диагностировании БАСУ представлены на рис. 1.
Их можно разделить на следующие уровни:
— получение, преобразование и хранение информации;
— поиск, формирование и вывод решения;
— пересмотр, адаптация, обучение прецедента и библиотеки прецедентов;
Данные измерений, характеризующие неисправное состояние БАСУ, поступают из системы тестового контроля и диагностирования (СТК и Д) КПА. Они представляют собой упорядоченные конечные последовательности числовых значений параметров, лингвистических оценок параметров и результатов проверок. Для обеспечения возможности машинной обработки, качественные оценки результатов тестовых проверок и значений параметров перекодируются в булевские переменные: «в норме» - 0, «не в норме» - 1, «годен» - 0, «не годен» - 1. Вся поступившая информация по текущему отказу системы помещается в базу данных и хранится там. В процессе диагностирования БАСУ в базу данных также вносятся, по мере поступления, значения дополнительных характеристик отказа. После внесения соответствующих изменений в базу знаний вся информация, относящаяся к конкретному случаю, удаляется.
Параметры неисправного состояния БАСУ
Удаленные
характеристики
Удаление из базы данных
Команда «Удалить характеристики»
> Сохраненные характеристики г і V У Извлеченные прецеденты г
База данных Ранжирование результатов поиска
Предложенное
решение
Характеристики
отказа
Характеристики неисправного состояния БАСУ
Пересмотр условий поиска, адаптация прецедента и обучение базы знаний
Решение ЛПР, эксперт,
инженер но знаниям
Прецеденты, формулы, решающие правила и т.д.
Решающие
правила
База знаний
Библиотека прецедентов
База экспертных знаний (формулы, решающие правнла.алгоритмы и т.д.)
■ Сохраненная информация
Сохранение в базе знаний
Адаптированный прецедент, новые или скорректированные настройки, решающие правила, формулы, алгоритмы, модели
Рис. 1. Модель процесса управления данными и знаниями в ИСППР
Выбор метода и алгоритма извлечения напрямую связан со способом представления прецедентов и библиотеки прецедентов. Их структура представлена на рис. 2, 3.
0
ЦЬгагу бу Сшех
-| 11а»вание и иводекой номер КИЛ | -| Дата формирования ЦЬгагу О/Саме.% |
Сале1
Место формирования
ЦЬгагу О! ( дуг.<
-0
—| Дополнительная информа»цїя~
Границы лот сков
Пролукиионная молелі.
I рафовая модель
Нас»ройки
Г
Оіраиичитсль
Весовые коффнииситы
Нижняя іранниа иарамсіра.
Ніганяя іраниіш і шраме іра„ | Верхняя »т>аннца параметраї |
Верхи» ч—і пдоета* Порог
Н »яг.. I ЧК1
Рис. 2. Структура библиотеки прецедентов для ИСППР
Как видно из рис. 2, 3, предложенные структуры ориентированы для решения как прикладных, так и исследовательских задач, непосредственно связанных с процессами контроля и диагностирования, а именно:
- повышения производительности диагностирования за счет использования накопленного опыта (ранее принятых решений по поиску неисправностей);
- оценки эффективности различных управляющих воздействий и прогнозирования их последствий;
- анализа влияния различных внешних факторов на параметры системы [3], качество ее функционирования, свойства системы и отдельных ее составных частей во время производственных испытаний и ее степени устойчивости к этим воздействиям;
- определения степени совершенства конструкции, технологии производства, правильности выбора номиналов элементов, схемных решений, режимов работы;
-анализа причин отказов технической системы [4].
Поиск решения состоит в выборе прецедентов, наиболее близких к текущей проблеме. Поскольку исходная информация представлена упорядоченными последовательностями значений параметров, предлагается использовать модифицированный метод ближайшего соседа дня определения расстояния между текущей ситуацией и ситуацией, описанной в прецеденте. При этом из поступивших исходных данных, в процессе сравнения будут участвовать только двоичные последовательности, характеризующие состояние параметров и проверок. Для определения метрического расстояния на множестве параметров, используемых дня описания текущего состояния отказа и прецедента, вводится метрика Хэмминга. Расстояние Хэмминга [5, с. 13], также называемое манхэттенским или расстоянием городских кварталов, соответствует числу позиций, в которых различны две двоичные последовательности чисел.
Предлагаемая модификация заключается в том, что вводятся настройки, входящие в состав прецедента и библиотеки прецедентов, и применяется механизм поиска, основанный на методе логического дедуктивного вывода от общего к частному. Исходя из выявленных закономерностей, позволяющих высококвалифицированным специалистам определять этапы в процессе поиска неисправностей, содержание этих этапов, а также учитывая особенности функционирования существующей тестовой системы контроля и диагностирования, структуры БАСУ, проведена иерархическая организация этих знаний.
Рис. 3. Структура прецедента для ИСППР
В данной работе предлагается трехуровневая модель поиска похожих прецедентов. Классификация параметров позволяет объединить их в подмножества, соответствующие заданной глубине поиска. При диагнозе малой глубины (1-й уровень глубины поиска) в качестве параметров используются значения тестовых проверок. При диагнозе большой глубины (3-й уровень) - значения параметров. При диагнозе средней глубины (2-ой уровень) используется некоторая часть значений параметров совместно с группами параметров, объединяющих другую их часть. Состав параметров 2го уровня определяется экспертами, на основании их знаний. Например, в БАСУ имеется четыре рулевых агрегата, которые функционируют по одинаковому принципу. Исходя из этого, параметр «смещение нуля РА 1», характеризующий работу первого рулевого агрегата, объединяется в единую
группу с подобными параметрами других рулевых агрегатов.
Иерархическая модель поиска прецедентов представлена на рис. 4 в виде ориентированного ациклического графа, в котором узлы выделяются по уровням глубины поиска в процессе извлечения прецедентов.
Рис. 4. Графовая модель поиска прецедентов
Граф-схема имеет иерархическую структуру, задает алгоритмическую модель вычислений, базирующуюся на ветвлениях по значениям параметров. Таким образом, повышается точность и производительность поиска решения.
Настройки в структуре прецедента и библиотеки прецедентов предназначены для их поддержки в актуальном состоянии и используются в решающих правилах правдоподобного вывода. Множество весовых коэффициентов 1УХ позволяет учитывать относительную ценность каждого параметра, входящего в X], А'з, Ху, при извлечении прецедентов из библиотеки прецедентов. Значение весового коэффициента измеряется в ингервате от 0 до 1 и назначается экспертом. По умолчанию оно считается равным 1. Порог V применяется на этапе выбора подходящих прецедентов. Расстояние между ними и текущей ситуацией, рассчитанное модифицированным методом ближайшего соседа, должно быть не больше порогового значения V. Значение порога определяется для каждого уровня глубины поиска на основании правил продукционного типа. Например, для 1-го уровня набор продукционных правил выглядит следующим образом: Правило 1: Если «£<20», То «У= 1»,
Иначе «Выполнить Правило 2»,
Правило 2: Если «£>20», То «У= О», где к - количество прецедентов 1-го уровня сравнивается с числом, которое задается экспертом.
Вес IV выражает числовую оценку применимости данного прецедента. Данная настройка в структуре прецедента влияет на выбор извлекаемых прецедентов и позволяет учитывать предысторию их применения (адаптации) с точки зрения результативности (успешности). Для вычисления IV используется выражение:
[0,/^=0;
Ограничитель О, заданный экспертом, используется на этапе формирования окончательного состава предлагаемого решения. Числовое значение О уменьшает количество рассматриваемых прецедентов, которые ранжированы по возрастанию метрических расстояний и с учетом веса IV каждого прецедента.
Формулы для вычисления метрического расстояния на каждом иерархическом уровне поиска выглядят следующим образом:
/=1
т
¿2{Х2,Х21) = '£ у?х21|дг2(. -хь,|, (3)
/=!
4(*|. Х„) = 2^ ™Хц |*з, — хзн |>
/=|
где Х\ (Аз, Аз) - множество параметров технической системы, описывающее данный прецедент в булевском формате, соответствующее 1-му (2-му, 3-му) уровню глубины поиска, А|,, Х2„ Ху — множество параметров, характеризующих текущее состояние отказа.
Поясним на простом примере механизм извлечения прецедентов. Текущие результаты девяти тестовых проверок Х\, и соответствующие значения параметров Х\\Х[2_Х\},Х{* сохраненных прецедентов представлены в табл. 1.
Пусть П'Х\ |=0,9, а остальные весовые коэффициенты определены по умолчанию и равны единице. У\ = 1.
Рассчитаем соответствующие метрические расстояния по формуле (2).
с!\(Х\,Х\,) = 0, ¿\\Х*,Х\,) = 2,
¿/,3(А|3, Х\,) = 1, ¿/|4(А|4, А„) = 0,9.
Выбор подходящих прецедентов 1-го уровня поиска происходит с использованием продукционного правила из базы знаний:
Правило: Если <«/)< V|», То «Продолжить поиск». Иначе «Прекратить поиск».
Таблица 1
Харак- тери- стика отказа Значения параметров 1-го уровня глубины поиска
*п *12 *13 X» *5 *16 *17 *18 *,ч
Хи 1 1 1 0 0 0 0 0 0
Х\ 1 1 1 0 0 0 0 0 0
X? 1 1 0 1 0 0 0 0 0
X? 1 1 0 0 0 0 0 0 0
*.4 0 1 1 0 0 0 0 0 0
В нашем случае этому условию удовлетворяют с!\ , с!*, (1*. Это означает, что дальнейший поиск будет осуществляться на основании характеристик отказа *| , А|3, X*. Далее, по табл. 1, определяются такие параметры Х\, значения которых равны единице хотя бы в одной из Х\, *|\ *|4. В данном примере ими являются Ап, Х\2, *13.
Поиск на втором уровне происходит по таким *>, которые связаны с Х\\, Х)2, *п дугами в ациклическом графе (рис. 4), задающем иерархию параметров сравнения. Дальнейшее извлечение происходит аналогично рассмотренному выше алгоритму. В результате 3-х уровневого поиска формируется набор похожих прецедентов. Они упорядочиваются по возрастанию значений метрических расстояний, рассчитанных по формуле (4). В случае равенства этих значений ранжирование осуществляется на основании веса IV каждого прецедента. Окончательный состав предлагаемого решения получается в результате ограничения количества рассматриваемых прецедентов числовым значением О.
По окончании процесса ранжирования пользователь получает решение в виде набора похожих прецедентов, если
оно обнаружено. На этапе пересмотра, адаптации и обучения ЛПР, когда отсутствует предложенное решения, может сделать заключение о повторном извлечении. В этом случае, в режиме диалога с вычислительной системой, пересматриваются условия поиска в сторону уменьшения точности. Это достигается временным изменением значений настроек VI, У2. УЗ в алгоритме поиска. При повторном отсутствии результата поиска, диагностирование проводится самостоятельно, т.е. без анализа прецедентов, на основе экспертных знаний, технологического регламента и ремонтноэксплуатационной документации. Такая ситуация типична в самом начале эксплуатации ИСПГ1Р, когда происходит накопление знаний и в библиотеке содержится мало прецедентов. Если в процессе поиска неисправностей и адаптации рекомендованного решения, поставлен отличный от него диагноз, то создается новый прецедент, в соответствии с предложенной структурой (рис. 3). Обучение динамической базы знаний происходит как в ручном, так и в автоматическом режиме. Инженер по знания на основе данных, подготовленных ЛПР и экспертами, вносит в нее соответствующие изменения: новые прецеденты, уточненные значения весовых коэффициентов параметров \УХ, ограничителя О, новые или модифицированные решающие правила, формулы, алгоритмы, модели. В автоматическом режиме происходит обновление значения веса каждого прецедента IV и порогов VI, У2, УЗ.
Совершенствование базы знаний происходит по мере накопления в ней информации. Предлагаемые механизмы обучения позволяют поддерживать ее в актуальном состоянии. Чем больше прецедентов содержится в библиотеке, тем выше вероятность найти наиболее подходящий из них, соответственно, выше качество принимаемого решения.
Реализация механизмов поиска неисправностей
в БАСУ на основе прецедентов
Рассмотрим функциональное назначение элементов ИСППР (рис. 5). Интерфейс взаимодействия с СТКиД предназначен для обеспечения информационной, электрической и конструктивной совместимости базы данных и СТКиД, реализации их взаимодействия. Его программные средства осуществляют предварительную обработку и преобразование результатов измерений в формат базы данных.
СУБД представляет собой программный инструмент, позволяющий обновлять, модифицировать, хранить, извлекать, поддерживать обмен данными, осуществлять контроль доступа к данным и их восстановление после любого аппаратного или программного сбоя.
База данных предназначена для хранения поступившей информации и имеет табличную структуру, где каждая строка включает данные об одном отказе, а столбцы содержат его характеристики. Процесс диагностирования, отказавшей технической системы, может занимать достаточно продолжительный период времени. В течение этого времени в базе данных накапливаются сведения о последующих отказных состояниях, диагностируемых БАСУ. По мере адаптации прецедента, строки таблицы заполняются. Когда строка заполнена полностью, по команде пользователя вычислительной системе, ее содержание заносится в библиотеку прецедентов. Затем она удаляется.
База знаний — это совокупность единиц знаний, построенная с использованием специальных языков представления знаний, основанных на символьном представлении данных.
и состоящая из прецедентов, формул, алгоритмов, решающих правил, текстовых сообщений, графических схем. Она отражает знания высококвалифицированных специалистов о действиях в процессе поиска неисправностей в БАСУ.
СУБЗ обеспечивает работу решателя, производя различные операции над знаниями в базе знаний, и возможность с ней взаимодействовать инженеру по знаниям.
Решатель координирует и поддерживает работу основных компонентов программной системы. При поступлении измерительных данных или при получении команды пользователя на повторный поиск он реализует механизм правдоподобных рассуждений на основе прецедентов и осуществляет выдачу результатов в виде ранжированного списка отобранных прецедентов.
Интерфейс взаимодействия с пользователем переводит машинное представление результатов обработки в удобный для пользователя формат и, наоборот, воспринимает сообщения пользователя и преобразует их в форму представления базы знаний или в формат, соответствующий программе решателя.
Пользователи используют полученную информацию для поиска неисправностей. При необходимости ЛПР может дать команду на повторное извлечение прецедентов, временно изменив значения настроек VI, V2, V3 в диалоговом режиме взаимодействия с решателем, внести адаптированные прецеденты. В процессе эксплуатации ИСППР инженер по знаниям совместно с экспертом и ЛПР обсуждает данные, знания и процедуры решения, выявляет возможные пути их совершенствования, вносит соответствующие обновления в базу знаний.
Перспективным направлением развития базы знаний является применение ИПИ-технологии интеграции данных аналогичных ИСППР, которые содержат дополнительные специализированные знания, связанные с накопленным опытом и отличающимися условиями эксплуатации.
Заключение
В статье затронуты актуальные вопросы, связанные с реализацией методов моделирования правдоподобных рассуждений на основе прецедентов, применительно к диагностированию БАСУ. Разработана модель процесса управления данными и знаниями в ИСППР, предложена структура прецедента и библиотеки прецедентов, учитывающие особенности данной технической системы с точки зрения контроля и диагностирования. На простом примере рассмотрен алгоритм извлечения прецедентов с использованием модифицированного метода ближайшего соседа, учитывающего знания экспертов о предметной области и сведения о применимости прецедентов. Разработана схема функционирования ИС1IIIP в составе КИА.
Практическая реализация полученных результатов способствует уменьшению информационной нагрузки на ЛПР в процессе поиска неисправностей, снижению влияния факторов субъективности при анализе ситуации отказа, сокращению времени, необходимого для принятия решения.
Литература
1. Смирнов В. А. Поиск неисправностей в бортовых системах управления в процессе приемочного контроля // Информационно-управляющие системы, 2013. №2(63). - С.24-28.
2. Варшавский П.Р.. Еремеев А.П. Реализация методов поиска решения на основе аналогий и прецедентов в системах поддержки принятия решений // Вестник МЭИ, 2006. - № 2. - С.77-87.
3. Смирнов В.А., Смирнов Д.В. Конструкторско-технологические меры обеспечения электромагнитной совместимости при проектировании радиоэлектронной аппаратуры // Сборник статей 13-й международной научно-практической конференции "Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности и экономике", СПб.: Изд-во Политехнического ун-та, 2012, часть 2. - С. 130-137.
4. Смирнов В.А.. Смирнов Д.В. Анализ процесса контроля, наладки и диагностирования сложной радиоэлектронной ап паратуры // Сборник статей 13-й международной научно-практической конференции "Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности и экономике", СПб.: Изд-во Политехи, ун-та, 2012, часть 2. -С.143-147.
5. Буреева H.H. Многомерный статистический анализ с использованием ППП «STATISTICA». Учебно-методический материал по программе повышения квалификации «Применение программных средств в научных исследованиях и преподавании математики и механики». Нижний Новгород, 2007, 112 с.
