Оценка качества научно-технической документации Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.05

ОЦЕНКА КАЧЕСТВА НАУЧНО-ТЕХНИЧЕСКОЙ ДОКУМЕНТАЦИИ

Юрий Сергеевич Ионенков, ст. науч. сотр., e-mail:Uionenkov@ipiran.ru, Федеральный исследовательский центр «Информатика и управление» Российской академии наук, (ФИЦ ИУ РАН), http://www.frccsc.ru

В статье изложен методический подход к оценке качества научно-технической документации с использованием экспертных методов. Предложена иерархическая структура показателей качества, а также номенклатура обобщенных и частных показателей качества. Представлена методика оценки качества документов.

Ключевые слова: научно-техническая документация, качество, показатель, критерий.

При создании информационных систем (ИС) разрабатывается большое количество научно-технических документов (НТД), регламентирующих их разработку, производство и эксплуатацию. К числу таких документов могут быть отнесены технические задания, общие технические требования, рабочая и конструкторская документация, проектно-сметная документация и др.

От качества документации зависят сроки и качество выполнения работ по созданию систем, а также возможности освоения и дальнейшей эксплуатации систем пользователями и обслуживающим персоналом. Документация должна обеспечивать обоснованное и тщательное формирование требований к системе, полностью отражать технические решения, реализованные в системе и ее комплексах, обладать достаточной простотой для независимого от изготовителя освоения обслуживающим персоналом.

Оценка качества документации проводится при формировании и согласовании технических заданий, приемке рабочей (рабочей конструкторской) документации, проведении различных видов испытаний, оценке возможностей серийного производства изделий.

Целью данной работы является разработка методического аппарата оценки качества НТД, позволяющего объективно оценить ее уровень, что позволяет сократить затраты на устранение ошибок и издержек, возникающих в ходе разработки, производства и эксплуатации сложных информационных систем.

Суть обсуждаемой проблемы заключается в формировании иерархической структуры обобщенных показателей качества документа, а также в обоснованном выборе номенклатуры обобщенных и частных показателей качества.

Оценка качества НТД производится для:

- определения степени соответствия документации требованиям стандартов и других нормативных документов;

- определения соответствия задаваемых требований, характеристик, технологий достижениям отечественной и зарубежной науки и техники;

- проверки обоснованности выбора проектных решений;

- анализа технико-экономического уровня разработок.

Оценка качества НТД может производиться на различных этапах разработки изделий: при формировании технического задания, на этапах эскизного и технического проектов, при разработке рабочей (рабочей конструкторской) документации. На ранних этапах, включая этапы эскизного и технического проектирования, оценка носит предварительный характер и используется в основном при принятии этих этапов. На этапе же РД (РКД) документируются уже принятые и утвержденные решения, на основе ко-

торых производится изготовление образцов, их испытания, а в дальнейшем и серийное производство, что накладывает более высокие требования к качеству документации.

НТД характеризуется различными ее аспектами, такими как структура, содержание, качественные характеристики, технические и технологические требования и характеристики, экономические показатели и др. Исходя из этого, оценка качества НТД может рассматриваться как совокупность операций, включающих выбор номенклатуры частных и комплексных показателей качества и определение количественного обобщенного показателя качества.

В методологическом отношении при этом необходимо решение следующих двух задач:

- формирование иерархической структуры обобщенных показателей качества, базирующихся на содержательном анализе документа;

- разработка процедур вычисления обобщенных показателей качества.

Формирование иерархической структуры обобщенных показателей предлагается осуществлять следующим образом:

1) уровень цели - качество документа;

2) первый уровень критериев:

- качество разработки документа, т.е. оценка степени соответствия структуры и содержания документа требованиям стандартов, положений и других нормативных документов, удобства его применения на практике;

- качество задания требований в документе, т.е. оценка уровня технических, технологических и других характеристик в соответствии с предметной областью документа;

3) второй уровень критериев - обобщенные показатели по каждой группе критериев первого уровня. Возможным вариантом является обобщенная оценка качества разработки документа по показателям качества таких его отдельных аспектов, как: степень соответствия документа его целевой установке (задаче); степень раскрытия предметной области в документе; степень проработки перспектив развития предметной области; удобство применения.

Для оценки качества задания требований может быть использован типовой перечень требований и показателей качества функционирования ИС, определенный, например, ГОСТ РВ 51987-2002 [1]. Наиболее часто к ИС предъявляются следующие требования [2]:

- надежность;

- своевременность;

- полнота;

- достоверность;

- конфиденциальность;

- защищенность от опасных программно-технических воздействий и несанкционированного доступа (НСД);

4) третий уровень критериев - частные показатели качества по каждому из критериев второго уровня.

Предлагаемая иерархическая структура представлена на рисунке 1.

В качестве же частных показателей качества на третьем уровне могут быть предложены следующие:

Степень соответствия документа его целевой установке (задаче):

- степень соответствия предметной области;

- соответствие требуемой структуре документа;

- логичность и грамотность изложения.

Степень раскрытия предметной области в документе:

- оценка достигнутого уровня решения проблемы;

- наличие целевых индикаторов и показателей в отношении предметной области;

- соответствие мероприятий планам и целям развития предметной области;

- соответствие временным показателям;

- степень проработки перечня мероприятий.

Катктно докуыежта

I

Кикпо Качество

тр+ошнмн

Рис.1. Иерархическая структура показателей качества

Степень проработки перспектив развития предметной области:

- степень описания направлений развития предметной области;

- полнота описания предлагаемых мероприятий по реализации (организационных, технических, технологических, экономических и др.);

- степень проработанности механизма реализации предлагаемых мероприятий;

- обоснованность объемов привлекаемых бюджетных средств.

Удобство применения:

- легкость освоения;

- доступность документа;

- удобство применения при эксплуатации.

В качестве показателей надежности могут быть использованы: коэффициент готовности; средняя наработка на отказ; среднее время восстановления; вероятность надежного представления и/или доведения запрашиваемой информации.

В качестве показателей своевременности применяются: время доведения информации; время доступа к данным; вероятность своевременной обработки информации; среднее время выполнения технологических операций.

В качестве показателей полноты могут использоваться: доля информации, представленной в требуемом объеме; доля реализованных управленческих решений; вероятность обеспечения полноты отражения новых объектов и явлений.

В качестве показателей достоверности принимаются: вероятность безошибочной обработки информации в системе; средняя наработка на ошибку; коэффициент информационно-технического использования.

В качестве показателей защищенности могут быть применены: вероятность навязывания ложного сообщения, вероятность защищенности от НСД или риск успешной попытки НСД, и др.

В зависимости от вида документа и его предназначения могут быть предложены и другие частные показатели качества по каждому из критериев второго уровня.

Для разработки процедур вычисления обобщенных показателей качества может

использоваться имеющийся математический аппарат решения многокритериальных задач, например, представленные в [3] методы многокритериальной оценки: метод среднего взвешенного; метод Парето; метод анализа иерархий; метод анализа среды функционирования ^ЕА-АСФ) и др.

В рамках представленного выше подхода для проведения оценки качества документов предлагается следующая методика.

Шаг 1. Формирование экспертной группы.

Шаг 2. Выбор и обоснование номенклатуры частных показателей качества по каждому из обобщенных показателей качества документа

Шаг 3. Оценка частных показателей качества экспертами по пяти- или десятибалльной шкале и их нормирование относительно максимального значения (5 или 10). Нормированные показатели получают значения от 0 до 1. Кроме того, оценка может производиться как отношение реального значения показателя к его требуемому (идеальному), либо путем нормирования размерных показателей.

Шаг 4. Определение экспертным способом весовых коэффициентов частных показателей качества. Весовые коэффициенты назначаются в интервале от 0 до 1. При этом сумма весовых коэффициентов частных показателей качества по каждому из аспектов равна единице. В ряде случаев используются математические методы обработки экспертной информации.

Шаг 5. Производится расчет обобщенных показателей качества второго уровня по принятой методике. При этом могут использоваться представленные выше методы многокритериальной оценки.

Шаг 6. Определяются экспертным способом весовые коэффициенты обобщенных показателей качества второго уровня. Назначение весовых коэффициентов проводится по тем же правилам, что и на шаге 4. Производится расчет обобщенных показателей качества первого уровня.

Шаг 7. Определяются экспертным способом весовые коэффициенты обобщенных показателей качества первого уровня. Назначение весовых коэффициентов проводится по тем же правилам, что и на шаге 4. По принятой методике производится расчет обобщенного показателя качества документа в целом.

Далее может быть проведена качественная (лингвистическая) оценка полученного результата путем сопоставления аналитической оценки с нормированной фундаментальной шкалой. Общее понятие о нормированной фундаментальной шкале дано в [4]. Вариант интервальной нормированной фундаментальной шкалы оценок приведен в таблице 1 [5].

Таблица 1

Интервальная нормированная фундаментальная шкала оценок

Категория качества Интервалы нормированной фундаментальной шкалы оценок

Неприемлемое 0,0-0,3

Низкое 0,3-0,5

Удовлетворительное 0,5-0,6

Хорошее 0,6-0,8

Высокое 0,8-1,0

Применение интервальной нормированной фундаментальной шкалы оценок позволяет перейти от количественной оценки по шкале баллов к качественной (удовлетворительное качество, высокое качество и т.д.), что в ряде случаев оказывается более удобным и понятным.

Автор считает, что в данной работе новым является методический подход к оценке качества НТД, включая формирование иерархической структуры обобщенных показателей качества, базирующихся на содержательном анализе документа и обоснование номенклатуры обобщенных и частных показателей качества.

Литература

1. ГОСТ РВ 51987-2002. Информационная технология. Комплекс стандартов на автоматизированные системы. Требования и показатели качества функционирования информационных систем. Общие положения.

2. Методическое руководство по оценке качества функционирования информационных систем. - М.: Изд-во 3 ЦНИИ МО РФ, 2003. 352 с.

3. Зацаринный А.А., Ионенков Ю.С. Некоторые аспекты оценки эффективности автоматизированных информационных систем на различных стадиях их жизненного цикла // Системы и средства информатики. - М.: ТОРУС ПРЕСС, 2016. Том. 26. № 3. С. 123-136.

4. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. 278 с.

5. Воронин А.Н. Многокритериальная оценка альтернатив. http://www.foibg.com/ibs_isc/ibs-28/ibs-28-p22.pdf.

Quality assessment of scientific and technical documentation

Yurij Sergeevich Ionenkov, senior scientist, Federal Research Center «Computer and Control» of the Russian Academy of Sciences (FRC CSC RAS)

The article outlines a methodical approach to assessing the quality of technical and scientific documentation using expert methods. The proposed hierarchical structure of indicators of quality, and nomenclature of generalized and partial indicators of quality. The method of evaluating the quality of documents.

Keywords: scientific and technical documents, quality, index, criteria.

УДК 519.71

МУЛЬТИАГЕНТНАЯ СИСТЕМА УПРАВЛЕНИЯ РАСПРЕДЕЛЕННЫМИ ВЫЧИСЛЕНИЯМИ

Костромин Роман Олегович, аспирант e-mail: romang70055@gmail.com

Феоктистов Александр Геннадьевич, канд. техн. наук, доц., ст. науч. сотр.

e-mail: agf65@yandex.ru Институт динамики систем и теории управления им. В.М. Матросова СО РАН

http://www.idstu.irk.ru

В работе рассматриваются вопросы мультиагентного управления вычислениями в гетерогенных распределенных средах. Эффективность управления повышается за счет использования системы классификации заданий и имитационного моделирования для параметрической настройки алгоритмов функционирования агентов.

Ключевые слова: распределенные вычисления, мультиагентные системы, управление вычислениями, параметрическая настройка, имитационное моделирование

Работа выполнена при частичной финансовой поддержке РФФИ, проекты № 15-29-07955-офи_м и № 16-07-00931-а, а также Совета по грантам Президента Российской Федерации, государственная поддержка ведущих научных школ Российской Федерации (НШ-8081.2016.9).

Введение

Характерной особенностью научных и прикладных задач, возникающих в рамках крупномасштабных исследований, является их потребность в использовании высокопроизводительных систем, вычислительных возможностей которых в отдельности зачастую не хватает для эффективного решения таких задач. Интеграция высокопроизво-