CC BY
98
15. Rogozov Y.I., Bodrow W., Kucherov S.А., Sviridov AS. Purpose-Driven Approach For Flexible Structure-Independent Database Design, Proceedings of 5th International Conference on Software and Data Technologies. ICSOFT 2010, Vol. 1, pp. 356-362
16. Chernykh, T.A. Sovershenstvovanie ASU gazokondensatnogo mestorozhdeniya za schet primeneniya podsistemy obrabotki kvazistrukturirovannoy informatsii: avtoref. dis. ... kand. tekhn. nauk [Improving ACS gas condensate field at the expense of application processing subsystems, quasi-structured information. Cand. of eng. sc. diss]. 05.13.06. Orenburg, 2011, 19.
17. Gmar' D.V., Ignatova Yu.A., Tsuranov E.V., Shakhgel'dyan K.I. Metody raboty s vertikal'noy model'yu dannykh [Methods of work with vertical data model], Informatsionnye tekhnologii i vychislitel'nye sistemy [Information Technologies and Computing Systems], 2015, No. 2, pp. 1-28.
18. Grishchenko A.S. Podkhod k povysheniyu proizvoditel'nosti strukturno-nezavisimoy bazy dannykh [Approach to improving structure-independent database performance], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2014, No. 6 (155), pp. 185-192.
19. PostgreSQL. Dokumentatsiya na russkom yazyke [Documentation in Russian language]. Available at: https://wiki.postgresql.org/wiki/Russian.
20. Elektronnaya dokumentatsiya po Microsoft SQL Server 2014 [Books online for Microsoft SQL Server 2014]. Available at: https://msdn.microsoft.com/ru-ru/library/ms130214(v=sql.120).aspx.
Статью рекомендовал к опубликованию д.т.н., профессор А.М. Макаров.
Грищенко Андрей Сергеевич - Южный федеральный университет; e-mail:
AGrishenko@sfedu.ru; 347928, г. Таганрог, пер. Некрасовский, 44; кафедра системного анализа и телекоммуникаций; ассистент.
Grishchenko Andrey Sergeevich - Southern Federal University; e-mail: AGrishenko@sfedu.ru;
44, Nekrasovsky, Taganrog, 347928, Russia; the department of system analysis and telecommunications; assistant.
УДК 681.142
В.А. Балыбердин, А.М. Белевцев, О.А. Степанов
АНАЛИЗ НЕКОТОРЫХ ПОДХОДОВ К КОЛИЧЕСТВЕННОЙ ОЦЕНКЕ НАДЕЖНОСТИ ПРОГРАММНЫХ СРЕДСТВ
Работа является продолжением предыдущих работ авторов по затрагиваемой тематике, опубликованных ранее в настоящем журнале. В работе основное внимание уделяется вопросам построения количественных оценок факторов (подхарактеристик), определенных в рамках существующих документов по стандартизации надежности ПС (таких как завершенность, отказоустойчивость, восстанавливаемость и готовность ПС) на уровне соответствующих метрик. Проводится содержательный анализ предлагаемых в стандарте ISO/IEC 25023 подходов к определению количественных значений соответствующих метрик с точки зрения возможностей их практического применения с учётом специфики функционирования АСУ специального назначения (АСУ СН), предназначенных для использования в полевых условиях. В части внешней метрики оценки завершенности ПС отмечается, что для предлагаемой в ISO/IEC 25023 оценки этой величины характерны значительные погрешности в определении среднего времени безотказной работы ПС. Это связано с тем, что интенсивность возникающих отказов уменьшается по мере устранения обнаруженных дефектов ПС, а операционное время, соответственно возрастает. Подобные эффекты необходимо учитывать при оценке завершенности ПС. Далее, учитывая важность обеспечения отказоустойчивости в рассматриваемых АСУ СН целесообразно расширить перечень внутренних метрик, включив сюда учет средств восстановления процесса при ошибках на входе, сбоях оборудования, неверных действиях человека и т.п. В свете этого предлагаются определенные уточнения как в отношении выбора совокупности метрик для оценки отдельных факторов надежности ПС, так и в плане построения соответствующих расчетных процедур для вычисления количественных значений метрик.
В частности, предлагается, что процедура расчёта значений внешней метрики завершенности должна учитывать зависимость этой оценки от процесса устранения обнаруженных в ПС ошибок. Перспективным в этом плане представляется подход, основанный на учете количества прогонов ПС на различных исходных данных до проявления дефекта в процессе тестирования ПС, изложенный одним из авторов.
Программные средства; надежность; завершенность; отказоустойчивость; восстанавливаемость; готовность; метрики.
V.A. Baliberdin, A.M. Belevtsev, O.A. Stepanov
ANALYSIS OF SOME APPROACHES TO QUANTITATIVE EVALUATION OF SOFTWARE RELIABILITY
The article is the extension of the subject matter of the authors published before. The emphasis is on the construction of quantitative evaluation of software reliability factors (subcharacteristics) such as maturity, fault tolerance, recoverability, availability on the level of proper measures. The corresponding factors are identified in international standards documentations. Substantial analysis of ISO/IEC 25023 approaches to quantitative evaluation of software reliability measures are performed based on peculiar features of special purpose automated systems meant for field use. As for the internal for maturity it is stressed that the ISO/IEC 25023 suggestion is characterized by significant errors in estimating the mean faultless time for software. The main reason is that the intensity of failures is declining as software faults are found and operation time growing. Such the effects must be taken into account. In view of fault tolerance importance for automated systems under consideration it is reasonable to increase the number internal measures including process restoration means for entrance errors, incorrect actions of the operator and so on. As a result some refinements for the choice of measures to estimate software reliability factors as well as for constructing the corresponding methods to calculate quantitative values of measures are proposed. To go into details it is recommended that the maturity internal measure calculation procedure must depend of software faults elimination process. The most promising in this attitude is the approach based on calculation the number of experiments till finding the fault when testing software. The approach is developed by one of the authors of the article.
Software; reliability; maturity; fault tolerance; recoverability; availability; measures.
Введение. Вопросы обеспечения высокого качества в жизненном цикле сложных программных средств (ПС) постоянно находятся в центре внимания специалистов и организаций, связанных с решением вопросов создания и сопровождения сложных комплексов ПС. При этом одним из центральных аспектов проблемы обеспечения качества ПС является рациональный выбор системы показателей оценки качества ПС.
В работе [1] были освещены общие вопросы оценки и обеспечения качества ПС в отношении одной из основных характеристик качества - надежности ПС. При этом изложение материала проводилось с позиции специфики процессов функционирования АСУ специального назначения (СН), а в качестве ссылочного материала использовались наработки международных и отечественных стандартов в области оценки качества ПС [3-8]. Дальнейшее развитие эта тематика получила в работе [2], где был осуществлен достаточно обстоятельный анализ основных процессов обеспечения надежности ПС, включая мероприятия по осуществлению тестирования, верификации и валидации ПС. Настоящая статья является логическим продолжением тематики, затронутой в цитируемых работах [1, 2].
Постановка задачи. В представленной статье основное внимание уделяется вопросам построения количественных оценок определенных стандартами подха-рактеристик надежности ПС (таких как завершенность, отказоустойчивость, восстанавливаемость и готовность ПС) на уровне соответствующих метрик. При этом большое место отводится вопросам критического анализа существующих подхо-
дов к этой тематике, отраженных в соответствующих материалах по стандартизации. Такой акцент изложения вызван потребностями практического учета особенностей процессов обеспечения надежности ПС в реальных условиях специфики функционирования АСУ СН.
В процессе изложения материала используется терминология по рассматриваемой тематике, представленная в стандарте [6], как наиболее отработанная в логико-семантическом отношении.
Основная часть. В свете современных представлений по вопросам оценки и обеспечения надежности ПС и в соответствии с существующими нормативными документами [3-8] надёжность ПС определяется как совокупность свойств, характеризующих способность ПС сохранять заданный уровень пригодности в заданных условиях в течение заданного интервала времени, и определяется следующими основными факторами (подхарактеристиками): завершенность ПС, отказоустойчивость (устойчивость к ошибке) ПС, восстанавливаемость ПС, готовность (доступность) ПС.
При этом под завершённостью программного средства понимается совокупность его свойств, характеризующих частоту отказов, обусловленных проявлением дефектов программного средства [3, 6]. Здесь под дефектами понимают ошибки в ПС, допущенные на различных этапах его создания.
Иными словами, завершенное ПС должно обеспечивать необходимый уровень пригодности в плане отсутствия проявлений программных дефектов (ошибок) в процессе реализации в заданных условиях в течение заданного интервала времени. Способы обеспечения завершенности ПС сводятся к поиску и устранению имеющихся дефектов в ПС на всех этапах жизненного цикла ПС [10, 12].
Под отказоустойчивостью ПС понимается совокупность свойств ПС, характеризующих его способность поддерживать необходимый уровень пригодности при проявлении дефектов ПС или нарушении установленных интерфейсов [3, 6, 8]. Необходимый уровень пригодности включает в себя способность к безопасному функционированию при возможных отказах, к минимизации возможных потерь данных и исключению опасных действий при внезапном нарушении условий функционирования.
При этом полагается, что отказоустойчивое ПС должно обеспечивать необходимый уровень пригодности при возникновении сбоев (отказов) технических средств, ошибок во входных данных, проявлении различного рода дефектов ПС и т.п. Способы обеспечения отказоустойчивости ПС могут быть достаточно разнообразными: анализ входных данных на возможные диапазоны изменения, непротиворечивость, достаточность и др., создание копий состояния рабочего поля программы в определённые моменты времени, разработка копий компонентов ПС на базе альтернативных алгоритмов и т.д. [12-14].
В соответствии с [3, 6] восстанавливаемость ПС есть совокупность свойств ПС, характеризующих возможность осуществления восстановления, трудоёмкость и продолжительность действий по восстановлению ПС своего уровня пригодности, а также непосредственно подвергшихся воздействию данных, в случае проявления дефекта ПС. Здесь важным обстоятельством является акцентирование на двух моментах [14,16]:
♦ восстановление связано с выходом из ситуации, обусловленной проявлением дефекта ПС;
♦ результат восстановления соотносится с уровнем пригодности ПС, т.е. степенью удовлетворения потребностей пользователя.
Готовность ПС определяется как способность к выполнению заданных функций в заданный момент и оценивается относительным временем, в течение которого ПС находится в работоспособном состоянии, в пропорции к общему времени применения.
В свою очередь, оценка каждой из подхарактеристик надежности ПС осуществляется с помощью некоторой совокупности метрик, т.е. мер, позволяющих получить численное значение оценки соответствующего свойства программного обеспечения [14-17].
Рассмотрим как трактуются в рассматриваемых стандартах вопросы построения системы оценки надёжности ПС для указанных подхарактеристик (факторов) качества ПС более подробно.
В соответствии с [5] различают две группы метрик оценки качества ПС -внутренние и внешние метрики.
Внутренние метрики характеризуют степень, с которой набор статических атрибутов ПС (т.е. атрибутов, относящихся к архитектуре, структуре и компонентам ПС) удовлетворяет декларируемым и подразумеваемых потребностям ПС как продукта, используемого по определенному назначению.
Внешние метрики характеризуют степень, с которой ПС как программный продукт обеспечивает декларируемые и подразумеваемые возможности системы, в процессе ее использования по определенному назначению.
Общая структура рассматриваемых метрик в соответствии с предложениями КОЛЕС 25023 [5] приведена в табл. 1.
Здесь используется единая схема вычисления количественных значений метрик на основе общей формулы
Х=А/В.
Содержательная трактовка значений А и В также представлена в табл. 1.
Таблица 1
Метрики оценки надёжности ПС (в соответствии с предложениями ISO/IEC 25023)
Подхарактеристика Внутренние метрики Внешние метрики
Завершенность Доля устраненных ошибок в ПС (КМА- в-1) А - количество исправленных ошибок в ПС; В - количество обнаруженных ошибок в ПС Среднее время между отказами ПС (ИМА-О-2) А - операционное время (полезная работа ПС); В - общее число возникших отказов
Отказоустойчивость Доля избыточно установленных компонентов ПС (КРТ-в-1) А - количество установленных избыточных типов компонентов; В - общее число типов компонентов Доля ситуаций отказа, успешно отработанных средствами отказоустойчивости (№Т-0-2) А - количество успешно отработанных отказов; В - количество обнаруженных при тестировании ситуаций отказа ПС
Восстанавливаемость Среднее время восстановления (КИЕ-в-1) А - общее время восстановления ПС; В - количество восстановлений
Окончание табл. 1
Подхарактеристика Внутренние метрики Внешние метрики
Готовность Средняя продолжительность неработоспособного состояния (RAV-G-2) А - общее время устранения отказов ПС; В - количество обнаруженных отказов Доля полезной работы системы (RAV-G-1) А - время полезной работы системы; В - общее время использования системы
Проанализируем пути и возможности применения рассматриваемых подходов к построению метрик оценки надёжности ПС с учётом специфики функционирования АСУ специального назначения (АСУ СН), предназначенных для использования в полевых условиях. Обратимся вначале к фактору «завершенности» ПС.
Практическое использование метрики RMA-G-1 порождает ряд вопросов, ответы на которые достаточно неопределенны. Прежде всего, не ясно, почему не исправляются все обнаруженные ошибки и ПС с известными ошибками допускается к дальнейшей работе? Далее, неясна прикладная значимость этого показателя: как он характеризует степень завершенности ПС и что дает его использование?
В целом же можно заключить, что для специфики рассматриваемых АСУ СН метрика RMA-G-1 не несёт полезной информации и ее использование в этих целях для оценки завершенности ПС весьма проблематично.
Обратимся теперь к метрике RMA-G-2. Значение среднего времени между отказами ПС есть величина достаточно информативная, так как на её основе возможно принятие ряда важных решений в процессе создания и эксплуатации ПС, таких, например, как формирование требований к надёжности ПС, определение затрат на тестирование ПС и др. [18-20].
Вместе с тем, для предлагаемой в ISOЛEC 25023 процедуры вычисления этой величины характерны значительные погрешности в определении среднего времени безотказной работы ПС. Это связано с тем, что интенсивность возникающих отказов уменьшается по мере устранения обнаруженных дефектов ПС, а операционное время соответственно возрастает. Поэтому для расчёта рассматриваемой величины необходимы иные подходы [21]. В этом плане значительный интерес представляет работа [9], в которой предложен оригинальный методический прием вычисления значений рассматриваемой метрики, свободный от недостатков процедуры вычисления RMA-G-2. В основу этого приема положен подход, основанный на учете количества прогонов ПС на различных исходных данных до проявления дефекта в процессе тестирования ПС и вычислении на этой основе вероятностных характеристик завершенности ПС. Такой подход представляется достаточно продуктивным, поскольку позволяет более строго отображать физическую сущность процессов выявления дефектов ПС.
Рассмотрим теперь фактор отказоустойчивости ПС.
Анализируя метрику RFT-G-1, можно отметить следующее. Увеличение количества избыточно устанавливаемых компонентов, несомненно, улучшает надёжность функционирования ПС. Однако к решению этого вопроса следует подходить с учётом важности отдельных компонентов в плане функционирования системы ПС в целом [18,19]. Иначе могут складываться ситуации, когда по вычисленному значению метрики RFT-G-1 отказоустойчивость ПС высокая, а ключевые компоненты не продублированы и отказ при их использовании приводит к катастрофическим последствиям. Далее заметим, что учитывая важность обеспечения отказоустойчивости в рассматриваемых АСУ СН целесообразно расширить перечень внутренних метрик, включив сюда учет средств восстановления процесса при ошибках на входе, сбоях оборудования, неверных действиях человека и т.п.
Метрика КРТ-в-2 достаточно полно отображает потребности оценки степени реализации средств обеспечения отказоустойчивости ПС. Вместе с тем необходимо более детально учитывать реальный вклад отдельных компонентов ПС в обеспечение работоспособности АСУВ в плане её целевого назначения. Это может быть достигнуто путем учета относительной важности компонентов ПС.
Рассматривая фактор восстанавливаемости ПС отметим, что метрика КИЕ-в-1 выражает существо свойства восстанавливаемости ПС, а предлагаемый подход для его количественной оценки является общепринятым.
Обратимся к рассмотрению фактора готовности ПС. Анализ показывает, что метрики ЯАУ-в-1 и ИАУ-в-2 отражают физическую сущность рассматриваемых процессов, а процедуры их расчёта соответствуют общепринятым представлениям.
Как показано в работе [1], с точки зрения специфики использования АСУ СН наиболее важное значение приобретают вопросы обеспечения высоких значений показателей завершенности и отказоустойчивости ПС как факторов, непосредственно обеспечивающих бесперебойное функционирование АСУ. Количественная оценка восстанавливаемости ПС, как и готовности ПС, определяется во многом организационными аспектами взаимодействия с разработчиком ПС и поэтому мало отражает качественные аспекты прикладного использования ПС.
Выводы. С учетом изложенного сформулируем предложения по построению системы метрик оценки надёжности ПС АСУ СН.
(1) Для оценки завершенности ПС целесообразно использовать метрику, связанную с оценкой среднего времени между отказами РС. При этом процедура расчёта значений метрики должна учитывать зависимость этой оценки от процесса устранения обнаруженных в ПС ошибок. Перспективным в этом плане представляется подход, основанный на учете количества прогонов ПС на различных исходных данных до проявления дефекта в процессе тестирования ПС. Подобный подход позволяет достаточно просто решать многие практические задачи, связанные с формулировкой требований к ПС и эксплуатацией ПС в реальных условиях.
(2) При оценке отказоустойчивости ПС следует особое внимание обратить на степень реализации средств обеспечения отказоустойчивости ПС, таких как:
♦ создание резервных копий наиболее проблемных компонентов ПС, выполненных по альтернативным алгоритмам;
♦ реализация контроля входных данных компонентов ПС, включая такие функции, как анализ входных данных на возможные диапазоны изменения, непротиворечивость, достаточность и др.;
♦ создание копий состояния рабочего поля программ в определённые моменты времени информационно-вычислительного процесса, обеспечивая тем самым возможность возврата к ранее пройденному этапу информационно-вычислительного процесса при возникновении неполадок.
В качестве интегральной оценки отказоустойчивости ПС следует рекомендовать использование метрики типа №Т-0-1 с учетом высказанных выше замечаний.
(3) Определение значений метрик восстанавливаемости и готовности ПС для рассматриваемого класса систем носит, в большой степени, информативный характер. При необходимости для этой цели могут быть использованы величины, рекомендуемые рассмотренными материалами по стандартизации.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Балыбердин В.А., Белевцев А.М., Степанов О.А. Вопросы оценки и обеспечения надёжности программных средств АСУ специального назначения // Известия ЮФУ. Технические науки. - 2014. - № 5 (154). - С. 115-120.
2. Балыбердин В.А., Белевцев А.М., Степанов О.А. Анализ основных процессов обеспечения надежности программных средств АСУ специального назначения // Известия ЮФУ. Технические науки. - 2015. - № 3 (164). - C. 62-70.
3. ISO/IEC 9126. Software Engineering - Software Product Quality. - PDTR, 2002-2004.
4. ISO/IEC 14598. Information Technology - Software Product Evaluation, 1998-2000.
5. ISO/IEC 250nn. Systems and Software Engineering. - Systems and Software Quality Requirements and Evaluation, 2005-2013.
6. ГОСТ 28806-90. Качество программных средств. - М.: Госстандарт, 1991.
7. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководство по их применению. - М.: Госстандарт России, 1993.
8. Липаев В.В. Процессы и стандарты жизненного цикла сложных программных средств: справочник. - М.: СИНТЕГ, 2006. - 260 с.
9. Степанов О.А., Шумило Д.А. Метод оценки программных средств АСУВ по результатам тестирования. - Материалы всероссийской конференции «Современные тенденции развития теории и практики управления в системах специального назначения». - М.: Сис-темпром, 2014. - C. 11-14.
10. Балыбердин В.А., Степанов О.А., Шумило Д.А. К оценке надёжности программных средств АСУВ. Актуальные проблемы защиты и безопасности // Труды 14-й Всероссийской научно-практической конференции "Вооружение и военная техника". - СПб., 2011.
- Т. 1. - С. 603-608.
11. Балыбердин В.А., Белевцев А.М., Степанов О.А. Некоторые проблемные вопросы управления надёжностью программных средств // Тезисы доклада на Всероссийской конференции по управлению качеством. - М.: МАТИ, 2014. - C. 136-140.
12. Балыбердин В.А., Белевцев А.М., Степанов О.А. Анализ и общая оценка основных процессов управления надёжностью программных средств специализированных АСУ // Избранные научные труды. 14-я Международная конференция «Управление качеством».
- М.: МАТИ, 2015. - C. 77-81.
13. Балыбердин В.А., Белевцев А.М., Степанов О.А. Оптимизация информационных процессов в автоматизированных системах с распределенной обработкой данных. - М., 2002.
- 280 с.
14. Балыбердин В.А., Степанов О.А., Иванов В.В. Методы, модели и алгоритмы рационального построения информационных технологий в АСУ. - М.: 3 ЦНИИ МО РФ, 2012.
- 264 с.
15. Балыбердин В.А., Белевцев А.М., Бендерский Г.П. Прикладные методы оценки и выбора решений в стратегических задачах инновационного менеджмента. - М.: Дашков, 2013.
- 240 с.
16. Полонников Р.И., Никандров А.В. Методы оценки показателей надёжности программного обеспечения. - СПб.: Политехника, 1992. - 78 с.
17. Василенко Н.В., Макаров В.А. Модели оценки надёжности программного обеспечения // Вестник Новгородского государственного университета. - 2004. - № 28. - C. 126-132.
18. Липаев В.В. Надёжность и функциональная безопасность комплексов программ реального времени. - М.: ИСП РАН, 2013. - 176 с.
19. Липаев В.В. Функциональная безопасность программных средств. - М.: СИНТЕГ, 2004.
- 348 с.
20. Степанченко И.В. Методы тестирования программного обеспечения. - Волгоград: РПК Политехник, 2006. - 76 с.
21. Балыбердин В.А., Пенкин О.М., Полунин А.И. Проблемные вопросы создания и внедрения новых информационных технологий в автоматизированных системах военного назначения. - М.: Секция военно-технических проблем Российской инженерной академии, 2001. - 144 с.
REFERENCES
1. Balyberdin V.A., Belevtsev A.M., Stepanov O.A. Voprosy otsenki i obespecheniya nadezhnosti programmnykh sredstv ASU spetsial'nogo naznacheniya [On special purpose automated systems software reliability estimation and maintenance], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2014, No. 4 (154), pp. 115-120.
2. Balyberdin V.A., Belevtsev A.M., Stepanov O.A. Analiz osnovnykh protsessov obespecheniya nadezhnosti programmnykh sredstv ASU spetsial'nogo naznacheniya [Analysis of basic software reliability controle processes for special purpose computer systems], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2015, No. 3 (164), pp. 62-70.
3. ISO/IEC 9126. Software Engineering - Software Product Quality. PDTR, 2002-2004.
4. ISO/IEC 14598. Information Technology - Software Product Evaluation, 1998-2000.
5. ISO/IEC 250nn. Systems and Software Engineering. Systems and Software Quality Requirements and Evaluation, 2005-2013.
6. GOST 28806-90. Kachestvo programmnykh sredstv [State Standard 28806-90. Quality software]. Moscow: Gosstandart, 1991.
7. GOST R ISO/MEK 9126-93. Informatsionnaya tekhnologiya. Otsenka programmnoy produktsii. Kharakteristiki kachestva i rukovodstvo po ikh primeneniyu [State Standard R ISO/MEK 9126-93. Information technology. Evaluation of software products. Quality characteristics and guidelines for their use]. Moscow: Gosstandart Rossii, 1993.
8. Lipaev V.V. Protsessy i standarty zhiznennogo tsikla slozhnykh programmnykh sredstv. Spravochnik [Processes and standards life cycle of complex software facilities. Guide]. Moscow: SINTEG, 2006, 260 p.
9. Stepanov O.A., Shumilo D.A. Metod otsenki programmnykh sredstv ASUV po rezul'tatam testirovaniya [Assessment method software tools acsv on the test results], Materialy vserossiyskoy konferentsii «Sovremennye tendentsii razvitiya teorii i praktiki upravleniya v sistemakh spetsial'nogo naznacheniya» [Materials of all-Russian conference "Modern tendencies of development of theory and practice of control systems of special purpose"]. Moscow: Sistemprom, 2014, pp. 11-14.
10. Balyberdin V.A., Stepanov O.A. Shumilo D.A. K otsenke nadezhnosti programmnykh sredstv ASUV. Aktual'nye problemy zashchity i bezopasnosti [To assess the reliability of software acsv. Actual problems of protection and safety], Trudy 14-y Vserossiyskoy nauchno-prakticheskoy konferentsii. Vooruzhenie i voennaya tekhnika [Proceedings of 14-th all-Russian interdisciplinary scientific-practical conference. Weapons and military equipment]. St. Petersburg, 2011, Vol. 1, pp. 603-608.
11. Balyberdin V.A., Belevtsev A.M., Stepanov O.A. Nekotorye problemnye voprosy upravleniya nadezhnost'yu programmnykh sredstv [Some problematic issues of reliability management software], Tezisy doklada na Vserossiyskoy konferentsii po upravleniyu kachestvom [Theses of the report at national conference on quality management]. Moscow: MATI, 2014, pp. 136-140.
12. Balyberdin V.A., Belevtsev A.M., Stepanov O.A. Analiz i obshchaya otsenka osnovnykh pro-tsessov upravleniya nadezhnost'yu programmnykh sredstv spetsializirovannykh ASU [The analysis and a General evaluation of the main processes of reliability management software specialized ACS], Izbrannye nauchnye trudy. 14-ya Mezhdunarodnaya konferentsiya «Upravlenie kachestvom» [Selected scientific works. 14-th international conference "quality Management"]. Moscow: MATI, 2015, pp. 77-81.
13. Balyberdin V.A., Belevtsev A.M., Stepanov O.A. Optimizatsiya informatsionnykh protsessov v avtomatizirovannykh sistemakh s raspredelennoy obrabotkoy dannykh [Optimization of information processes in the automated systems with distributed data processing]. Moscow, 2002, 280 p.
14. Balyberdin V.A., Stepanov O.A., Ivanov V.V. Metody, modeli i algoritmy ratsional'nogo postroeniya informatsionnykh tekhnologiy v ASU [Methods, models and algorithms for the best tion in developing information technologies in automated control systems]. Moscow: 3 TsNII MO RF, 2012, 264 p.
15. Balyberdin V.A., Belevtsev A.M., Benderskiy G.P. Prikladnye metody otsenki i vybora resheniy v strategicheskikh zadachakh innovatsionnogo menedzhmenta [Applied methods of assessment and selection solutions in the strategic tasks of innovation management]. Moscow: Dashkov, 2013, 240 p.
16. Polonnikov R.I., Nikandrov A.V. Metody otsenki pokazateley nadezhnosti programmnogo obespecheniya [Methods for evaluating reliability of software]. St. Petersburg: Politekhnika, 1992, 78 p.
17. Vasilenko N.V., Makarov V.A. Modeli otsenki nadezhnosti programmnogo obespecheniya [Evaluation model of software reliability], Vestnik Novgorodskogo gosudarstvennogo universiteta [Vestnik of Yaroslav the Wise Novgorod State University], 2004, No. 28, pp. 126-132.
18. Lipaev V.V. Nadezhnost' i funktsional'naya bezopasnost' kompleksov programm real'nogo vremeni [Reliability and functional safety of complex real-time systems]. Moscow: ISP RAN, 2013, 176 p.
19. Lipaev V.V. Funktsional'naya bezopasnost' programmnykh sredstv [Software facilities functional security]. Moscow: SINTEG, 2004, 348 p.
20. Stepanchenko I.V. Metody testirovaniya programmnogo obespecheniya [Methods of software testing]. Volgograd: RPK Politekhnik, 2006, 76 p.
21. Balyberdin V.A., Penkin O.M., Polunin A.I. Problemnye voprosy sozdaniya i vnedreniya novykh informatsionnykh tekhnologiy v avtomatizirovannykh sistemakh voennogo naznacheniya [Problem questions of creation and introduction of new information technologies in automated military systems]. Moscow: Sektsiya voenno-tekhnicheskikh problem Rossiyskoy inzhenernoy akademii, 2001, 144 p.
Статью рекомендовал к опубликованию д.т.н., профессор Р.П. Быстров.
Балыбердин Валерий Алексеевич - 3 Центральный НИИ Министерства Обороны РФ; e-mail: baliberdinv@yandex.ru; Москва, Погонный, 10; д.т.н.; профессор; ведущий научный сотрудник.
Степанов Олег Алексеевич - e-mail: stepoleg@post.ru; к.т.н.; доцент.
Белевцев Андрей Михайлович - Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «МАТИ - Российский государственный технологический университет имени К.Э. Циолковского»; e-mail: ambelevtsev@yandex.ru; Москва, Оршанская, 3; д.т.н.; профессор.
Baliberdin Valery Alekseevitch - 3 Сentral Defence Institute; e-mail: baliberdinv@yandex.ru; Moscow, Pogonny, 10; dr. of eng. sc.; professor; science worker.
Stepanov Oleg Alekseevich - e-mail: stepoleg@post.ru; cand. of eng. sc.; associate professor.
Belevtsev Andrey Michailovitch - MATI-university; e-mail: ambelevtsev@yandex.ru; Moscow, Orshanskaiy, 3; dr. of eng. sc.; professor.
