CC BY
20i-methods
том 13. № 1. 2021 http://intech-spb.com/i-methods/
МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ МАШИН, КОМПЛЕКСОВ И КОМПЬЮТЕРНЫХ СЕТЕЙ
Оценка качества программного обеспечения автоматизированных систем на основе одноступенчатого плана испытаний
Репин Сергей Иванович
д.т.н., профессор, ведущий научный сотрудник Научно-производственного объединения Русские базовые информационные технологии, г. Тверь, Россия, s.repin@rusbitech.ru
АННОТАЦИЯ_________________________________________________________
Показано, что с теоретико-вероятностной точки зрения надежность программного обеспечения автоматизированных систем относится к наиболее важным и системным показателям качества. Особенность системности надежности программного обеспечения автоматизированных систем заключается в том, что она определяется не только надежностью отдельных компонентов и подсистем, но и взаимным влиянием на нее других показателей качества. Поскольку программное обеспечение в процессе эксплуатации не изнашивается, его поломка и ремонт в общепринятом смысле не производится, то надежность программного обеспечения имеет смысл характеризовать только с точки зрения безотказности его функционирования и возможности восстановления функционирования после отказов вызванных проявлениями ошибок. При оценке надежности программного обеспечения автоматизированных систем не существует понятия выборка, отказы не зависят от времени и отказы не имеют случайной природы. В тоже время при оценке показателей надежности программного обеспечения автоматизированных систем следует учитывать и различать такие понятия как ошибка, отказ и сбой. На основе введенной размерности временных зон перерыва нормальной выдачи информации и потери работоспособности автоматизированных систем предложены критерии для выявления ошибок, сбоев и отказов в программном обеспечении. Анализ семантики показателей надежности программного обеспечения автоматизированных систем показал, что основными компонентами надежности их программного обеспечения следует считать стабильность, устойчивость и восстанавливаемость. На основе выбранной единой системы показателей для аппаратно-программных комплексов предложен методический подход и разработан алгоритм оценки надежности программного обеспечения с использованием одноступенчатого плана испытаний. Предложенный алгоритм имеет практическую направленность решения задач оценивания качества программного обеспечения объектов самого широкого назначения, подкреплен действующими нормативными документами и направлен на обеспечение требуемой достоверности оценивания показателей надежности автоматизированных систем на этапе их создания.
КЛЮЧЕВЫЕ СЛОВА: инфокоммуникационные технологии; качество программного обеспечения; показатели надежности; ошибка; отказ; сбой.
Введение
Внедрение современных инфокоммуникационных технологий в перспективные автоматизированные системы (АС) обуславливает необходимость разработки и использования на практике новых методических подходов для оценивания качества их программного обеспечения (ПО). При этом под требуемым качеством ПО АС следует понимать совокупность характеристик, определяющих способность удовлетворять заданным потребностям пользователей и автоматизируемых процессов, использующих данное ПО [1-16].
Состав показателей качества ПО АС включает: функциональность, надежность, практичность, эффективность, сопровождаемость, мобильность.
Анализ показателей качества программного обеспечения показывает, что оно может быть оценено следующими характеристиками:
- функциональность — набор атрибутов, относящихся к функциям и их конкретным свойствам, которые реализуют установленные (предписанные) или предполагаемые потребности;
- надежность — набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени;
- практичность — набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки определенным и предполагаемым кругом пользователей
- эффективность — набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях;
- сопровождаемость — набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций);
- мобильность — набор атрибутов, относящихся к способности программного обеспечения быть перенесенным из одного окружения в другое (с одного ВС на другое ВС).
При этом качество программных систем необходимо рассматривать как иерархическую совокупность свойств, размещенных на различных уровнях, где
- первый уровень отражает комплекс перечисленных выше шести характеристик (показателей) качества ПО;
- второму уровню соответствуют атрибуты для каждого показателя качества, детализирующие его разные аспекты и использующиеся при оценке качества;
- третий уровень определен для измерения и оценки качества с помощью метрик, под которой понимается комбинация способа измерения атрибута и шкалы измерения значений;
- четвертый уровень представляет собой оценочные элементы метрики (веса), используемые для получения количественного значения или качественной оценки конкретного атрибута показателя ПО.
Особенности семантики приведенных показателей качества программного обеспечения и иерархии их свойств практически определяют необходимость установления соотношения приоритетности используемых показателей и их метрик с характеристиками программной продукции АС.
Оценка качества программного обеспечения
Анализ проблемы обеспечения и оценки показателей качества ПО АС показывает, что с теоретико-вероятностной точки зрения надежность относится к наиболее важным и системным показателям качества объектов самого широкого назначения. При этом надежность ПО следует рассматривать как совокупность свойств, характеризующих способность программного обеспечения сохранять свой уровень качества функционирования при установленных условиях применения и в установленный период времени. Особенность системности надежности ПО АС заключается в том, что она определяется не только надежностью отдельных компонентов и подсистем, но и взаимным влиянием на нее других показателей качества.
Для обеспечения надежности программного обеспечения в настоящее время предложено множество подходов на основе организационных методов, которые определены концепцией всеобщего управления качеством TQM (Total Quality Management], методических методов с использованием различных типов метрик и моделей, различных инфокоммуникационных технологий (ИКТ) и принципов обеспечения качества, изложенных в серии международных и российских стандартах ИСО 9000.
Однако в настоящее время отсутствует универсальные модели оценки показателей надежности (ПН) ПО АС, которые можно было бы корректно и с удовлетворительной точностью использовать на различных этапах жизненного цикла изделия, обеспечивая требуемую объективность и достоверность оценивания. Метод структурной схемы для оценки показателей надежности (ПН) аппаратно-программных средств практически не приемлем для оценки ПО АС, а неоднозначность используемых критериев для оценки надежности ПО не позволяет ответить на вопросы: «Насколько надежнее становится программное обеспечение при соблюдении предлагаемых процедур и технологий?» и «В какой степени оправданы проведенные затраты по его совершенствованию?».
Поскольку программное обеспечение в процессе эксплуатации не изнашивается, его поломка и ремонт в общепринятом смысле не производится, то надежность программного обеспечения имеет смысл характеризовать только с точки зрения безотказности его функционирования и возможности восстановления функционирования после отказов вызванных проявлениями ошибок. При оценке надежности ПО не существует понятия «выборка», отказы не зависят от времени и отказы не имеют случайной природы. При этом программа считается правильной, если она не содержит ошибок.
В тоже время при оценке ПН ПО следует учитывать и различать такие понятия как ошибка, отказ и сбой.
Применительно к надежности программного обеспечения ошибка — это погрешность или искажение кода программы, неумышленно внесенные в нее в процессе разработки и которые в ходе функционирования этой программы могут вызвать ее отказ или снижение эффективности функционирования. Необходимо отметить, что с точки зрения надежности программные ошибки при их проявлении не всегда вызывают отказ программного обеспечения и каждую ошибку можно характеризовать условной вероятностью возникновения отказа при проявлении этой ошибки. Следует также отметить, что само по себе наличие ошибок в исходном коде не определяет надежность программы до тех пор, пока не произойдет их проявление, поэтому пользоваться для оценки надежности программного обеспечения только показа-
телями характеризующие общее количество ошибок в программе, количество оставшихся ошибок и максимального количества ошибок нельзя.
Отказ программного обеспечения можно определить как:
- прекращение функционирования программы (искажения нормального хода ее выполнения, зацикливание) на время, превышающее заданный порог;
- прекращение функционирования программы (искажения нормального хода ее выполнения, зацикливание) на время, не превышающее заданный порог, но с потерей всех или части обрабатываемых данных;
- прекращение функционирования программы (искажения нормального хода ее выполнения, зацикливание), потребовавшее перезагрузку ВС, на котором функционирует программное обеспечение.
Сбой в программном обеспечении следует трактовать как самоустраняющийся отказ или однократный отказ, устраняемый незначительным вмешательством оператора или без вмешательства оператора (перезагрузка ВС не требуется).
Временную зону перерыва нормальной выдачи информации и потери работоспособности следует рассматривать как зону сбоя или отказа. Исходя из этого времени, можно установить границы временной зоны, которая разделяет работоспособное и неработоспособное состояние программного обеспечения и позволяет сформулировать критерии отказов, т.к. для любого потребителя данных существует допустимое время отсутствия данных от программы. Поэтому при превышении порогового времени восстановления работоспособного состояния программы, если оно близко к периоду (продолжительности) решения задачи или подготовки информации (данных) соответствующему потребителю (абоненту), его следует рассматривать (фиксировать) как отказ.
В настоящей работе на основе введенной классификации и критериев ошибок, сбоев и отказов для ПО предложен методический подход, имеющий практической направленность, для оценки надежности программного обеспечения АС.
Анализ семантики показателей надежности программного обеспечения АС показывает, что основными компонентами надежности программного обеспечения АС следует считать стабильность, устойчивость и восстанавливаемость. Указанные показатели надежности практически адекватны показателям для технических систем. Поэтому с целью обеспечения единства измерений и сопоставимости результатов оценивания для оценки надежности программного обеспечения и технических устройств целесообразно использование единой номенклатуры показателей надежности, учитываемых факторов, типа метрик, шкал и размерности измерений.
Наиболее приемлемыми показателями, характеризующими стабильность (безотказность) программного обеспечения, представляются показатели сходные с показателями безотказности технических систем, а именно: вероятность безотказной работы, интенсивность отказов и средняя наработка до отказа (время непрерывной безотказной работы). Интенсивность отказов можно оценить исходя из оценок стабильности и устойчивости программного обеспечения.
Устойчивость рассматривается как свойство или совокупность свойств программного обеспечения, характеризующих его возможность поддерживать приемлемый уровень функ-
ционирования при проявлениях ошибок в нем, которое можно оценивать условной вероятностью безотказной работы при проявлении ошибки.
Восстанавливаемость программного обеспечения рассматривается как свойство или совокупность свойств, характеризующих способность восстановления своего уровня пригодности и данных, непосредственно поврежденных вследствие проявлении ошибки (отказа), которое характеризуется полнотой и длительностью восстановления функционирования программ в процессе перезапуска или перезагрузки ЭВМ. Восстанавливаемость предлагается оценивать по среднему времени восстановления. При этом следует учитывать, что время восстановления функционирования программного обеспечения складывается не только из времени потребного для перезагрузки ВС (ЭВМ) и загрузки самого программного обеспечения, но и из времени необходимого для восстановления данных, а это время в ряде случаев может значительно превышать время перезагрузки.
Обобщение характеристик работоспособности, отказов и восстановлений ПО обеспечивается использованием коэффициента готовности, который. можно рассматривать как вероятность того, что программное обеспечение окажется в работоспособном состоянии в произвольный момент времени. Значение коэффициента готовности соответствует доле времени полезной работы программного обеспечения на достаточно большом интервале времени, содержащем отказы и восстановления.
Таким образом, по аналогии с оцениванием показателями надежности технических средств к основным показателям надежности ПО АС следует отнести вероятность безотказной работы, интенсивность отказов, среднюю наработку до отказа (время непрерывной безотказной работы), среднее время восстановления. В качестве интегрального показателя надежности ПО целесообразно использовать коэффициент готовности. Фактически надежность программного обеспечения характеризует его вероятность работы без отказов в течении определенного периода времени,
Использование единых (общих) показателей надежности, метрик и шкал оценки ПО и аппаратных средств практически обеспечивает универсальность и единство используемого методического подхода на основе использования единой нормативной базы испытаний.
Предлагаемый методический подход к оценке надежности ПО АС предполагает следующую последовательность действий при решении практических задач:
1) осуществляется выбор плана испытаний ПО АС;
2) определяются контролируемые показатели надежности и шкалы их измерений;
3) проводится выбор перечня (номенклатуры) используемых ИД для выбранного плана испытаний;
4) определяется необходимый объем испытаний;
5) выбираются критерии качества ПО для приемки и браковки оцениваемого ПО;
6) проводятся испытания ПО с регистрацией отказов и сбоев в работе ПО, временных характеристик работоспособности и восстановления ПО;
7) по результатам испытаний проводится обработка их результатов и оценивание ПН ПО АС, делается вывод о соответствии ПН предъявляемым требованиям.
Сущность решения задачи оценивания надежности ПО АС и особенности предлагаемого методического подхода заключаются в следующем:
1. С учетом вида контролируемых ПН и характера их измерения осуществляется выбор плана испытаний ПО АС. Анализ планов показывает, что в качестве основных планов при оценке надежности ПО АС целесообразно использовать планы испытаний типа [NRS] либо [NMS].
2. Выбор метода контроля ПН в виде одноступенчатого контроля, последовательного контроля или контроля при помощи доверительных границ определяется составом ИД, временем отводимым на испытания и количеством изделий (версий ПО), отводимых для испытаний.
При этом одноступенчатым методом целесообразно воспользоваться при жестком ограничении времени, отводимого на испытания. Целесообразность применения одноступенчатого метода контроля определяется также по результатам численного решения уравнений (1) и (2) с учетом выполнения обеспечения одновременного их равенства.
1 -а = 14 • Р^- • (1 -Ра), (1)
i=0
где а — заданное значение риска поставщика, Р — значение приемочного уровня,
С — предельное (браковочное) суммарное учитываемое число отказов на данный момент испытаний,
N — максимальное (максимально возможное, допустимое) число наблюдений до принятия решения о приемке или браковке.
в = 14 • - • (1 - р У, (2)
i=0
где в — заданное значение риска потребителя,
Рр — значение браковочного уровня.
Последовательным методом целесообразно пользоваться при ограниченном числе изделий, выделяемых для испытаний. Как известно, этот метод наиболее эффективен при испытаниях восстанавливаемых изделий.
Метод доверительных интервалов рекомендуется применять при использовании достаточного количества данных эксплуатационных наблюдений, а также для уточнения достоверности принятого решения после одноступенчатого контроля.
Анализ особенностей использования возможных методов контроля ПН ПО АС показывает целесообразность применения метода одноступенчатого контроля для проведения оценок надежности ПО АС.
3. С учетом схемы деления изделия выбирается объект испытаний, в качестве которого могут рассматриваться как отдельные программные средства (ПС) и комплексы программ (КП), так и ПО изделия в целом. Выбранный объект испытаний в дальнейшем рассматривается как оцениваемый программный блок (ОПБ).
4. По каждому объекту испытаний определяется (выбирается) перечень (номенклатура) исходных данных (Ю) и выходных данных (ЖО), необходимых для проведения оценок работоспособности оцениваемого ПО.
Перечень исходных данных представляется в виде множества 1О:
Ю = {а }, а = 1, А, где элемент id¡í множества Ю.
Перечень выходных данных представляется в виде множества ЖО:
WD = {wdk },к = 1,К, где элемент множества ЖО.
Количество вариантов комплексирования исходных данных практически определяет минимально необходимый объем испытаний по каждому ОПБ.
С целью минимизации количества оцениваемых вариантов ИД предлагается оценку показателей надежности проводить на граничных значениях их параметров. Для чего по каждому элементу id из множества 1О определяется множество их возможных значений и диапазон их изменения.
Множество возможных значений элемента представляется в виде подмножества ida = {idan}, а = 1,А, п = 1,N множества Ю.
Диапазон их изменения определяется разностью значений между наибольшим и наименьшим значениями элементов.
Наименьшее и наибольшее значение элемента id определяется выражениями (3) и (4) соответственно:
ida mm = fidan X a = 1 A. П =1 N. (3)
idamax = SUP(idan X a = 1 A П =1, N, (4)
n
Общее количество оцениваемых вариантов определяет объем испытаний. При использовании только граничных значений исходных данных объем испытаний будет равен 1 W ( =2А. Если количество оцениваемых вариантов по а — тому элементу ИД больше 2, то объем проводимых испытаний определяется выражением:
\W (Ю)\ = П\и!а |, (5)
а=1
где — мощность подмножества ida , определяющая количество оцениваемых вариантов по а -тому элементу данного подмножества.
Для выходных данных определяется их размерность и диапазон их изменения с учетом диаграммы прецедентов.
5. Для выбранного плана испытаний выбирается основной контролируемый показатель надежности, определяются значения приемочного и браковочного уровней, устанавливаются значения рисков поставщика и потребителя.
В качестве контролируемого показателя надежности для ОПБ может быть использована наработка до отказа или вероятность безотказной работы (ВБР).
Выбранные значения приемочного и браковочного уровней практически определяют значения разрешающего коэффициента ф), который практически зависит от отношения приемочного уровня к браковочному и в итоге определяет для каждого плана испытаний предельное (браковочное) суммарное учитываемое число отказов на данный момент испытаний, а также максимальное (максимально возможное, допустимое) число наблюдений до принятия решения о приемке или браковке испытываемого объекта.
Максимальное (максимально возможное, допустимое) число наблюдений для принятия решения о приемке или браковке испытываемого объекта для выбранного плана должно быть не менее минимально необходимого объема испытаний по каждому ОПБ.
Изделие (ОПБ) подвергают испытаниям в соответствии с программой испытаний, последовательно суммируют учитываемое число наблюдений и учитываемое число отказов. В процессе испытаний регистрируют отказы и сбои в работе ПО испытываемого изделия в соответствии с выбранными временными критериями.
Учитываемая наработка изделия может быть измерена с помощью счетчика наработки. При этом особенности учета наработки до отказа определены положениями ГОСТ 27.4021995, а вероятности безотказной работы — ГОСТ 27.403-2009.
6. Испытания продолжают до тех пор, пока при графическом отображении результатов испытаний линия реализации процессов отказов впервые пересечет границу приемки или отбраковки плана испытаний. В зависимости от того, какую из границ плана испытаний пересекла линия реализации процессов отказов, испытания завершают и принимают соответствующее решение.
Уточнение достоверности принятого решения после проведенных испытаний рекомендуется провести с использованием метода доверительных интервалов на основе использования данных эксплуатационных наблюдений.
Заключение
Таким образом, на основе выбранной единой системы показателей для аппаратно-программных комплексов АС, предложен методический подход для оценки надежности программного обеспечения на основе использования одноступенчатого плана испытаний. Предложенный алгоритм проведения оценивания показателей надежности программного обеспечения имеет достаточно высокую практическую направленность решения задач оценивания качества ПО в части надежности, подкреплен действующими нормативными документами и направлен на обеспечение требуемой достоверности оценивания возможностей АС на этапе их создания.
Литература
1. Нестеренко О. Е., Легков К.Е., Ледянкин И. А. Программный комплекс автоматизации пунктов управления главного испытательного космического центра. Свидетельство о регистрации программы для ЭВМ ЯШ016617548, 07.07.2016. Заявка № 2016610400 от 21.01.2016.
2. Легков К. Е., Буренин А. Н., Емельянов А. В. Расчетная модель управляющей сети автоматизированной системы управления инфокоммуникационной сетью. Свидетельство о регистрации программы для ЭВМ ЯШ016613773, 06.04.2016. Заявка № 2015662570 от 17.12.2015.
3. Носов В. С., Легков К. Е. К вопросу о повышении пропускной способности локальной вычислительной сети автоматизированной системы управления сил специального назначения // Труды СевероКавказского филиала Московского технического университета связи и информатики. 2014. № 1. С. 72-74.
4. Легков К. Е., Буренин А. Н., Емельянов А. В., Щелков Д. А. Программная модель функционирования инфокоммуникационной сети в различных условиях оперативной обстановки. Свидетельство о регистрации программы для ЭВМ RU2016613135, 17.03.2016. Заявка № 2016610352 от 20.01.2016.
5. Буренин А. Н., Легков К. Е., Нестеренко О. Е. Основые положения управления контентом специального назначения // Системы синхронизации, формирования и обработки сигналов. 2015. Т. 6. № 4. С. 210-212.
6. Легков К. Е. Подходы к развитию концепции внедрения мультимедийных систем военного назначения // Наукоемкие технологии в космических исследованиях Земли. 2011. Т. 3. № 2. С. 13-15.
7. Старцев Д. В., Легков К. Е. Анализ современных компьютерных сетей и среды передачи данных // Труды Северо-Кавказского филиала Московского технического университета связи и информатики. 2014. № 1. С. 111-114.
8. Легков К.Е., Буренин А. Н., Левко И. В., Емельянов А. В. Расчетная модель многоуровневого управления инфокоммуникационной сетью. Свидетельство о регистрации программы для ЭВМ RU2016613772, 06.04.2016. Заявка № 2015662596 от 17.12.2015.
9. Кудрявцев Д.Ю., Легков К. Е. Состав и способы защиты сетей на основе технологии Long Term Evolution // Труды Северо-Кавказского филиала Московского технического университета связи и информатики. 2014. № 1. С. 261-264.
10. Легков К.Е., Захарченко Р. И. Система поддержки принятия решения автоматизированной системы управления связи на основе организации информационного хранилища с аналитической обработкой данных // T-Comm: Телекоммуникации и транспорт. 2001. № 6. С. 28.
11. Ледянкин И. А., Легков К. Е. Метод оценки надежности программного обеспечения автоматизированных систем управления специального назначения // Труды Северо-Кавказского филиала Московского технического университета связи и информатики. 2014. № 1. С. 65-68.
12. Легков К. Е. К вопросу о методах управления в сложных инфокоммуникационных системах специального назначения // T-Comm: Телекоммуникации и транспорт. 2013. Т. 7. № 4. С. 19-23.13.
13. Невструев А. С., Легков К. Е. Состояние и перспективы развития поиска информации в локальных вычислительных сетях // Труды Северо-Кавказского филиала Московского технического университета связи и информатики. 2014. № 1. С. 69-72.
14. Легков К. Е., Ледянкин И. А. К вопросу построения информационных процессов сбора и хранения информации о своих войсках в автоматизированных системах управления войсками // Труды Военно-космической академии имени А. Ф. Можайского. 2013. № 639. С. 134-137.
15. Буренин А. Н., Нестеренко О. Е., Ледянкин И. А., Легков К. Е. Алгоритм оценивания целесообразности распараллеливания вычислительной задачи // Труды Северо-Кавказского филиала Московского технического университета связи и информатики. 2016. № 1. С. 68-71.
16. Буренин А. Н., Легков К. Е., Емельянов А. В. Модели организации управления процессами файлового обмена в инфокоммуникационных сетях специального назначения // Труды Ростовского государственного университета путей сообщения. 2015. № 3. С. 5-11.
QUALITY EVALUATION OF COMPUTER-AIDED SYSTEMS SOFTWARE SUPPORT ON THE BASE OF SINGLE-STAGE TEST PLAN
SERGEY I. REPIN,
PhD, Full Professor, Leading research officer of JSC "RPA RusBITech", Tver, Russia, s.repin@rusbitech.ru
ABSTRACT
It is shown that from the theoretical and probabilistic point of view, the reliability of the software of automated systems is one of the most important and systemic quality indicators. The peculiarity of the consistency of the reliability of the software of automated systems is that it is determined not only by the reliability of individual components and subsystems, but also by the mutual influence of other quality indicators on it. Since the software does not wear out during operation, its breakdown and repair in the generally accepted sense is not performed, it makes sense to characterize the reliability of the software only from the point of view of the reliability of its functioning and the possibility of restoring functioning after failures caused by the manifestations of errors. When assessing the reliability of software of automated systems, there is no concept of sampling, failures do not depend on time, and failures do not have a random nature. At the same time, when assessing the reliability indicators of software of automated systems, one should take into account and distinguish such concepts as error, failure and failure. On the basis of the introduced dimension of time zones of interruption of normal information output and loss of operability of automated systems, criteria are proposed for detecting errors, failures and failures in software. The analysis of the semantics of the reliability indicators of the software of automated systems showed that the main components of the reliability of their software should be considered stability, stability and recoverability. On the basis of the selected unified system of indicators for hardware and software systems, a methodological approach is proposed and an algorithm for assessing the reliability of software using a one-stage test plan is developed. The proposed algorithm has a practical focus on solving problems of assessing the quality of software for objects of the widest use, supported by current regulatory documents and is aimed at ensuring the required reliability of assessing the reliability indicators of automated systems at the stage of their creation.
Keywords: infocomm technologies; quality of software support; reliability performances; error; failure; soft fault.
REFERENCES
1. Nesterenko O. E., Legkov K. E., Ledyankin I. A. Software package for automation of control points of the main test space center. Certificate of registration of the computer program RU2016617548, 07.07.2016. Application No. 2016610400 dated 21.01.2016. (In Rus)
2. Legkov K. E., Burenin A. N., Emelyanov A. V. Calculation model of the control network of the automated information and communication network management system. Certificate of registration of the computer program RU2016613773, 06.04.2016. Application no. 2015662570 dated 17.12.2015. (In Rus)
3. Nosov V. S., Legkov K. E. On the issue of increasing the capacity of the local computer network of the automated control system of special forces. Proceedings of the North Caucasus Branch of the Moscow Technical University of Communications and Informatics. 2014. No. 1. Pp. 72-74. (In Rus)
4. Legkov K. E., Burenin A. N., Yemelyanov A. V., Shchelkov D. A. Program model of the functioning of the infocommunication net-
work in various operational conditions. Certificate of registration of the computer program RU2016613135, 17.03.2016. Application no. 2016610352 dated 20.01.2016. (In Rus)
5. Burenin A. N., Legkov K. E., Nesterenko O. E. Basic provisions of special purpose content management. Synchronization, signal generation and processing systems. 2015. Vol. 6. No. 4. Pp. 210-212. (In Rus)
6. Legkov K. E. Approaches to the development of the concept of introducing multimedia systems for military purposes. H&ES Research. 2011. Vol. 3. No. 2. Pp. 13-15. (In Rus)
7. Startsev D. V., Legkov K. E. Analysis of modern computer networks and data transmission media. Proceedings of the North Caucasus branch of the Moscow Technical University of Communications and Informatics. 2014. No. 1. Pp. 111-114. (In Rus)
8. Legkov K. E., Burenin A. N., Levko I. V., Emelyanov A. V. Calculation model of multilevel management of infocommunication network. Certificate of registration of the computer program RU2016613772, 06.04.2016. Application No. 2015662596 of 17.12.2015. (In Rus)
9. Kudryavtsev D. Yu., Legkov K. E. Composition and methods of network protection based on Long Term Evolution technology. Proceedings of the North Caucasus branch of the Moscow Technical University of Communications and Informatics. 2014. No. 1. Pp. 261-264. (In Rus)
10. Legkov K. E., Zaharchenko R. I. the System of support of decision-making automated control system of communication based on the information store with the analytical data processing. T-Comm. 2001. No. 6. P. 28. (In Rus)
11. Ledyankin I. A., Legkov K. E. a Method for the assessment of software reliability of automated control systems for special purpose. Proceedings of the North Caucasus Branch of the Moscow Technical University of Communications and Informatics. 2014. No. 1. Pp. 65-68. (In Rus)
12. Legkov K. E. On the question of management methods in complex infocommunication systems of special purpose. T-Comm. 2013. Vol. 7. No. 4. Pp. 19-23. (In Rus)
13. Nevstruev A. S., Legkov K. E. The state and prospects of information search development in local computer networks. Proceedings of the North Caucasus branch of the Moscow Technical University of Communications and Informatics. 2014. No. 1. Pp. 69-72. (In Rus)
14. Legkov K. E., Ledyankin I. A. On the issue of building information processes for collecting and storing information about their troops in automated systems for controlling troops. Trudy Voenno-kosmicheskoy akademii imeni A.F. Mozhayskogo. 2013. No. 639. Pp. 134-137. (In Rus)
15. Burenin A. N., Nesterenko O. E., Ledyankin I. A., Legkov K. E. Algorithm for evaluating the feasibility of parallelizing a computational problem. Proceedings of the North Caucasus branch of the Moscow Technical University of Communications and Informatics. 2016. No. 1. Pp. 68-71. (In Rus)
16. Burenin A. N., Legkov K. E., Emelyanov A. V. Models of organization of management of file exchange processes in special-purpose infocommunication networks. Proceedings of the Rostov State University of Railway Transport. 2015. No. 3. Pp. 5-11. (In Rus)
