CC BY
82
УДК 623.4.01
В. В. Доронин
Проблемы оценки качества отработки опытных образцов ракетной техники в натурных экспериментах этапа конструкторских испытаний и пути их преодоления
Проведен анализ полноты объема испытаний изделий ракетной техники нового поколения с учетом заданных сроков разработки. Рассмотрены особенности конструкторских испытаний нового поколения ракет. Приведены оценки трудозатрат по отработке программного обеспечения современных зенитных ракет. Предложен подход к оценке качества отработки конструкции изделий ракетной техники по совокупности показателей с учетом актуальности рассматриваемой проблемы для ряда головных разрабатывающих предприятий, а также - в интересах заказчика.
Ключевые слова: конструкторские испытания, ракетная техника, продолжительность разработки, качество отработки, программное обеспечение, цифровой код, блоки бортовой аппаратуры, показатель успешности пуска.
Введение
Особенностью современного этапа конструкторских испытаний сложных образцов военной техники является усиленный контроль за всеми процессами испытаний со стороны заказывающих органов Минобороны (далее - заказчика), которые часто совмещают большинство функций планирования, финансового обеспечения, контроля и оценки результатов.
Для глубокого понимания тонкостей процесса отработки техники нового поколения и формулирования последующих выводов по истинному состоянию дел с целью выработки в случае необходимости корректирующих действий требуется иметь штат специалистов уровня не ниже разработчика по каждой из сопровождаемых тем. Такая задача невыполнима по ряду очевидных причин.
Альтернативой проведения глубокого анализа процессов проектирования и испытаний является наличие у заказчика инструментария, базирующегося на относительно простых критериях и показателях оценки качества результатов проводимых работ, которым можно пользоваться без обладания специальными знаниями во всех областях конструкторской деятельности.
Применение для указанных целей простейших подходов, не связанных с особенностями проектирования, недопустимо ввиду наличия серьезных противоречий, которые могут дезавуировать саму идею объективной
© Доронин В. В., 2018
оценки качества работ и полученных результатов. Опираясь на неверные выводы, заказчик существенно повышает риск принятия неправильных управленческих решений, что в свою очередь может привести к затягиванию сроков из-за необоснованного прерывания работ и к срывам намеченных планов.
Примером упрощенной оценки результатов работ этапа конструкторских испытаний изделий зенитной ракетной техники является оценка результата каждого пуска по критерию «поразил или не поразил цель». Эта процедура оценки наиболее часто используется заказчиком. На ее основе делается вывод об «успешности» или «неуспешности» не только проведенной натурной работы, но и о состоянии разработки в целом. При всей привлекательности и наглядности применения для заказчика указанного подхода он неприемлем для разработчика. Ниже будет показано, на о какой стадии испытаний и в каких условиях <¡5 приведенный упрощенный подход может использоваться без ущерба здравому смыслу. о В большинстве случаев для оценки результа- § тов испытаний требуется иное решение. 5
По итогам общения с руководителями I ведущих конструкторских коллективов по род- 2
■
ственной тематике автор настоящей статьи ч
может сделать вывод, что рассматриваемые о
проблемы затрагивают многих. *
В процессе выполнения ряда работ в АО |
«МКБ «Факел» создана методика оценки ка- |
чества отработки опытных образцов ракетной |
<з
техники в натурных экспериментах на этапе *
конструкторских испытаний, позволяющая учесть ряд объективных факторов для получения достоверных оценок текущего состояния разработки.
Под отработкой понимается совокупность процессов проектирования, изготовления, проведения летных испытаний опытных образцов ракетной техники и внесения изменений в конструкцию и программное обеспечение для улучшения функциональных возможностей этих образцов с целью выполнения требований заказчика.
Указанная методика апробирована на этапе конструкторских испытаний изделий нового поколения и получила положительные оценки ряда организаций, участвовавших в работе комиссий по оценке состояния разработок АО «МКБ «Факел».
Вместе с тем данный подход встречает жесткое отрицание заказывающих структур Минобороны в пользу упрощенной методики оценки результатов «поразил - не поразил».
Для того чтобы разобраться в этой проблеме, целесообразно отметить ряд особенностей испытаний новейших образцов вооружения и военной техники.
Особенности этапа летных конструкторских 5 испытаний нового поколения изделий <ч ракетной техники
О!
^ При проведении конструкторских испытаний
>1 изделий ракетной техники актуальна задача
х проверки работоспособности (правильности ра-
I боты) всех блоков бортовой аппаратуры, встро-
| енного программного обеспечения и агрегатов,
отвечающих за выполнение задач полета.
о Правильность работы бортового обору-
ш дования, отвечающего за конечный участок
х полета [1], наиболее сложно проверить, так как
а- для этого необходимо, чтобы другие агрегаты и
£ бортовая аппаратура успешно и своевременно
| выполнили свои задачи до начала конечного
г
53 участка полета.
оз В современных зенитных ракетах объем
аппаратуры и используемых в ней вычислительных мощностей существенно превосходят ™ аналогичные показатели техники предыдущих 8 поколений. Все чаще разработчики зенитных ю ракет используют термин «цифровая ракета». и Это название во многом отражает особенности
построения бортовой аппаратуры современных ракет, так как практически в каждый из блоков данной аппаратуры входит собственный цифровой вычислитель с реализованным программным кодом. Вся бортовая аппаратура современной зенитной ракеты, как правило, связана единой вычислительной сетью и за-действуется в полном объеме за секунды до выполнения задачи. В это короткое время реализуется максимальная загрузка встроенных вычислительных средств.
На каждом из промежуточных этапов работы бортовой аппаратуры возможно возникновение ситуаций, которые приводят к отклонению от желаемого развития событий. Основываясь на собственном опыте и имеющихся данных зарубежных публикаций, можно отметить, что наибольшие предпосылки для возникновения тех или иных нежелательных ситуаций на борту цифровых ракет после успешного прохождения начального этапа отработки всей аппаратуры создают вычислительные алгоритмы, реализованные в специальном программном обеспечении. Разработчики и изготовители бортовой аппаратуры не всегда имеют полную картину возможных ситуаций внутреннего взаимодействия бортовых систем. Достаточное представление о работе и взаимодействии всех подсистем ракеты получается в процессе отработки в летных экспериментах в завершающей стадии испытаний.
Для наземной отработки указанных алгоритмов создается специальное технологическое оборудование - стенды имитационного, аппаратного и полунатурного моделирования. Верификация указанного комплекса оборудования и математических моделей требует проведения ряда натурных экспериментов с детальной записью большого объема измеренных параметров.
Натурные эксперименты осуществляются в определенных внешних условиях, не всегда соответствующих спланированным. По этой причине, а также с учетом последовательности операций по созданию и уточнению математических моделей, отражающих полученные результаты, процесс верификации моделей и технологического оборудования отдельных
блоков бортовой аппаратуры и всей ракеты в целом - достаточно длительный этап.
Продолжительность этапа отработки также зависит от:
• сложности аппаратуры;
• диапазона условий ее функционирования;
• объема цифрового кода в исполняемых алгоритмах;
• квалификации коллектива разработчиков;
• наличия опыта создания аналогичных систем;
• технологической оснащенности лабо-раторно-испытательной базы и многих других важных факторов.
На этапе натурных конструкторских испытаний неизбежно возникновение разного рода проблем, препятствующих получению конечного результата с проверкой всего объема алгоритмов.
Таким образом, на начальном и последующих этапах отработки изделий ракетной техники нового поколения перед руководителем разработки часто возникает проблема, каким образом донести до заказчика истинное состояние разработки после возникновения тех или иных незапланированных ситуаций.
Для конструктора проблема объективной оценки результатов не значительна, так как отработка изделий осуществляется при выполнении контролируемой последовательности работ с постоянной корректировкой конструкции и алгоритмов по результатам каждой работы с приближением к заданным требованиям. Важность этой оценки возрастает при взаимодействии с заказчиком, когда полученные результаты интерпретируются исключительно исходя из понимания ситуации специалистами структур заказчика. Мнение и аргументы разработчика могут просто игнорироваться.
Разработчикам новой техники хорошо известна на первый взгляд парадоксальная ситуация: возникшая на испытаниях непредвиденная проблема, не связанная с качеством подготовки к экспериментам и с ошибками персонала, является полезным результатом, несмотря на формальное невыполнение пол-
ного объема задач. Специалисты знают, что по результатам неудачи будет вскрыта причина, которая не была учтена из-за недостатка знаний о ней. При подготовке следующей работы эта причина исследуется и принимаются меры по исключению или парированию ее влияния. Таким образом, получение отрицательного результата - всегда ступень к улучшению этого параметра на следующем этапе.
Известны примеры из практики, когда одинаковый отрицательный результат был получен в нескольких летных испытаниях подряд. У отстраненного наблюдателя создается впечатление, что работа проводится впустую методом набора статистики. Однако при правильной организации труда всегда осуществляется движение вперед от работы к работе, вскрываются новые детали, проверяются новые гипотезы, исключаются неподтвержденные версии, отрабатываются новые технические решения, проводятся дополнительные проверки и испытания.
Как уже отмечалось, заказчик считает, что задача натурных работ этапа конструкторских испытаний - не проверка тех или иных технических решений, алгоритмов и процессов для улучшения конструкции, а достижение интегрального результата, т. е. полное выполнение всеми подсистемами заданных требований независимо от этапа отработки и решаемых конструктором задач. Возникающие непредвиденные ситуации на испытаниях в большинстве случаев контролирующие структуры интерпретируют как неуспех не только _ испытаний, но и разработки в целом. Получе- s
ние нескольких проблемных результатов в те- §
о.
чение короткого срока приводит к ожидаемой {3 реакции: «доклады наверх», остановка работ, ь
sfi
назначение комиссий, расследования, «вызовы ^
на ковер» - и к другим методам администра- *
тивного воздействия на процесс разработки. | В результате незапланированных остановок g
работа все равно возобновляется, проводятся о
дополнительные мероприятия, устанавливают- 8
ся новые сроки и т. п. Главные причины поте- а>
ри времени - некорректная оценка заказчиком о
результатов работ этапа конструкторских ис- i
пытаний и, как следствие, частое вмешатель- о ство в процесс отработки. Следует отметить,
что материальная ответственность за большинство результатов все равно возлагается на разработчика.
Указанное противоречие в критериях оценки результатов разработчиком и заказчиком возникает из-за отсутствия объективного учета соотношения общего необходимого количества испытаний, зависящего от степени новизны аппаратуры и конструкции ракет, и указанного в контракте объема натурных работ. Из-за некорректно спланированного объема летных испытаний проведенный объем натурных работ может быть в несколько раз меньше необходимого для осуществления всех проверок. Несмотря на использование моделей и полунатурных стендов, при недостаточном количестве натурных испытаний невскрытые проблемы могут проявиться на заключительных стадиях испытаний, в том числе на этапе приемки заказчиком.
Таким образом, существует объективное противоречие между спланированным в контракте объемом летных испытаний и наличием такого количества бортовой аппаратуры, агрегатов и алгоритмов, для полной проверки которых необходимо проведение числа пусков, нередко на порядок превосходящего спланированное. о Преодоление указанного противоречия
сч' возможно только совмещением большого объ-^ ема проверок в одном пуске, причем вероятность решения всех спланированных задач
о
£ может отличаться от желаемой на начальных <1
7 этапах испытаний.
8 В связи с изложенным на начальном эта-
5
^ пе летных конструкторских испытаний неиз-
Ф бежны отклонения от намеченного идеально-
ш го результата. В процессе выполнения работ
х усредненная оценка (интегральный показатель)
^ функционального качества ракеты должна возрастать в каждом последующем пуске. Именно
| повышение интегрального показателя функцио-
х
ь нального качества ракеты является показателем <и
со правильности реализуемого пути создания изделия нового поколения. Динамика такого роста может свидетельствовать о сложности работ,
О
™ квалификации разработчика, достаточности 8 объема спланированных работ и т. п. ю Важнейшим требованием успешности
и проведения этапа конструкторских испы-
таний зенитных управляемых ракет (ЗУР) является необходимость получения достоверной высокоточной информации внешне-траекторных измерений полета ракет, видеорегистрации процессов встречи ракеты с целью с нескольких точек для определения эффективности работы боевого снаряжения, а также получения телеметрической информации с борта ракеты. Благодаря этим сведениям можно представить детальную картину работы всей бортовой аппаратуры, агрегатов и изделия в целом. В этом случае с учетом сложности изделия и наличия большого объема аппаратуры испытания для конструктора являются успешными. Оценка сложности изделий ракетной техники и ее связь с необходимым объемом испытаний
Для оценки требуемого количества летных экспериментов с разрабатываемыми изделиями ракетной техники целесообразно учесть следующие факторы: количество проверяемых функциональных блоков бортовой аппаратуры (БА), наличие программного обеспечения в них, уровень аппаратной новизны и отработанности (новизны) специального программного обеспечения. Оценка вероятности достижения конечного результата в одной натурной работе ЗУР получит следующий вид:
р=П (рпп рП), (1)
I=1
где Р1 - вероятность достижения конечного результата в одной натурной работе ЗУР;
к - количество функциональных блоков бортовой аппаратуры (БА) (агрегатов) в составе ЗУР;
рапп - вероятность выполнения задачи аппаратной частью /-го блока БА (агрегата);
рПО - вероятность выполнения задачи программной частью /-го блока БА.
Выражение (1) позволяет оценить зависимость конечного результата от состояния отработки БА, соответствующего программного обеспечения (ПО) и агрегатов. В идеальном случае Р1 ~ 1. В практических расчетах результат существенно отличается от идеального. Даже при серийном выпуске отработанной аппаратуры имеется фактор надежности
комплектующих и аппаратуры в целом, который ни при каких обстоятельствах не позволит получить единицу в указанном идеальном случае.
На начальной стадии летных испытаний большинство блоков БА имеет не вполне высокие уровни функциональной готовности. Чем больше доля нового оборудования, тем выше риски того, что не все заранее предусмотрено и результат испытаний может отличаться от запланированного. При наличии сложного ПО, проверка всего диапазона условий работы которого часто невозможна по объективным причинам, значение Р1 может быть очень низким.
Пример 1. Пусть на борту ЗУР имеются 10 функциональных блоков и агрегатов. Предположим, что половина из них заимствована из других отработанных изделий (общий уровень новизны разработки ракеты 50 %). Примем, что с учетом надежности вероятность выполнения задачи заимствованными блоками аппаратуры и агрегатами составляет рапп рПО = 0,99. Пусть оставшаяся часть блоков и агрегатов имеет произведение соответствующих вероятностей рапп рПО = 0,8. Несложно получить результат: Р1 = 0,31.
Таким образом, в одной натурной работе, когда все блоки и агрегаты ЗУР отработают без отклонений и будет получен заданный конечный результат, в условиях принятых допущений вероятность решения задачи в полном объеме не превышает 31 %.
Данная ситуация может быть характерна для начальных этапов конструкторских испытаний. По мере отработки конструкции, учета полученных экспериментальных данных, уточнения условий функционирования объектов, специального ПО и т. п. указанная вероятность будет увеличиваться от работы к работе. Но даже при получении для каждого из функциональных блоков вероятности выполнения задачи 0,99 интегральное значение величины Р1 не превысит 0,9.
Если принять, что изделие разрабатывается впервые с отсутствующими примененными блоками и агрегатами, то начальное значение вероятности Р1 может не достичь даже 0,1.
Использование уравнения (1) для оценок вероятности Р1 не вполне удобно ввиду того, что значения параметров рапп и рПО сложно получить посредством аналитических выражений. Вместе с тем при использовании метода экспертных оценок получение указанных параметров упрощается.
Примем, что каждое из значений рапп и рпО находится в пределах
0,5 <(р;аппи рПО)< 1. (2)
Это допущение базируется на том, что на этапе наземной отработки блоков и агрегатов должен быть достигнут такой уровень готовности, при котором доля положительных исходов при выполнении задачи функциональным блоком в любом летном эксперименте по крайней мере не должна быть меньше доли отрицательных результатов.
Для проведения оценок достижимых результатов натурных работ на различных стадиях испытаний с учетом (2) введем экспертную шкалу:
р? = 0,8, (3.1)
если степень новизны в г-м блоке или агрегате ^ = «апп») или программного обеспечения в г-м блоке или агрегате (/ = «ПО») высокая;
р? = 0,9, (3.2)
если степень новизны в г-м блоке или агрегате ^ = «апп») или программного обеспечения в г-м блоке или агрегате (/ = «ПО») средняя;
р? = 0,95, (3.3) |
о
если степень новизны в г-м блоке или агрегате ^ = «апп») или программного обеспечения в о г-м блоке или агрегате (/ = «ПО») низкая; §
о.
р? = 1, (3.4) |
если степень новизны в г-м блоке или агрегате ш ^ = «апп») или программного обеспечения в
г-м блоке или агрегате (/ = «ПО») отсутствует. £
Для оценок также удобно принять, что о
если в г-м блоке или агрегате ПО отсутствует у
вообще, то рпО = 1. |
Для повышения привлекательности для о использования предложенного подхода целе-
сообразно ввести зависимость коэффициентов (3.1)-(3.4) от времени:
о сч
сч
О!
<
I
(0 те
0 ^
СО те
1
о.
<и
3
и <и со
сч ■ч-ю
с?
сч ■ч-ю сч
(П (П
р { = р№-
(4)
Эта зависимость означает, что в процессе отработки к моменту времени Т0 при успешном завершении испытаний t^■T0 значения коэффициентов р ¡(г) будут стремиться к верхнему пределу неравенства (2). Таким образом, при успешном завершении проектных работ и испытаний нового образца ракетной техники все параметры качества функционирования аппаратуры приблизятся к максимуму, и результирующая вероятность Р1 достигнет заданных значений.
Оценим, какое количество натурных работ N «в одну точку» нужно провести для достижения поставленной цели в допущениях примера 1. Под «точкой» испытаний принято понимать фиксированные условия применения (прогнозируемые параметры встречи ракеты с целью, условия работы обеспечивающих средств, факторы внешней среды, параметры цели и условия ее полета и т. п.).
При вероятности получения желаемого конечного результата не менее 0,95 несложно получить выражение
N _ 1пд - 0,95) я 8 1п(1 - 0,31) '
(5)
Это означает, что на начальном этапе испытаний сложной техники с высокой долей новизны блоков и агрегатов получение желаемого заказчиком конечного результата и проверка правильности работы абсолютно всех блоков и агрегатов маловероятны.
Следует отметить, что результат примера 2 далек от практики и его можно рассматривать как крайний случай. В большинстве ситуаций уровень отработки аппаратуры выше рассмотренного в указанном примере.
Также следует отметить, что скорость роста параметров рапп от одной натурной работы к следующей весьма высока, поэтому
р;апп(0 ^ тах при г > г0 + Д Т,
(6)
Если учесть требуемое количество ситуаций для натурных работ, в том числе количество проверяемых «точек» зоны поражения, типаж целей, виды подстилающей поверхности и их состояния (для бортовых систем с самонаведением), и т. п. условий, то общее требуемое количество натурных работ может превысить несколько сотен.
Пример 2. Для полностью новой техники примененные блоки отсутствуют. Пусть на борту имеются 10 функциональных блоков и агрегатов. Тогда, принимая для определенности, что степень новизны аппаратуры высокая (3.1) у всех блоков и агрегатов, а ПО присутствует только у половины блоков и агрегатов, для начального этапа летных испытаний в пределе получим:
Р = 0,810 • 0,85 = 0,035.
где г - текущее время;
г0 - время начала летных экспериментов;
ДТ - период отработки /-й аппаратуры до требуемого уровня, который может составлять от одного года до нескольких лет.
В части специализированного ПО ситуация, как правило, в корне отличается от проблем аппаратной части. Сроки отработки ПО значительно превышают сроки отработки аппаратной части. Уменьшить сроки отработки ПО, как правило, не удается. Особенности отработки ПО рассмотрены в следующем разделе. Особенности применения цифровых систем на борту изделий сложной ракетной техники
Необходимость создания высококачественного программного обеспечения для использования в современных сложных изделиях ракетной техники ни у кого не вызывает сомнений. Что такое «высококачественное ПО» и какова его стоимость, к сожалению, не всегда должным образом понимается не только заказчиком конечной продукции, но и некоторыми разрабатывающими структурами.
В работе [2] показано, что любое конкретное поведение программной системы рассматривается как некоторый путь в дискретном пространстве состояний, причем перебрать все такие пути при тестировании практически невозможно. Если в конкретном программном продукте имеется всего N независимых 16-разрядных переменных, то нижняя оценка
для общего числа G ее состояний выражается равенством G = 216# Для совсем небольшой программы число N = 10. Общее количество состояний такого ПО составит более 1,46*1048. Для полной проверки даже такой программы не хватит человеческой жизни. В типичных боевых программах бортовых устройств число переменных превосходит 100 единиц.
Неправильное поведение программы на одном из множества возможных путей выполнения может быть обусловлено необнаруженной ошибкой или некорректностью алгоритма, в результате чего могут возникнуть аварии в работе всей системы.
Указанное противоречие между невозможностью проверки всего множества состояний цифровой системы с объемным программным обеспечением и необходимостью отладки в короткие сроки ограниченным по численности коллективом разработчиков обычно решается посредством применения технологий косвенного выборочного контроля с учетом большой совокупности факторов.
Известные методики контроля качества программных продуктов базируются на использовании совокупности метрических данных, характеризующих текущее состояние разрабатываемого продукта, ход процесса разработки, достигнутый уровень зрелости организации-разработчика и многих других [2]. Известно свыше 500 различных измеряемых показателей (метрик), так или иначе относящихся к разработке программных продуктов.
Не претендуя на полноту анализа, отметим некоторые из используемых метрик, которые могут быть полезны для анализа специального программного обеспечения в части динамики и качества его отработки [2].
В основной группе так называемых продуктовых метрик выделяют исходные требования, изменчивость требований, полноту и противоречивость требований, их завершенность, системные компоненты, используемые технологии, размер кода, ветвления в коде, параллелизм и сложность кода, качество кода, пострелизные дефекты кода, инновационность продукта, обратную связь с потребителем, наличие проблем в понимании сущностей некоторых процессов и т. п.
В группе проектных метрик выделяют трудоемкость (суммарные трудозатраты по фазам проекта), производительность труда (единица измерения КЬОС на человеко-день), длительность проекта, уровень автоматизации при разработке исполняемого кода, стоимость и предел стоимости проекта, стоимость строки кода, частоту совершения ошибок, число лиц, участвующих в разработке, плотность выявленных дефектов, опыт совместной работы данного коллектива, опыт работы с данной аппаратно-программной платформой, результативность и экономичность тестирования, а также ряд других.
Далее в статье используются обозначения КЬОС и КАЕЬОС (КЬОС - количество тысяч строк кода на языке Си; КАЕЬОС - количество тысяч строк кода на языке ассемблера). Пересчет КЬОС в КАЕЬОС для языка Си осуществляется увеличением в 2,5 раза, для языка С++ - увеличением в 11 раз [2].
В группе процессных метрик могут использоваться уровень зрелости разработчика, соответствие квалификации, опытность команды и ряд других.
В работе [2] со ссылкой на американский первоисточник приведены обобщенные данные для некоторых метрик по промышленности США за 2000 г. (см. таблицу).
ф о о.
I-
Ü о
Ig
те
.
Эталонные данные по промышленности США за 2000 г.
Метрика Единица измерения Среднее значение Лучшее значение по выборке
Производительность труда КАЕЬОС на человеко-месяц 3,230 7,140
Стоимость строки кода Доллары США на КАЕЬОС 4,334 1,962
Плотность дефектов Число дефектов на КАЕЬОС 15,600 8,100
Эффективность сдерживания дефектов % 95,000 99,500
Пострелизные дефекты Число дефектов на КАЕЬОС 0,780 0,041
те ш о ч
V ^
и о
о
<и
У S
s о о
о см
см
Ol
<
I
о те
о ü CQ <я г
о.
ф
£
и
V
со
см
■Clin
с?
см
■Clin см
(П (П
При определении качества программы через оценку числа остаточных дефектов часто используют подход по уровням N сигма (Ng), причем низший уровень (сигма) допускает наличие около 700 000 дефектов (ошибок) на 1 миллион строк исходного кода, а наивысший уровень качества программы (шесть сигма) допускает в среднем наличие только 3,4 ошибки на миллион строк исходного кода. В настоящее время в мировой индустрии программного обеспечения уровень шесть сигма принят за эталон качества надежного ПО, однако владеют этим уровнем очень немногие.
Завершая анализ способов оценки качества программных продуктов, целесообразно привести модель затрат COCOMO [2], предлагающую три формулы для расчета важнейших показателей разработки программного обеспечения:
Трудоемкость = 4,6 • (KLOC)1,2 (чел.-мес.); (7)
Срок_разработки = 2,5 х х (Трудоемкость)0,32 (мес.);
(8)
Количество_разработчиков = = (Трудоемкость/ Срок_разработки) (чел.) (9)
Приведенные расчетные соотношения справедливы для оценок по созданию встроенного (embedded) ПО для наиболее жестких требований.
Объем строк кода встроенного ПО в бортовых системах управления может составлять 104...106 и более в зависимости от назначения и сложности решаемых задач.
Пример 3. Для бортового оборудования, имеющего 105 строк кода, получим следующие оценки:
• общая трудоемкость разработки специального ПО - 1150 чел.-мес.;
• срок разработки - 24 месяца;
• количество высококвалифицированных разработчиков ПО - 48 человек.
Очевидно, что при меньшем количестве профессиональных разработчиков сроки выполнения проекта увеличатся в соответствующее число раз.
Количество дефектов ПО, которые могут оставаться невыявленными после завершения
разработки, составит порядка 80...100. Эти дефекты могут быть обнаружены значительно позже, на этапе эксплуатации, и стать предпосылками к возникновению ситуаций, которые приведут к невыполнению задачи в целом.
Продолжая анализ сроков отладки ПО, целесообразно вновь обратиться к зарубежному опыту.
В публикации [3] Института анализа оборонных проблем (США) приведены результаты исследований по комплексному анализу влияния объемов программного кода для встроенных вычислительных систем на сроки разработки по данным ряда проектов, включая проекты NASA. Указанные результаты несколько отличаются от приведенных в примере 3, однако они охватывают больший диапазон проектов различной направленности в военной и космической отраслях американской экономики. Имеющиеся различия можно объяснить тем, что в первом рассматриваемом случае [2] оцениваются трудозатраты на отладку законченного программного кода. Оценки трудозатрат из [3] приведены для отработки нового ПО, когда в этом процессе происходят изменения, добавляются новые ветки алгоритмов, учитываются вновь установленные в процессе испытаний связи в виде новых кодов, уточняются процессы функционирования и т. п.
Средняя продолжительность разработки и отладки ПО для сложных компьютеризированных систем военного назначения по данным указанных американских исследований в среднем стабильно постоянна по большинству направлений и составляет 5-8 лет. Попытки ускорить этот процесс приводили к резкому росту затрат при отсутствии желаемого результата. Аналогичное удорожание стоимости проекта происходит и при затягивании сроков работ относительно оптимальных.
В работе [3] приведена аналитическая зависимость среднего времени t (в месяцах) разработки и отладки сложных компьютеризированных систем от комплексного показателя сложности работ S:
t(S) = 20,084g1,72038, S е[0, 1],
при £ = «сложность» отсутствует, имеет место модернизация отработанной техники; при £ = 1 «сложность» максимальная, все, включая аппаратную и программную части, создается с нуля.
Полученная аппроксимация построена по множеству результатов, причем дисперсия оценки сроков разработки, по данным авторов, составляет 0,7165. Выражение (10) вызывает вопросы в части корректности представления зависимости с явно завышенной точностью коэффициентов, однако вполне может быть использовано для оценок.
Можно оценить, что при уровне сложности ПО более 0,6 по шкале [0, 1] продолжительность цикла отработки ПО не может быть менее 4 лет. Для уровня 0,9 (высокой новизны ПО и аппаратуры) оптимальная продолжительность цикла отработки ПО от момента создания до завершения испытаний составит 7-8 лет.
На рис. 1 построена зависимость (10) продолжительности отработки ¿(5) в годах от показателя сложности 5.
В публикации [3] также приведена зависимость продолжительности цикла разработки и развертывания сложной компьютеризированной системы от количества строк программного кода для стандартов американских фирм - разработчиков вооружения и военной техники (ВВТ). Так, при количестве строк кода ~1 млн продолжительность цикла составляет 5 лет, а при количестве строк кода 10 млн соответствующая продолжительность увели-
чивается до 12-13 лет. Указанная зависимость воспроизведена на рис. 2.
18 16 14 12 10
1
0 0,2 0,4 0,6 0,8 5
Рис. 1. Зависимость времени t (годы) отработки компьютеризированных систем военного назначения от комплексного показателя сложности (5)
0
0,01 0,1 1 10 5
Рис. 2. Зависимость минимального времени У (годы) окончательной отработки компьютеризированных систем военного назначения от количества строк кода 5 для уровня проектных организаций США
Важно отметить, что в Минобороны США проводятся многочисленные исследования данных тенденций, однако пока имеется только констатация факта: указанные сроки разработок сохраняются на протяжении последних 15-20 лет, несмотря на быстрое развитие технологий создания и отладки ПО.
Сравнивая полученные оценки оптимальных сроков отработки сложных компьютеризированных систем, затрат на их осуществление, а также установленных заказчиком сроков выполнения работ, можно констатировать наличие противоречия между ними.
На рис. 3 показаны ситуации динамики отработки изделий с различной степенью новизны аппаратуры и ПО.
Для сравнения приведены три кривые:
• кривая I соответствует динамике отработки изделия с минимальными внесенными изменениями в уже отработанную конструкцию и алгоритмы;
• кривая II соответствует динамике отработки изделия с конструкцией средней степени новизны;
• кривая III соответствует динамике отработки изделия с конструкцией и ПО высокой степени новизны.
Эти зависимости отражают существо ранее приведенных оценок сроков отработки ПО сложных компьютеризированных систем.
ф о о.
I-
Ü о
Ig
те
.
те ш о
ч
ф
^
и о
о
<и
У S
s о о
Достаточный уровень отработки Едоп для завершения испытаний
Максимальный уровень отработки £тах
о ■8
л
I и со о
Он
-/— Г
I I _ кг'
«/4 > У"" "]/<1 х 'Е'доп-А
/ / / / / / / ч Время <щ достижения заданного уровня отработки для системы типа III (высокой новизны)
/ / / / / Время % достижения заданного уровня отработки для системы типа П (средней новизны) 1
Установленный заказчиком срок завершения работ
Время, ?
Рис. 3. Зависимости уровней отработки новых изделий при проведении конструкторских испытаний от времени
отработки и сложности изделий
о см
см
О!
<
I
(0 те
г
о ^
со те г о.
<и
3
и <и со
см ■ч-ю
с?
см ■ч-ю см
(П (П
В качестве показателя уровня отработки Е может быть использован интегральный показатель качества образца по совокупности блоков и агрегатов, методика расчета которого приведена в разделе «Методика оценки качества отработки изделий ракетной техники на этапе конструкторских испытаний».
В зависимости от установленного срока завершения работ, предусмотренного контрактом, и степени новизны разработки не исключены ситуации, когда достигнутый к заданному сроку Т0 уровень отработки Е не достигнет требуемого уровня Едоп. В этом случае будет справедливо неравенство
Л _ Едоп — ЕдопТ0 > 0
(11)
Устранение неравенства (11) возможно только переносом времени Т0 вправо. Такие ситуации возникают по причине того, что срок Т0 выполнения контракта по разработке нового образца техники установлен исходя из потребностей заказчика без учета объективных сроков разработки сложной компьютеризированной техники. По факту тенденция переноса сроков Т0 вправо характерна для многих проектов как за рубежом, так и в отечественном оборонно-промышленном комплексе (ОПК).
Следует признать, что далеко не всегда причиной переноса сроков исполнения кон-
тракта является сложность разрабатываемого образца.
Можно выбрать другой путь решения задачи, который обеспечит привязку срока получения результата к заданному времени Т0, допустив возможность значения Л > 0.
Это условие фиксирует факт наличия некоторой остаточной неопределенности в уровне отработки ПО в момент завершения основного этапа отработки и испытаний Т0. В случае наличия объективной оценки достигнутого качества отработки аппаратуры, агрегатов и ПО сложного изделия легко определить уровень остаточных рисков, обусловленных незавершенностью отработки. Очевидно, что основной объем проверок должен быть завершен к моменту времени Т0. Невозможно допустить, что контракт может быть признан выполненным при отсутствии уверенности в том, что в основном диапазоне условий применения задача будет осуществлена должным образом. Вместе с тем отсутствие натурных проверок во всем диапазоне условий применения сохраняет определенные риски (Л > 0) того, что в некоторых случаях возможно возникновение проблем, ранее не встречавшихся в натурных работах.
Таким образом, актуальна задача интегральной оценки качества отработки изделий
ракетной техники по совокупности данных о работе всех подсистем для установления, в том числе, остаточных рисков. Методика оценки качества отработки изделий ракетной техники на этапе конструкторских испытаний Приведенные выше данные свидетельствуют о том, что при испытаниях новой техники с высоким содержанием цифровой аппаратуры с большими объемами программного кода нужно либо ориентироваться на объективные данные по трудозатратам на отработку такой техники и стремиться пройти весь временной цикл до завершения отработки, либо определить способ получения достижимого результата с остаточными рисками в установленные сроки с последующим завершением отработки в процессе эксплуатации принятой заказчиком техники.
В качестве основного показателя оценки качества выполнения изделием ракетной техники своих функций на этапе натурных работ, как было отмечено ранее, заказчик использует показатель успешности пуска (УП), который фиксирует достижение конечной цели - поражение объекта или выполнение полета по заданной траектории.
Для конструктора данный показатель мало информативен. Несмотря на то что на начальном этапе натурных работ вероятность получения конечного результата относительно принятого показателя УП в среднем мала, в каждом натурном эксперименте после анализа результатов проводится уточнение алгоритмов, вскрываются ошибки и неточности ПО, осуществляются корректирующие действия к следующей натурной работе, т. е. обеспечивается улучшение качества работы изделия ракетной техники при проведении последовательности натурных работ. Это нормальный процесс отработки изделия.
Оценим значение математического ожидания показателя УП за время отработки от начального этапа до конечного. Используя выражения (1)-(3), выделим три этапа, на каждом из которых значение вероятности Р1 относительно стабильно:
Р/ - вероятность достижения конечного результата на I (начальном) этапе испытаний;
Р111 - вероятность достижения конечного результата на II (основном) этапе конструкторских испытаний;
Р™ - вероятность достижения конечного результата на III (конечном) этапе испытаний.
Тогда математическое ожидание значения показателя УП будет иметь вид:
1
i
UP = - ,
1 i=i
(12)
где х - индикатор положительного исхода г-го испытания (равен единице, если конечная цель достигнута, и равен нулю, если конечная цель не достигнута независимо от причины);
I - общее количество испытаний на всем протяжении проведения опытной конструкторской работы.
Преобразуем выражение (12), сгруппировав общую сумму в три слагаемых:
1 1 1 1
ир = 1Хх +1 Х XI Х х =
1 '-1 1 1=11+1 1 ¡=12 +1
1=1 1=11+1 I=12 +1 (13)
¿I
1 1 1 1 1 где Дг - количество испытаний первого (начального) этапа;
ЛП - количество испытаний основного этапа отработки;
ЛШ - количество испытаний завершающего этапа.
Приняв для простоты интенсивность испытаний постоянной, выражение (13) удобно представить в следующем виде:
иР = ДТр + ДТ11Р111 + ДЩ™, (14)
ДТ + ДТ„ + ДТш = То,
где ДТг - относительная продолжительность начального этапа испытаний;
ДТП - относительная продолжительность основного этапа испытаний;
ДТШ - относительная продолжительность завершающего этапа испытаний;
Т0 - общая продолжительность срока разработки, определенная контрактом.
Принимая во внимание, что, как правило,
ДТШ << ДТП + ДТг и Р1 < Р11 < Р111, (15)
v о о.
I-
Ü о
I-
те
.
те ш о
ч
ф
ц
и о
о
<и у
S
s о о
о см
см
О!
<
I
со те
0
со те
1
.
<и
3
и <и со
см ■ч-ю
с?
см ■ч-ю см
(П (П
можно сделать вывод: вклад значения третьего слагаемого выражения (14) в результирующую оценку УП незначителен. При этом значение Р™ наиболее близко к требуемому значению эффективности изделия ракетной техники, так как на III (заключительном) этапе изделие в основном отработано.
Этот вывод свидетельствует о том, что используемый заказчиком показатель УП существенно занижает реальное состояние дел с отработкой опытных изделий при усреднении по всей продолжительности испытаний Т0. Таким образом, этот показатель будет приближаться к лучшей оценке только при условии
ДТщ > ДТтт + ДТт.
(16)
Условие (16) при фиксированном времени завершения создания и испытаний опытного образца будет выполнено только на этапе эксплуатации после приемки работы. Другим вариантом адекватного применения показателя УП является оценка математического ожидания успешности пусков только третьего (заключительного) этапа испытаний, которое, как несложно увидеть, соответствует вероятности Р1 выполнения задач пуска:
1
ир=I Хх=Рш,
(17)
3 г=1
где 13 - количество натурных работ на заключительном этапе испытаний.
Заключительный этап испытаний в принятой терминологии соответствует этапу государственных испытаний.
Для конструктора полезно иметь способ оценки качества отработки изделия на протяжении всего процесса создания и испытания новой техники. Тогда при получении роста показателя качества отработки изделия (КОИ) от пуска к пуску можно судить о правильности выбранных технических решений и способов отладки аппаратуры, агрегатов и ПО изделия.
Таким образом, создание методики оценки показателя КОИ позволит получить гораздо лучший инструмент для оценки успешности проводимых работ, чем показатель УП.
Рассмотрим основные подходы к выбору показателей и критериев оценки эффективности (результативности) исследуемых процессов.
Ввиду того что при анализе результатов летных экспериментов необходимо оценивать совокупность параметров и результативность работы многих блоков (агрегатов) и ПО, данная задача относится к классу многокритериальных. Из-за особенностей функционирования ЗУР в полете вклад в конечный результат вносит каждый из агрегатов (блоков бортового оборудования). Выделить наиболее важные из этих агрегатов (блоков аппаратуры) не представляется возможным, так как сбой любого из них приведет к невыполнению задачи в целом. Вместе с тем очевидно, что сложность и надежность указанных агрегатов и блоков существенно различна.
Известно, что для получения оценки качества решения многокритериальных задач часто применяют метод свертки частных показателей [4].
При использовании обобщенных критериев приходится оперировать их значениями, которые обычно лишены содержательного (физического) смысла.
Возникает главный вопрос: как учесть интегральное качество работы и совокупности устройств на борту ракеты в процессе выполнения функциональной задачи?
Удобным для практического применения является метод мультипликативной свертки, когда результирующий показатель качества процесса образуется из произведения (мультипликативной свертки) частных показателей качества работы подсистем большой системы.
Исходя из того что ЗУР содержит определенную совокупность агрегатов, блоков электронной аппаратуры, специальные вычислительные комплексы и алгоритмы управления основными агрегатами и аппаратурой, оценка качества совокупной работы должна обеспечивать интегральную оценку функциональных свойств изделия. Некорректно считать, что если в конкретном пуске отказал один из агрегатов (блоков аппаратуры), то качество работы всей совокупности устройств и агрегатов неудовлетворительное.
Ввиду сложности изделий нового поколения показатель КОИ должен всегда учитывать объем успешно выполненных задач каждым из агрегатов (блоков аппаратуры).
Также в выбранном показателе должен учитываться накопленный положительный опыт по отработке важнейших автономных элементов (блоков аппаратуры, агрегатов, ПО) изделия, выполненных на предыдущих этапах работ.
Важно учесть и то, что в ряде летных экспериментов условия применения изделия отличаются от запланированных. Строгое выполнение условий экспериментов является важнейшим требованием проведения конструкторских испытаний. Если же условия, вызванные внешними причинами, не позволили всему изделию или отдельным устройствам изделия осуществить решение задачи, то этот факт должен быть обязательно учтен при оценке качества выполненной текущей работы. Принцип коллективной ответственности категорически неприемлем для интегральной оценки.
Неправильно приписывать устройству, которое не удалось проверить в работе не по его вине, максимально высокое качество выполнения задачи. Правильно считать, что были возможны различные исходы, однако если имеется положительная предыстория работы рассматриваемого блока, то нельзя не учитывать этого факта.
Анализ вышеперечисленных требований к показателю оценки эффективности выполнения экспериментальных пусков на этапе конструкторских испытаний позволяет сделать следующие выводы:
• дискретный критерий УП (и = 1, если цель поражена, и и = 0 - в противном случае) на этапе конструкторских испытаний изделий не только не имеет практической ценности из-за отсутствия связи с интегральным качеством ракеты, но и повлечет большие ресурсные затраты при его реализации (выше приведены данные по необходимому количеству пусков, которое не вписывается в разумные объемы);
• использование вероятностных показателей не может быть признано целесообразным ввиду того, что для оценки вероятностей тех или иных событий требуется накопление статистики испытаний, что также связано с большим количеством натурных работ. Каждая из работ для накопления статистики должна проводиться в одинаковой совокупности условий, что практически невыполнимо;
• интегральный показатель КОИ на этапе конструкторских испытаний должен быть чувствительным как к итоговому результату выполнения задачи, так и к условиям осуществления пуска, в том числе учитывать невозможность выполнения итоговой задачи. При этом, если удается воспроизвести на верифицированной математической модели результат по полученным данным и довести его до завершающей стадии (до встречи ракеты с целью), а также оценить получаемую вероятность поражения цели, то пуск можно считать успешным, что должно быть отражено на соответствующих частных показателях качества работы устройств и агрегатов.
Ввиду того что готовая методика оценки результативности работы бортовой аппаратуры и агрегатов изделия в условиях жестких ограничений на количество пусков на этапе конструкторских испытаний отсутствовала, предложен подход, позволяющий преодолеть указанную проблему.
В результате анализа требований к показателю КОИ удалось получить эмпирическое выражение для оценки показателя успешности и испытательного пуска изделия к-го типа, отвечающее требованиям, изложенным ранее:
'К
и=П
i=1
1 -
0,5 ( +1)(1 -ßi)
n +1
(18)
где 1к - количество агрегатов (блоков аппаратуры) ЗУР к-го типа, которые обладают функциональной автономностью и являются определяющими в последовательности операций для выполнения основной задачи в пуске;
щ - количество зачетных проверок г-го блока (агрегата) ЗУР в летных экспериментах, в которых достоверно подтверждено, что этот блок (агрегат) выполнил свою задачу;
а, - индикатор возможной аварии или неисправности г-го блока (агрегата): если авария (неисправность) доказана посредством объективных данных телеметрии или средств внешнетраекторных измерений, то а, = 1, если нет, то а, = 0;
в, - индикатор качества выполнения задачи г-м блоком (агрегатом): если задача выполнена и это доказано, то Р,- = 1, если не выпол-
V
о
.
I-
о о
Ig
те
.
те ш о
ч
ф
^
и о
о
<и
У S
s о о
нена и это доказано, то в = 0, а если задача не могла быть выполнена по независящим обстоятельствам и из-за этого проверить качество работы блока в конкретном пуске не удалось, то в = 0,5, или в > 0,5, если блок (агрегат) с высокой долей вероятности мог бы выполнить задачу, так как делал это не один раз в предыдущих пусках.
Коэффициенты а, и в в определенном смысле зависимы, однако каждый из них отражает особенности полученной информации из летного эксперимента, поэтому эти показатели-индикаторы должны оцениваться независимо экспертным путем на основе данных натурных экспериментов.
Нетрудно видеть, что приведенное выражение обладает следующими свойствами.
Показатель и принимает значения в диапазоне от 0 до 1, причем 0 - значение абсолютной неуспешности - нулевого качества отработки изделия, когда достоверно установлена авария абсолютно всех блоков и агрегатов ракеты (чего быть не может в принципе), а значение 1 - при достоверно установленном выполнении задачи пуска, т. е. при эффективном выполнении всеми блоками и агрегатами своих функций и получении видимого результата - поражения о цели в конкретных условиях эксперимента. В сч' этом крайнем случае оценка иполностью соот-^ ветствует значению показателя УП (иР).
Показатель и чувствителен к предысто-£ рии процесса испытаний: чем больше полу-^ чено зачетных проверок качества работы каж-| дого из блоков иР (п), тем меньше влияние единичной аварийной ситуации с указанным о блоком (агрегатом) на интегральный показало тель и. Учет этого фактора очень важен для х конструкторских испытаний, так как авария ^ блока может происходить по причине производственного дефекта, надежностного отка-| за и других факторов, которые напрямую не
г
ь изменяют оценки правильности принятого ш конструкторского решения. Если количество зачетных испытаний рассматриваемого /-го блока мало на протяжении определенного пе-™ риода испытаний, то очередная аварийная си-8 туация с этим блоком будет свидетельствовать ю именно о конструктивном дефекте, требующем и углубленного анализа и доработки конструк-
ции блока (агрегата) или соответствующего ПО. В этом случае вклад аварийной ситуации в интегральный показатель будет осязаемым.
Показатель и чувствителен к первопричине неудачи: если /-й блок в анализируемом пуске отработал правильно и это достоверно установлено, то соответствующий коэффициент в итоговом произведении сомножителей равен 1 независимо от количества полученных зачетных результатов по указанному блоку до этого момента. В случае если рассматриваемый блок (агрегат) не смог выполнить задачу по независящим причинам, но однозначно спрогнозировать результат в случае наличия возможности работы сложно, то вклад в коэффициент итогового произведения будет отличен от единицы. Он будет зависеть от количества зачетных результатов, полученных ранее. И это вполне логично: если количество зачетных результатов велико, то, значит, нет оснований подозревать, что данный блок (агрегат) не выполнил бы задачу и в этот раз. Следует отметить, что роль субъективных факторов при проведении указанных оценок нельзя исключить. Но, как показала практика, оценки и, полученные разными специалистами, отличаются не сильно. С ростом п, эти оценки сходятся.
Для некоторых блоков аппаратуры (веток алгоритмов) проверить работу в конкретном пуске вообще не представляется возможным. Эта ситуация характерна для случаев, когда условия для работы указанного блока не сформировались. Для таких ситуаций уместно принять следующие значения коэффициентов:
а = о, р, = 1.
В качестве критериев успешности этапа конструкторских испытаний с использованием показателя и целесообразны следующие:
• и > 0,95 - пуск успешный;
• и < 0,7 - пуск неуспешный (для завершающего этапа конструкторских испытаний по опыту необходимо поднять планку критерия успешности, например, до уровня и = 0,85);
• 0,7 < и < 0,95 - пуск в целом успешный с показателем успешности и (для завершающего этапа конструкторских испытаний следует ужесточить критерий успешности в целом: 0,85 < и < 0,95).
Значение порога неуспешности, равное 0,7, определяется тем, что к этапу летных конструкторских испытаний часть блоков аппаратуры, агрегатов и ПО отработана и меньших значений получать нельзя, в противном случае необходимо пересматривать результаты наземной конструкторской отработки и автономных летных испытаний.
Для верификации методики приведем пример 4.
Пример 4. Пусть 1к = 15. Предположим, что испытания находятся на начальной стадии, когда количество зачетных пусков мало. Для определенности примем следующие значения параметров по каждому из 15 блоков БА и агрегатов:
п = (2 2 2 2 2 2 2 2 2 2 1 1 1 1 1); а = (0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1); Р = (0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5).
Показатель а, несмотря на то что он должен принимать значение 0 или 1, в данном случае может принять 0,1, что будет означать ненулевую вероятность аварийной работы каждого из блоков аппаратуры. Показатель Р = 0,5 означает неопределенность качества работы блоков (агрегатов) в полете, несмотря на то что в процессе наземной отработки указанных блоков и агрегатов качество работы подтверждено методами моделирования (математического или полунатурного).
После подстановки данных в основную расчетную формулу получим и = 0,182, что свидетельствует о том, что уровень отработки элементов конструкции (блоков, агрегатов) изделий слишком мал. Зачетность относительно готовности к завершающему этапу испытаний далека от требуемой. Конструкторские испытания должны продолжаться.
После проведения отработки на этапе автономных летных испытаний значения параметров могут принять лучшие значения. Примем следующие значения параметров:
п = (5 5 5 5 5 5 5 5 5 5 2 2 2 2 2); а = (0 0 0 0 0 0 0 0 0,1 0,1 0,1 0,1 0,1 0,1 0,1);
Р = (1 1 1 1 1 1 1 1 1 1 1 1 0,5 0,5 0,5).
Это означает, что количество зачетных проверок аппаратуры и агрегатов возросло, аварийность ряда блоков и агрегатов существенно снизилась, а качество выполнения задач рядом блоков (агрегатов) достигло требуемого.
После подстановки данных в основную расчетную формулу получим U = 0,749, что свидетельствует о том, что уровень отработки элементов конструкции (блоков, агрегатов, ПО) изделий значительно повысился. Зачетность относительно готовности к завершающему этапу конструкторских испытаний приблизилась к требуемой.
На основном этапе II конструкторских испытаний могут быть получены следующие данные по отдельным блокам аппаратуры:
n = (10 10 10 10 10 10 10 10 10 10 5 5 5 5 5);
а = (0 0 0 0 0 0 0 0 0 0 0,1 0 0,1 0 0,1);
Р = (1 1 1 1 1 1 1 1 1 1 1 1 1 0,5 0,5 0,5).
Это означает, что количество зачетных проверок большинства блоков аппаратуры и агрегатов еще больше возросло, аварийность ряда блоков и агрегатов продолжала снижаться, а качество выполнения задач большинством блоков (агрегатов) достигло требуемого. Однако неопределенность по блокам, связанным с работой на конечном этапе (этапе встречи с целью), все еще сохраняется.
После подстановки данных в основную расчетную формулу получим U = 0,872, что свидетельствует о том, что уровень отработки элементов конструкции (блоков, агрегатов) изделий вплотную приблизился к требуемому. —
Наконец на завершающем этапе кон- I структорских испытаний может быть полу- ^
I-
чена следующая совокупность результатов по g
отдельным блокам (агрегатам): |
те
n = (15 15 15 15 15 15 15 15 10 10 10 10 10 10 10); s
к
а = (0 0 0 0 0 0 0 0 0 0 0 0 0 0 0); |
m
В = (1 1 1 1 1 1 1 1 1 1 1 1 1 1 0,5). 3
о
Это означает, что количество зачетных 8
проверок аппаратуры и агрегатов еще больше о
возросло, аварийность всех блоков и агрегатов |
практически исключена, а качество выполне- |
ния задач подавляющим большинством блоков о (агрегатов) достигло требуемого.
о см
см
О!
<
I
со те
0 ^
со те
1
о.
<и
3
и <и со
см ■ч-ю
с?
см ■ч-ю см
(П (П
После подстановки данных в основную расчетную формулу получим и = 0,977, что свидетельствует о том, что уровень отработки элементов конструкции (блоков, агрегатов, ПО) изделий соответствует требуемому. За-четность с значением показателя 0,977, значит изделие готово к сдаче заказчику.
Приведенные в примере 4 данные условны и использованы исключительно для иллюстрации связи интегрального показателя успешности с качеством и аварийностью испытываемых блоков и агрегатов изделий.
Требования к интегральному показателю успешности пусков этапа конструкторских испытаний, сформулированные в предыдущем разделе, выполнены. Предложенный метод оценки указанного интегрального показателя чувствителен именно к тем свойствам аппаратуры и агрегатов ракеты, которые и оцениваются на этапе конструкторских испытаний.
Таким образом, на основе проведенного анализа следует вывод о том, что для оценки успешности пусков изделий на этапе конструкторских испытаний целесообразно пользоваться предложенным подходом. Иных вариантов оценки результатов экспериментальных работ, обеспечивающих выполнение сформулированных ранее требований, в доступных источниках не найдено.
Представленная методика апробирована при отработке нескольких изделий ракетной техники нового поколения и показала достаточную чувствительность в плане оценки результатов каждого пуска и динамики успешности работ в целом. На рис. 4 показан примерный вид сглаженной зависимости (18) показателя КОИ от времени и этапов проведения испытаний.
1,0
0,5
0
Начало
Завершение испытаний
Для сравнения на рис. 5 показаны дискретные оценки успешности, приводимые структурами заказчика. Линейчатые оценки показывают результат иР = 1, остальные результаты равны нулю. Причем такие оценки учитывают только конечный результат независимо от того, по какой причине он получен. А таких причин при испытаниях сложной ракетной техники очень много: проблемы наземной составляющей зенитного комплекса, мишенной обстановки, качества бортового оборудования и сборки, человеческий фактор на испытаниях и т. п.
ир
Продолжительность, <
Рис. 4. Примерная зависимость показателя КОИ от времени для трех этапов проведения испытаний
Продолжительность, I
Рис. 5. Дискретные оценки показателя УП, рассчитываемого заказчиком вне зависимости от времени и этапов проведения испытаний
Сравнение графиков на рис. 4 и 5 свидетельствует о наглядности оценки КОИ и полном отсутствии таковой при оценке по показателю УП.
Если принять во внимание ранее полученные выражения и оценки (1)-(4), а также неравенство (11), становится очевидным вывод о том, что при существенных ограничениях выделенного на испытания времени Т0 основной целью испытаний будет являться не столько получение конкретного конечного результата в сжатые сроки, сколько проверка всех возможных ситуаций функционирования ветвящихся алгоритмов. Указанные проверки невозможно провести в натурных работах по причинам множества ограничений. При этом единственным инструментом для решения указанных задач является имитационное моделирование на верифицированных математических моделях.
Таким образом, основной целью натурных работ при малом располагаемом времени на испытания должно быть получение в пер-
вую очередь данных для верификации моделей объектов с последующими значительными объемами вычислений по выявлению ошибок и неточностей программного исполняемого кода. Методы проведения верификации на имитационных моделях приведены в работе [5]. Заключение
Представленные подходы по способам оценки результатов испытаний ориентированы прежде всего на заказчика продукции военного назначения и научно-исследовательские организации Минобороны для объяснения и учета закономерностей создания современной техники при оценке деятельности разрабатывающих предприятий ОПК. Прямолинейные подходы к оценке этой деятельности, не учитывающие особенности и ограничения при проведении испытаний техники нового поколения, наносят вред не только экономике данных предприятий из-за многочисленных несправедливых штрафов и финансовых вычетов за затягивание сроков, но и самому процессу создания отечественной военной техники и вооружения, которые по-прежнему занимают лидирующие позиции в мире.
Научиться понимать проблемы друг друга, наладить тесный профессиональный контакт заказчика и разработчика, уйти от необоснованного вмешательства в процессы создания новой техники - вот тот путь, который позволит предприятиям ОПК не только оставаться на плаву в любых ситуациях, но и по-прежнему быть лидерами мирового рынка вооружений.
Список литературы
1. Проектирование зенитных управляемых ракет / И. И. Архангельский, П. П. Афанасьев, Е. Г. Болотов [и др.]; под ред. И. С. Голубева, В. Г. Светлова. М.: Издательство МАИ, 2001. 732 с.
2. Баранов С. Н., Тележкин А. М. Метрическое обеспечение программных разработок // Труды СПИИРАН. 2014. Вып. 36. С. 5-27.
3. Tate D. Acquisition Cycle Time: Defining the Problem // Acquision Research Symposium. Monterey, CA: Naval Postgraduate School, 2016. Рр. 80-83.
4. Подиновский В. В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. М.: Физматлит, 2007. 64 с.
5. Верификация кода и обнаружение ошибок исполнения путем абстрактной интерпретации. Решение современных проблем тестирования встроенного программного обеспечения. URL: https://matlab.ru/news/statya-verifikaci-ya-koda-i-obnaruzhenie-oshibok-ispolneni-ya-putem-abstraktnoy-interpretacii (дата обращения 30.07.2018).
Поступила 13.09.18
Доронин Виктор Валентинович - доктор технических наук, генеральный директор, генеральный конструктор Акционерного общества «Машиностроительное конструкторское бюро «Факел» имени академика П. Д. Грушина, г. Химки.
Область научных интересов: разработка и проектирование зенитных ракет.
ф о о.
I-
Ü о
Ig
те
.
те m о
ч
ф
и о
о
<и
У
s
s о о
Problems of evaluating development testing quality of missile prototypes in full-scale experiments at the development testing stage and ways of solving these problems
The paper analyses whether the volume of new generation missile testing is sufficient for a given development timescale. We consider development testing specifics for the new generation of missiles. The paper cites labour input estimates for debugging the software used in contemporary surface-to-air missiles. We present an approach to estimating missile design and development process quality according to a combination of indices, taking into account how urgent the problem under consideration is for a range of leading developers, as well as for the benefit of the customer.
Keywords: deve/opment testing, missile engineering, development time, development testing quality, software, software code, onboard equipment modules, launch success index.
Doronin Viktor Valentinovich - Doctor of Engineering Sciences, Director General, Chief Designer, Joint stock company "Academician P. D. Grushin Mechanical Engineering Design Bureau "Fakel", Khimki. Science research interests: development and design of surface-to-air missiles.
о
CM
CM
Ol
<
I
(0 те
0 ^
CO o:
1 Q.
<D
£
U <D CO
