CC BY
150Управление жизненным циклом образцов вооружения, военной
и специальной техники с искусственным интеллектом
С.В. ГАРБУК, кандидат технических наук
АННОТАЦИЯ
ABSTRACT
Рассмотрены особенности технологий искусственного интеллекта (ИИ) и впервые сформулирована взаимоувязанная система требований к разработке, созданию, эксплуатации и утилизации вооружения, военной и специальной техники (ВВСТ) с ИИ, показаны особенности распределения требований между функциональными системами и составными частями данных образцов, обоснованы общие принципы контроля их соответствия установленным требованиям и реагирования на выявленные несоответствия.
The paper looks at the specifics of artificial intelligence (AI) technologies and pioneers description of an interconnected system of requirements for the development, creation, operation and utilization of armaments, military and specialized equipment (AMSE) with AI, showing the specific features of requirements distribution between functional systems and constituents of the said items, and justifying the general principles of control over their correspondence to the set requirements and reaction to mismatches revealed.
КЛЮЧЕВЫЕ СЛОВА
KEYWORDS
Управление жизненным циклом ВВСТ, процессы жизненного цикла ВВСТ, качество ВВСТ, искусственный интеллект, оборонные задачи искусственного интеллекта, стандартизация требований к системам искусственного интеллекта.
Control over AMSE lifecycle, AMSE lifecycle processes, AMSE quality, artificial intelligence, defense tasks for artificial intelligence, standardizing requirements for artificial intelligence systems.
НА СОВРЕМЕННОМ этапе одним из наиболее перспективных направлений совершенствования вооружения, военной и специальной техники (ВВСТ) является применение технологий искусственного интеллекта (ИИ), позволяющих резко повысить эффективность решения задач сбора и обработки информации в различных образцах ВВСТ. При этом сдерживающим фактором полномасштабного внедрения ИИ в ВВСТ является недостаточная проработанность принципов управления жизненным циклом сложных технических систем, разработанных с использованием технологий ИИ.
Динамичное развитие современных отечественных вооружений, военной и специальной техники во многом основывается на принципах управления полным индустриальным (жизненным) циклом (ЖЦ) — от моделирования и проектирования до серийного выпуска изделий, обеспечения их эксплуатации и дальнейшей утилизации, заложенных Указом Президента Российской Федерации от 7 мая 2012 года № 6031.
Общие проблемы создания системы управления ЖЦ ВВСТ на современном этапе рассмотрены в рабо-тах2' 3 4 и других. В частности, к таким проблемам относятся:
• слабая связанность работ на разных стадиях ЖЦ;
• отсутствие нормативных механизмов, предписывающих предприятиям промышленности проводить сервисное обслуживание и ремонт ВВСТ;
• неэффективность системы сбора информации о реальных показателях расхода ресурсов, надежности, готовности, затратах на каждом этапе жизненного цикла изделия;
• недостатки механизмов достоверного расчета стоимости каждого этапа жизненного цикла изделия;
• недостаточно развитые средства моделирования ЖЦ изделия, не позволяющие на стадии разработки прогнозировать его стоимостные и тактико-технические характеристики;
• незавершенность работ по переводу в цифровой вид проектной, научной, эксплуатационной и технической документации о существующих и разрабатываемых образцах ВВСТ;
• риски снятия с производства отдельных узлов и агрегатов ВВСТ.
При этом недостаточное внимание уделено вопросам управления полным ЖЦ ВВСТ, связанным с широкомасштабным использованием в образцах перспективных цифровых технологий, в частности технологий искусственного интеллекта (ИИ). Подобные проблемы непосредственно связаны с особенностями технологий ИИ, к которым можно отнести5:
• разработка систем ИИ предполагает обязательный этап обучения на прецедентах (обучающих наборах данных);
• алгоритмы обработки информации систем ИИ, обучаемых на прецедентах, могут принципиально не обладать свойствами интерпретируемости, объяснимости процесса вычислений и получаемых результатов;
• при аппаратно-программной реализации систем ИИ используются, как правило, специальные вычислительные средства (векторные, тензорные, нейроморфные процессоры и др.) и программные компоненты (программные библиотеки для машинного обучения и др.), оптимизированные для выполнения интел-
лектуальных алгоритмов обработки данных;
• значительная часть систем ИИ рассчитана на автоматизацию естественных интеллектуальных способностей человека;
• системы ИИ рассчитаны на работу с источниками слабо формализованных мультимодальных данных, отличающихся большими объемами, высокой изменчивостью и фрагментарностью;
• эффективность работ по созданию и применению прикладных систем ИИ принципиальным образом зависит от доступности обучающих и тестовых наборов данных разработчикам систем;
• обработка данных в системах ИИ может приводить к тому, что уровень конфиденциальности результатов обработки превышает уровень конфиденциальности исходных данных.
Особенности создания и функционирования системы управления
ЖЦ в условиях применения технологий ИИ в образцах ВВСТ могут быть рассмотрены в разрезе общих задач управления ЖЦ, к которым в соответствии с ГОСТ Р 56135-20146 относятся:
а) задание взаимоувязанной системы требований к образцу ВВСТ, включающей требования к типовой конструкции ВВСТ и системе ее технической эксплуатации;
б) распределение принятых требований между функциональными системами (ФС) и составными частями (СЧ) комплекса (образца) в соответствии с принятыми схемами разукрупнения типовой конструкции;
в) контроль соответствия ВВСТ принятой системе требований на всех стадиях (этапах) ЖЦ;
г) разработка и контроль выполнения необходимых мероприятий в случае выявления несоответствия ВВСТ принятым требованиям.
Задание взаимоувязанной системы требований к образцу ВВСТ и системе ее технической эксплуатации
Перечисленные выше особенности интеллектуальных технологий обусловливают необходимость предъявления к образцам ВВСТ с ИИ дополнительных требований, выполнение которых гарантирует определенный уровень качества функционирования образцов с учетом особенностей и ограничений, присущих этим технологиям. Формирование таких специальных требований к ВВСТ может быть выполнено путем декомпозиции ЖЦ на отдельные процессы в соответствии с национальным стандартом ГОСТ Р 5719320167. Подобный подход является наиболее универсальным, так как не накладывает ограничений на последовательность реализации процессов на стадиях ЖЦ и, соответственно, инвариантен к используемой модели
ЖЦ образца ВВСТ. В статье8 проиллюстрирована возможность применения данного подхода на примере выявления основных задач стандартизации в области управления ЖЦ интеллектуальных систем информационной безопасности. В таблице 1 представлены специальные требования к ВВСТ с ИИ, соответствующие различным процессам ЖЦ, объединенным в четыре основные группы:
• процессы соглашения;
• процессы организационного обеспечения проекта;
• процессы технического управления;
• технические процессы.
Требования, приведенные в таблице 1, могут быть сгруппированы в следующие функциональные группы:
Таблица 1
Специальные требования к ВВСТ с ИИ при реализации различных процессов жизненного цикла
Группа процессов ЖЦ Процесс ЖЦ Вид специального требования к ВВСТ с ИИ
1. Процессы соглашения 1.1. Приобретение при выборе поставщиков ВВСТ с ИИ в состав конкурентных процедур целесообразно включать требования по тестированию имеющихся у поставщиков прототипов ПО на подготовленных заказчиком наборах данных
1.2. Поставка при поставке ВВСТ с ИИ поставщику (разработчику) системы целесообразно включать в состав технической документации детальное описание условий, в которых был сформирован обучающий НД, с учётом заданного перечня существенных условий эксплуатации системы (существенных факторов)
2.1. Управление моделью ЖЦ при формировании модели ЖЦ особо должна быть оговорена возможность дообучения ВВСТ с ИИ на стадии эксплуатации
2.2. Управление инфраструктурой для подтверждения качества ВВСТ с ИИ необходимы специальные средства испытаний алгоритмов ИИ, включая полигоны для физических и полунатурных испытаний, стенды для виртуальных испытаний алгоритмов
2.3. Управление портфелем для эффективного управления портфелем поставщика (разработчика) системы с ИИ необходимо устанавливать требования в области переноса обученных моделей ИИ на смежные прикладные задачи ИИ
2. Процессы организационного обеспечения проекта 2.4. Управление человеческими ресурсами а) в случае если в образце ВВСТ предусматривается автоматизация интеллектуальной деятельности человека с использованием технологий ИИ, для оценки качества ВВСТ с ИИ может понадобиться референтная группа квалифицированных операторов9; б) для эффективной разработки и применения ВВСТ с ИИ должны быть предусмотрены специальные образовательные программы в профильных вузах для подготовки специалистов по созданию и эксплуатации ВВСТ с ИИ
2.5. Управление качеством а) для типовых прикладных задач должны быть разработаны унифицированные перечни существенных функциональных характеристик алгоритмов ИИ и метрики, обеспечивающие оценку качества как степени соответствия значений функциональных характеристик требованиям10; б) если при эксплуатации ВВСТ с ИИ предусмотрено дообучение системы, то должны быть установлены процедуры выделения этапов для периодического контроля качества на стадии эксплуатации
2.6. Управление знаниями должны быть разработаны требования к процедурам повторного использования знаний, полученных в ходе обучения ВВСТ с ИИ, в том числе с использованием процедур «переноса обучения» (transfer learning)
3. Процессы технического управления 3.1. Планирование проекта а) процесс планирования проекта в обязательном порядке должен предусматривать задачи по формированию и актуализации обучающих, тестовых и иных наборов данных, специфичных для конкретной прикладной задачи; б) если при эксплуатации ВВСТ с ИИ предусмотрено дообучение системы, то в плане должны быть предусмотрены этапы для периодического контроля качества на стадии эксплуатации
Продолжение таблицы 1
Группа процессов ЖЦ Процесс ЖЦ Вид специального требования к ВВСТ с ИИ
3. Процессы технического управления 3.2. Оценка и контроль проекта -
3.3. Управление решениями на стадии проектирования ВВСТ с ИИ целесообразно предусмотреть возможность выбора типовой архитектуры системы ИИ, исходя из особенностей решаемой задачи
3.4. Управление рисками а) на этапе обучения и функционирования ВВСТ с ИИ должны учитываться риски, связанные с возможным неконтролируемым повышением уровня конфиденциальности обрабатываемых данных; б) на этапах верификации, валидации и функционирования ВВСТ с ИИ в обязательном порядке должны учитываться специфические риски систем ИИ, связанные с уязвимостью интеллектуальных алгоритмов к воздействию специфических атак на исходные данные, включая состязательные (adversarial) атаки
3.5. Управление конфигурацией должны быть предусмотрены процедуры документирования результатов дообучения ВВСТ с ИИ на стадии эксплуатации
3.6. Управление информацией а) должны быть предусмотрены требования к специфическим процедурам обработки информации, связанным с разметкой данных, необходимых для обучения, дообучения и тестирования ВВСТ с ИИ (далее — НД); б) должны быть разработаны специальные требования к качеству набора данных; в) должны быть разработаны требования к процедурам расширения (аугментации) НД; г) должны быть разработаны унифицированные форматы представления НД. Данная задача имеет место для любых информационных систем, но в случае систем ИИ приобретает особую актуальность вследствие размывания границ между стадиями сбора, хранения и предоставления доступа к данным; д) должны быть разработаны требования к обеспечению конфиденциальности НД, исключающих использование этих данных противником для повышения эффективности реализации угроз ИБ в отношении ВВСТ с ИИ; е) должны быть разработаны требования к методам и средствам гарантированной деклассификации НД, т. е. такого преобразования данных, при котором уровень их конфиденциальности необратимо становится достаточно низким и появляется возможность предоставления этих данных широкому кругу разработчиков ВВСТ с ИИ и другим заинтересованным лицам без рисков нарушения конфиденциальности по 3.6.д
3.7. Измерения а) должны быть разработаны требования к унифицированным процедурам измерения функциональных характеристик ВВСТ с ИИ, основанным на тестировании систем на представительных наборах данных; б) если некорректная работа ВВСТ с ИИ может привести к непосредственным угрозам безопасности третьих лиц, то должны быть предусмотрены унифицированные процедуры измерения (оценки) вероятности реализации таких угроз и тяжести последствий от их реализации
3.8. Гарантии качества а) унифицированные процедуры оценки функциональных характеристик (3.7.а), характеристик безопасности (3.7.б) и качества (2.5) ВВСТ с ИИ должны обеспечивать получение соответствующих оценок с заданными точностью и достоверностью в условиях действующих рисков (3.4) и применительно к планируемым условиям эксплуатации ВВСТ по 4.2; б) гарантии функциональной надежности и безопасности ВВСТ с ИИ должны обеспечиваться за счет выполнения требований по использованию при создании ВВСТ доверенных аппаратно-программных средств, преимущественно основанных на отечественных компонентах
Продолжение таблицы 1
Группа процессов ЖЦ Процесс ЖЦ Вид специального требования к ВВСТ с ИИ
4.1. Анализ назначения а) если технологии ИИ используются в ВВСТ для автоматизации интеллектуальной деятельности человека, то должны быть предусмотрены процедуры формализации соответствующей интеллектуальной прикладной задачи и определение функциональных возможностей 3.7. а и уровня безопасности 3.7.б референтной группы квалифицированных операторов (2.4.а); б) для ВВСТ с ИИ должны быть сформулированы функциональные требования (3.7.а) и требования по безопасности для третьих лиц (3.7.б). При этом могут учитываться возможности квалифицированных операторов 4.1.а по решению заданной прикладной задачи ИБ в ручном режиме
4.2. Определение потребностей и требований заинтересованной стороны а) для типовых прикладных задач должны быть разработаны перечни существенных функциональных характеристик алгоритмов ИИ (см. также 2.5.а); б) для предусмотренных условий эксплуатации ВВСТ с ИИ должны быть определены перечни внешних факторов, существенным образом влияющих на сложность решаемой прикладной задачи ИИ (перечень существенных условий эксплуатации ВВСТ); в) для предусмотренных условий эксплуатации должны быть определены диапазоны допустимых значений существенных условий эксплуатации (4.2.б), при которых должна сохраняться возможность применения ВВСТ с ИИ по назначению (область применения системы, domain) с гарантией по 3.8
4. Технические процессы 4.3. Определение системных требований должен быть предусмотрен анализ объекта автоматизации (образца ВВСТ с ИИ), результатом которого будет являться обоснование технических требований к используемым алгоритмам ИИ (по возможности, без ограничений на способ реализации алгоритма), исходя из ожидаемых тактико-технических характеристик образца. Для такого анализа может быть использован подход, основанный на использовании трехуровневой иерархической модели объекта автоматизации, описанный в статье
4.4. Определение архитектуры определение архитектуры ВВСТ с ИИ в части реализации интеллектуальных алгоритмов обработки данных должно осуществляться с учетом требований по использованию доверенных (преимущественно отечественных) аппаратно-программных компонентов
4.5. Определение проекта —
4.6. Системный анализ должны быть предусмотрены процедуры, обеспечивающие выбор рационального компромисса между объяснимостью (понятностью, transparency, explainability) интеллектуальных алгоритмов ВВСТ с ИИ и качеством системы (по 2.4 и 2.5)
4.7. Реализация реализация ВВСТ с ИИ должна осуществляться с учетом требований по использованию доверенных (преимущественно отечественных) аппаратно-программных компонентов
4.8. Комплексирование —
Продолжение таблицы 1
Группа процессов ЖЦ Процесс ЖЦ Вид специального требования к ВВСТ с ИИ
4.9. Верификация а) должны быть разработаны требования к унифицированным методикам измерения существенных функциональных характеристик по 3.7.а и 4.2.а и методикам оценки рисков для третьих лиц по 3.7.б; б) при необходимости должны быть разработаны фрагменты тестовых наборов данных, на которых должно осуществляться измерение характеристик 4.9.а, и/или описание тестовых ситуаций, в которых необходимо измерять характеристики 4.9.а. Фрагменты тестовых наборов данных и описания тестовых ситуаций должны обеспечивать формирование тестовых НД, обладающих представительностью с учетом предполагаемых условий эксплуатации 4.2; в) должна быть обеспечена конфиденциальность тестовых наборов данных, используемых для оценки соответствия ВВСТ с ИИ предъявляемым требованиям, исключающая снижение достоверности получаемых оценок, вызванное переобучением алгоритмов ИИ
4. Технические процессы 4.10. Передача в том случае если разработчику алгоритмов ИИ недоступны в полном объеме обучающие НД (например, вследствие режимных соображений) и окончательное дообучение ВВСТ с ИИ планируется заказчиком самостоятельно на стадии эксплуатации, должны быть предусмотрены процедуры распределения ответственности за достижение и сохранение требуемых ТТХ между разработчиком и заказчиком образца ВВСТ с ИИ
4.11. Валидация должны быть разработаны унифицированные методики подтверждения возможности успешного решения соответствующих прикладных задач в условиях эксплуатации 4.2
4.12. Функционирование а) на стадии функционирования должны быть установлены требования к процедурам дообучения ВВСТ с ИИ, учитывающие требования по управлению качеством 2.5.б; б) должны быть предусмотрены процедуры непрерывного контроля уровня конфиденциальности обрабатываемых данных, исключающие реализацию рисков в соответствии с 3.4.а
4.13. Сопровождение —
4.14. Изъятие и списание должны быть установлены требования к процедурам оценки уровня конфиденциальности данных, накопленных (сформированных) в процессе функционирования системы. Данные процедуры должны исключать нарушение конфиденциальности информации при изъятии и списании ВВСТ с ИИ
первая — требования к составу и способам измерения существенных функциональных характеристик и характеристик безопасности ВВСТ с ИИ (1.1., 2.2., 2.5.а, 3.4.б, 3.7.а, 3.7.б, 3.8.а, 3.8.б, 4.1.б, 4.2.а, 4.3., 4.6., 4.9.а, 4.9.б, 4.9.в, 4.11.);
вторая — требования по формализации предусмотренных условий эксплуатации ВВСТ с ИИ (4.2.б, 4.2.в);
третья — требования по унификации и обеспечению качества наборов данных, необходимых для создания и оценки соответствия ВВСТ с ИИ (1.2., 3.1.а, 3.6.а, 3.6.б, 3.6.в, 3.6.г);
четвертая — требования по использованию доверенных аппаратно-программных средств, преимущественно реализованных на отечественных компонентах (3.3., 3.8.б, 4.4., 4.7.);
пятая — требования по управлению дообучением ВВСТ с ИИ на стадии эксплуатации (2.1., 2.5.б, 2.6., 3.1.6, 3.5., 4.10., 4.12.а);
шестая — требования в области обеспечения конфиденциальности данных при создании и применении ВВСТ с ИИ (3.4.а, 3.6.д, 3.6.е, 4.12.б, 4.14.);
седьмая — требования по обеспечению возможности масштабирования и тиражирования алгоритмов ИИ на смежные прикладные интеллектуальные задачи (2.3., 2.6.);
восьмая — требования по оценке функциональных возможностей квалифицированного человека-оператора, осуществляющего в ручном режиме решение прикладной задачи, на автоматизацию которой направлено применение алгоритмов ИИ в ВВСТ (2.4.а, 4.1.а);
девятая — требования в области подготовки кадров (2.4.б).
Анализ сформированных групп требований показывает, что наиболее представительная группа (устанавливающая требования к наибольшему количеству процессов ЖЦ) связана со специфическими показателями качества интеллектуальных алгоритмов: особенностями формирования перечней и способами измерения значимых характеристик, определяющих функциональные возможности и уровень безопасности ВВСТ с ИИ.
На сегодняшний день общие вопросы оценки качества интеллектуальных алгоритмов являются достаточно хорошо изученными. Так, например, на рисунке 1 представлена матрица ошибок (Confusion Matrix) для задачи бинарной классификации, в которой TP — количество объектов, правильно отнесенных к классу Positive, TN — количество объектов, правильно отнесенных к классу Negative, FP — количество объектов, ошибочно отнесенных к классу Positive (количество ошибок
первого рода, «ложная тревога»), FN — количество объектов, ошибочно отнесенных к классу Negative (количество ошибок второго рода, «пропуск цели»). Также на рисунке 1 приведены выражения для расчета оценок вероятностей наиболее часто используемых показателей ошибок работы алгоритмов ИИ, основывающиеся на вышеперечисленных четырех базовых показателях качества11. В общем случае матрица ошибок является квадратной матрицей, в которой элемент Crs в строке r и столбце s соответствует количеству случаев, в которых объект, принадлежащий классу или категории r, был отнесен классификатором к классу s.
Представленные на рисунке 1 показатели качества являются универсальными и могут быть использованы для характеристики качества алгоритмов ИИ, разработанных на основе различных методов и используемых для решения разных задач. В то же время при решении конкретных прикладных задач ИИ используются, как правило, частные показатели качества, специфичные для определенной предметной области.
Так, основными показателями качества технологий распознавания слитной речи, используемых, например, в системах радиоэлектронной разведки (в англоязычной литературе используется термин SIGINT, Signals Intelligence) и в голосовых интерфейсах для управления образцами ВВСТ, являются:
• процент правильно распознанных слов (WRR, Word Recognition Rate);
• процент неправильно распознанных слов (WER, Word Error Rate), учитывающий количество замененных, удаленных слов и вставленных слов;
• процент неправильно распознанных предложений/фраз (SER, Sentence Error Rate).
true condition
total population condition positive condition negative Prevalence 2 condition positive X total population Accuracv (ACC) Htp + Zto 2 total population
predicted condition prediction positive True Positive (TP) Power False Positive (FP) Type ! error Positive Predictive Value (PPV), Precision, Relevance I TP False Discovery Rate {FDR} IFP
^prediction positive 2 prediction positive
prediction negative False Negative (FN) Type El error True Negative (TN) False Omission Rate (FOR) I, FN Negative Predictive Value (NPV) Separation Ability ZTN
J] prediction negative E prediction negative
True Positive Rate (TPR) Sensitivity, Recall, Probability of Detection Erp False Positive Rate (FPR) Fall-out, Probability False Alarm E7W Positive Likelihood Ration (LR+) TPR FPR Diagnostic Odds Rate (DOR) LR + LP. - Ft score /TPR-1 + РРУ~гХ~l
2 condition positive ¿^condition negative
False Negative Rate (FfMR) Miss Rate True Negative Rate (TNR) Specificity, Selectivity E™ Negative Likelihood Ration (LR-) FNR TNR I 2 J
£ condition positive £ condition, negative
Рис. 1. Матрица ошибок, иллюстрирующая способы вычисления оценок вероятностей наиболее распространенных показателей ошибок алгоритмов ИИ11
В интеллектуальных системах биометрической идентификации, применяемых, например, для аутентификации и оценки психофизиологического состояния военнослужащих, применяются следующие специальные показатели качества12:
• вероятность отказа регистрации — доля выборки, для которой система не может закончить процесс регистрации вследствие непредоставления необходимых биометрических характеристик, непредоставления при регистрации биометрического образца удовлетворительного качества, неподтверждения схожести со своим заново созданным шаблоном в процессе регистрации;
• вероятность отказа сбора данных — доля попыток верификации или идентификации, для которых биометрическая система не может получить или отобрать образец удовлетворительного качества, включая попытки, при которых биометрическая характеристика не может быть представлена (например, вследствие временной болезни или раны), попытки, при которых не удается про-
извести сегментацию или извлечение необходимых признаков, попытки, при которых извлеченные признаки не подходят по порогу проверки качества;
• вероятность ложного несовпадения — доля образцов, полученных в результате попыток подлинного лица, которые ошибочно признаны несовпадающими с шаблоном той же биометрической характеристики данного пользователя, представившего образец (аналогично ГМЯ на рис. 1, если событием считать предъявление биометрической характеристики подлинным лицом);
• вероятность ложного совпадения — доля образцов, полученных в результате пассивных попыток «самозванца», которые ошибочно признаны совпадающими с шаблонами другого пользователя (аналогично ГРЯ на рис. 1).
На основе этих базовых характеристик вычисляются дополнительные частные характеристики для систем верификации, систем идентификации на открытом множестве и на закрытом множестве.
Специфический набор характеристик качества используется также и для оценки интеллектуальных поисковых систем, применяемых для сбора информации из открытых источников (OSINT, Open Source Intelligence). Так, для определения качества работы поисковой системы в начале списка результатов поиска используется показатель «Точность на уровне n документов» (Precision (n)), который определяется как количество релевантных документов среди первых n документов, деленное на n. Например, если система выдает не более 10 документов на первой странице, то Precision (10) отражает качество результатов системы, получаемых на первой странице.
Для количественного сравнения работы поисковых систем на разных уровнях полноты (TPR, Recall на рис. 1) используется одиннадцатиточечная интерполированная средняя точность (Eleven-point Interpolated Average Precision). Для вычисления этой величины по каждому поисковому запросу точность измеряется в 11 точках на уровнях полноты 0.0, 0.1, 0.2...0.9, 1.0 на кривой «полнота-точность». Для оценки качества полной выдачи поисковой системы применяется показатель средняя точность (Average Precision), которая усредняет точность при выдаче каждого из K релевантных документов.
Точность на уровне i-го релевантного документа Prec_rel (i) равна Precision (pos(i)), если релевантный документ находится в результатах запроса на позиции pos(i). Если i-й релевантный документ не найден, то Prec_rel (i) = 0. Средняя точность для заданного запроса равна среднему значению величины Prec_rel (i) по всем K релевантным документам. Усреднение величины средней точности по всем запросам дает величину MAP (Mean Average Precision) — число, которое характеризует работу
поисковой системы по совокупности запросов.
Таким образом, видно, что для различных прикладных задач ИИ перечни используемых показателей качества могут существенно разниться и при использовании технологий ИИ в составе образцов ВВСТ актуальной является задача унификации характеристик используемых интеллектуальных алгоритмов. Такая унификация подразумевает использование релевантного классификатора задач ИИ, в котором для каждого класса задач могут быть сформулированы единые перечни характеристик качества соответствующих алгоритмов.
Один из возможных вариантов такой классификации алгоритмов ИИ, основанный на аналогии искусственного и естественного интеллекта, представлен в работе13. В классификаторе выделены следующие шесть основных групп интеллектуальных задач и соответствующих им алгоритмов ИИ (рис. 2):
1) распознавание образов;
2) категорирование, построение моделей окружающих объектов и процессов;
3) поиск решений;
4) реализация физических воздействий на окружающую среду;
5) автономное движение и позиционирование в пространстве;
6) социальные коммуникации.
Важно, что в соответствии с предложенной классификацией для каждого класса может быть определен не только единый перечень показателей качества алгоритмов, но и единый перечень факторов, определяющих сложность решения соответствующих интеллектуальных задач (существенных условий эксплуатации). Это открывает возможности по унификации требований в рамках второй группы «Требования по формализации предусмотренных условий эксплуатации ВВСТ с ИИ», процессы
Рис. 2. Универсальные классы задач искусственного интеллекта
4.2.б и 4.2.в (табл. 1). Например, существенными факторами в задачах распознавания образов являются:
• информационные возможности сенсоров (чувствительность, пространственное, временное и радиометрическое разрешение, полоса захвата и др.);
• количество и вариативность классов распознавания;
• уровень полиморфизма объектов одного класса, в том числе связанного с изменением ракурса, реконфигурацией и т. п.;
• продолжительность характерного поведенческого цикла объекта распознавания;
• характеристики фона и/или среды распространения электромагнитных волн (ЭМВ), в том числе уровень пространственно-временной изменчивости фона и среды распространения ЭМВ;
• уровень возможных преднамеренных искажений характеристик распознавания объектов (маскировка и др.), в том числе с использованием состязательных атак.
Совокупность факторов, определяющих существенные условия эксплуатации системы ИИ, должна учитываться при обосновании соответствующих требований к образцу ВВСТ в целом: соответствие уста-
новленным требованиям должно выполняться в заданных условиях эксплуатации. При этом целесообразно разделять следующие виды существенных факторов14:
• контролируемые управляемые факторы, включенные в методику испытания (как независимые переменные);
• контролируемые неуправляемые факторы (постоянные в течение испытаний), являющиеся частью условий испытания;
• неконтролируемые факторы — случайные и независимые от испытания факторы;
Для различных прикладных задач ИИ перечни используемых показателей качества могут существенно разниться
и при использовании технологий ИИ в составе образцов ВВСТ актуальной является задача унификации характеристик используемых
интеллектуальных алгоритмов. Такая унификация подразумевает использование релевантного классификатора задач ИИ, в котором для каждого
класса задач могут быть сформулированы единые перечни
характеристик качества соответствующих алгоритмов.
• незначительные факторы, эффект от которых не будет учитываться.
Особенностью приведенного выше классификатора задач ИИ также является его универсальность в смысле возможности применения как в оборонной, так и в
гражданской сфере. Такое метрологическое единство в области ИИ облегчает трансфер технологий из гражданских областей экономики и открывает дополнительные возможности по повышению эффективности внедрения технологий ИИ в ОПК.
Распределение принятых требований между функциональными системами и составными частями образца ВВСТ
Образец ВВСТ в подавляющем большинстве случаев представляет собой сложную техническую систему (аппаратно-программный или роботизированный комплекс), и технологии ИИ, воплощенные в виде соответствующих алгоритмов, играют в этой системе более или менее значительную, но всегда ограниченную роль. В этой связи важно обеспечить унифицированные подходы к выявлению и локализации в составе образца интеллектуальной технологической компоненты, к которой могут быть предъявлены требования в соответствии с изложенными выше принципами.
Наиболее адекватным представляется подход, основанный на трехуровневой иерархической модели образца ВВСТ, проиллюстрированной на рисунке 3. На верхнем уровне иерархии выявляются типовые объекты автоматизации (ТОА), в которых применяются технологии ИИ. Объекты представляют собой сложные технические (организационно-технические) системы, предназначенные для решения функционально целостной группы отраслевых задач. Так, например, в оборонной сфере к таким объектам относятся15' 16:
• системы поддержки принятия решений различного уровня (стратегического, оперативно-тактического, тактического);
• высокоавтоматизированные средства ВВСТ (авиационные, мор-
ские и сухопутные вооружения и военная техника, средства ПРО, ПВО);
• высокоточное оружие;
• автономные робототехнические комплексы (наземные, воздушные, морские, многосредные);
• системы связи и управления войсками, вооружением и военной техникой;
• системы разведывательно-информационного обеспечения;
• системы топогеодезического обеспечения;
• тактические средства поддержки военнослужащего (ландшафтная навигация, распознавание целей и решение задач «свой—чужой», контроль психофизиологического состояния военнослужащего, коммуникационное обеспечение, в том числе автоматический перевод иностранной речи и т. п.) и другие.
Перечни объектов автоматизации, в которых применяются технологии ИИ, могут устанавливаться в ведомственных организационно-распорядительных документах (в том числе годовом плане стандартизации военной продукции) и актуализируются по мере необходимости.
Технологии ИИ применяются в ТОА для решения различных задач, сформулированных в терминах военных потребителей. Например, применительно к наземным робото-техническим комплексам могут быть выделены задачи автономной (без использования внешних радиона-
Примечание: НРТК — наземный робототехнический комплекс, СОЭР — система оптико-электронной разведки, СУД — система управления движением НРТК,
СРОВИ — система распознавания объектов военной инфраструктуры на аэрокосмических снимках.
Рис. 3. Структура объектов автоматизации, использующих технологий ИИ
вигационных полей) навигации, управления автономным движением, управления оружием и другие (рис.4). Предполагается, что для каждой из таких задач (функционально однородной группы задач) в составе объекта автоматизации предусмо-
трена отдельная функциональная подсистема (ФП), представляющая собой минимально достаточную совокупность персонала и технических средств автоматизации его деятель-ности17, обеспечивающую решение соответствующих задач. Если в со-
Рис. 4. Функциональные подсистемы комплекса в составе командно-штабной машины (КШМ) и боевого робототехнического
комплекса (БРТК)
ставе ФП используются технологии искусственного интеллекта, то она считается функциональной подсистемой с ИИ.
В каждой ФП с ИИ могут быть выделены один или несколько частных алгоритмов искусственного интеллекта, которые решают задачи распознавания образов, категориро-вания, восстановления регрессии и другие задачи, непосредственно относящиеся к классу задач ИИ. При этом важно отметить, что в состав ФП с ИИ могут входить также другие информационные системы и средства автоматизации, не использующие алгоритмы ИИ в своей работе.
Предлагаемая иерархическая структура объектов автоматизации позволяет сформировать целостную систему стандартов в области применения технологий ИИ для автоматизации ВВСТ. При этом в стандартах на уровне объекта автоматизации определяются специфические термины, связанные с применением интеллектуальных технологий, а также общие вопросы, относящиеся ко всем ФП с ИИ, включая:
• вопросы представления данных;
• особенности оборудования информационной инфраструктуры;
• общие требования к оформлению документов;
• перечень ФП, обработка данных в которых осуществляется с использованием алгоритмов ИИ, для данного ТОА.
Для каждой из ФП устанавливаются общие требования:
• перечень частных интеллектуальных алгоритмов в составе ФП с ИИ;
• описание эталонных архитектур, используемых для создания подсистем и частных алгоритмов (при наличии);
• требования к специальной инфраструктуре, обеспечивающей корректное функционирование со-
ответствующей подсистемы (опционально). В случае необходимости могут разрабатываться другие стандарты, охватывающие отдельные аспекты общих требований к ФП с ИИ.
В свою очередь, для каждого из частных алгоритмов ИИ могут устанавливаться требования к способам испытаний, включающие:
1) общие требования:
• описание общих принципов испытания алгоритма;
• перечень существенных внешних условий эксплуатации системы ИИ, определяющих сложность решаемой интеллектуальной задачи и влияющих на результаты испытаний алгоритма ИИ;
• типовой состав входных данных;
• требования к испытательному оборудованию;
• правила оформления результатов испытаний;
2) показатели и критерии качества частного алгоритма ИИ:
• перечень показателей качества алгоритма;
• методики измерения каждого показателя качества алгоритма;
• правила свертки частных показателей качества к скалярной величине (интегральному показателю качества, опционально);
• критериальное правило для оценки качества алгоритма;
3) требования к тестовым наборам данных и сценариям испытания частного алгоритма ИИ:
• требования к представительности тестовых НД;
• фрагменты тестовых НД (базовые демонстрационные НД);
• правила формирования представительных тестовых НД (включая в случае необходимости описание представительной совокупности тестовых сценариев);
• принципы расширения (аугментации) тестовых НД.
Отметим, что в случае использования технологий ИИ в качестве основного способа испытаний алгоритма рассматривается его тестирование на представительном наборе размеченных данных, причем под представительностью понимается полнота и несмещенность выборки. Полнота набора данных обеспечивается с учетом описанных выше перечня существенных условий эксплуатации системы ИИ и перечня показателей качества алгоритма ИИ. Каждый фактор при этом может быть определен на своей шкале значений с учетом физического смысла фактора. Далее исходя из особенностей эксплуатации образца ВВСТ определяются законы распределения значений для каждого существенного фактора, учитывающие в том числе взаимные корреляционные связи факторов. В результате тестовая выборка может считаться несмещенной, если многомерный закон распределения существенных
факторов для этой выборки с некоторой определенной погрешностью соответствует закону распределения факторов в процессе ожидаемых условий эксплуатации образца.
Предложенная структура специфических требований в области ИИ позволяет ограничиться определением роли и места алгоритмов ИИ в комплексном объекте ВВСТ с распределением частных интеллектуальных задач по отдельным ФП, описанием связанной с этим специальной терминологии и формированием детальных требований к методам испытаний используемых в системе интеллектуальных алгоритмов. При этом вопросы комплексных испытаний не затрагиваются, что позволяет избежать дублирования требований в области механических и термических испытаний, электромагнитной совместимости, эргономики и других вопросов, относящихся к объекту автоматизации в целом.
Контроль соответствия ВВСТ принятой системе требований на всех стадиях ЖЦ
Особенности контроля соответствия ВВСТ с ИИ принятой системе требований определяются моделью ЖЦ данного образца ВВСТ, устанавливающей последовательность и временные рамки процессов, необходимых для реализации ЖЦ, обеспечения и контроля характеристик задаваемых, проектируемых, изготавливаемых и эксплуатируемых образцов18. В зависимости от реализации того или иного процесса (см. табл. 1) на определенной стадии ЖЦ принимается решение о необходимости контроля соответствия требований, присущих процессам, реализуемым на соответствующей стадии.
В соответствии с ГОСТ Р 561352014 типовыми стадиями ЖЦ ВВСТ являются:
1) создание НТЗ;
2) формирование концепции образца (аванпроект);
3) разработка;
4) производство;
5) эксплуатация;
6) капитальный ремонт;
7) утилизация.
Таблица 2 иллюстрирует распределение специальных требований, принадлежащих различным группам, по стадиям ЖЦ ВВСТ с ИИ, соответствующее типовой модели жизненного цикла. Значения в ячейках таблицы соответствуют количеству видов требований определенной группы на заданной стадии ЖЦ. Стадия капитального ремонта (№ 6) исключена из таблицы, так как специальных требований
Таблица 2
Типовое распределение требований, принадлежащих различным группам, по стадиям ЖЦ образца ВВСТ с ИИ
№ Группа требований Количество видов требований на стадиях ЖЦ ВВСТ с ИИ
1 2 3 4 5 7
1 Состав и способы измерения характеристик ВВСТ с ИИ 3 5 12 11 9 1
2 Формализация предусмотренных условий эксплуатации 0 1 2 0 2 0
3 Унификация и обеспечение качества наборов данных 2 1 4 5 3 0
4 Использование доверенных аппаратных средств 0 0 3 2 0 0
5 Управление дообучением ВВСТ с ИИ на стадии эксплуатации 0 1 1 1 6 1
6 Обеспечение конфиденциальности данных 0 0 0 3 5 5
7 Масштабирование и тиражирование алгоритмов ИИ 2 0 2 0 0 0
8 Оценка функциональных возможностей квалифицированного человека-оператора 0 1 1 1 2 0
9 Подготовка кадров 0 0 1 1 1 0
Всего 7 9 26 24 28 7
к системам ИИ на этой стадии не предъявляется.
Анализ таблицы свидетельствует о том, что наибольшее количество требований приходится на стадию эксплуатации, а также на стадии разработки и производства ВВСТ с ИИ. На начальных стадиях (формирова-
ние научно-технического задела и обоснование концепции ВВСТ с ИИ) основное внимание уделяется обоснованию ТТХ систем, на стадии утилизации — обеспечению конфиденциальности данных, накопленных за время функционирования системы с ИИ.
Реагирование на выявленные несоответствия ВВСТ принятым требованиям
Реагирование на выявленные несоответствия ВВСТ с ИИ принятым требованиям осуществляется в целях изменения19:
• типовой конструкции и (или) системы технической эксплуатации ВВСТ для устранения несоответствий требованиям;
• принятой системы требований с учетом результатов конструктивной
проработки ВВСТ и (или) накопления опыта их применения по назначению и ТО на стадии эксплуатации.
Выявление несоответствий установленным требованиям в области ИИ (табл. 2) может осуществляться на разных стадиях ЖЦ и при выполнении различных процессов. Реализация мер по реагированию на выявленные несоответствия
осуществляется субъектами управления ЖЦ ВВСТ с ИИ, к которым относятся:
• уполномоченные федеральных органов исполнительной власти (ФОИВ);
• органы управления программой (дирекция программы на базе головного разработчика/головного исполнителя образца ВВСТ);
• головной исполнитель (разработчик) образца ВВСТ в целом;
• головной изготовитель (если он не входит в состав головного исполнителя);
• исполнители (субподрядные организации, отвечающие за разработку алгоритмов ИИ);
• научно-исследовательские организации (НИО) государственных заказчиков и иные научные организации.
Наибольшее количество требований приходится на стадию эксплуатации, а также на стадии разработки и производства ВВСТ с ИИ. На начальных стадиях (формирование научно-технического задела и обоснование концепции ВВСТ
с ИИ) основное внимание уделяется обоснованию ТТХ систем, на стадии утилизации — обеспечению конфиденциальности
данных, накопленных за время функционирования системы с ИИ.
Основные виды возможных несоответствий различным группам требований, способы реагирования на них и ответственные субъекты управления ЖЦ ВВСТ с ИИ представлены в таблице 3.
№ Группа требований / Вид несоответствия Возможные способы реагирования на несоответствие Ответственный субъект управления ЖЦ
Состав и способы измерения характеристик ВВСТ с ИИ
1.1 Некорректный состав учитываемых показателей качества алгоритмов ИИ (неполный, избыточные показатели) Уточнение состава показателей качества алгоритмов ИИ НИО государственных заказчиков
1.2 Некорректные веса частных показателей качества, используемые для определения интегрального показателя качества Уточнение весов частных показателей качества, способов определения интегрального показателя качества НИО государственных заказчиков
2 Формализация предусмотренных условий эксплуатации
2.1 Некорректный состав существенных условий эксплуатации ВВСТ с ИИ (существенных факторов) Уточнение состава существенных факторов НИО государственных заказчиков
2.2 Неточная априорная оценка законов распределения существенных факторов в ходе эксплуатации ВВСТ с ИИ Уточнение законов распределения НИО государственных заказчиков
3 Унификация и обеспечение качества наборов данных
3.1 Недостаточное качество (представительность) обучающих НД Аугментация обучающих НД с учетом уточненных условий эксплуатации ВВСТ с ИИ Исполнители НИОКР
3.2 Недостаточное качество (представительность) тестовых НД Аугментация тестовых НД с учетом уточненных условий эксплуатации ВВСТ с ИИ НИО государственных заказчиков
Таблица 3
Особенности реагирования на выявленные несоответствия различным группам требований к ВВСТ с ИИ
Продолжение таблицы 3
№ Группа требований / Вид несоответствия Возможные способы реагирования на несоответствие Ответственный субъект управления ЖЦ
4 Использование доверенных аппаратных средств
4.1 Использование аппаратно-программных средств (АПС), не соответствующих требованиям в области информационной безопасности Замена используемых АПС на доверенные отечественные, в случае невозможности — проведение сертификационных испытаний АПС в соответствии с установленным классом защищенности объекта автоматизации Головной изготовитель ВВСТ с ИИ
5 Управление дообучением ВВСТ с ИИ на стадии эксплуатации
5.1 Отсутствие возможности использования данных, формируемых в ходе эксплуатации, для дообучения ВВСТ с ИИ Внесение изменений в систему технической эксплуатации ВВСТ с ИИ, предусматривающих возможность дообучения Головной разработчик ВВСТ с ИИ
5.2 Неконтролируемая деградация качества ВВСТ с ИИ при дообучении на стадии эксплуатации Доработка эксплуатационной документации, определяющей порядок подтверждения качества при дообучении ВВСТ с ИИ на стадии эксплуатации Головной разработчик ВВСТ с ИИ
6 Обеспечение конфиденциальности данных
6.1 Неконтролируемое повышение уровня конфиденциальности данных в процессе их обработки в ВВСТ с ИИ на стадии эксплуатации Повышение класса защищенности объекта автоматизации (ВВСТ с ИИ) до необходимого Уполномоченный ФОИВ
6.2 Нарушение конфиденциальности информации при утилизации ВВСТ с ИИ Корректировка организационно-распорядительных документов, определяющих порядок утилизации образцов ВВСТ с ИИ Уполномоченный ФОИВ
7 Масштабирование и тиражирование алгоритмов ИИ
7.1 Недостаточная эффективность использования сформированных наборов и моделей данных на других прикладных задачах в сфере обороны и безопасности Уточнение порядка формирования НД НИО государственных заказчиков
8 Оценка функциональных возможностей квалифицированного человека-оператора
Продолжение таблицы 3
№ Группа требований / Вид несоответствия Возможные способы реагирования на несоответствие Ответственный субъект управления ЖЦ
8.1 Отсутствие или некорректность оценок функциональных возможностей операторов, на автоматизацию деятельности которых направлено использование ИИ в ВВСТ Проведение дополнительных исследований по оценке функциональных возможностей операторов при решении типовых прикладных задач НИО государственных заказчиков
Уточнение требований к ВВСТ с ИИ Уполномоченный ФОИВ
9 Подготовка кадров
9.1 Несоответствие квалификации эксплуатирующего персонала уровню сложности ВВСТ с ИИ Корректировка профессиональных стандартов и образовательных программ в профильных учебных заведениях Уполномоченный ФОИВ
Предложенная структура специфических требований в области ИИ позволяет ограничиться определением роли и места алгоритмов
ИИ в комплексном объекте ВВСТ с распределением частных интеллектуальных задач по отдельным ФП, описанием связанной с этим специальной терминологии и формированием детальных
требований к методам испытаний используемых в системе интеллектуальных алгоритмов. При этом вопросы комплексных испытаний не затрагиваются, что позволяет избежать дублирования требований в области механических и термических испытаний, электромагнитной совместимости, эргономики и других вопросов, относящихся к объекту автоматизации в целом.
Таким образом, в статье впервые с системных позиций были рассмотрены вопросы управления жизненным циклом образцов ВВСТ, использующих технологии искусственного интеллекта. На основе анализа процессов ЖЦ систем предложены принципы формирования и выявлены следующие основные группы требований к ВВСТ с ИИ:
• к составу и способам измерения существенных функциональных показателей и характеристик безопасности ВВСТ с ИИ;
• по формализации предусмотренных условий эксплуатации ВВСТ с ИИ;
• по унификации и обеспечению качества необходимых наборов данных;
• по использованию доверенных аппаратных средств;
• по управлению дообучением ВВСТ с ИИ на стадии эксплуатации;
• в области обеспечения конфиденциальности данных;
• по обеспечению возможности масштабирования и тиражирования алгоритмов ИИ на смежные прикладные интеллектуальные задачи в области обороны и безопасности;
• по оценке функциональных возможностей квалифицированных операторов, на автоматизацию деятельности которых направлено применение алгоритмов ИИ в ВВСТ;
• в области подготовки кадров.
Показано, что к наиболее представительным группам требований относятся характеристики и предусмотренные условия эксплуатации ВВСТ с ИИ. Унификация данных требований обеспечивается за счет использования классификатора интеллектуальных задач, основанного
на аналогии ИИ и естественного интеллекта человека. Сформулированы особенности управления требованиями в зависимости от используемой модели жизненного цикла системы и в привязке к основным субъектам управления жизненным циклом ВВСТ.
ПРИМЕЧАНИЯ
1 Указ Президента Российской Федерации от 7 мая 2012 г. № 603 «О реализации планов (программ) строительства и развития Вооруженных Сил Российской Федерации, других войск, воинских формирований и органов и модернизации оборонно-промышленного комплекса».
2 Буренок В.М. Проблемы создания системы управления полным жизненным циклом вооружения, военной и специальной техники // Вооружение и экономика. 2014. № 2 (27). С. 4—9.
3 Голубев С.С., Кукушкина Г.Р. Проблемы развития системы управления полным жизненным циклом вооружения, военной и специальной техники. Экономика высокотехнологичных производств. Т. 1. 2020. № 4. Октябрь—декабрь. С. 183—196.
4 Звягин А.А. На пороге перемен. Ч. 2. Элита развития. Преображение: монография. М.: ООО «Первое экономическое издательство», 2020. 292 с.
5 Перспективная программа стандартизации в области приоритетного направления «Искусственный интеллект» на 2021—2024 годы. Утверждена 22 декабря 2020 г. URL: https://www.tc164.ru/ Национальная-стандартизация (дата обращения: 10.09.2021).
6 ГОСТ Р 56135-2014. Управление жизненным циклом продукции военного назначения. Общие положения.
7 ГОСТ Р 57193-2016. Системная и программная инженерия. Процессы жизненного цикла систем (ISO/IEC/IEEE 15288:2015, NEQ).
8 Гарбук С.В. Задачи нормативно-технического регулирования интеллекту-
альных систем информационной безопасности // Вопросы кибербезопасности. 2021. № 3 (43). С. 68—83.
9 Гарбук С.В., Бакеев Р.Н. Конкурентная оценка качества технологий интеллектуальной обработки данных // Проблемы управления. 2017. № 6. С. 50—62.
10 Гарбук С.В. Задачи нормативно-технического регулирования...
11 ISO/IEC 24029-1-202X Information technology — Artificial Intelligence (AI) — Assessment of the robustness of neural networks. Part 1: Overview. ANSI. WD stage. 30 October 2019.
12 ГОСТ Р ИСО/МЭК 19795-1-2007. Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы. Ч. 1. Принципы и структура.
13 Гарбук С.В., Губинский А.М. Искусственный интеллект в ведущих странах мира: стратегии развития и военное применение. М.: Знание, 2020, 590 с.
14 ГОСТ Р ИСО/МЭК 19795-1-2007.
15 Гарбук С.В., Губинский А.М. Искусственный интеллект.
16 Гарбук С.В. Применение технологий искусственного интеллекта при разработке и эксплуатации ВВСТ // Сборник по итогам проведения научно-деловой программы Международного военно-технического форума «АРМИЯ-2018». 24—27 августа 2018 года.
17 ГОСТ 34.003-90 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения.
18 ГОСТ Р 56135-2014.
19 Там же.
