CC BY
29Отдельные аспекты организации испытаний технологий искусственного интеллекта в робототехнических комплексах военного назначения
Подполковник Е.А. НАЗАРОВ, кандидат технических наук
М.Е. ДАНИЛИН
АННОТАЦИЯ
ABSTRACT
Уточняется определение технологии искусственного интеллекта (ИИ), проведен анализ нормативных документов по направлениям организации испытаний систем ИИ и робототехнических комплексов (РТК), определено место испытаний технологий ИИ в жизненном цикле комплексов военного назначения, формализовано взаимодействие входных и выходных факторов в процессе испытаний технологий ИИ, разработаны предложения по формированию набора существенных характеристик для подтверждения доверия к технологии ИИ в системе управления РТК.
The paper specifies the definition of artificial intelligence (AI) technology, analyzes normative documents on the directions of organization of tests of AI systems and robotic systems, determines the place of tests of AI technology in the life cycle of military complexes, formalizes the interaction of input and output factors in the process of tests of AI technology, develops proposals for formation of a set of essential characteristics to confirm the credibility of AI technology in the control system of robotic systems.
КЛЮЧЕВЫЕ СЛОВА
KEYWORDS
Робототехнические устройства, технологии искусственного интеллекта, доверие, способы обеспечения доверия, испытания, виды испытаний, приемочные испытания.
Robotic devices, artificial intelligence technologies, trust, ways to ensure trust, testing, types of testing, acceptance testing.
ОДНОЙ из важнейших составных частей системы строительства Вооруженных Сил Российской Федерации являются мероприятия по их оснащению новейшим вооружением, к которому следует отнести и робототехнические комплексы.
В настоящее время имеется информация о привлечении к уничтожению противопехотных минных полей в ходе специальной военной операции комплекса «Уран-6»1. В Сирийской Арабской Республике без
потерь со стороны личного состава провели разведку боем дистанционно управляемые роботизированные комплексы «Платформа-М»2. Эти примеры успешного использования РТК полностью доказывают резуль-
тативность концепции их развития и боевого применения, эффективная реализация которой зависит прежде всего от степени «интеллектуализации» РТК, т. е. от уровня развития технологий искусственного интеллекта как по отдельности, так и в синергии с единым программно-техническим комплексом3.
В сложившейся ситуации противоречивости нормативной информации доверие к технологиям ИИ является важнейшим условием, определяющим возможность их реализации в системах управления робо-тотехнических комплексов военного назначения.
Основополагающим аспектом, заслуживающим отдельного внимания, является само понятие «технологии ИИ». Мы скомпилировали определения, которые опубликованы в нормативных документах4'5'6, и стремимся избежать употребления тавтологического оборота «технология—технология», поэтому наиболее полной и применимой к системам ИИ, внедренным в РТК, нам видится следующая формулировка.
Технология ИИ — способность системы ИИ, основанная на (математических, алгоритмических, программных и аппаратных) решениях, обеспечивающих в технических системах функции компьютерного зрения, поддержки принятия решений и других практически значимых задач обработки данных и позволяющая имитировать когнитивные функции человека и получать результаты, сопоставимые по качеству и скорости с результатами аналогичной деятельности человека.
Применительно к совершенствованию систем управления перспективных РТК военного назначения пока еще рано рассматривать реализацию новых методов ИИ («сильного интеллекта»), обеспечивающих полную автономность при выполнении боевых
задач. Уже сейчас в качестве обязательного элемента систем управления наземных РТК и беспилотных летательных аппаратов должны реали-зовываться технологии ИИ. Момент, когда РТК огневой поддержки будут штатно интегрированы в боевые порядки общевойсковых подразделений, еще в перспективе, но в настоящее время можно рассчитывать, что войска получат наземные РТК с ограниченным уровнем автономности для выполнения задач инженерного и материально-технического обеспечения.
Определяя границы области исследования, следует сказать, что в статье рассматриваются исключительно технологии «слабого интеллекта», реализованные в РТК и беспилотном транспорте, способные выполнять узкоспециализированные задачи. Тем более что ГОСТ Р 59 2 76-20 207, регламентирующий способы обеспечения доверия, распространяется на системы ИИ, обеспечивающие решение только конкретных практических задач, и не может быть использован для систем «общего» и «сильного» ИИ.
Конечной целью любой технологии является производство продукции или предоставление услуг, требования к качеству которых обязательны для всех без исключения разработчиков и производителей. Для технологий ИИ, реализованных в РТК, как уже упоминалось ранее, качество неразрывно связано с понятием «доверие». Приведенный выше ГОСТ трактует смысловое значение слова «доверие» применительно к технологиям ИИ в РТК как уверенность заинтересованных сторон в гарантированной способности системы управления выполнять возложенные на нее задачи с требуемым уровнем качества. Подтверждение доверия возможно путем испытаний соответствия установленным требованиям значений существенных характеристик систем ИИ (рис. 1).
1 1 (подтверждение соответствия требованиям) 1 1
Разработчик Внутренние требования к системе ИИ Контроль 1 1 -и Соответствие внутренним требованиям 1 1 1
системы ИИ I -и г Открытые требования к системе ИИ 1 | разработки 1 -г* Соответствие открытым требованиям 1
1
1 1 1
Потребитель системы г Т* ) Потребительские требования 1 1, ( 1 Испытаний 1 1 Соответствие требованиям потребителя 1 1 , ) 1 Доверие потребителя
1 1
Орган шация. аПКН!»МнИаЯ 53 регулирование вопрос« создачт и применении 1 1 Требования безопасности 1 1 к 1 | Сертификация 1 1 Соответствие требованиям регулятора 1 1 , 1 1
систем ИИ
Существенна дерактернстики системы ИИ 1_________1
Рис. 1. Схема, поясняющая процедуру обеспечения доверия к системам ИИ (ГОСТ Р 59276-2020)
Возникает вопрос: какую часть технологии ИИ, каким образом и на каком этапе жизненного цикла (ЖЦ) системы ИИ должны подвергать испытаниям для подтверждения соответствия требованиям к реализованной в составе РТК военного назначения технологии ИИ? Нормативные документы на этот счет содержат противоречивую информацию и предоставляют неоднозначные ответы. Первая часть сформулированного вопроса касается структуры самой технологии. Семантическое толкование самого слова «технология» объясняет ее как комплекс организационных методов и средств, направленных прежде всего на производство продукции или предоставление услуг
(материальных или интеллектуальных) и обусловленных текущим уровнем развития науки и техники.
Предлагается вернуться к сформулированному ранее определению, в котором технология ИИ рассматривается как способность, основанная на математических, алгоритмических, программных и аппаратных решениях. Большинство стандартов, находящихся в ведении технического комитета по стандартизации (ТК) 164 «Искусственный интеллект», относят алгоритмическое, программное и аппаратное решения к аппаратно-программной платформе — единому комплексу средств вычислительной техники и системных программ8, т. е. к техническим средствам. Соответственно, матема-
Технология ИИ — способность системы ИИ, основанная на (математических, алгоритмических, программных и аппаратных) решениях, обеспечивающих в технических системах функции компьютерного зрения, поддержки принятия решений и других практически значимых задач обработки данных и позволяющая имитировать когнитивные функции человека и получать результаты, сопоставимые по качеству и скорости с результатами аналогичной деятельности человека.
тическое решение представляется интеллектуальной основой информационно-вычислительной системы (ИВС), на основе которого, в свою очередь, разрабатываются прикладные программы, обеспечивающие выполнение конкретных функциональных задач, например, функций обнаружения и распознавания объектов.
Если опираться в процессе дедукции на функционально-когнитивный подход к организации испытаний9, при котором качество выполнения целевой функции РТК рассматривается и оценивается с точки зрения того, как ее выполнял бы человек, тогда математическая и программно-алгоритмическая составляющие ассоциируются с «теоретическими знаниями», которые заложены в систему ИИ, а аппаратная в очень упрощенном приближении — с прак-
тическими навыками, которыми обладает эта система. Противоречивость и чрезвычайно общий характер информации из национальных стандартов заключаются как раз в том, что предусматривается испытывать только программные средства (ПС), а не комплексную технологию ИИ.
Несмотря на то что в тексте ГОСТ10 рассматриваются стадии и этапы ЖЦ именно системы ИИ, в таблице с их содержанием идет сравнительная отсылка к автоматизированной системе (АС) и ПС (рис. 2). При этом для АС предусматриваются на стадии ввода в действие предварительные и приемочные испытания, а для ПС доверие к ним обеспечивается верификацией (проверкой технических характеристик) и валидацией (проверкой требований к продукту) на стадии применения ПС по назначению.
Рис. 2. Стадии и этапы ЖЦ системы ИИ (ГОСТ Р 59276-2020)
Согласно ГОСТ Р 59276-2020 доверие к системам ИИ должно подтверждаться оценкой соответствия существенных характеристик системы ИИ требованиям, которые определяются разработчиком для выполнения конкретной задачи. Схема, поясняющая рекомендации ГОСТа по составу существенных характеристик систем ИИ, представлена на рисунке 3. При этом в данном ГОСТе приводится ссылка
на документ тридцатилетней давности (ГОСТ Р ИСО/МЭК 9126-9311), который имеет статус действующего. Другими словами, качество систем ИИ оценивается с использованием таких же характеристик, как и программной продукции, что вызывает некоторые вопросы.
Приемо-сдаточные испытания ИВС (рис. 4) предлагается проводить на стадии проектирования12.
Рис. 3. Схема, поясняющая рекомендации ГОСТа по составу существенных характеристик системы ИИ
Рис. 4. Стадии и этапы ЖЦ ИВС (ГОСТ Р 53622-2009)
Другими словами, несмотря на то что техническим комитетом по стандартизации ТК 164 «ИИ» утверждены более полусотни нормативных документов, из которых в названиях двадцати фигурирует слово «испытания», какая-либо информация по поводу организации испытаний технологий ИИ как комплексного понятия отсутствует.
Значительная доля неопределенности в этом вопросе обусловливает
объективную необходимость в создании стройного порядка, устанавливающего место и содержание испытаний технологий ИИ, реализованных в РТК военного назначения. Предлагается эти аспекты рассмотреть на примере сервисного мобильного робота (рис. 5) с условным предположением того, что в ближайшей перспективе в его программно-аппаратном комплексе будет внедрена технология «следуй за мной».
Возникает вопрос: какую часть технологии ИИ, каким образом и на каком этапе жизненного цикла системы ИИ должны подвергать
испытаниям для подтверждения соответствия требованиям к реализованной в составе РТК военного назначения технологии ИИ? Нормативные документы на этот счет содержат противоречивую информацию и предоставляют неоднозначные ответы.
Рис. 5. Наземный РТК для транспортировки военно-технического имущества
Принимая во внимание то, что перспективный РТК имеет оборонное назначение, приоритетное влияние на определение места испытаний однозначно будет иметь нормативный документ, определяющий структуру ЖЦ военной продукции13. Этап испытаний опытного образца военной продукции включен в стадию разработки (рис. 6). Этот тезис предлагается использовать в качестве отправной точки для подготовки
предложений по определению вида (метода) и содержания испытаний технологий ИИ.
В соответствии с другим основополагающим документом14, регламентирующим системные принципы в области испытаний и контроля качества продукции, опытные образцы в целях принятия решения о возможности и целесообразности постановки изделия на производство подвергаются приемочным испытаниям.
Рис. 6. Стадии и этапы ЖЦ изделия военного назначения
Следующий шаг в направлении большей конкретизации места испытаний в ЖЦ РТК следует сделать с учетом требований к их видам и методам, которые установлены другим стандар-том15, обязательным для разработчиков и производителей любых роботов. Согласно установленным указаниям приемочные испытания опытных образцов роботов проводят в целях определения их характеристик на соответствие тре-
бованиям технического задания, в котором специально для технологий ИИ, реализованных в РТК, должен быть сформулирован представительский набор существенных характеристик. Его содержание определяется решаемой прикладной задачей и условиями применения системы ИИ. Прежде всего это должны быть функциональные характеристики, обеспечивающие выполнение целевой функции.
Для РТК грузоподъемностью до 250 кг (рис. 5), разрабатываемого для выполнения задач материально-технического обеспечения общевойсковых подразделений (отделение, взвод) и подразделений родов войск, основным предназначением должна являться транспортировка различных грузов на расстояние до 50 км в режиме следования за оператором. Предполагается, что в его программно-аппаратном комплексе должны быть разработаны и реализованы следующие технологии ИИ:
• «следуй за мной»;
• объезд препятствий, выступающих над поверхностью;
• преодоление неровностей, в том числе углублений, залитых водой;
• определение своих габаритов для проезда между препятствиями и др.
Для каждой из перечисленных технологий потребитель, в рассматриваемом случае какое-либо научно-исследовательское учреждение по заказу одного из управлений Министерства обороны Российской Федерации, формирует представительный набор существенных характеристик для испытаний системы ИИ, который включается в тактико-техническое задание на опытно-конструкторскую работу. Каждая отдельная технология ИИ формализуется целевой функцией Q и задается на нечетком множестве лингвистических переменных q, которые также принимают значения фраз, в нашем случае русского языка. Рассма-
тривая в качестве примера технологию «следуй за мной», предположительно реализованную в программно-аппаратном комплексе транспортного робота, результат ее декомпозиции на элементарные составляющие можно представить как способность:
• распознавания личности оператора;
• к определению траектории и скорости движения оператора, построению ее проекции на плоскость с учетом рельефа;
• к планированию маршрута и управлению движением комплекса с учетом скорости перемещения оператора по нему;
• поддерживать установленную дистанцию до оператора.
В данном случае каждая элементарная способность, входящая в совокупность технологии ИИ Х=и= х, представляется в виде конкретного множества последовательно следующих друг за другом математического, алгоритмического и программного решений, последнее из которых реализуется на аппаратной платформе системы управления РТК. С учетом того, что функциями отклика комплекса должны быть реакции всех его составных частей, эти способности можно рассматривать как входные воздействия на испытуемую систему. Другими словами, система управления РТК после начала работы должна обеспечить реализацию этих способностей У=и'.=к1у. (рис. 7).
Несмотря на то что техническим комитетом по стандартизации ТК 164 «ИИ» утверждены более полусотни нормативных документов, из которых в названиях двадцати фигурирует слово «испытания», какая-либо информация по поводу организации испытаний технологий ИИ как комплексного понятия отсутствует. Значительная доля неопределенности в этом вопросе обусловливает
объективную необходимость в создании стройного порядка, устанавливающего место и содержание испытаний технологий ИИ, реализованных в РТК военного назначения.
I 1"'| I
Рис. 7. Схема, визуализирующая взаимодействие входных и выходных факторов при организации испытаний технологий ИИ
Следующая группа факторов Е=и!=т% (рис. 7), которая должна учитываться в обязательном порядке, искусственно создается при организации испытаний и контролируется — это условия их проведения. В качестве примера предлагается взять теоретические тезисы и требования государственного стандарта ГОСТ Р 60.6.3.15-2021/ИСО 18646-2:201916, в котором даются указания национального стандарта по организации испытаний автономной навигации именно с точки зрения подтверждения доверия к технологии ИИ.
Прежде всего данный ГОСТ определяет понятие «нормальные условия эксплуатации» — диапазон условий внешней среды и других параметров, которые могут влиять на технические характеристики робота (например, нестабильность источника электропитания, электромагнитные поля), в рамках которого поддерживаются технические характеристики робота, указанные изготовителем. Подготовка РТК к испытаниям производится в соответствии с требованием этого нормативного документа. В роли элементов множества Н предлагается рассмотреть все группы факторов, которые учитываются вышеприведенным ГОСТом: условия окружающей среды и экс-
плуатации, состояние поверхности и маршруты перемещения.
Откликом системы управления комплекса, а если быть корректнее, технологии ИИ, которая подвергается испытаниям, должны быть реакции (действия) самого РТК У=и = у (см. рис. 7):
• распознавание личности оператора по определенному набору идентификационных признаков;
• определение в текущий момент времени координат оператора на горизонтальной плоскости их документирования (построение траектории движения);
• планирование своего маршрута вслед движению оператора и управление исполнительными приводами для перемещения по нему;
• оценка дистанции до оператора (при ее увеличении формирование команды на ускорение своего движения, при уменьшении — на замедление (остановку)).
Для каждой реакции у. имеются прямые и косвенные параметры, объединенные во множество /, которые связаны с образом у отображением М: у. . При этом оцениваются реакции комплекса в процессе выполнения им действий, инициируемых технологией ИИ. Численные значения этих оценок/ позволяют опреде-
лить условия работоспособности испытуемой технологии ИИ. Другими словами, все /., которые описываются так называемыми существенными характеристиками и составляют их представительный набор (см. рис. 7), — минимально необходимая и достаточная совокупность, позволяющая потребителю достоверно оценивать качество технологии ИИ при решении конкретной прикладной задачи17.
Для продолжения рассмотрения примера декомпозиции технологии предлагается вариант структуры программных модулей ее реализации на аппаратной платформе РТК (рис. 8).
С учетом того, что технология «следуй за мной» подлежит испытанию при решении конкретной прикладной задачи, в архитектуре системы рассматриваются только два уровня архитектуры18:
первый — физический — уровень сенсоров и исполнительных устройств систем ИИ;
второй — прикладной — уровень прикладного ПО, реализующего алгоритмы интеллектуальной обработки данных.
На блок-схеме взаимодействия программных модулей (см. рис. 8) модули физического уровня выделены цветом. Они отвечают за выполнение функций определения состояния внешней среды, формализуют информацию, поступающую из экс-тероцептивных датчиков, благодаря которым система осуществляет физическое взаимодействие с окружающей средой и оператором, также управляют исполнительными устройствами. Оставшиеся модули относятся к прикладному уровню, они отвечают за подготовку исходных данных для принятия решения и планирования маршрута перемещения.
Предлагается допущение, что уровень информационной инфраструктуры, включающий аппаратные средства хранения, обработки и передачи информации, а также системное ПО, уже сертифицирован и априорно обеспечивает доверие. В этом случае организация испытаний для этого уровня не рассматривается, хотя в представительный набор может быть включен такой косвенный параметр, как время обработки массивов данных.
Рис. 8. Вариант блок-схемы взаимодействия программных модулей, реализующих технологию «следуй за мной»
Для РТК грузоподъемностью до 250 кг, разрабатываемого для выполнения
задач материально-технического обеспечения общевойсковых подразделений (отделение, взвод) и подразделений родов войск, основным предназначением должна являться транспортировка различных грузов на расстояние до 50 км в режиме следования за оператором. Предполагается, что в его программно-аппаратном комплексе должны быть разработаны и реализованы следующие технологии ИИ: «следуй за мной»; объезд препятствий, выступающих над поверхностью; преодоление неровностей, в том числе углублений, залитых водой; определение своих габаритов для проезда между препятствиями и др.
Для модулей физического уровня предлагается использовать следующий набор характеристик, учитывающий прикладной характер функционального назначения РТК:
• набор идентификационных признаков, обеспечивающих его аутентичность, для распознавания оператора;
• ошибка распознавания оператора при предельных значениях освещенности согласно нормальным условиям испытаний19;
• ошибка в оценке расстояния до оператора и др.
Доверие ко всем остальным составляющим набора характеристик (см. рис. 3) подтверждается по методикам с учетом рекомендаций недавно изданного ГОСТ Р 70251-202220. Оценку результатов работы алгоритмических решений технологий предлагается проводить по показателям и критериям качества алгоритмов, изложенных в ГОСТ Р 70 2 50-20 2221.
Функциональные возможности модулей уровня интеллектуальной обработки данных предлагается оценивать с помощью дополнения в набор характеристик, состав которого также определяется в соответствии с указаниями того же ГОСТа22. В качестве примера дополнений можно отметить ошибки в точности измерения пространственного перемещения оператора и соблюдения установленной дистанции до оператора в движении.
Определяя испытания технологии ИИ только в стадию разработки, следует принять во внимание объективное изменение во времени способности вызывать доверие. Оно может быть потеряно системой ИИ на одной из стадий ее ЖЦ. На основании этого рекомендуется назначить дополнительные этапы, в которых будет осуществляться подтверждение доверия к технологии ИИ.
Таким образом, несмотря на избыточность и противоречивость нормативной информации в области организации испытаний информационных систем, подтверждение доверия к технологиям ИИ в РТК является областью, которая находится на пересечении сфер деятельности комитетов по стандартизации ТК 164 «Искусственный интеллект» и ТК 141 «Робототехника» и заслуживает дополнительных исследований. Особенно это касается оборонных стандартов. Дальнейшее производство робототехнической продукции, особенно в условиях обострения внешнеполитической ситуации, немыслимо без стройной, научно обоснованной системы испытаний новейших технологий. Продолжение исследований в области обеспечения доверия к интеллектуальным РТК предоставит отечественному оборонно-промышленному комплексу инструмент для решения важнейших задач строительства Вооруженных Сил Российской Федерации.
ПРИМЕЧАНИЯ
1 Боевое применение робототехниче-ского комплекса «Уран-6» в СВО. URL: https://anna-news.info/boevoe-primenenie-robototehnicheskogo-kompleksa-uran-6-v-svo/ (дата обращения: 12.05.2023).
2 Российская армия испытывает в Сирии боевых роботов. URL: https:// versia.ru/rossijskaya-armiya-ispytyvaet-v-sirii-boevyx-robotov (дата обращения: 12.05.2023).
3 Гончаров А.М., Рябов С.В. Искусственный интеллект как основное направление развития робототехнических комплексов // Военная Мысль. 2021. № 6. С. 65—70.
4 Указ Президента РФ от 10.10.2019 № 490 «О развитии искусственного интеллекта в РФ».
5 ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. М.: Стандартинформ, 2021. С. 16.
6 Технологии и системы искусственного интеллекта военного назначения. Общие положения. Термины и определения. Классификация. Методические материалы. М.: 46 ЦНИИ МО, 2022. С. 18.
7 ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. С. 16.
8 ГОСТ Р 53622-2009. Информационно-вычислительные системы. Стадии и этапы жизненного цикла. Виды и комплектность документов. М.: Стандарт-информ, 2011. С. 12.
9 Заяра А.В., Назаров Е.А., Зайцева А.В. Поиск подходов к испытаниям технологий искусственного интеллекта в наземных робототехнических комплексах. Сборник статей IV Всероссийской научно-технической конференции «Состояние и перспективы развития современной науки по направлению «Робототехника». Анапа: ВИТ «ЭРА», 2023. С. 26—33.
10 ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. С. 16.
11 ГОСТ Р ИСО/МЭК 9126-93. Оценка программной продукции. Характери-
стики качества и руководства по их применению. М.: Издательство стандартов. 2000. С.12.
12 ГОСТ Р 53622-2009. Информационно-вычислительные системы. Стадии и этапы жизненного цикла. Виды и комплектность документов. С. 12.
13 ГОСТ Р 56136-2014. Управление жизненным циклом продукции военного назначения. Термины и определения. М.: Стандартинформ, 2015. С. 12.
14 ГОСТ 16504-81. Система государственных испытаний продукции. Испытания и контроль качества продукции. Основные термины и определения. М.: Стандартинформ, 2011. 38 с.
15 ГОСТ Р 60.0.3.1-2016. Роботы и ро-бототехнические устройства. Виды испытаний. М.: Стандартинформ, 2018. С. 21.
16 ГОСТ Р 60.6.3.15-2021/ИСО 18646-2:2019. Роботы и робототехни-ческие устройства. Рабочие характеристики и соответствующие методы испытаний сервисных мобильных роботов. Ч. 2. Навигация. М.: Стандартинформ,
2021. С. 20.
17 ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. С. 16.
18 Там же.
19 ГОСТ Р 60.6.3.15-2021/ИСО 18646-2:2019. Роботы и робототехни-ческие устройства. Рабочие характеристики и соответствующие методы испытаний сервисных мобильных роботов. Ч. 2. Навигация. С. 20.
20 ГОСТ Р 70251-2022. Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов обнаружения и распознавания препятствий. М.: РСТ, 2022. С. 12.
21 ГОСТ Р 70250-2022. Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта. М.: РСТ,
2022. С. 40.
22 Там же.
