Научная статья на тему 'Применение методологии уровней готовности для бережливой разработки цифровых двойников сложных инженерных систем'

Применение методологии уровней готовности для бережливой разработки цифровых двойников сложных инженерных систем Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
503
107
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЦИФРОВОЙ ДВОЙНИК / ТЕХНОЛОГИЧЕСКАЯ ГОТОВНОСТЬ TRL / ВИРТУАЛЬНАЯ МОДЕЛЬ / КРИТИЧЕСКИЙ ЭЛЕМЕНТ / ВЕРИФИКАЦИЯ / ВАЛИДАЦИЯ / ЖИЗНЕННЫЙ ЦИКЛ / DIGITAL TWIN / TRL / TECHNOLOGICAL READINESS LEVEL / VIRTUAL MODEL / CRITICAL ELEMENT / VERIFICATION AND VALIDATION / LIFE CYCLE

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Сартори А. В., Першуков В. А., Мосунова Н.А., Манцевич Н.М.

В силу сложности полномасштабного моделирования объектов и необходимости применения передовых вычислительных технологий, процесс создания цифровых двойников может потребовать значительных временных, финансовых и человеческих ресурсов. Поэтому важным для бережливого управления разработкой цифрового двойника является его позиционирование по функциональным возможностям, определение текущего уровня технологической готовности (TRL) и контроля его динамики на коротких промежутках времени. Предложено описание этапов жизненного цикла виртуальных моделей цифровых двойников и адаптированные к ним условия достижения уровней технологической готовности. Использование детального планирования разработки с целеполаганием по конкретным результатам формализованной TRL-метрики приводит к сокращению времени на разработку, затрат, повышению качества полученных результатов.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Сартори А. В., Першуков В. А., Мосунова Н.А., Манцевич Н.М.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Application of the methodology of readiness levels for the lean development of digital doubles of complex engineering systems

Due to the complexity of full-scale object modeling and the need to use advanced computing technologies, the digital twin development process may require significant time, financial and human resources. Therefore, it is important for lean management of digital twin development to classify them by functionality, determine the current technology readiness level (TRL), and monitor its dynamics over short periods of time. A description of the life cycle stages of digital twins virtual models and adapted conditions to achieve technology readiness level are proposed. The use of the formalized TRL metric for detailed project planning by specific results reduces the development time, costs, and improves the quality of the results.

Текст научной работы на тему «Применение методологии уровней готовности для бережливой разработки цифровых двойников сложных инженерных систем»

A. В. САРТОРИ,

к.ф.- м.н., советник АО «Наука и инновации», г. Москва, Россия, sartoriandrey@gmail.com

B.А. ПЕРШУКОВ,

д.т.н., руководитель проектного направления «Прорыв» - специальный представитель Госкорпорации «Росатом» по международным и научно-техническим проектам,

г. Москва, Россия, VAPershukov@rosatom.ru

Н.А. МОСУНОВА,

д.т.н., заведующая Отделением разработки программного обеспечения для анализа безопасности АЭС ИБРАЭ РАН, г. Москва, Россия, nam@ibrae.ac.ru

Н. М. МАНЦЕВИЧ,

д.т.н., руководитель направления АО «Наука и инновации», г. Москва, Россия, nmman1@rambler.ru

ПРИМЕНЕНИЕ МЕТОДОЛОГИИ УРОВНЕЙ ГОТОВНОСТИ ДЛЯ БЕРЕЖЛИВОЙ РАЗРАБОТКИ ЦИФРОВЫХ ДВОЙНИКОВ СЛОЖНЫХ ИНЖЕНЕРНЫХ СИСТЕМ

УДК 004.94

Сартори А. В., Першуков В.А., Мосунова Н.А., Манцевич Н.М. Применение методологии уровней готовности для бережливой разработки цифровых двойников сложных инженерных систем (АО «Наука и инновации», Старомонетный переулок, д. 26, г. Москва, Россия, 119180; Государственная корпорация по атомной энергии «Росатом», ул. Большая Ордынка, д. 24, г. Москва, Россия, 119017; Институт проблем безопасного развития атомной энергетики Российской академии наук, Большая Тульская ул., д. 52, г. Москва, Россия, 115191)

Аннотация. В силу сложности полномасштабного моделирования объектов и необходимости применения передовых вычислительных технологий, процесс создания цифровых двойников может потребовать значительных временных, финансовых и человеческих ресурсов. Поэтому важным для бережливого управления разработкой цифрового двойника является его позиционирование по функциональным возможностям, определение текущего уровня технологической готовности (TRL) и контроля его динамики на коротких промежутках времени. Предложено описание этапов жизненного цикла виртуальных моделей цифровых двойников и адаптированные к ним условия достижения уровней технологической готовности. Использование детального планирования разработки с целеполаганием по конкретным результатам формализованной TRL-метрики приводит к сокращению времени на разработку, затрат, повышению качества полученных результатов. Ключевые слова: цифровой двойник, технологическая готовность TRL, виртуальная модель, критический элемент, верификация, валидация, жизненный цикл. DOI 10.22394/24W-132X-2020-6-1-2-62-74

Цитирование публикации: Сартори А.В., Першуков В.А., Мосунова Н.А., Манцевич Н.М. (2019) Применение методологии уровней готовности для бережливой разработки цифровых двойников сложных инженерных систем // Экономика науки. Т. 6. № 1-2. С. 62-74.

Исследуемый мною мир есть воистину мир призраков. Но я утверждаю, что эти призраки не только не бессильны, но самым решительным образом влияют на жизнь...

М. Е. Салтыков-Щедрин

ВВЕДЕНИЕ

Индустриальные лидеры во всем мире постоянно ищут новые возможности для улучшения операционной эффективности НА Мосунова работы предприятий, в состав которых входят сложные ин-

Н.М. Манцевич, 2020 г. женерные системы, такие как турбины, реакторы различных типов

(ядерные, химические, биологические), установки добычи газа и нефти, медицинское оборудование, транспортные средства и другие. Уменьшение рисков и потерь, связанных с разработкой и выводом на рынок инновационных решений, обслуживанием, анализом различных экономических сценариев, дают возможность компаниям двигаться в сторону большей прибыльности и конкурентоспособности.

Необходимость разработки цифровых двойников обусловлена стремлением компаний обеспечить новое качество поставляемых продуктов и услуг, снизить себестоимость на всех этапах их жизненного цикла, что позволяет повысить производительность активов, оптимизировать бизнес. Наиболее эффективно применение цифровых двойников при создании высокотехнологичных инженерных систем.

Большое распространение в последнее время получило применение цифровых двойников в интернете вещей. По оценкам [1], три четверти опрошенных компаний планируют использовать цифровые двойники уже в 2020 г. Это важная тенденция, которая дает возможность сделать следующий технологический шаг по объединению цифровых двойников из отдельных элементов в единую систему для оптимального управления.

Исторически цифровые двойники появились намного раньше интернета вещей и гаджетов. Их появление было обусловлено необходимостью сокращения сроков и ресурсов при разработке и эксплуатации новых сложных технических систем, повышения их надежности, обоснования безопасности их эксплуатации путем моделирования рабочих и аномальных режимов, выработки предупреждающих действий. Цифровые двойники как незаменимый инструмент использовались при разработке и эксплуатации двигателей, турбин, самолетов, а также энергоустановок (GE, AIRBUS).

На пути эволюции инженерных приложений и искусственного интеллекта цифровые технологии достигли такого уровня развития, на котором возможно создание цифровых двойников, адекватно описывающих свойства реального физического объекта и его элементов на всех этапах жизненного цикла, создана возможность эффективного моделирования, прогнозирования,

анализа для выбора не доступных ранее индивидуальных сценариев оптимизации сложных систем.

Внедрение цифровых двойников в этом качестве является, в том числе, одним из путей инновационных изменений даже в таких консервативных отраслях промышленности, как например, энергетика [2] или металлургия, где инновационные изменения до недавнего времени зачастую не приводили к заметным изменениям производства.

Развитие цифрового двойника в тесной связке с физическим объектом помогает, с одной стороны, создавать сам инновационный объект, а с другой стороны, развивать цифровой двойник, используя новые экспериментальные данные о процессах, протекающих в объекте. При этом используются передовые достижения науки и техники, такие как построение муль-тифизичных моделей, оптимальное проведение эксперимента, машинное обучение, предсказательное моделирование, оптимизационные алгоритмы, робастный дизайн.

При разработке инновационных технологических/инженерных систем, в которых составляющие элементы существенно влияют друг на друга, цифровые двойники являются наиболее эффективным средством определения приемлемости тех или иных технических решений или вынужденных отклонений от первоначального технического задания путем виртуального интегрирования элементов на ранних уровнях технологической готовности (TRL).

Использование цифрового двойника, разрабатываемого на ранних уровнях готовности, важно для своевременного согласования характеристик системы с надзорными, регулирующими, эксплуатирующими органами с целью ускорения процесса ввода системы как нового продукта в эксплуатацию.

Само содержание понятия «цифровой двойник» оказывается гораздо сложнее, многограннее и продуктивнее, чем просто цифровая модель некоторого процесса, превращаясь в своем развитии из полезного «украшения» в принципиально необходимый фактор успешного развития инженерных систем.

Несмотря на потенциальную привлекательность использования цифровых двойников реальных объектов, в силу сложности

полномасштабного физико-химического моделирования объектов и необходимости применения передовых вычислительных технологий, процесс их создания может потребовать значительных временных, финансовых и человеческих ресурсов. Важнейшую роль при этом играет получение необходимого объема данных и корректность проведения верификации и валидации виртуальных моделей.

С этой точки зрения важным является позиционирование цифрового двойника по его функциональным возможностям, формулировка уровней его технологической готовности, адаптированных к предмету разработки. Детальное планирование с целеполаганием по конкретным результатам с использованием TRL-метрики позволит ввести методы бережливой разработки, приводящие к сокращению временных и финансовых ресурсов, повышению качества полученных результатов [3-4].

Настоящая статья посвящена модели цифрового двойника как важнейшему структурному элементу методологии бережливого НИОКР, определяющему специфику разработки цифровых двойников высокотехнологичных инженерных, формализующую уровни готовности виртуальных моделей. Подробно рассматривается вопрос об уровнях технологической готовности виртуальных моделей, являющихся ключевым компонентом цифровых двойников, выраженных в формализованных критериях достижения результатов на каждом из уровней готовности.

Готовность разрабатываемой виртуальной модели измеряется уровнями от 1 до 9, аналогично широко применяемой методике TRL. Для каждого уровня сформулированы конкретные условия его достижения.

ЦИФРОВЫЕ ДВОЙНИКИ

«Применение концепции цифрового двойника улучшает экономику актива, снижает стоимость владения им (Total Cost of Ownership), делает его более безопасным (включая экологию, социальную сферу), и обеспечивает интерактивность взаимодействия, при которой цифровой двойник сам предупредит, а в некоторых случаях и выполнит те или иные необходимые мероприятия по поддержанию «жизнедеятельности» своего физического alter ego» [5].

В литературе есть большое количество определений цифровых двойников [6]. Приведем одно из определений наиболее общего вида. «Цифровой двойник - это реальное отображение всех компонентов в жизненном цикле продукта с использованием физических данных, виртуальных данных и данных взаимодействия между ними» [7].

Важным для целей настоящей статьи обстоятельством в этих определениях является то, что любая информация, которая может быть получена от существующего или разрабатываемого физического объекта/инженерной системы, должна быть получена на базе его цифрового двойника.

Новые технологии виртуального моделирования предоставляют производителям возможность использовать цифровые двойники в своих продуктах и процессах. Новые продукты можно тестировать в виртуальном мире, существенно экономя ресурсы. Цифровой двойник позволяет компаниям быстрее решать возникающие проблемы разработки высокотехнологичных инженерных систем, обнаруживая коллизии на ранней стадии, проектировать и создавать более качественные и конкурентоспособные продукты и, в конечном итоге, лучше обслуживать своих клиентов/потребителей. С этим типом интеллектуального архитектурного проектирования компании могут реализовывать ценность и выгоды итеративно и быстрее, чем когда-либо прежде [8].

Степень детализации и сложность моделирования цифровых двойников различна.

Есть предложения по созданию относительно простых «цифровых двойников» отдельных элементарных процессов/оборудования, например, промышленного оборудования [9], мельниц, насосов, компрессоров, электродвигателей, генераторов и т.п. Объектами диагностики являются различные характеристики, например, износ и разрушение подшипников, расцен-тровка вала, эксцентриситет, излом и т.п. По этим данным цифровой двойник позволяет дать рекомендации по оптимальным рабочим режимам эксплуатации оборудования, экономного сервисного обслуживания.

Существенно более сложные и экономически эффективные цифровые двойники агрегируют

цифровые двойники элементов, составляющих высокотехнологичную инженерную систему.

«Возможность объединять цифровые двойники элементов между собой будет отличительной чертой в будущем» [1]. Несмотря на то, что агрегированные цифровые двойники очень сложны, «...61 процент компаний, которые внедрили цифровых близнецов, уже интегрировали по крайней мере одну пару цифровых близнецов друг с другом, и еще больше - 74 процента организаций, которые еще не интегрировали цифровых близнецов, сделают это в следующие пять лет» [1]. Примером является разработка корпорацией ЭЕ цифрового двойника тепловой станции [10]. Такая модель цифрового двойника предоставляет рекомендации по проектным ограничениям энергоблока на этапах проектирования, интеграции элементов оборудования при создании, оптимизации ввода в эксплуатацию, выбору эксплуатационных режимов, экономичному сервису путем сопоставления параметров этого оборудования с цифровыми историями использования аналогичного оборудования в базе данных.

Аналогичный опыт создания цифровых двойников имеется и в атомной отрасли, в которой разрабатываются и используются цифровые двойники атомных электростанций.

В модель цифрового двойника тепловой и атомной станции включаются все необходимые характеристики физического объекта, включая данные по геометрии, теплогидрав-лическую, термомеханическую, электрическую, сервисную, экономическую модели, автоматизированную систему контроля и управления, позволяющие осуществлять сопровождение физического объекта на всех этапах его жизненного цикла, начиная с конструирования и проектирования и заканчивая выводом из эксплуатации.

Эти модели позволяют предсказать функционирование станции при изменении условий эксплуатации, таких, как состав топлива, температура окружающей среды, количество обсуживающего персонала, изменение рыночных цен на сырье или комплектующие и многих других. Используя эти цифровые модели-близнецы и современные методы оптимизации, управления и прогнозирования, можно более точно

предсказывать результаты по различным осям: допустимости операционных режимов, производительности, надежности, износа, гибкости, ремонтопригодности, экономической эффективности и другим параметрам.

Цифровой двойник позволяет проверять сценарии «что, если» на соответствие заданным критериям и бизнес-целям, принимать максимально обоснованные управленческие и технические решения.

Цифровой двойник такой высокотехнологичной инженерной системы с описанным функционалом представляет собой очень сложный объект, использующий передовые достижения в математическом моделировании и создании искусственного интеллекта, в том числе следующие.

Модели, основанные на физике: детальные связанные разномасштабные и мультифизичные физические модели, которые рассчитывают все необходимые параметры высокотехнологичной инженерной системы, такие как поток теплоносителя, температурные поля, процессы сгорания топлива, прочностные характеристики оборудования. Ниже приведены некоторые примеры:

• модели производственных процессов;

• модели обнаружения и предупреждения аномальных режимов работы оборудования;

• модели определения ресурса оборудования;

• модели структуры материалов;

• модели управления конфигурацией системы.

Искусственный интеллект: новейшие технологии искусственного интеллекта, которые используют данные, полученные в процессе эксплуатации объекта, для глубокого понимания операционной среды. Вот некоторые примеры:

• распознавание образов;

• модели обучения;

• аналитика неструктурированных данных;

• мультимодальная аналитика данных;

• сети знаний;

• оптимизация;

• робастное моделирование.

Сенсорные технологии: инновационные

решения для сенсоров, выполненные для работы в реальных условиях эксплуатации, предоставляющие информацию для управления

аналитическими моделями. Вот некоторые примеры:

• датчики, интегрированные в объекты;

• технологии инспектирования технического состояния элементов;

• датчики внешней среды (атмосферные, погодные);

• аналитические системы качества сырья и отходов.

Еще одно перспективное направление применения цифровых двойников - виртуальная сертификация и лицензирование вновь создаваемого оборудования. При создании сложных инженерных систем, состоящих из инновационных элементов, практически единственным способом обоснования, удовлетворяет ли система требованиям надзорных органов, является проверка на цифровом двойнике. При этом, по-видимому, для уверенного применения виртуальной сертификации виртуальные модели, входящие в состав цифровых двойников, должны проходить полную верификацию и валидацию по заранее согласованному с сертифицирующим органом плану. Только в этом случае результаты расчета по точности и надёжности могут быть приравнены к результатам реального эксперимента.

В этом направлении цифровые двойники находятся только в начале пути. Однако есть уже пионерные проекты. К ним относится расчетное обоснование аномальных режимов в инновационных проектах энергетических установок [11-12].

Для этих применений важны, в том числе, интеграция различных процессов, детальные мультидисциплинарные САЕ-расчеты, гибкая архитектура и платформа для интеграции различных моделей, эффективные численные алгоритмы решений, системы визуализации ввода и вывода информации, алгоритмы решения обратных задач, оптимизация процессов.

Принципиально важна надежная верификация моделей. Методика и корректный выбор массива достоверных данных для их верификации является важнейшей задачей, определяющей степень достоверности всего цифрового двойника. Работа по верификации должна быть включена в техническое задание на разработку с соответствующими ресурсами по срокам, компетенциям, получению необходимых и достаточных данных.

Ввиду разнообразия существующих определений, форм и содержания цифровых двойников, целесообразно привести классификацию для ключевого компонента цифрового двойника -виртуальной модели системы, которая поможет в определении статуса и уровня готовности разработки всего цифрового двойника сложной инженерной высокотехнологичной системы, его места в жизненном цикле продукта и соответствующего функционала.

СОСТАВ ЦИФРОВОГО ДВОЙНИКА ДЛЯ ВЫСОКОТЕХНОЛОГИЧНЫХ ИНЖЕНЕРНЫХ СЛОЖНЫХ СИСТЕМ

Предметом настоящей статьи являются цифровые двойники и входящие в их состав виртуальные модели сложных систем - физических объектов, существующих или разрабатываемых. Особое место занимают цифровые двойники разрабатываемых систем. Они являются эффективным инструментом ранней диагностики выполнения условий интеграции элементов системы с целью достижения проектных требований.

При разработке системы, состоящей из инновационных элементов, для поэтапной верификации макетов, моделей, экспериментальных образцов, находящихся в разработке, и их взаимодействия, могут создаваться гибридные макеты из физических элементов и виртуальных эмуляторов элементов.

Под инновационными элементами понимаются элементы, построенные на новых принципах или функционирующие в новых условиях, или для масштабирования которых требуются дополнительные обоснования.

Исходя из изложенных описаний применения и функционала цифрового двойника как сложной инженерной системы, в целях данной статьи дадим следующее его определение:

Цифровой двойник - это виртуальное полнофункциональное полномасштабное динамическое представление потенциального или существующего физического объекта/процесса, достоверно описывающее свойства и поведение его физического прототипа на определенных (или всех) стадиях жизненного цикла с использованием аналитических моделей, накопленных

данных, онлайн сенсоров, с целью достижения оптимальных характеристик объекта на соответствующих этапах его жизненного цикла.

В соответствии с таким определением для функционирования цифрового двойника требуется наличие следующих основных структурных элементов.

1. Физический объект - инженерная система, существующая или разрабатываемая. При разработке системы, состоящей из инновационных элементов, для поэтапной верификации макетов, моделей, экспериментальных образцов, находящихся в разработке, могут создаваться гибридные макеты из готовых элементов и виртуальных эмуляторов элементов.

2. Платформа, на которой реализован цифровой двойник, должна включать необходимое оборудование, обеспечивать массовый прием и хранение данных, обмен данными, интеграцию аналитических моделей, управление машинными данными и высокоскоростное выполнение приложений. Среда на всех каналах обмена информацией должна являться высоко-защищенной с помощью кибер-технологии.

3. Виртуальная модель системы - самообучающаяся валидированная мультидисци-плинарная аналитическая (виртуальная), позволяющая динамически рассчитывать текущие характеристики объекта, процессы внутренние и внешние и их возможные последствия на основе онлайн мониторинга потока данных с сенсоров объекта/процесса и базы предшествующих данных. Модель может меняться вместе с изменением объекта в соответствии с этапами жизненного цикла (CAD, CAM, CAE, FMEA и т.д.). Архитектура виртуальной модели должна предусматривать возможность интеграции моделей отдельных элементов в единую систему.

4. База предшествующих данных в форме цифровой истории конкретного объекта и его аналогов, и текущих данных о процессах. Цифровая история используется для построения, верификации и обучения аналитических моделей с целью повышения точности моделирования и отражения изменения элементов, эффективной безопасной эксплуатации физического объекта и его обслуживания.

5. Система сбора информации с объекта/процесса, необходимая и достаточная,

включающая подсистему сбора данных с датчиков. Информация используется для пополнения базы данных и дообучения виртуальных моделей.

6. Пользовательский интерфейс для представления ретроспективы, статуса и прогноза характеристик объекта в виде, удобном для принятия решений по его разработке для различных категорий пользователей при проектировании, изготовлении и эксплуатации, обучении персонала. Пользователями интерфейса могут выступать как сами разработчики, так и эксплуатирующие организации, страховые общества, сервисные компании.

ВИРТУАЛЬНАЯ МОДЕЛЬ В СОСТАВЕ ЦИФРОВЫХ ДВОЙНИКОВ

Не умаляя значения других структурных элементов цифрового двойника, кроме указанных выше, обратим особое внимание на виртуальную модель, от которой напрямую зависит качество, полезность и область применения цифрового двойника.

В обществе иногда встречается мнение, что человечество научилось моделировать большинство процессов, исходя из базовых принципов. Однако это утверждение неверно.

Используемые для практических приложений модели почти всегда включают эмпирические коэффициенты или константы, которые требуют обязательной валидации или настройки на экспериментальных данных. Качество валидации модели и определяет ее пригодность для использования в цифровом двойнике. Отдельную трудность представляет то, что на реальном объекте, как правило, все процессы происходят совместно, поэтому недостаточно валидировать отдельные модели, надо обязательно рассматривать и их взаимное влияние, либо доказывать отсутствие подобного влияния.

По этой причине при верификации виртуальной модели не обойтись без детальных экспериментальных данных, данных, полученных на интегральных стендах, объектах-аналогах или самом объекте, поскольку необходимо обосновать корректность моделирования взаимного влияния процессов различной природы друг на друга.

Решения с использованием виртуальных моделей в составе цифровых двойников строятся на целом комплексе технологий. Для построения виртуальной модели используются численные методы решения сложных дифференциальных систем уравнений, например, на базе метода конечных элементов (Finite Element Analysis). Также применяются CAD-модели, которые содержат информацию о геометрических параметрах и структуре объектов, о материалах, размерах. Используются также FMEA-модели (Failure Mode and Effects Analysis - «анализ видов и последствий отказов»), основанные на анализе надежности систем. Они могут объединять математические модели отказа оборудования/элемента/объекта с базой данных о вероятности отказа того или иного элемента и данными о режимах отказа.

В таблице 1 представлены функционально завершенные этапы эволюции виртуальной модели цифрового двойника на разных фазах жизненного цикла инновационной инженерной системы. Ячейки, выделенные цветом, показывают важность использования виртуальной модели при разработке и эксплуатации структурных элементов цифрового двойника.

Этапы эволюции виртуальной модели цифрового двойника и их функционал можно представить следующим образом.

J-й этап: Геометрические параметры инженерной системы (CAD).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2-й этап: Конструирование инженерной системы (CAE, оптимизация конструкции).

3-й этап: Изготовление инженерной системы (САМ, оптимизация технологических процессов и операций, робастное проектирование).

4-й этап: Предсказательное моделирование (расчет безопасных/аномальных режимов в зависимости от характеристик и истории конкретного объекта).

5-й этап: Режимы эксплуатации (мониторинг, оптимизация режимов с целью снижения эксплуатационных затрат и продления ресурса).

6-й этап: Интеллектуальное сервисное обслуживание (диагностика, прогнозирование сроков службы элементов, оптимизация программы проведения регламентных работ, включая последовательность операций).

7-й этап: Утилизация (отработка режимов утилизации/повторного использования различных элементов системы).

БИЗНЕС-ПРОЦЕСС РАЗРАБОТКИ ВИРТУАЛЬНОЙ МОДЕЛИ В СОСТАВЕ ЦИФРОВЫХ ДВОЙНИКОВ

Описанная выше виртуальная модель весьма сложна и требует тщательного планирования ее разработки и интеграции. Программу разработки виртуальной модели цифрового двойника

Таблица 1

Функционально завершенные этапы эволюции виртуальной модели

Движение системы по жизненному циклу

Модули виртуальной модели цифрового двойника и их функционал

Элементы системы с Й см с Й 00 с Й > с Й с Й 43 с Й к 1

Физический объект

Платформа

Виртуальная модель

Система сбора информации

Пользовательский интерфейс

База производственных, эксплуатационных и сервисных данных

нужно строить с учетом компетенций разработчиков в области моделирования и искусственного интеллекта, ресурсов на получение достоверных данных для валидации, сложности последующей интеграции элементов модели, возможности проведения контроля технологического уровня модели и динамики развития.

Этапы эволюции, представленные выше, являются законченными полнофункциональными модулями цифровой модели. Каждый из них должен содержать верификацию по специально подготовленной матрице верификации.

Для сокращения временных и финансовых ресурсов на разработку всего цифрового двойника нужна трансформация системы управления его созданием, затрагивающая четкое поэтапное планирование по результатам и ресурсам, объективную оценку достигнутого уровня готовности цифровых двойников и их отдельных элементов, систем накопления и хранения экспериментальных данных о поведении и условиях эксплуатации объектов, формирование баз данных, адаптацию интеллектуальных поддерживающих систем, развитие пользовательского интерфейса.

В рамках цифровизации в мире ведется значительное число разработок виртуальных моделей и цифровых двойников. Подчас за общим названием цифрового двойника сложно понять его реальную функциональность, этап жизненного цикла, которому он соответствует. Для внесения ясности в этом вопросе, для менеджеров, принимающих управленческие решения, разработчиков, потенциальных пользователей, целесообразно задать формализованное описание уровней развития (готовности). Кроме того, формирование системы подобных уровней может позволить сократить время разработки и оптимально распределить ресурсы на различных этапах создания цифрового двойника.

В данной статье рассмотрим задачу трансформации бизнес-процесса управления разработкой только для виртуальной модели в составе цифрового двойника и будем решать ее на основе методики бережливого управления инновационными проектами, первоначально представленной в статье [13]. В основе этой методики лежит доработанная и расширенная методология TPRL [4].

УРОВНИ ТЕХНОЛОГИЧЕСКОЙ ГОТОВНОСТИ ВИРТУАЛЬНОЙ МОДЕЛИ В СОСТАВЕ ЦИФРОВЫХ ДВОЙНИКОВ

Технологическая готовность разрабатываемой виртуальной модели в составе цифрового двойника (далее ВМЦД) измеряется уровнями от 1 до 9, аналогично широко применяемой методике TRL [14-19].

Для каждого уровня сформулированы условия его достижения. По общим правилам уровень считается достигнутым при выполнении всех условий. При этом факт выполнения условия определяется по подтверждающим документам.

Процедура оценки может адаптироваться рабочими группами, сформированными локальными правовыми актами организации для проведения независимой оценки, с учетом специфики предметного направления. Более подробно методика оценки уровня готовности исследований и разработок описана в статье [20].

Уровни готовности применимы ко всем модулям виртуальной модели. Таким образом, каждый из модулей CAE, CAM, модуль прямых расчетов режимов и технического прогнозирования, модуль решения обратных задачи и оптимизации режимов, модуль экономики, модуль интеллектуального сервиса, модуль утилизации, в общем случае в своем развитии проходят уровни технологической готовности от 1 до 9.

Модули должны быть интегрированы на базе выбранной вычислительной платформы совместно с другими структурными элементами с целью предоставления полной и достоверной информации о физическом объекте. Описание уровней TRL виртуальной модели в составе цифрового двойника приведены в таблице 2. Для уровней TRL 1-4 условия достижения описаны подробно.

ЗАКЛЮЧЕНИЕ

В статье рассмотрены особенности разработки цифрового двойника сложных высокотехнологичных инженерных систем. Описана функциональность цифрового двойника на основных этапах его жизненного цикла. Приведено определение и предложены структурные элементы цифрового двойника, детально рассмотрена виртуальная модель, входящая в его состав.

Таблица 2

Уровни технологической готовности ТРП-9 для модулей виртуальной модели цифрового двойника

Уровень готовности цифрового двойника Описание шага/условия достижения уровня

ТРИ Сформулировано и утверждено заказчиком детализированное техническое задание на ВМЦД. Т1.1. Пользователь/технический заказчик сформулировал техническое задание, включая определение объекта моделирования, этапы жизненного цикла, режимы работы объекта, которые должна воспроизводить виртуальная модель, перечень ключевых рассчитываемых параметров с целевыми неопределенностями (погрешностями) результатов расчета, требуемыми для достижения заданных характеристик объекта моделирования, сроки разработки, предпочтительные вычислительные платформы, на которых будет использоваться ВМЦД, требования к быстродействию, определена необходимость аттестации (если применимо). Задание включает режимы и особенности работы объекта моделирования на всем жизненном цикле, включая разработку, изготовление, эксплуатацию в нормальном и аварийном режиме, сервисное обслуживание, утилизацию, интеллектуальный сервис оборудования.

Т1.2. Проведен обзор аналогов программного обеспечения, выбрана база для разработки или обоснована необходимость разработки ВМЦД «с нуля».

Т1.3. Техническое задание согласовано с пользователем/техническим заказчиком и исполнителем, утверждено заказчиком работ.

Т2.1. Подготовлены исходные данные по объекту, виртуальная модель которого создается - геометрические параметры, используемые материалы и их характеристики, режимы эксплуатации и другие (в зависимости от требуемой функциональности виртуальной модели). Данные заведены в автоматизированные системы. Т2.2. Составлена матрица верификации ВМЦД: определен перечень режимов объекта моделирования, ключевые процессы и явления, которые должна моделировать ВМЦД, с ранжированием по степени важности, аналитические задачи, экспериментальные данные, реперные коды, которые могут использоваться для верификации ВМЦД, включая оценку пригодности экспериментальных данных для верификации ВМЦД (измерение необходимых параметров, погрешности/неопределенности измерений, которые позволяют достичь требуемую точность моделирования).

Т2.3. Матрица верификации и валидации согласована с техническим заказчиком (см. Т1.1)/потенциальным пользователем, утверждена заказчиком (при наличии).

ТМ2 Сформулированы Т2.4. Матрица верификации и валидации разбита на подэтапы ВМЦД-0 (пре-альфа-вер-сия: базовый функционал), ВМЦД-1 (альфа-версия ВМЦД: расширенный функционал), ВМЦД-2 (бета-версия ВМЦД: полный функционал).

детальные технические требования к ВМЦД, определены архитектура ВМЦД, процедура контроля Т2.5. Сформулирована методика оценки погрешностей/неопределенностей результатов расчетов.

Т2.6. Определена платформа создания ВМЦД и интеграции структурных элементов системы, в том числе моделей отдельных процессов.

качества. Т2.7. Определена архитектура ВМЦД, в т.ч. алгоритмы/модули, связь и взаимодействие между ними, проведено моделирование элементов/продукта, разработан предварительный дизайн интерфейса, ввода, вывода. Архитектура ВМЦД в части пользовательских функций согласована с потенциальными пользователями ВМЦД.

Т2.8. Выполнена оценка полноты данных матрицы верификации для достижения показателей, заявленных в детализированном техническом задании. При неполноте матрицы верификации - сформулированы требования к выполнению дополнительных экспериментов.

Т2.9. Сформирована программа, определены ресурсы выполнения недостающих экспериментальных исследований, согласованная с техническим заданием.

Т2.10. Разработана поэтапная процедура контроля качества, процедура введена для обязательного выполнения разработчиками ВМЦД.

Т2.11. Сформирована детализированная дорожная карта выполнения работ по разработке ВМЦД.

экономика науки

ТМ3

Выпущена версия ВМЦЦ-0 (пре-альфа-версия ВМЦЦ), версия протестирована по матрице верификации для ВМЦЦ-0. Смоделированы основные характеристики основных процессов по отдельности.

ТР14

Подготовлена и верифицирована на задачах из подматрицы верификации для ВМЦЦ-1 альфа-версия ВМЦЦ (ВМЦЦ-1). Смоделированы все процессы из ТЗ, в том числе, основные процессы во взаимосвязи.

Продолжение таблицы 2

Т3.1. Разработаны базовые физико-математические модели процессов, протекающих на объекте.

Т3.2. Выбраны критические элементы ВМЦЦ, разработаны резервные алгоритмы/модули по критическим элементам ВМЦЦ с высоким риском. Актуализирована дорожная карта с включением в нее работ по разработке резервных алгоритмов. Т3.3. Разработана версия ВМЦЦ-0, включая документацию. Проведена интеграция пакета из отдельных алгоритмов/модулей, проверена их внутренняя совместимость, разработаны элементы входного и выходного файлов.

Т3.4. На основе предварительного моделирования по ВМЦЦ-0 версии разработана детальная программа и методика испытаний/верификации с описанием элементов объекта и их параметров для моделирования на данном уровне готовности, конфигурации гибридной модели, точек измерения и методов контроля, погрешностей измерения, применяемых диагностических средств.

Т3.5. Изготовлен гибридный макет для верификации и валидации.

Т3.6. Выполнена верификация ВМЦЦ-0 и валидация на подматрице верификации для ВМЦЦ-0 согласно Т3.4, в случае необходимости - доработаны отдельные модели и алгоритмы, элементы гибридной модели, экспериментальные данные для валидации. Цля верификации возможно использование гибридной модели объекта.

Т3.7. Проведен анализ результатов верификации. Подтверждено достижение всех результатов, предусмотренных в подматрице верификации ВМЦЦ-0.

Т3.8. Сформулировано задание на гибридную модель и систему получения данных для проведения верификации и валидации на Т1?1_4.

Т3.9. Результаты верификации и валидации согласованы техническим заказчиком/пользователем, утверждены заказчиком.

Т4.1. Разработана альфа-версия ВМЦЦ (ВМЦЦ-1), включая документацию, с дополнительной функциональностью: все процессы по техническому заданию, взаимное влияние основных физических процессов.

Т4.2. На основе предварительного моделирования по ВМЦЦ-1 версии разработана детальная программа и методика испытаний/верификации/валидации с описанием элементов объекта, их параметров для моделирования на данном уровне готовности, конфигурации актуализированной гибридной модели, точек измерения и методов контроля, погрешностей измерения, применяемых диагностических средств.

Т4.3. Проведено тестирование внутренних функций ВМЦЦ внутренними тестерами. Результаты тестирования согласуются с требованиями технического задания.

Т4.4. Изготовлена гибридная модель для верификации.

Т4.5. ВМЦЦ-1 верифицирована и валидирована на задачах из подматрицы верификации и валидации для ВМЦЦ-1. В случае необходимости - доработаны отдельные модели и алгоритмы, результаты верификации и валидации - положительные (требуемые точности достигнуты, быстродействие соответствует требованиям технического задания). Т4.6. Проведен анализ результатов верификации и валидации. Подтверждено достижение всех результатов, предусмотренных в подматрице верификации и валидации ВМЦЦ-1. Т4.7. Результаты тестирования и верификации и валидации ВМЦЦ-1 одобрены пользователем/техническим заказчиком и утверждены заказчиком.

Т4.8. Сформулировано техническое задание на доработку ВМЦЦ до бета-версии (ВМЦЦ-2). Получены дополнительные экспериментальные данные для верификации, организовано получение указанных данных. Техническое задание согласовано с техническим заказчиком/пользователем и утверждено заказчиком. В случае необходимости, актуализированы техническое задание и дорожная карта.

Т4.9. Сформулировано задание на гибридный экспериментальный стенд и систему получения данных для проведения верификации на Т1?1_5.

Т4.10. Реализованы резервные алгоритмы/модули в случае, если результат верификации и валидации показал невозможность достижения требований ТЗ. Выпущены актуализированные технические требования, внесены изменения в дорожную карту, которая согласована с техническим заказчиком/пользователем и утверждена заказчиком. Т11. Исходные данные по объекту в формате, используемом в виртуальной модели, актуализированы по результатам верификации и валидации.

Продолжение таблицы 2

ТМ5

Подготовлена и верифицирована на задачах из подматрицы верификации и валидации для ВМЦД-2 бета-версия ВМЦД (ВМЦД-2).

Смоделированы все внутренние процессы физического объекта из технического задания, в том числе, во взаимосвязи.

Смоделированы основные внешние и управляющие взаимодействия физического объекта.

ТМ6

Смоделированы все внутренние процессы из технического задания, в том числе, во взаимосвязи. Смоделированы основные внешние и управляющие взаимодействия физического объекта.

Выпущена полнофункциональная ВМЦД (релиз-кандидат, ВМЦД-3), подтверждены рабочие характеристики в условиях, моделирующих реальную эксплуатацию ВМЦД на различных этапах жизненного цикла. ТМ7

Выполнены предварительные испытания ВМЦД.

Смоделированы все внутренние и внешние процессы физического объекта из технического задания, все процессы по жизненному циклу продукта, системы сбора данных и пользовательский интерфейс управления. Выпущен доработанный по итогам предварительных испытаний релиз-кандидат (ВМЦД-4).

ТМ8

Проведена опытная эксплуатация релиза.

Релиз доработан по итогам опытной эксплуатации (ВМЦД-5).

Проведена подготовка к аттестации.

Смоделированы аномальные и аварийные режимы, система поддержки принятия решений, в том числе, по предсказательному моделированию ресурса. ТМ9

Выполнены приемочные испытания. Проведена аттестация. Передача ВМЦД заказчику.

Для виртуальной модели приведены этапы ее эволюции, связанные с жизненным циклом реального объекта, включая разработку и интеграцию инженерной системы. Для этапов эволюции цифровой модели подробно приведены условия достижения уровня готовности Т1?1_, позволяющие определить текущий статус разработки и динамику его развития. Корректность описаний показана на разработках виртуальных моделей с целью обоснования безопасности отраслевых инженерных систем.

Условия достижения уровней готовности виртуальной модели служат основой для бережливой разработки цифровых двойников сложных инженерных систем.

Представленные результаты могут быть использованы при разработке цифровых двойников и виртуальных моделей сложных высокотехнологичных инженерных систем, включая обучение специалистов по их созданию в вузах и научных организациях.

Авторы не претендуют на отсутствие в статье дискуссионных положений, но надеются, что высказанные предложения будут полезны для специалистов, занимающихся разработкой цифровых двойников, и позволят сделать первый шаг в направлении формирования единой терминологии в данном перспективном направлении разработок и исследований.

ЛИТЕРАТУРА

1. Gartner Survey Reveals Digital Twins Are Entering Mainstream Use (2019) / Gartner. https://www. gartner.com/en/newsroom/press-releases/2019-02-20-gartner-survey-reveals-digital-twins-are-entering-mai.

2. Nuclear Innovation 2050 (2019) / Nuclear Energy Agency. https://www.oecd-nea.org/ndd/ni2050.

3. Сартори А. В, Ильина Н.А., Манцевич Н. М. (2019) Концепция оценки потенциала коммерциализации результатов НИОКР в научных организациях и вузах // Высшее образование сегодня. № 6. С. 11-25.

4. Сартори А. В., Гареев А. Р., Ильина Н. А., Манцевич Н.М. (2020) Применение подхода уровней

готовности для различных предметных направлений в бережливом НИОКР // Экономика науки. Т. 6. № 1-2. С. 118-134.

5. Комраков А.В., Сухоруков А.И. (2017) Концепция цифрового двойника в управлении жизненным циклом промышленных объектов // Научная идея. № 3 (3).

6. Digital twin (2019) / Wikipedia. https://en.wikipedia. org/wiki/Digital_twin.

7. Fei Tao et al. (2018) Digital twin-driven product design framework // International Journal of Production Research. V. 57. Is. 12. P. 3935-3953.

8. Grieves M. (2014) Digital Twin: Manufacturing Excellence through Virtual Factory Replication / LLC. 7 p.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

9. Фабрика цифровой трансформации. Цифровые двойники промышленного оборудования и технологических процессов (2019) / Фабрика цифровой трансформации. https://digitaltwin.ru/media/ resources/DTF_Broshure.pdf.

10. GE Digital Twin: Analytic Engine for the Digital Power Plant (2016) / General Electric. 30 p.

11. ГОСТ 33855-2016 (2016) Обоснование безопасности оборудования. Рекомендации по подготовке / Техэксперт. http://docs.cntd.ru/ document/1200146269.

12. Большов Л. А., Стрижев В. Ф. (2014) Современные компьютерные коды - инструмент анализа и обоснования безопасности. Презентация. https://www.youtube.com/watch?v=rC9nKxDrKaU.

13. Сартори А.В, Сушков П.В, Манцевич Н.М. (2018) Школа бережливого НИОКР: практика подготовки исследователей в вузе с использованием

грантов эндаумент-фонда // Высшее образование сегодня. № 7. С. 2-9.

14. Петров А. Н., Сартори А. В., Филимонов А. В. (2016) Комплексная оценка состояния научно-технических проектов через уровень готовности технологий // Экономика науки. Т. 2. № 4. С. 244-260.

15. Technology readiness levels (TRL) (2014) Horizon 2020 - work programme 2014-2015 General Annexes / European Commission. http://ec.europa. eu/research/participants/data/ref/h2020/ wp/2014_2015/annexes/h2020-wp1415-annex-g-trl_en.pdf.

16. Graettinger C. P., Caroline P. et al. (2002) Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD/STO Environments / Carnegie Mellon University. 41 p.

17. Mankins J. C. (1995) Technology readiness levels / Artemis Innovation. http://www.artemisinnovation. com/images/TRL_White_Paper_2004-Edited.pdf.

18. The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. http:// www.earto.eu/fileadmin/content/03_Publications/ The_TRL_Scale_as_a_R_I_Policy_Tool_-_EARTO_ Recommendations_-_Final.pdf.

19. DOE (2015) / National Energy Technology Labo-ratory-2015/1710. Technology Readiness Assessment - Clean Coal Research Program. 144 р.

20. Сартори А. В., Сушков П. В., Манцевич Н. М. (2020) Принципы бережливого управления исследованиями и разработками на основе методологии уровней готовности инновационного проекта // Экономика науки. Т. 6. № 1-2. С. 22-34.

REFERENCES

1. Gartner Survey Reveals Digital Twins Are Entering Mainstream Use (2019) / Gartner. https://www. gartner.com/en/newsroom/press-releases/2019-02-20-gartner-survey-reveals-digital-twins-are-en-tering-mai.

2. Nuclear Innovation 2050 (2019) / Nuclear Energy Agency. https://www.oecd-nea.org/ndd/ni2050.

3. Sartori A K, Ilyina N./4., Mantsevich N.M. (2019) The concept of assessing the potential for the commercialization of R&D results in scientific organizations and universities // Higher Education Today. № 6. P. 11-25.

4. Sartori A. V., Gareev A. R, Ilyina N. A., Mantsevich N.M. (2020) Application of the approach of readiness levels for various subject areas in lean R&D // The Economics of Science. V. 6. № 1-2. P. 118-134.

5. Komrakov A. V, Sukhorukov A.! (2017) The concept of the digital twin in the management of the life cycle of industrial facilities // Scientific idea. № 3 (3).

6. Digital twin (2019) / Wikipedia. https://en.wikipedia. org/wiki/Digital_twin.

7. Fei Tao et al. (2018) Digital twin-driven product design framework // International Journal of Production Research. Vol. 57. Is. 12. P. 3935-3953.

8. Grieves M. (2014) Digital Twin: Manufacturing Excellence through Virtual Factory Replication / LLC. 7 p.

9. Factory of digital transformation. Digital twin of industrial equipment and technological processes (2019) / Factory of digital transformation. https:// digitaltwin.ru/media/resources/DTF_Broshure.pdf.

10. GE Digital Twin: Analytic Engine for the Digital Power Plant (2016) / General Electric. 30 p.

11. GOST 33855-2016 (2016) Justification of equipment safety. Recommendations for the preparation / Tech-expert. http://docs.cntd.ru/document/1200146269.

12. Bolshov L. A, Strizhev V. F. (2014) Modern computer codes - a tool for safety analysis and justification. Presentation. https://www.youtube.com/ watch?v=rC9nKxDrKaU.

13. Sarforí A. V., Sushkov P. V., Manfsevich N.M. (2018) Lean R&D School: the practice of training researchers at universities using an endowment fund // Higher Education Today. № 7. P. 2-9.

14. Pefrov A. N, Sartori A. V., Filimonov A. V (2016) A comprehensive assessment of the state of scientific and technical projects through the level of technology readiness // The Economics of Science. V. 2. № 4. P. 244-260.

15. Technology readiness levels (TRL) (2014) Horizon 2020 - work programme 2014-2015 General Annexes / European Commission. http://ec.europa. eu/research/participants/data/ref/h2020/ wp/2014_2015/annexes/h2020-wp1415-annex-g-trl_en.pdf.

16. Graeffinger C. P., Caroline P. ef al. (2002) Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's

ATD/STO Environments / Carnegie Mellon University. 41 p.

17. Mankins J. C. (1995) Technology readiness levels / Artemis Innovation. http://www.artemisinnovation. com/images/TRL_White_Paper_2004-Edited.pdf.

18. The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. http:// www.earto.eu/fileadmin/content/03_Publications/ The_TRL_Scale_as_a_R_I_Policy_Tool_-_EARTO_ Recommendations_-_Final.pdf.

19. DOE (2015) / National Energy Technology Labo-ratory-2015/1710. Technology Readiness Assessment - Clean Coal Research Program. 144 p.

20. Sarforí A. V., Sushkov P. V., Manfsevich N.M. (2020) The principles of lean research and development management based on the methodology of the innovation project readiness levels // The Economics of Science. V. 6. № 1-2. P. 22-34.

UDC 004.94

Sartori A. V., Pershukov V.A., Mosunova N. A, Manfsevich N. M. Application of the methodology of readiness levels for the lean development of digital twins of complex engineering systems (JSC «Science and Innovations», Sfaromonefnyj lane, 26, Moscow, Russia, J19180; Rosafom State Atomic Energy Corporation, Bolshaya Ordynka Sfr, 24, Moscow, Russia, JJ90J7; National Universify of Science and Technology MISIS, Leninskyi pr, 4, Moscow, Russia, JJ9049; Nuclear safefy instiMe of fhe Russian Academy of Sciences, Bolshaya Tul'skaya Sfr, 52, Moscow, Russia, JJ5J9J) Abstract. Due to the complexity of full-scale object modeling and the need to use advanced computing technologies, the digital twin development process may require significant time, financial and human resources. Therefore, it is important for lean management of digital twin development to classify them by functionality, determine the current technology readiness level (TRL), and monitor its dynamics over short periods of time. A description of the life cycle stages of digital twins virtual models and adapted conditions to achieve technology readiness level are proposed. The use of the formalized TRL metric for detailed project planning by specific results reduces the development time, costs, and improves the quality of the results.

Keywords: digital fwin, TRL, fechnological readiness level, virtual model, crifical elemenf, verificafion and validation, life cycle.

ЭН

образование

ЛЕТНИЕ ШКОЛЫ ВОИС

Л

|етние школы ВОИС дают молодым специалистам и студентам университетов возможность приобрести более глубокие знания в области интеллектуальной собственности (ИС), включая понимание значения ИС как инструмента экономического, социального, культурного и технологического развития и соответствующей роли ВОИС.

Все летние школы имеют единый учебный план, при этом в некоторых школах делается особый акцент на некоторых вопросах ИС, таких как передачи технологии. Школы также имеют единый формат преподавания и одинаковые сроки обучения. Участники знакомятся с различными аспектами ИС, включая международный характер охраны прав ИС и взаимосвязь между ИС и другими областями регулирования. Преподавание основано на междисциплинарном и проблемно-ориентированном подходе. Программа включает лекции, деловые игры, групповые обсуждения по избранным темам ИС, обсуждения с участием экспертов и анализ ситуаций из реальной жизни.

Язык обучения выбирается в зависимости от состава слушателей летней школы. Кандидаты на прохождение большинства летних школ обязаны успешно пройти бесплатный онлайновый курс ВОИС «Общий курс по интеллектуальной собственности» (0Ь-101). Даты проведения занятий и сроки проведения специальных курсов специализированных летних школ будут объявляться дополнительно.

Участникам, успешно завершившим обучение и выполнившим требования программы соответствующей летней школы, выдается сертификат о прохождении обучения.

Для получения более подробной информации о различных летних школах посетите веб-сайт по адресу: www.wipo.int/academy/en/courses/summer_schooi.

i Надоели баннеры? Вы всегда можете отключить рекламу.