CC BY
0
Проектирование многокомпонентных имитационных моделей с
помощью БЯМ GPT
А.А. Вакушин, Б.И. Клебанов
Уральский федеральный университет имени первого Президента России Б.Н.
Ельцина, Екатеринбург
Аннотация: Современное проектирование имитационных моделей не обходится без широкого круга специалистов разных отраслей. Дополнительных ресурсов требует также разработка программного кода и его отладка. Исследование направлено на демонстрацию возможностей БЯМ-применения на всех этапах создания и использования, начиная с этапа формализации моделей динамических систем, а также на оценку вклада этих технологий в ускорение создания имитационных моделей и уменьшение их сложности. Методика разработки модели включает этапы формализации, верификации и создания математической модели на основе диалогов с БЯМ. Эксперименты проводились на примере создания модели мультиагентного сообщества роботов с использованием гибридных автоматов. Результаты экспериментов показали, что модель, созданная с помощью БЯМ, демонстрирует идентичные результаты по сравнению с моделью, созданной в специализированной среде моделирования. На основе анализа результатов эксперимента можно сделать вывод о значительном потенциале применения БЯМ для ускорения и упрощения процесса создания сложных имитационных моделей. Ключевые слова: имитационное моделирование, формализация, большая языковая модель, нейронная сеть, GPT-4, математическая модель.
Введение
В течение последних десятилетий скорость создания цифровых имитационных систем резко возросла, благодаря развитию компьютерных технологий и появлению новых инструментов. Например, если в 1990-х годах создание одной сложной имитационной модели могло занимать месяцы, то с появлением более мощных программных средств этот процесс ускорился в разы. Современные инструменты, такие, как высокопроизводительные компьютеры и программные средства с графическими интерфейсами, позволяют создавать модели быстрее и эффективнее.
С развитием специализированных программных платформ и инструментов, таких как MATLAB, AnyLogic, AnyDynamics и других, процесс моделирования стал более доступным и эффективным. Эти
инструменты предоставляют разработчикам мощные библиотеки, готовые к использованию компоненты и визуальные интерфейсы, которые сокращают время разработки моделей и упрощают процесс их верификации и валидации.
Однако современное проектирование имитационных моделей не обходится без широкого круга специалистов разных отраслей. Ведь для точных моделей требуются знания, которые могут быть за пределами моделиста [1]. В частности, значительные затраты при создании моделей сложных систем приходятся на определение требований и формализацию моделей [2]. Дополнительных ресурсов требует также разработка программного кода, и его отладка что также отдаляет имитационную модель от завершения.
Сегодня в мире активно исследуются новые методы автоматизации процесса создания имитационных моделей. В этом контексте использование инструмента, такого как большие языковые модели (БЯМ), может стать ключевым звеном в этом процессе. БЯМ представляют собой мощные нейронные сети, обученные на огромных объемах текстовых данных, объединяя в себе знания различных научных дисциплин для анализа и прогнозирования сложных явлений, и способные генерировать качественные тексты по заданному контексту. Применение БЯМ в создании имитационных моделей обещает значительное улучшение процесса их разработки, позволяя создавать более точные и информативные модели за короткие сроки.
В данной работе на примере ChatGPT рассматриваются пути применения БЯМ для формализации моделей динамических систем.
ChatGPT [3] - чат-бот, предназначенный для обработки естественного языка, разработанный компанией OpenAI, Inc (USA, Delaware) в основе которого БЯМ типа Generative Pretrained Transformer (GPT). Эта нейросеть была обучена на основе большого массива текстов - книг, научных статей,
новостных и медиаресурсов, форумов и социальных сетей. Инструмент может быть использован в разных отраслях научных знаний [4] таких, как медицина, финансы, юриспруденции, разработка программного обеспечения, медиа, маркетинг, научные исследования, образование.
Коммуникация с БЯМ происходит посредством ввода промпта -ключевые слова, фразы или вопросы. У БЯМ существует особенность, которая называется «галлюцинации». Галлюцинации случаются у БЯМ, когда она генерирует неправильный, нереалистичный или бессмысленный текст. Для их уменьшения, как один из способов, рекомендуется [5] предоставлять лучший промпт, точно описывающий, что требуется получить. Важно также помнить, что компания OpenAI, Inc (USA, Delaware) постоянно улучает качество своей модели, что постоянно уменьшает количество галлюцинаций [6].
Варианты применения БЯМ в качестве вспомогательного инструмента для генерации кода модели, рассматривались, например, в [7] и [8]. В данной статье развивается тема использования БЯМ в имитационном моделировании [9] и предлагается использовать БЯМ в качестве инструмента поддержки всех этапов создания и использования, начиная с этапа формализации модели.
Методика разработки модели
1. Сначала на этапе формализации в рамках диалога с БЯМ исследователь задает БЯМ в вербальной форме общий контекст, определяющий, к какой области знаний относится будущая модель, какие объекты будут в этой модели и каким, по мнению исследователя, известным теориям (законам) должно соответствовать формальное представление модели.
2. Далее в диалоге с БЯМ идет вербальное определение компонентов модели с уточнением различных деталей. Более точный
М Инженерный вестник Дона, №7 (2024) ivdon.ru/ru/magazine/arcliive/n7y2024/9340
финальный результат модели получается, когда в модель последовательно включаются различные компоненты, например, новые объекты и их машина состояний. В результате определяется вербальное описание модели.
После получения каждого ответа моделист может специальными типами запросов уточнять контекст. К числу таких запросов относятся:
• Как можно улучшить постановку задачи?
• Какие моменты в постановке упущены?
• Проверь полноту и правильность предыдущего ответа?
• Исправь модель в соответствии с обнаруженными ошибками или дополнениями.
3. После окончания формирования вербального описания по запросу «Построй математическую модель этой системы» БЯМ генерирует модель на языке математики. В запросе может быть указан тип математической модели, например, гибридная / непрерывная / дискретная. Для сложных моделей может быть целесообразным постепенное расширение исходного контекста.
После получения каждого ответа аналитик может специальными типами запросов уточнять контекст. К числу таких запросов относятся:
• Как можно улучшить модель?
• Какие моменты в модели упущены?
• Есть ли в этой модели взаимоисключающая логика?
• Проверь полноту и правильность предыдущего ответа?
• Исправь модель в соответствии с обнаруженными ошибками.
• Понимаешь ли ты свой ответ?
• Обоснуй свой ответ.
• Объясни подробно, почему здесь было использовано именно это математическое обоснование?
• Какие математические конструкции здесь использованы?
• Как связаны математические модели с физическими процессами в системе?
Также стоит переспрашивать БЯМ насчёт правильности и уточнения написанных им функций, уравнений, неравенств, и используемых теорем.
При построении модели возможны возвраты к предыдущим запросам и этот цикл можно повторять много раз до получения удовлетворительного результата - математической модели или кода имитационной модели на любом языке программирования.
Эксперименты
В качестве проверки предложенной методики использована задача создания модели мультиагентного сообщества роботов. Основные требования к модели:
• Каждый агент живет в цикле реализации своих потребностей, причинами которых могут быть внутренние и внешние обстоятельства (сигналы).
• Агенты существует в некотором пространстве, в котором ведут свою жизнедеятельность.
• Агенты могут выбирать эффективные, с их точки зрения, средства и рецепты реализации потребностей. Агенты могут взаимодействовать между собой и с пассивными объектами физически и путем передачи информации.
• Структура модели может меняться в процессе развития социума, могут удаляться, вводиться и воспроизводиться как агенты, так и любые другие объекты модели.
• Процессы генерации и реализации потребностей имеют непрерывно-дискретный характер. Структура процессов реализации потребностей определена в базе знаний (БЗ) агента и представляет собой
множество рецептов реализации потребностей, известных агенту на определенной фазе развития
Будем считать, что вербальная модель системы уже задана и необходимо определить математическую модель системы в формализме взаимодействующих интеллектуальных гибридных автоматов.
Далее приведены фрагменты диалога с ChatGPT при решении данной задачи.
Начальный запрос:
Представь, что ты профессионал в области имитационного моделирования с 10-летним опытом. Никогда не предлагай поискать информацию в каком-либо другом месте.
Опиши математически мультиагентную имитационную модель сообщества роботов, основанную на гибридных автоматах. У агента могут возникать потребности и для их исполнения агент использует рецепты. У рецептов есть параметры, на основе которых он может выбирать какой из этих рецептов оптимален. Нужно учесть, что реализация рецептов может привести к возникновению дополнительных потребностей. Например, для удовлетворения потребности в пище агент может вернуться домой и поесть, однако у него может не быть дома еды, а для её приготовления ему необходимо купить продукты в магазине, то есть возникает новая потребность - покупка продуктов в магазине.
Фрагменты ответа БЯМ на начальный запрос.
М Инженерный вестник Дона, №7 (2024) ivdon.ru/ru/magazine/arcliive/n7y2024/9340
1. Состояния гибридного автомата
• q - текущее состояние агента, например "дома", "в магазине"
• x(t) - вектор количественных переменных, описывающих запасы ресурсов у агента
2. Потребности
• N - множество потребностей
3. Рецепты
• R - множество возможных рецептов для удовлетворения потребностей, где каждый рецепт имеет параметры, влияющие на выбор агентом оптимального рецепта
Динамика системы описана системой дифференциальных уравнений:
Х(0 = / (х(), q(t))
где и^) - управляющий вектор, представляющий действия, выбранные на основе рецептов.
Выбор рецепта:
Агент оценивает все доступные рецепты на основе текущих запасов и потребностей: и(:)=а^ттиеис(х, и), где с(х, и) - стоимостная функция, включающая эффективность и затраты на выполнение рецепта.
источника dX = s X cos(e)
< — = s X sin(e) [dt
где:
s — скорость движения агента.
0 — направление движения агента к цели, вычисляемое как: в = arctg2(jtarget - y, xtarget - x)
Затем итерационно в БЯМ вводились новые характеристики и параметры. Проводились постоянные консультация с чатом по поводу того, как сама БЯМ видит все условия задачи - логичными или противоречащими друг другу; перегружающих модель и тому подобное. Таким образом, этот цикл можно повторять до получения удовлетворительного результата. Далее на основе полученной математической модели БЯМ создала код на Python, и после небольших правок, которые не затрагивали основную логику уравнений, полученных с помощью БЯМ, проводились имитационные эксперименты.
Валидация модели
Для проведения валидации проведено сравнение модели, построенной с помощью инструмента AnyDynamics [10], и полученной с помощью ChatGPT. Для обеих моделей были заданы одинаковые начальные параметры: размер моделируемого пространства - 30*30 ед., количество агентов - 26, количество источников энергии - 55.
Визуализация результатов моделирования, полученных с помощью ChatGPT, представлена на рис. 1, с помощью - AnyDynamics на рис. 2.
и
Рис. 1. - Карта пространства (слева) и график истории изменения энергии агентов (справа) у модели, созданной с помощью ChatGPT.
Рис. 2. - Карта пространства (слева) и график истории изменения энергии агентов (справа) модели, созданной в AnyDynamics.
Графическая часть результатов эксперимента показывает идентичный результат.
Время расчёта симуляции модели при использовании системы ChatGPT составило 0,21 секунды, в то время как в программном обеспечении AnyDynamics данный процесс значительно выше. Таким образом, видно, что производительность модели, полученной с помощью ChatGPT, превосходит AnyDynamics в контексте скорости расчёта симуляций. Такая разница во временных затратах выполнения имеет существенное значение при выборе инструмента для моделирования.
Ещё одним важным критерием является объём кода, так как точные модели имеют множество параметров и условий, что сказывается на сложности разработки и поддержки симуляционных систем. Чем больше параметров и условий необходимо учесть в модели, тем более сложным и громоздким становится код, что может затруднить его понимание, модификацию и отладку. Кроме того, большой объём кода увеличивает вероятность ошибок и багов, что требует дополнительных ресурсов для их выявления и исправления. То есть, этот критерий напрямую влияет на производительность и надёжность системы. Модель в AnyDynamics вместе с кодом, описывающим графическое представления гибридных автоматов, занимает более 2-х тысяч строк, а в модели, созданной при помощи ChatGPT - 446 строк.
Заключение
На основе анализа результатов эксперимента и его валидации, можно утверждать, что применение БЯМ способствует значительному ускорению при создании сложных динамических систем вследствие участия БЯМ на каждом этапе (формализации, проектированию, разработке) создания и имеет потенциал снижения потребности в специалистах различных дисциплин, которые традиционно необходимы. Валидация описанной методики и традиционной показала идентичность между ними и доказывает высокий потенциал БЯМ в качестве эффективного инструмента для имитационного моделирования.
Следует отметить, что применение БЯМ требует квалифицированного подхода и глубокого понимания особенностей и ограничений этих моделей, таких, как тенденция к генерации нереалистичных или ошибочных данных ("галлюцинации"). Однако, с адекватными мерами предосторожности и тщательной верификацией вводимых данных, БЯМ могут служить мощным инструментом в арсенале исследователя.
Полученные результаты исследования подчеркивают важность и перспективность использования БЯМ в имитационном моделировании как инновационного подхода, который может кардинально изменить практики анализа и проектирования систем в различных областях науки и техники.
Литература
1. Розин М.Д., Свечкарев В.П. Проблемы системного моделирования сложных процессов социального взаимодействия // Инженерный вестник Дона. 2012. №2. URL: ivdon.ru/ru/magazine/archive/n2y2012/846.
2. Gallien, Max & van den Boogaard, Vanessa. Formalization and its Discontents: Conceptual Fallacies and Ways Forward. Development and Change. 2023. DOI: 54. 10.1111/dech.12768.
3. Introducing ChatGPT // OpenAI. 2022 URL: openai.com/index/chatgpt/.
4. Partha Pratim Ray ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope Internet of Things and Cyber-Physical Systems. Vol.3. 2023. pp. 121-154. ISSN 2667-3452. DOI: 10.1016/j.iotcps.2023.04.003.
5. Huang L., Yu W., Ma W., Zhong W., Feng Zh., Wang H., Chen Q., Peng W., Feng X., Qin B., Liu T. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv e-prints. 2023. arXiv: 2311.05232.
6. GPT-4 Technical Report. OpenAI. arXiv e-prints. 2024. arXiv: 2303.08774. 100 p.
7. Бахтизин А.Р., Брагин А.В., Макаров В. Л. Большие языковые модели четвёртого поколения как новый инструмент в научной работе // Искусственные общества. - 2023. - T.18. - Выпуск 1. DOI: 10.18254/S207751800025046-9.
8. Du Plooy, C. and Oosthuizen, R. AI usefulness in systems modelling and simulation: GPT-4 application. S. Afr. J. Ind. Eng. 2023. Vol.34. №3. pp. 286-303. ISSN 2224-7890. DOI: 10.7166/34-3-2944.
9. Вакушин А.А., Клебанов Б.И. Применение больших языковых моделей в имитационном моделировании // Инженерный вестник Дона. 2024. №2. URL: ivdon.ru/ru/magazine/archive/n2y2024/8990.
10. Клебанов Б.И., Вакушин А.А., Тен Ю.М. Применение пакета AnyDynamics для разработки имитационных моделей социальных систем // Современные наукоемкие технологии. 2022. №4. URL: top-technologies.ru/ru/article/view? id=39106.
References
1. Rozin M.D., Svechkarev V.P. Inzhenernyj vestnik Dona. 2012. №2. URL: ivdon.ru/ru/magazine/archive/n2y2012/846.
2. Gallien, Max & van den Boogaard, Vanessa. Formalization and its Discontents: Conceptual Fallacies and Ways Forward. Development and Change. 2023. DOI: 54. 10.1111/dech.12768.
3. Introducing ChatGPT. OpenAI. 2022 URL: openai.com/index/chatgpt/.
4. Partha Pratim Ray Internet of Things and Cyber-Physical Systems. Vol.3. 2023. pp. 121-154. ISSN 2667-3452. DOI: 10.1016/j.iotcps.2023.04.003.
5. Huang L., Yu W., Ma W., Zhong W., Feng Zh., Wang H., Chen Q., Peng W., Feng X., Qin B., Liu T. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv e-prints. 2023. arXiv: 2311.05232.
6. GPT-4 Technical Report. OpenAI. arXiv e-prints. 2024. arXiv: 2303.08774. 100 p.
7. Bakhtizin A., Bragin A., Makarov V. Bakhtizin A., Bragin A., Makarov V. Iskusstvennye obshchestva. 2023. Vol.18. №1. DOI: 10.18254/S207751800025046-9
8. Du Plooy, C. and Oosthuizen, R. AI usefulness in systems modelling and simulation: GPT-4 application. S. Afr. J. Ind. Eng. 2023. Vol.34. №3. pp. 286-303. ISSN 2224-7890. DOI: 10.7166/34-3-2944.
9. Vakushin A.A., Klebanov B.I. Inzhenernyj vestnik Dona. 2024. №2. URL: ivdon.ru/ru/magazine/archive/n2y2024/8990
10. Klebanov B.I., Vakushin A.A., Ten Yu.M. Sovremennye naukoemkie tekhnologii. 2022. №4. URL: top-technologies.ru/ru/article/view?id=39106.
Дата поступления: 2.05.2024 Дата публикации: 19.06.2024
