Научная статья на тему 'Возможности и ограничения искусственного интеллекта в социальном анализе и прогнозировании будущего'

Возможности и ограничения искусственного интеллекта в социальном анализе и прогнозировании будущего Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY-NC-ND
32
9
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Форсайт
Scopus
ВАК
RSCI
ESCI
Ключевые слова
промпт-инжиниринг / ИИ / ChatGPT / «загадка хрустального шара» / тотальное информационное общество / работники умственного труда / информационные работники / информационные аналитики / конкурентная разведка / бизнес-разведка / рыночная разведка / prompt engineering / AI / ChatGPT / Crystal Bowl Conundrum / total intelligence society / knowledge worker / information worker / intelligence analyst / competitive intelligence / business intelligence / market intelligence

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Клаус Сольберг Сойлен

К настоящему времени накоплен значительный задел в исследовании проблемы формулирования запросов к искусственному интеллекту (ИИ), или промпт-инжиниринга. Вместе с тем, в литературе по теме сохраняются заметные лакуны, в том числе связанные с проведением социального анализа и прогнозированием будущего. В статье представлен обзор публикаций и результаты лабораторного тестирования различных инструментов ИИ. В частности, приводится подробный список белых пятен в исследованиях, составленный на основе анализа существующей литературы. Установлено, что при условии грамотно сформулированного запроса ИИ выполняет социальный анализ и прогнозирует будущее не хуже или даже лучше, чем опытные эксперты. Изучение литературы свидетельствует, что для обеспечения необходимой надежности следует четко разграничивать два аспекта деятельности специалистов по подготовке запросов (промпт-инженеров): их формулирование как таковое и контроль качества информации, которая не сводится к ответам на запросы. Предложены схема рабочего процесса в виде модели применения ИИ для сбора информации и обоснование возможного в перспективе снижения зарплат менеджеров высшего звена.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Клаус Сольберг Сойлен

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Capabilities and Limitations of Artificial Intelligence in Social Analysis and Predicting the Future

What is the literature on AI missing for prompting engineering so far, and how good are these services at Societal Analysis and Future Predictions? A literature review and laboratory tests were conducted using different AI services. This study provides an extensive list of research gaps based on an analysis of existing literature. Furthermore, it demonstrates that AI with well-crafted prompts performs as well as or better than senior intelligence analysts in Societal Analysis and Future Predictions. The literature and analysis make it clear that the role of the prompter, to ensure reliability, must be divided into two parts: Prompt Engineering and Information Quality Control (IQC), which in this context is distinct from Prompt Answer Engineering. This study also proposes a working process in the form of a model for using AI in information or intelligence gathering. Additionally, it outlines the rationale for why top managers’ salaries are likely to decrease as a result of these developments.

Текст научной работы на тему «Возможности и ограничения искусственного интеллекта в социальном анализе и прогнозировании будущего»

Возможности и ограничения искусственного интеллекта в социальном анализе и прогнозировании будущего

Клаус Сольберг Сойлен*

Профессор, klasol@hh.se

Университет Хальмстада (Halmstad University), Швеция, Kristian IV:s vag 3, 301 18 Halmstad, Sweden

Аннотация

К настоящему времени накоплен значительный задел в исследовании проблемы формулирования запросов к искусственному интеллекту (ИИ), или промпт-инжиниринга. Вместе с тем, в литературе по теме сохраняются заметные лакуны, в том числе связанные с проведением социального анализа и прогнозированием будущего. В статье представлен обзор публикаций и результаты лабораторного тестирования различных инструментов ИИ. В частности, приводится подробный список белых пятен в исследованиях, составленный на основе анализа существующей литературы. Установлено, что при условии грамотно

сформулированного запроса ИИ выполняет социальный анализ и прогнозирует будущее не хуже или даже лучше, чем опытные эксперты. Изучение литературы свидетельствует, что для обеспечения необходимой надежности следует четко разграничивать два аспекта деятельности специалистов по подготовке запросов (промпт-инженеров): их формулирование как таковое и контроль качества информации, которая не сводится к ответам на запросы. Предложены схема рабочего процесса в виде модели применения ИИ для сбора информации и обоснование возможного в перспективе снижения зарплат менеджеров высшего звена.

Ключевые слова: промпт-инжиниринг; ИИ; СЬаЮРТ; «загадка хрустального шара»; тотальное информационное общество; работники умственного труда; информационные работники; информационные аналитики; конкурентная разведка; бизнес-разведка; рыночная разведка

Цитирование: Soilen K.S. (2024) Capabilities and Limitations of Artificial Intelligence in Social Analysis and Predicting the Future. Foresight and STI Governance, 18(2), pp. 6-20. DOI: 10.17323/2500-2597.2024.2.6.20

* Эта экспериментальная статья была написана автором с помощью сервиса генеративного искусственного интеллекта СЬа1СРТ (https://www. chatgpt.com).

Capabilities and Limitations of Artificial Intelligence in Social Analysis and Predicting the Future

Klaus Solberg Soilen*

Professor, klasol@hh.se Halmstad University, Kristian IV:s vag 3, 301 18 Halmstad, Sweden

Abstract

What is the literature on AI missing for prompting engineering so far, and how good are these services at Societal Analysis and Future Predictions? A literature review and laboratory tests were conducted using different AI services.

This study provides an extensive list of research gaps based on an analysis of existing literature. Furthermore, it demonstrates that AI with well-crafted prompts performs as well as or better than senior intelligence analysts in Societal

Analysis and Future Predictions. The literature and analysis make it clear that the role of the prompter, to ensure reliability, must be divided into two parts: Prompt Engineering and Information Quality Control (IQC), which in this context is distinct from Prompt Answer Engineering. This study also proposes a working process in the form of a model for using AI in information or intelligence gathering. Additionally, it outlines the rationale for why top managers' salaries are likely to decrease as a result of these developments.

Keywords: prompt engineering; AI; ChatGPT; Crystal Bowl Conundrum; total intelligence society; knowledge worker; information worker; intelligence analyst; competitive intelligence; business intelligence; market intelligence

Citation: Soilen K.S. (2024) Capabilities and Limitations of Artificial Intelligence in Social Analysis and Predicting the Future. Foresight and STI Governance, 18(2), pp. 6-20. DOI: 10.17323/2500-2597.2024.2.6.20

* This experimental paper was written by the author with the assistance of the generative AI service ChatGPT (https://www.chatgpt.com).

Запуск чат-бота с генеративным искусственным интеллектом (ИИ) ChatGPT компанией ОрепА1 в ноябре 2022 г. существенно изменил принципы работы с информацией и знаниями. В настоящем исследовании описаны произошедшие изменения и порождаемые ими вызовы. На основе анализа литературы предложены новые методологии, структуры и модели, а также намечены направления дальнейших изысканий. При реализации всех этих аспектов применялся ИИ.

Специалистов, работающих с информацией и знаниями, называют по-разному. Наиболее широкий термин — «работники умственного труда», т. е. лица, обладающие необходимой для создания и применения знаний квалификацией. «Информационные работники» занимаются обработкой и распространением информации, в основном с помощью технологий. Более узкими специалистами выступают информационные аналитики, в задачи которых входит анализ и интерпретация данных для поддержки принятия решений в различных секторах. Близкими профессиями являются аналитики данных, финансовые и рыночные аналитики.

К профессиям, чей характер быстро меняется благодаря цифровой трансформации, можно отнести работников сфер здравоохранения и транспорта. Профессий, которые не предполагают активной работы с информацией (работники физического труда, сферы услуг, квалифицированные ремесленники, фермеры, сотрудники служб охраны), становится все меньше. Мир стоит на пороге третьей цифровой революции: на смену персональным компьютерам и интернету приходит эпоха ИИ. Современные вычислительные системы эффективно анализируют большие массивы данных, извлекают важную информацию и сообщают пользователям о проблемах, выявленных в рамках заданных параметров. Развитие ИИ в первую очередь затрагивает специалистов, интенсивно взаимодействующих с информацией, таких как информационные аналитики. Но, возможно, они используют ИИ иначе, чем большинство обычных работников умственного труда?

В сфере занятости возникает разрыв, связанный с использованием ИИ. Работники, умеющие эффективно применять инструменты ChatGPT, уже занимают совсем иное положение, чем те, кто пока лишь осваивает основы этих технологий, и в ближайшие годы последняя группа рискует оказаться гораздо менее востребованной. Цифровой барьер, или цифровое неравенство, напоминает ситуацию периода распространения первых ПК. Обучение работников формулированию запросов к ИИ (промпт-инжинирингу) и смежным навыкам может стать решающим фактором предотвращения постепенного исчезновения целых профессий. В этом контексте речь часто заходит о юристах, поскольку ChatGPT эффективно находит и цитирует юридические тексты, однако развитие этой технологии затрагивает всех, кто работает с информацией. Проблемы, с которыми сталкиваются артисты и художники, не ограни-

чиваются простым замещением ИИ, но затрагивают и такие аспекты, как идентичность и достоинство. По мере развития машинного обучения возникла и продолжает усиливаться ностальгия по контенту, созданному человеком.

Новые технологии ИИ несут с собой и другие вызовы. Обострилась проблема «мусор на входе — мусор на выходе»1. Организации удовлетворяют свои потребности в информации прежде всего путем обработки больших данных и все чаще отказываются от источников человеческого происхождения и сбора информации c передней линии продаж. Лица, принимающие решения, склонны больше доверять сведениям, предоставляемым ИИ и крупными поставщиками данных, таким, как Gartner и Bombora. Однако это снижает контроль над качеством данных и повышает риск зависимости от потенциально маловажной, если не фактически неточной, информации. Более того, покупка одних и тех же данных всеми участниками рынка в конечном счете приводит их к одинаковым выводам.

Государственные разведывательные службы также адаптируются к новым условиям, приближая наступление оруэлловской антиутопии тотального информационного общества — повсеместной слежки и сбора всех доступных сведений о гражданах как в собственной, так и в других странах. Чтобы противодействовать этой тенденции и защитить частную жизнь людей, правозащитные группы добиваются принятия строгого регулирования надзора за гражданами. Однако те из-за экономических проблем и роста преступности зачастую предпочитают интересы безопасности праву на конфиденциальность.

В задачи настоящей статьи входит анализ современного состояния исследований и разработок (ИиР) в области ИИ, выявление пробелов и оценка эффективности данной технологии как альтернативы работникам умственного труда — информационным аналитикам и специалистам по обработке данных. Реализация пилотных когнитивных проектов и разработка стратегий масштабирования предполагают сотрудничество технических специалистов с кураторами бизнес-процессов (Davenport, Ronanki, 2018). Со временем ИИ сможет заменить даже промпт-инженеров, самостоятельно формулируя четкие запросы и ставя конкретные задачи. Для создания новой компании в перспективе станет достаточно попросить систему оценить рыночные возможности и разработать соответствующие стратегии: ИИ спланирует работу всех подразделений организации для достижения заданных целей, а производством и распространением продукции займутся роботы. Сегодня такая картина уже не выглядит утопической.

Методология

В статье реализован описательный подход, на базе которого представлен обзор развития ИИ за последний год.

1 Англ. garbage in, garbage out (GIGO) — концепция в информатике, согласно которой некорректные, искаженные или некачественные («мусорные») данные ведут к неверным результатам, даже если сам применяемый при их обработке алгоритм правилен.

Проанализированы 20 исследований 2023 г. (т. е. после запуска ChatGPT), посвященных промпт-инжинирингу, которые были случайно выбраны при помощи Google Scholar из более чем 40 работ по различным дисциплинам и направлениям. Информация о барьерах и вызовах, с которыми сталкиваются специалисты в данной области, была получена с помощью плагина AskYourPDF. Собранные данные были первоначально проанализированы ChatGPT в лабораторных условиях и затем сопоставлены с результатами тестирования ИИ на способность анализировать информацию и прогнозировать развитие события.

Наряду с ChatGPT, в исследовании были задействованы и другие платформы и сервисы ИИ, в частности Microsoft Bing, Google Bard (с февраля 2024 г. — Gemini) и различные плагины. Тем самым статья фактически подготовлена в соавторстве с ИИ, что становится рутинной академической практикой, но поднимает этическую проблему авторства и порождает риск ненадежности данных. Для решения этой проблемы весь созданный ИИ контент был проверен и отредактирован, а сгенерированные ИИ тексты снабжены соответствующими ссылками.

Обзор литературы

Большинство посвященных промпт-инжинирингу академических публикаций (преимущественно в области науки о данных) оценивают технологию ИИ оптимистически, будучи сосредоточенными главным образом на технических аспектах, реже — на прикладных, например применении в сфере образования. Часть потенциально релевантных статей могли оказаться за пределами выборки, если не включали термина «промпт-инжиниринг» в списке ключевых слов.

В работе (Wang et al., 2023a) описаны оптимистические сценарии применения промпт-инжиниринга в области компьютерного зрения. Авторы прогнозируют дальнейшее развитие существующих моделей и появление новых приложений и выступают за продолжение ИиР по таким направлениям, как тонкая подстройка запросов и дистилляция знаний для оптимизации систем визуального распознавания. По мнению авторов работы (Heston, Khun, 2023), промпт-инжиниринг выступает ключевым условием продуктивности генеративных языковых моделей (generative language models, GLM) — ИИ, с помощью машинного обучения генерирующего тексты, похожие на созданные людьми. Авторы подчеркивают, что для получения желаемых результатов необходимы четко сформулированные запросы — важный элемент персонализированного обучения и интерактивного взаимодействия. Промпт-инжиниринг позволяет эффективно использовать большие языковые модели (large language models, LLM), такие как ChatGPT, и играет важную роль в составлении и редактировании текстов (Meyer et al., 2023), но при этом требует опыта и является отнюдь не тривиальной задачей. Рассмотренные статьи относятся к периоду первых попыток популяризации промпт-инжиниринга в формате курсов в YouTube для всех желающих.

Авторы обзорной статьи (Liu et al., 2023) также подчеркивают важность промпт-инжиниринга и отмечают значение релевантных вводимых данных и адекватных возможностей для представления результатов (ответов). В статье введены два новых ключевых аспекта: инжиниринг шаблонов запросов и инжиниринг ответов на запросы. В первом случае речь идет о формулировании и уточнении исходных запросов к ИИ, включая разработку шаблона, его последующее нюансирование для большей ясности и эффективности, введение переменных для динамического внесения пользовательских данных, постоянное тестирование и повторение для повышения производительности. Под инжинирингом ответов на запросы понимаются обработка и адаптация ответов, сгенерированных ИИ, к потребностям пользователя, в том числе удаление лишнего контента, форматирование ответов для удобства восприятия, поэтапная постобработка, включая перевод или обобщение, а также контроль качества и надежности.

В работе (Yeadon, Hardy, 2023) поднимается ряд критически важных вопросов о роли промпт-инжиниринга при внедрении инструментов ИИ в процесс обучения физике: отсутствие защиты от автозаполнения, трудности распознавания сгенерированных текстов, стремительное развитие ИИ и иные этические вызовы. Отмеченные аспекты требуют от преподавателей понимания бурно развивающегося потенциала ИИ для адаптации методов обучения к ним. Так, многие преподаватели осознали целесообразность возвращения от письменных форм контроля к устным экзаменам, чтобы предотвратить искусственное завышение учащимися своих оценок машинными методами.

Значение качественного промпт-инжиниринга для эффективного использования ресурсов ИИ в период его быстрого развития подчеркивается в статьях (Beganovic et al., 2023) на примере ChatGPT и в (Alkaissi, McFarlane, 2023) — на примере Bard. В исследовании (Henderson et al., 2023) на материале речевых сервисов ИИ также отмечаются проблемы с подготовкой качественных рекомендаций и созданием каталога шаблонов. Акцентируется роль адекватных сигналов для привлечения соответствующих специалистов, упрощения и ускорения процесса разработки. Формулирование релевантных запросов требует существенных затрат времени и труда; повысить производительность ChatGPT позволят каталоги моделей (шаблонов). Подстройка запросов по правилам (prompt tuning with rules, PTR) представляет собой метод тонкой нюансировки обращения к ИИ на базе строгого алгоритма или ограничений для повышения производительности моделей и релевантности сгенерированных ответов.

Под каталогом шаблонов для ИИ понимается набор моделей и лучших примеров преодоления распространенных дефектов этой технологии. Опора на подобный каталог обеспечивает структурированный подход к разработке и внедрению различных решений. Его содержание может быть крайне широким — от шаблонов и методов предварительной обработки данных до выбора алгоритмов, стратегий реализации, этических аспектов и способов обеспечения безопасности. Под раз-

работкой сигналов ИИ понимается формулирование сообщений, с помощью которых инструменты ИИ общаются с человеком. Эффективные сигналы — визуальные, звуковые, тактильные, интерактивные или текстовые — делают работу с ИИ более удобной и повышают доверие пользователей, позволяя создавать интуитивно понятные и привлекательные приложения.

В исследовании (Lou et al., 2023) рассмотрены два конкретных недостатка промпт-инжиниринга: неудобство в использовании и программные ограничения. Очевиден запрос на более простые методы промпт-инжиниринга и альтернативные типы инструкций на естественном языке. В статье (Liu et al., 2023) описаны аспекты, которые следует учитывать в первую очередь при решении этих задач, в частности выбор шаблонов запросов и вербализаторов, влияние этого выбора на эффективность рекомендаций, ограничения данных и проблемы, связанные с передачей и применением знаний. Исследование (Wang et al., 2023b) посвящено оценке эффективности различных шаблонов при генерации логических запросов и анализу преимуществ и ограничений конкретных шаблонов. В работе (Fiannaca et al., 2023) проанализированы вызовы, связанные с программированием запросов, и отмечена необходимость разработки инструментария для их эффективной формулировки и редактирования. Анализ возможных проблем в сфере безопасности промпт-инжиниринга, представленный в публикации (Watson et al., 2023), показывает, что качество запросов имеет не меньшее значение, чем уровень инжиниринга в целом.

Что касается нетехнических аспектов, в работе (Bondielli et al., 2023) обсуждаются трудности выявления фальшивых мультимодальных новостей и потребность в моделях, способных понять взаимодействие текста с изображением при генерации дезинформации. Констатируются неоднозначное отношение к ИИ в сфере связей с общественностью и целесообразность смещения акцента в обучении профильных специалистов в пользу более содержательной практики и критического мышления (Seidenglanz, Baier 2023). В работе (Budhwar et al., 2023) описаны потенциальные риски и вызовы развития ИИ, включая сокращение рабочих мест и необходимость приобретения новых навыков. Исследование (Mahmood et al., 2023) посвящено проблеме повторяемости контента в ходе голосового взаимодействия с ИИ. Авторы предлагают активизировать ИиР в области промпт-инжиниринга для совершенствования голосовых помощников. В статье (Chang et al., 2023) обсуждаются этические аспекты промпт-инжиниринга, связанные с переходом ответственности от модели к инженеру, способные привести к искаженным (предвзятым) или некорректным результатам и проблемам типа «мусор на входе — мусор на выходе».

В работе (Srivastava et al., 2023) также рассмотрены проблемы искажения, безопасности и корректности взаимодействия с чат-ботами, связанные с промпт-инжинирингом, его ограничения и необходимость автоматизации (Bahrami et al., 2023). В исследовании (Zhang et al., 2023) описаны ключевые вызовы, с которыми со-

пряжено применение инструментов ИИ в проектировании, включая корректировку параметров, понимание специальной терминологии, генерацию реалистичных изображений, баланс между задачами разработчика и точностью ИИ, интерпретацию архитектурных стилей, обеспечение вариативности результатов и интеграцию ИИ в практику дизайна. Авторы работы (Thoring et al., 2023) отмечают трудоемкость промпт-инжиниринга в проектировании с помощью ИИ. По их мнению, значение соответствующих навыков дизайнеров будет расти, но формулирование запросов, релевантных контексту и задачам проекта, останется сложной задачей.

Подобные первые реакции на ИИ, возникшие за несколько месяцев с момента запуска нескольких наиболее продвинутых инструментов в данной области, являются ожидаемыми и соответствуют мнениям экспертов, высказанным в различных интервью в медиа. По итогам обзора литературы мы выбрали 20 наиболее актуальных статей для контент-анализа (табл. 1). Его результаты, представленные в табл. 2, свидетельствуют о многочисленных вызовах, возможностях и этическом измерении промпт-инжиниринга, в частности о необходимости учитывать такие его аспекты, как выявление фальшивых новостей, автоматизация, удобство пользования, баланс между художественными и техническими навыками при формулировании эффективных запросов. Будущее промпт-инжиниринга выглядит многообещающим, но его достижение потребует серьезных усилий по устранению ограничений, решению этических проблем и изучению перспектив применения в различных областях, например в компьютерном зрении.

Помимо рассмотренных проблем и вопросов, в научной литературе по ИИ и промпт-инжинирингу высказываются критические комментарии, а также остаются исследовательские лакуны (табл. 3).

Указанные аспекты не поднимались в публикациях, найденных по термину «промпт-инжиниринг». Расширение перечня ключевых слов, вероятно, позволит выявить больше статей и сократить число исследовательских лакун. Анализ указанных проблем критически важен для более целостного понимания и ответственного применения ИИ и промпт-инжиниринга. Возможные подходы к такому анализу будут рассмотрены далее.

Как оценить эффективность ИИ в качестве активного информационного работника? Для ответа на этот вопрос был выполнен лабораторный социальный анализ с помощью различных приложений и плагинов ИИ.

Тестирование аналитического и предиктивного потенциала ИИ: бизнес-разведка

Мы применяем термин «бизнес-разведка» (business intelligence, БР) к практике использования программного обеспечения (ПО) для сбора сведений в целях конкурентной и рыночной борьбы (competitive and market intelligence). В последние годы термин «разведка» чаще заменяют на «уточнение сути» (insights) и «данные о на-

Табл. 1. Краткие аннотации статей, выбранных по итогам обзора литературы, по направлениям

Авторы Предмет анализа Проблемы

Наука о данных

Bahrami et al., 2023 Автоматизация и оптимизация В ходе формирования запросов ограничением может стать необходимость разработки шаблона и функции картирования вручную. По мнению авторов, преодолеть его позволит автоматизация выбора адекватного вербализатора и разработки алгоритмов создания шаблонов.

Srivastava et al., 2023 Разработка и этические аспекты Качество запросов может сказаться на искажении, безопасности и корректности в работе чат-ботов. Важно оценить и решить подобные проблемы, чтобы обеспечить ответственность и этичность промпт-инжиниринга.

Chang et al., 2023 Разработка и этические аспекты Отмечается, что зависимость от качества промпт-инжиниринга порождает этические проблемы и риски. Этот процесс чреват искажением или некорректностью результатов применения ИИ, поскольку ответственность за получение точных и объективных ответов переходит от модели к промпт-инженеру.

Mahmood et al., 2023 Пользовательский опыт и взаимодействие Обращено внимание на проблему повторяемости контента в ходе взаимодействия с голосовыми помощниками, в частности ChatGPT, повторы в ответах которого отметили и респонденты обследования. Такая повторяемость может сделать взаимодействие с голосовыми помощниками однообразным и неэффективным.

Bondielli et al., 2023 Мультимодаль-ные вызовы Продемонстрированы сложность выявления мультимодальных фальшивых новостей, необходимость разработки мультимодальных моделей, важность понимания взаимодействия текста и изображений в ходе генерации дезинформации. Хотя исчерпывающего списка рисков в источниках не приводится, можно допустить, что они включают также распространение дезинформации, манипулирование общественным мнением, подрыв доверия к медиа и потенциальные социальные, политические и экономические угрозы.

Fiannaca, 2023 Вызовы в области программирования и редактирования Показано, что программистам запросов часто приходится редактировать семантические компоненты последних: добавлять примеры, менять ключевые слова или переформатировать шаблоны.

Wang et al., 2023b Эффективность и воздействие Оценивается эффективность различных типов промптов и их влияние на качество генерируемых логических запросов. На базе сравнения эффективности запросов различного типа выявлены преимущества и недостатки каждого из подходов.

Liu et al., 2023 Автоматизация и оптимизация Описаны подходы к выбору наиболее адекватных шаблонов и вербализаторов запросов. Авторы подчеркивают, что от этого выбора в значительной мере зависит качество итоговых рекомендаций ИИ.

Beganovic et al., 2023 Проблемы промпт- инжиниринга Рассмотрено значение промпт-инжиниринга в период интенсивного внедрения ChatGPT. Выявлены проблемы с подготовкой качественных рекомендаций и созданием каталога шаблонов.

Meyer et al., 2023 Условия успеха и квалификационные требования По мнению авторов, успех применения больших языковых моделей для получения желаемых результатов во многом определяется качеством текстовых запросов. Промпт-инжиниринг предполагает их тщательное формулирование и корректировку, однако, будучи сложным процессом, может требовать высокой квалификации.

Liu et al., 2023 Проблемы промпт- инжиниринга Отмечается значение релевантности вводимых данных при формулировании запросов и адекватных возможностей представления и картирования результатов. К ключевым аспектам промпт-инжиниринга отнесены разработка шаблонов и пространства для ответов.

Проектирование

Thoring et al., 2023 Проблемы промпт- инжиниринга Проблема формулирования запросов, релевантных контексту и задачам проекта.

Zhang et al., 2023 Автоматизация и оптимизация Ограниченное понимание ИИ специальной терминологии и концепций дизайна, порождающее нереалистичные или непригодные для архитектурных целей изображения.

Lou et al., 2023 Ограничения приложений, производительность и эффект Недостаточное удобство для пользователя: запросы обычно формулируются для предварительно обученных языковых моделей (pre-trained language models, PLM) и часто включают предпочтительные для модели, но не связанные друг с другом слова и выражения, которые могут быть непонятны людям и не соответствовать человеческой интуиции.

Watson et al., 2023 Баланс искусства и инжиниринга Формулирование эффективных запросов в равной степени является искусством и инжинирингом. Показано, что эксперименты в этой сфере даже при использовании знакомых моделей могут привести к самым неожиданным результатам, включая потенциальные угрозы для безопасности.

Образование

Yeadon, Hardy, 2023 Этический и ответственный ИИ Уязвимость к автоматическому заполнению: при выполнении письменных тестов и написании коротких сочинений без надзора (основные формы контроля знаний) учащиеся могут легко воспользоваться автозаполнением с помощью языковых моделей.

Человеческие ресурсы

Budhwar et al., 2023 Будущее сферы занятости и развития навыков Новые инструменты могут заменить специалистов в таких областях, как программирование, обработка данных и бизнес-аналитика. Это поднимает вопросы о будущем рынка труда и о необходимости приобретения новых навыков для взаимодействия и получения знаний с помощью ИИ.

Медицинские науки

Heston, Khun, 2023 Проблемы промпт- инжиниринга Грамотные запросы позволяют получать от генеративных языковых моделей полезные ответы, тогда как плохо сформулированные могут дать неудовлетворительный результат. Подчеркивается значение промпт-инжиниринга для эффективного общения с такими моделями, максимального раскрытия их потенциала персонализированного обучения, неограниченных практических возможностей и интерактивного взаимодействия. Отмечаются такие проблемы промпт-инжиниринга, как точность, риск искажения, конфиденциальность и чрезмерная зависимость от технологий.

Связи с общественностью/коммуникации

Seidenglanz et al., 2023 Этический и ответственный ИИ Преодоление связанных с ИИ вызовов в области этики, ответственности, подотчетности, прозрачности, компетентности и социального воздействия требует системных и долгосрочных подходов. Восприятие ИИ как серьезной проблемы — сложной и имеющей множество известных и неизвестных аспектов — с необходимостью влечет за собой изменение приоритетов специалистов по связям с общественностью и коммуникациям.

Обзорная статья

Wang et al., 2023a Перспективы развития Авторы оптимистично оценивают будущее промпт-инжиниринга в сфере компьютерного зрения. По их мнению, промпт-инжиниринг может произвести революцию благодаря совершенствованию существующих моделей и созданию новых приложений.

Примечание: эта и последующие таблицы составлены автором на основе данных, сгенерированных сервисом СЬа1СРТ компании ОрепА1. Данные получены за период 10 июля — 9 сентября 2023 г. с помощью сайта https://www.chatgpt.com.

Табл. 2. Анализ статей, выявленных в ходе обзора литературы

Направление анализа Основные проблемы

Проблемы промпт-инжиниринга Сложность сферы проектирования: формирование запросов релевантных контексту и требованиям проекта — нетривиальная задача. Ограниченное понимание: ИИ сложно понять специальные термины и концепции, что приводит к нереалистичным или непригодным для конкретной области (например, архитектуре) результатам. Ручная разработка: в ряде случаев создание шаблонов и картирование выполняются вручную, что снижает эффективность и затрудняет масштабируемость промпт-инжиниринга.

Автоматизация и оптимизация Потребность в автоматизации: необходимость алгоритмизировать выбор адекватных вербализаторов и генерацию шаблонов для устранения дефектов ручной разработки.

Этический и ответственный ИИ Этические проблемы: промпт-инжиниринг порождает вопросы, связанные с искажением, безопасностью, корректностью, этичностью, ответственностью, подотчетностью, прозрачностью и социальным эффектом. Доверие и надежность: делегирование ответственности от модели к промпт-инженеру может повлиять на достоверность результатов и надежность больших языковых моделей.

Будущее сферы занятости и развития навыков Ликвидация рабочих мест: инновации в области промпт-инжиниринга ведут к исчезновению ряда специальностей, вынуждая работников осваивать инструменты взаимодействия с ИИ. Права интеллектуальной собственности на данные и подотчетность: урегулирования требуют вопросы владения данными, модерации контента и ответственности за принятие решений.

Пользовательский опыт и взаимодействие Повторяемость: ответы ИИ могут повторяться, что вызывает недовольство у пользователей. Удобство для пользователя: запросы зачастую интуитивно непонятны для неспециалистов, что ограничивает возможности пользования инструментами ИИ.

Ограничения приложений Ограничения в применении естественного языка: короткие и упрощенные запросы могут не отражать всю сложность реальных задач обработки естественного языка.

Мультимодальные вызовы Выявление фальшивых новостей: понимание связи между текстом и изображением критически важно для выявления мультимодальной ложной информации.

Баланс искусства и инжиниринга Творческий процесс: формулирование эффективных запросов требует как художественных, так и инженерных навыков, а экспериментирование чревато появлением непредвиденных феноменов и потенциальных рисков.

Вызовы в области программирования и редактирования Отсутствие четкой грамматики: программисты сталкиваются с трудностями при редактировании запросов ввиду отсутствия специализированного языка программирования для них.

Эффективность и воздействие Эффект типа запросов: формат (дизайн) запроса обусловливает качество генерируемых ИИ результатов; выбор шаблона и вербализатора существенно влияет на производительность при выполнении различных задач.

Быстрое развитие и этические аспекты Уязвимость и этические аспекты: быстрое развитие ИИ порождает такие проблемы, как уязвимость к автозаполнению, трудности идентификации текстов, написанных ИИ, этические дилеммы в образовании и в других сферах.

Зависимость от успеха и требования к квалификации Уровень квалификации: продуктивный промпт-инжиниринг требует тщательной разработки, множества итераций, опыта работы с соответствующими исходными данными и умения формировать эффективные пространства для ответов.

Направления дальнейшего развития и оптимизм Потенциал применения в области компьютерного зрения: промпт-инжиниринг рассматривается как инструмент радикального прорыва в технологиях компьютерного зрения с хорошими перспективами практического внедрения и совершенствования существующих моделей.

мерениях» (intent data), что не меняет сути: речь идет о поиске информации, важной для принятия решений.

Как ИИ влияет на характер БР? Новые подходы к анализу данных, возникшие благодаря появлению ИИ, впервые описаны в работе (Kumar, 2017). При принятии решений на основе такого анализа важно понимать фундаментальные различия между бизнес-разведкой и ИИ: в ходе БР большие массивы разнообразных данных преобразуются в последовательный нарратив и четко визуализируются, но практических идей или конкретных управленческих решений при этом обычно не предлагается. Цель БР состоит в повышении эффективности сбора, анализа и представления данных. Специализирующиеся на подобной деятельности организации в настоящее время активно внедряют ИИ в свое ПО. Согласно отраслевой статистике, за последние три года внедрение БР-решений выросло на 50%. Такие компании, как SAP, Microsoft, Oracle и Tableau, разработали инструменты БР, призванные революционизиро-

вать ряд традиционных бизнес-функций, в частности управление персоналом, продажи и маркетинг.

Важной тенденцией в сфере БР стало развитие аналитики самообслуживания (self-service analytics), которая позволяет пользователям получать и исследовать данные без необходимости прибегать к внешней поддержке, с помощью удобных инструментов и упрощенных моделей. Ранее неспециалисты были вынуждены заказывать анализ данных специализированным организациям, что создавало задержку в получении требуемых сведений. Сегодня профессионалы бизнеса имеют оперативный доступ к важной информации, иногда в режиме реального времени, что обеспечивает принятие более обоснованных и своевременных решений. Ключом к изменениям послужил ИИ, а одним из следствий стал переход от облачных технологий к граничным вычислениям (edge computing), когда приложения применяются в непосредственной близости к месту генерации данных.

Табл. 3. Вопросы, не освещенные в литературе по ИИ и промпт-инжинирингу

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Направление анализа Пробелы в исследованиях

Этические аспекты Хотя этические аспекты затрагиваются в отдельных публикациях, налицо нехватка глубоких исследований этой проблематики и тех дилемм, с которыми промпт-инженеры могут столкнуться в ходе работы с ИИ и формулировании запросов к нему. Такие аспекты, как конфиденциальность, согласие и потенциальный вред от этой технологии для индивидов или общественных групп, исследователями не рассматриваются.

Предвзятость vs объективность Исследователи упоминают проблему предвзятости, но подробно не обсуждают ее аспекты, которые могут изначально присутствовать в моделях ИИ или непреднамеренно усугубляются промпт-инженерами. Дискуссий об эффективных способах смягчения или устранения таких искажений не ведется.

Прозрачность и объясни-мость Не рассматриваются в литературе вопросы прозрачности и объяснимости моделей ИИ и запросов к ним, тогда как пользователям необходимо понимать, как именно ИИ принимает решения, и промпт-инженеры могут сделать эти процессы более доступными для восприятия.

Подотчетность и ответственность Хотя перераспределение ответственности упоминается, вопрос о конечном субъекте ошибочного результата или вреда, причиненного вследствие ответа от ИИ, в литературе не освещается.

Соблюдение правовых норм Не затрагивается в литературе проблема нормативно-правового регулирования применения ИИ и промпт-инжиниринга, в то время как соблюдение действующих и новых правовых норм выступает критически важным аспектом данной технологии.

Обучение и повышение квалификации Не обсуждается исследователями необходимость постоянного обучения и повышения квалификации промпт-инженеров. В силу высоких темпов развития ИИ и смежных технологий профессионалы должны следить за появлением новейших решений, методов и изучать передовой опыт в данной сфере.

Удобство пользователей Хотя проблема усталости пользователей упоминается в контексте повторяемости контента, ощущается нехватка более широкой дискуссии, в том числе повышения удобства, доступности и инклюзивности взаимодействия с ИИ для различных групп.

Безопасность Вопросы безопасности в литературе поднимаются, но подробного обсуждения конкретных мер и протоколов защиты систем ИИ от злонамеренных атак и несанкционированного доступа, не ведется.

Устойчивое развитие В работах по теме устойчивого развития не рассматривается воздействие больших языковых моделей на окружающую среду или необходимость внедрения зеленых методов применения ИИ и промпт-инжиниринга.

Общественное восприятие и доверие Исследователи вскользь обращаются к теме доверия к ИИ, но недостает подробного обсуждения путей формирования и улучшения имиджа систем ИИ и роли промпт-инжиниринга в его поддержании.

Экономический эффект Замещение рабочих мест затрагивается в исследованиях, тогда как более широкие экономические последствия, в частности создание благодаря ИИ и промпт-инжинирингу новых профессиональных ниш и отраслей, не изучаются.

Потенциал ИИ в области Форсайта (холистический подход) и прогнозирования (на основе данных): «загадка хрустального шара»

Оценим прогностические возможности ИИ в отношении Форсайта (качественного и количественного) и прогнозирования (преимущественно количественного) на примере простых запросов, выполненных в лабораторных условиях (табл. 4).

Хотя, согласно одному из пунктов пользовательского соглашения ChatGPT, указанные прогнозы носят гипотетический характер и основаны на текущих тенденциях и событиях, их качество соответствует или даже превосходит точность прогнозов большинства специалистов (информационных аналитиков, футурологов или исследователей) на базе тех же данных. Прогнозы ChatGPT чувствительны ко времени и формулировке запроса при неизменном качестве анализа. К тому же при спецификации запроса ИИ дает подробные разъяснения, качество которых еще выше и превосходит уровень начинающих аналитиков с университетским дипломом. Тест был выполнен для всех 10 прогнозов и затем расширен до 20, что не сказалось на качестве ответов. К сожалению, выяснить их источники текущая версия ChatGPT (4.0) не позволяет, в отличие от альтернативных ИИ-сервисов.

Сравнение ChatGPT с Bing и ChatSonic

Bing может эксплицировать использованные им источники, но чаще всего ими оказываются гороскопы и другие подобные веб-ресурсы, т. е. полученные прогнозы не только ненадежны, но прямо ложны и радикально расходятся в предсказаниях.

Для сравнения был протестирован третий чат с ИИ — ChatSonic, чьи прогнозы хотя и менее убедительны и содержательны в сравнении с ChatGPT, но имеют преимущество в виде более качественных ссылок, например данных Pew Research. В ответ на запрос дополнительных сведений о трех использованных источниках ИИ дал расплывчатый ответ: «Это всем известно». Даже после требования предоставить более подробную информацию с упоминанием трех уже приведенных источников система просто пояснила, что значительная часть содержащихся в них сведений является общеизвестной.

Другая проблема со всеми протестированными сервисами ИИ — склонность дезавуировать ранее представленные утверждения лишь для того, чтобы позднее их повторить. Хотя в будущих версиях подобный дефект, вероятно, будет устранен, обоснованность такого циклического подхода к общению с пользователем вызывает сомнения. Мы называем эту проблему «загадкой хрустального шара» — ситуацией, когда ответы даются

Табл. 4. Применение ИИ для социального анализа

Вопрос: «Какими могут быть гипотетические прогнозы развития событий в 2024 г.?»

Направление анализа Основные проблемы

Проблемы промпт-инжиниринга Сложность сферы проектирования: формирование запросов, релевантных контексту и требованиям проекта — нетривиальная задача. Ограниченное понимание: ИИ сложно понять специальные термины и концепции, что приводит к нереалистичным или непригодным для конкретной области (например, архитектуре) результатам. Ручная разработка: в ряде случаев создание шаблонов и картирование выполняются вручную, что снижает эффективность и затрудняет масштабируемость промпт-инжиниринга.

Автоматизация и оптимизация Потребность в автоматизации: необходимость алгоритмизировать выбор адекватных вербализато-ров и генерацию шаблонов для устранения дефектов ручной разработки.

Этический и ответственный ИИ Этические проблемы: промпт-инжиниринг порождает вопросы, связанные с искажением, безопасностью, корректностью, этичностью, ответственностью, подотчетностью, прозрачностью и социальным эффектом. Доверие и надежность: делегирование ответственности от модели к промпт-инженеру может повлиять на достоверность результатов и надежность больших языковых моделей.

Будущее сферы занятости и развития навыков Ликвидация рабочих мест: инновации в области промпт-инжиниринга ведут к исчезновению ряда специальностей, вынуждая работников осваивать инструменты взаимодействия с ИИ. Права интеллектуальной собственности на данные и подотчетность: урегулирования требуют вопросы владения данными, модерации контента и ответственности за принятие решений.

Пользовательский опыт и взаимодействие Повторяемость: ответы ИИ могут повторяться, что вызывает недовольство у пользователей. Удобство для пользователя: запросы зачастую интуитивно непонятны для неспециалистов, что ограничивает возможности пользования инструментами ИИ.

Ограничения приложений Ограничения в применении естественного языка: короткие и упрощенные запросы могут не отражать всю сложность реальных задач обработки естественного языка.

Мультимодальные вызовы Выявление фальшивых новостей: понимание связи между текстом и изображением критически важно для выявления мультимодальной ложной информации.

Баланс искусства и инжиниринга Творческий процесс: формулирование эффективных запросов требует как художественных, так и инженерных навыков, а экспериментирование чревато появлением непредвиденных феноменов и потенциальных рисков.

Вызовы в области программирования и редактирования Отсутствие четкой грамматики: программисты сталкиваются с трудностями при редактировании запросов ввиду отсутствия специализированного языка программирования для них.

Эффективность и воздействие Эффект типа запросов: формат (дизайн) запроса обусловливает качество генерируемых ИИ результатов; выбор шаблона и вербализатора существенно влияет на производительность при выполнении различных задач.

Быстрое развитие и этические аспекты Уязвимость и этические аспекты: быстрое развитие ИИ порождает такие проблемы, как уязвимость к автозаполнению, трудности идентификации текстов, написанных ИИ, этические дилеммы в образовании и в других сферах.

Зависимость от успеха и требования к квалификации Уровень квалификации: продуктивный промпт-инжиниринг требует тщательной разработки, множества итераций, опыта работы с соответствующими исходными данными и умения формировать эффективные пространства для ответов.

Направления дальнейшего развития и оптимизм Потенциал применения в области компьютерного зрения: промпт-инжиниринг рассматривается как инструмент радикального прорыва в технологиях компьютерного зрения с хорошими перспективами практического внедрения и совершенствования существующих моделей.

без четкого указания источников, происхождение информации остается неясным, а ответы меняются, если не удовлетворяют спрашивающего (промпт-инженера). Такой паттерн, характерный для любого ИИ, разработанного в коммерческих целях, походит на поведение гадалки, заинтересованной в том, чтобы клиент возвращался снова и снова. Для жестко контролируемого ИИ, созданного в закрытой политической системе (например, в условиях диктатуры), «загадка хрустального шара» принимает иные формы. Авторы работы (Kumar et al., 2017) назвали эту ситуацию проблемой черного ящика, который, хотя и дает ответы с помощью новых наводящих вопросов, не обеспечивает никакого доступа к механизму их генерации. Предполагается, что в новых версиях ИИ пользователи смогут узнать, откуда была получена и как сгенерирована предоставленная информация.

Особенность ИИ позволяет обращать его собственные недостатки против него самого. Так, ChatGPT при-

знаёт свое сходство с хрустальным шаром, но справедливо отмечает и различия: «У хрустального шара нет доступа к источникам данных и возможностей обрабатывать их, и он не делает прогнозов на этой основе». Кроме того, делает выводы из каждого разговора ИИ и совершенствуется в последующих версиях.

ИИ способен делать вероятностные прогнозы. Например, ответы на вопрос о том, какая страна будет крупнейшей экономической сверхдержавой в 2026 и 2035 гг., с целью проверить различия в оценках на разных временных горизонтах совпадают с теми, которые дал бы грамотный аналитик. Сценарии на 2035 г. демонстрируют реалистичные отличия от прогнозов на 2026 г. и носят столь же квалифицированный характер. Весьма квалифицированными оказались и ответы на конкретные вопросы о соперничестве США и ЕС (табл. 5). ChatGPT объясняет, как именно он делает расчеты (табл. 6): отводит 5-10% на корректировку в сторону увеличения или уменьшения по сравнению с

Табл. 5. Вероятностные оценки соотношения экономических сверхдержав, сделанные ИИ

Страна/ регион Оценка ИИ

Ответы на вопрос: «Какая страна будет крупнейшей экономической сверхдержавой в 2026 г.?»

Китай Учитывая темпы экономического роста и стратегические инициативы Китая, страна с высокой вероятностью (70-80%) продолжит движение к тому, чтобы стать крупнейшей экономикой мира.

США В зависимости от ряда внутренних и внешних факторов США со средней вероятностью (50-60%) сохранят позицию ведущей или второй по величине экономики мира.

Европа/ ЕС с высокой вероятностью (70-80%) останется крупным глобальным экономическим объединением, но вряд ли превзойдет США или Китай по совокупному объему ВВП.

Ответы на вопрос: «Какая страна будет крупнейшей экономической сверхдержавой в 2035 г.?»

Китай С высокой вероятностью (70-80%) Китай станет крупнейшей экономикой мира, однако по темпам роста лишь приблизится к развитым странам.

США С высокой вероятностью (65-75%) США станут второй по величине экономикой мира с сохранением значительного влияния в сфере технологий, финансов и глобальной дипломатии.

Европа/ Со средней или высокой вероятностью (60-70%) ЕС останется крупным мировым экономическим объединением с решающей ролью в глобальной дипломатии, торговле и технологиях.

Сравнительные позиции США и Европы/ЕС как будущих экономических сверхдержав в 2035 г.

США С высокой вероятностью (70-80%) США окажутся на втором месте по объему ВВП. К сильным сторонам экономики страны относятся технологические инновации, финансовые рынки, энергетические ресурсы и предпринимательская экосистема, а также доллар как главная мировая резервная валюта.

Европа/ Со средней вероятностью (20-30%) ЕС может обогнать США и занять второе место. Несмотря на размеры и диверсификацию экономики, ряд проблем могут помешать ЕС опередить США, в частности демографический спад, зарегулированность и потенциальная геополитическая напряженность как внутри, так и вне объединения.

базовыми показателями в зависимости от значимости каждого фактора или переменной. Такая методология соответствует применяемой профессионалами, например в работе (Tetlock, Gardner, 2016). Кроме того, ИИ способен оценивать потенциал своего развития и возможностей (табл. 7).

По-видимому, ИИ может анализировать социальное развитие не хуже или даже лучше, чем многие информационные аналитики или исследователи рынков. При этом он способен оценивать собственные недостатки, к чему люди менее склонны. ИИ может описывать также свои мыслительные процессы и постоянно совершенствовать их. Другим существенным его преимуществом выступает способность предлагать разным заинтересованным сторонам различные решения конкретной проблемы, сравнивать принятые меры с решениями конкурентов, политиков, активистов и т. д. (табл. 8). Это облегчает, например, проведение военных игр, в которых компьютер прогнозирует действия противника в ответ на решения игрока.

Анализ и выводы

Информационных аналитиков можно разделить на специалистов начального, среднего, старшего и высшего уровней. Лабораторное тестирование, выполненное в ходе настоящего исследования, показало, что ИИ способен работать на уровне старшего аналитика или выше. В некоторых случаях он продемонстрировал потенциал стратегического мышления и лидерства. При этом сам ИИ оценивает свою эффективность ниже уровня старшего аналитика, т. е. проявляет определенную скромность. Он также способен учитывать геополитический контекст, предвидеть поведение людей и принимать этические решения, во многих случаях поднимаясь до высшего аналитического уровня.

В наступающем «дивном новом мире» кардинально изменится роль принимающих решения лиц. Генеральные директора и другие высшие руководители лишатся ореола носителей непостижимой мудрости, не обязанных мотивировать свои поступки и на этом основании провозглашающих себя бизнес-гуру. Они

Табл. 6. Самоописание механизма расчетов ChatGPT

Аспект Описание

Исходная точка Начнем с базового допущения, что, исходя из прошлых и текущих данных, США и ЕС имеют равные шансы (50 на 50) оказаться на втором месте к 2035 г.

Поправка на экономический импульс США продемонстрировали стабильный экономический рост и устойчивость перед лицом глобальных вызовов. Историческая траектория развития и динамичность экономики США позволяют скорректировать вероятность на 10% в их пользу. Получаем показатель 60% для США и 40% для ЕС.

Технологическое лидерство США всегда были в авангарде технологических инноваций, особенно в секторах, которые предположительно станут драйверами будущего экономического роста (например ИИ, биотехнологии). Это преимущество позволяет скорректировать вероятность еще на 5% в пользу США. Получаем показатель 65% для США 65% и 35% для ТС.

Геополитические и регуляторные факторы Зарегулированность, потенциальная геополитическая напряженность и внутренние разногласия служат препятствием для экономического роста ЕС. Эти факторы позволяют скорректировать вероятность еще на 5% в пользу США. Получаем показатель 70% для США и 30% для ЕС.

Итоговая вероятность По итогам всех корректировок окончательные качественные оценки составляют 70% для США и 30% для ЕС.

Табл. 7. Самооценка ИИ своего будущего потенциала

Потенциал ИИ Перспектива

Через 5 лет Через 10 лет

Углубленная обработка и анализ данных ИИ сможет с беспрецедентной скоростью анализировать огромные объемы данных; повысится эффективность их сбора и предварительного анализа, что позволит аналитикам сосредоточиться на более сложных задачах, требующих человеческой интуиции и суждения. Новые модели ИИ смогут не только обрабатывать данные, но и прогнозировать будущие тенденции на базе сведений за предшествующие периоды и текущих событий, что может представлять интерес с точки зрения как рыночного анализа, так и государственной разведки.

Автоматизированный сбор информации из открытых источников ИИ станет главным инструментом автоматизированного сбора информации из открытых источников в режиме реального времени, мгновенного перевода текстов на разные языки и выявления отклонений или важной информации на основе заданных критериев. Это существенно расширит возможности государственных и корпоративных разведок. Инструменты автоматизированного сбора информации из открытых источников на основе ИИ смогут выявлять дезинформационные кампании, отслеживать их происхождение, предлагать контрстратегии, а также интегрировать данные из различных источников, чтобы получить полное представление о ситуации или о рыночных тенденциях.

Системы поддержки принятия решений ИИ будет предоставлять лицам, принимающим решения, информацию и рекомендации на основе анализа данных. Рыночным аналитикам это поможет лучше понять потребителей и готовить рекомендации по продуктам и стратегии выхода на рынок. Системы ИИ могут быть интегрированы в процессы принятия решений в организациях и государственных учреждениях, предоставлять аналитическую информацию в режиме реального времени и даже моделировать последствия тех или иных шагов.

Сотрудничество человека с ИИ В сфере разведки появится больше гибридных команд из людей и ИИ, в которых последний будет заниматься обработкой данных и выявлением закономерностей, а первые — решать задачи, требующие эмоционального отношения, понимания культуры и этических аспектов. Методы обучения и сотрудничества будут развиваться, профессионалы будут учиться более эффективно работать вместе с ИИ. Могут появиться профессии, специализирующиеся исключительно на анализе работы ИИ и интерпретации результатов.

Этические аспекты и проблемы безопасности По мере интеграции ИИ в сферу разведки будут нарастать опасения по вопросам конфиденциальности данных, неправомерного использования ИИ и потенциальной предвзятости алгоритмов. Будет усиливаться давление к принятию норм и стандартов. Будут разработаны более эффективные меры безопасности для защиты систем ИИ от кибератак. Могут быть приняты этические принципы и международные соглашения, регулирующие использование ИИ в разведке.

Трансформация рабочих мест и переквалификация Автоматизируя некоторые операции, ИИ одновременно создает запрос на новые профессии. Специалистам придется переквалифицироваться и переключиться на направления, в которых незаменимо человеческое суждение. Могут трансформироваться специальности в сфере: акцент сместится со сбора данных на управление ИИ, интерпретацию результатов и разработку стратегий.

Табл. 8. Варианты решений конкретной проблемы, предложенные ChatGPT разным заинтересованным сторонам

Вариант решения Описание

Для политика

Законодательство об этике и конфиденциальности применения ИИ Поддерживайте и стимулируйте жесткое регулирование этических аспектов применения ИИ, особенно в вопросе наблюдения за людьми, чтобы защитить право граждан на неприкосновенность частной жизни.

Продвижение цифровой грамотности Проводите мероприятия по информированию общественности о последствиях «тотального информационного общества» и важности цифровой грамотности в эпоху ИИ.

Поддержка ИиР в области ИИ Направляйте средства и ресурсы на ИиР в области ИИ, чтобы национальная экономика оставалась на переднем крае технологического развития.

Сотрудничество с информационными аналитиками Взаимодействуйте с информационными аналитиками для реализации потенциала ИИ в ходе разработки политики, включая использование данных и информации в режиме реального времени.

Коммуникации с общественностью Применяйте инструменты ИИ для анализа общественных настроений и адаптации коммуникационных стратегий, чтобы обеспечить прозрачность и укрепить доверие.

Для менеджера крупной юридической фирмы

Юридические исследования с помощью ИИ Инвестируйте в инструменты ИИ, способные быстро анализировать крупные базы юридической информации, находить нужные прецеденты и нормативно-правовые акты.

Постоянное обучение Стимулируйте юристов проходить обучение пользованию ИИ, промпт-инжинирингу и смежным технологиям, чтобы идти в ногу со временем и сохранять конкурентоспособность.

Защита данных клиентов Принимайте необходимые меры обеспечения кибербезопасности на базе ИИ для защиты данных клиентов, учитывая растущие риски в цифровую эпоху.

Автоматизация рутинных задач Внедряйте ИИ для автоматизации рутинных задач, включая анализ контрактов, чтобы юристы могли сосредоточиться на более сложных проблемах.

Платформы для сотрудничества Опирайтесь на коллаборативные платформы на базе ИИ, способные интегрировать различное ПО и обеспечить эффективную работу в команде.

Для университетского преподавателя

Включение ИИ в учебную программу Интегрируйте тематику ИИ в учебные курсы, чтобы подготовить студентов к быстро меняющемуся рынку труда.

Персонализированное обучение Применяйте инструменты ИИ для персонализированного обучения: адаптации курсов и программ к потребностям конкретных студентов.

Использование цифровых инструментов Научитесь пользоваться плагинами ИИ и такими инструментами, как СЬаЮРТ, чтобы совершенствовать методологию преподавания и оставаться в курсе событий.

Стимулирование создания оригинального контента Хотя ИИ все активнее применяется для производства контента, стимулируйте студентов создавать полностью самостоятельный контент, культивируя ценность человеческого творчества.

Совместное обучение Внедряйте платформы на базе ИИ для стимулирования совместного обучения и коллаборации студентов при работе над проектами и заданиями в режиме реального времени.

будут выбирать варианты из заранее подготовленного меню верифицируемой информации, а их решения можно будет оценивать. Кроме того, система будет рассчитывать вероятность последствий выбора тех или иных альтернатив. Все это отразится на оплате труда топ-менеджеров, которая может приблизиться к зарплатам других сотрудников, занимающих ответственные должности.

Сбор информации всегда был направлен на принятие более эффективных решений. Системы ИИ обеспечат полную интеграцию этих функций. Менеджмент с опорой на ИИ состоит в том, что сотрудники выбирают решение из меню вариантов, знают источники информации, легшей в его основу, и понимают, как она была проанализирована. Такая практика уже стала реальной. Вместе с тем, в версии GPT-4 вызывают беспокойство «галлюцинации» и другие виды ошибок, которые ИИ выдает в ответ на запросы. Вся полученная информация требует проверки, как исходя из человеческого здравого смысла, так и на базе перекрестных алгоритмов. Для этого организациям требуются профильные специалисты: менеджеры или сотрудники по контролю качества информации (ККИ).

Специалисты по ККИ сродни менеджерам по качеству, которые контролируют соответствие продукции компании единым стандартам. На менеджера по ККИ возлагается важнейшая задача тщательной проверки данных на предмет неточностей, прежде чем подготовленная на их основе информация будет передана лицам, принимающим решения. Принципиально важно отделить эту задачу от функции работника, формулирующего запросы к ИИ, т.е. промпт-инженера. В работе (Liu et al., 2023) предложено близкое, но несколько иное разграничение ролей — между подготовкой «шаблонов запросов» и «шаблонов ответов». В первом случае формулируются исходные запросы, во втором ответы ИИ обрабатываются в соответствии со стандартами качества и надежности для ответственных лиц. Менеджер по ККИ должен иметь доступ к другим источникам информации помимо ИИ, в частности отчетам и данным наблюдений, в том числе нецифровым.

Возможная схема рабочего процесса информационного аналитика представлена на рис. 1.

Из соображений экономии отдельный менеджер по ККИ назначается не всегда, а его функции выполняют другие специалисты, например научные сотрудники или библиотекари. Однако во многих случаях это необходимо, в частности в сферах, где точность информации критически важна, — финансовый, информационный анализ, обработка данных и т. п. Чтобы не потерять квалификацию, аналитикам и научным сотрудникам следует участвовать в онлайн-курсах, изучать тонкости промпт-инжиниринга, осваивать программирование на Python и новейшие плагины для ChatGPT. Все эти инструменты постоянно совершенствуются и требуют переобучения пользователей.

В настоящее время приоритет отдается не только точности информации, но и скорости ее получения, интеграции различного ПО и динамике совместной работы. Сегодня любые данные можно легко преобразовать

Примечание: в процессе участвуют аналитики (1), ИИ (2), менеджер по ККИ (3), лицо, принимающее решения (4), и специалисты, которые применяют и анализируют существующие и создают новые запросы (5).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Источник: составлено автором.

в структурированные таблицы, подробные диаграммы и яркую графику. Информационный анализ стремительно интегрируется в процесс принятия решений.

Прогнозные исследования

^а1СРТ может предлагать направления дальнейших исследований и даже гипотезы, заслуживающие проверки (табл. 9). Инициативы в данной сфере нацелены на более глубокое понимание последствий быстрого развития ИИ, в том числе для общества, рынка труда и прав человека. Однако большинство генерируемых ИИ предложений оказываются скорее интуитивными или банальными, что отчасти обусловлено недостатками запросов. Их корректировка в настоящем исследовании позволила достичь более релевантных результатов (табл. 10). Уточнения потребовали, в частности, набор приложений или инструментов, которые понадобятся ИИ для реализации этих проектов, а также потенциальные ограничения для участия людей в них. Для выполнения исследовательских проектов необходимы различные комбинации применяемых программных средств и методологий. Ниже представлены варианты, предложенные ^а1СРТ (табл. 11).

ИИ уже почти способен самостоятельно осуществлять исследовательские проекты, что поднимает вопрос

Табл. 9. Проекты прогнозных исследований, предложенные ChatGPT

Тема проекта Гипотезы для проверки

1. Влияние применения ИИ на восприятие аутентичности контента 1. Распространение сгенерированных ИИ результатов ухудшит воспринимаемую аутентичность цифрового контента. 2. Ярлык «На 100% создано человеком» станет привлекательным знаком аутентичности различных видов контента. 3. Большинство потребителей не смогут без четкой маркировки отличить сгенерированный контент от созданного человеком.

2. Вклад ИИ в повышение эффективности принятия решений 4. Решения людей, опирающиеся на инструменты ИИ, станут более обоснованными в сравнении с основанными на исключительно традиционных методах. 5. Применение ИИ сократит время, необходимое для принятия сложных решений. 6. В организациях, активно эксплуатирующих ИИ, повысится спрос на менеджеров по ККИ.

3. Дифференциация трудовых ресурсов по уровню владения инструментами ИИ 7. Работники, обладающие навыками пользования инструментами и плагинами ИИ, получат конкурентные преимущества на рынке труда. 8. Организации с более высокой долей сотрудников, владеющих технологиями ИИ, смогут повысить свою эффективность и производительность. 9. Разрыв между работниками по уровню владения навыками применения ИИ будет увеличиваться, углубляя социально-экономическое неравенство.

4. Последствия тотального информационного общества 10. Тотальное информационное общество обострит проблемы конфиденциальности и прав человека. 11. Правительства, жестко регулирующие применение ИИ для наблюдения за людьми, обеспечат себе более высокое общественное доверие в сравнении с теми, которые не предпримут таких усилий. 12. Постоянный надзор трансформирует поведение людей и усилит самоцензуру.

5. Эволюция образования в эпоху ИИ 13. Выпускники учебных заведений, интегрировавших тематику ИИ в свои программы, будут лучше подготовлены к современному рынку труда. 14. Персонализированное обучение с применением технологий ИИ повысит успеваемость и снизит отсев учащихся. 15. Фокус на совместном обучении на базе платформ ИИ будет способствовать развитию у студентов культуры работы в команде и междисциплинарности.

Табл. 10. Проекты количественных исследований, предложенные ChatGPT

Прямые переменные Косвенные переменные Гипотезы

Проект 1. Влияние применения ИИ на восприятие аутентичности контента

Частота потребления контента, сгенерированного ИИ Воспринимаемая аутентичность контента 1. Сростом интенсивности потребления контента, созданного ИИ, снижается его воспринимаемая аутентичность.

Частота потребления контента, созданного человеком Доверие пользователей к источнику контента 2. Если происхождение контента известно, пользователи предпочтут созданный человеком.

Проект 2. Вклад ИИ в повышение эффективности принятия решений

Число инструментов ИИ, применяемых при принятии решений Скорость принятия решений 3. Более активное применение инструментов ИИ ускоряет принятие решений, но не гарантирует их качества.

Частота использования инструментов ИИ Качество принимаемых решений 4. На эффективность принимаемых решений больше влияет качество инструментов ИИ, чем их количество.

Проект 3. Дифференциация трудовых ресурсов и экономический эффект

Набор инструментов ИИ, которыми владеет человек Уровень дохода 5. Люди, владеющие более сложными инструментами ИИ, имеют более высокий доход.

Опыт работы без инструментов ИИ (в годах) Спрос на рынке труда на специалистов, владеющих инструментами ИИ 6. Спрос на специалистов, обладающих навыками применения ИИ, положительно связан с экономическим ростом в технологических секторах.

Проект 4. Проблемы конфиденциальности в тотальном информационном обществе

Арсенал инструментов ИИ для наблюдения за людьми, имеющийся в распоряжении государства Общественное восприятие уровня конфиденциальности 7. Расширение набора инструментов ИИ, применяемых государством для наблюдения за людьми, отрицательно коррелирует с общественным восприятием уровня конфиденциальности.

Интенсивность цифрового взаимодействия индивидов Статистика обращений о нарушении конфиденциальности 8. Более активное цифровое взаимодействие индивидов сказывается на росте числа обращений о нарушении конфиденциальности.

Проект 5. Внедрение ИИ в образование и обучение и результаты для учащихся

Спектр инструментов ИИ, интегрированных в учебную программу Оценки учащихся 9. Чем больше инструментов ИИ интегрировано в учебную программу, тем выше успеваемость учащихся.

Частота использования инструментов ИИ в образовательном процессе Уровень вовлеченности студентов 10. Чем активнее инструменты ИИ применяются в обучении, тем выше вовлеченность учащихся, что не гарантирует усвоение ими материала.

Табл. 11. Инструменты и приложения, предложенные ChatGPT для количественных исследований

Инструменты Приложения

Сбор и хранение данных Инструменты веб-скрейпинга (автоматизированного сбора данных с интернет-ресурсов), например Scrapy или Beautiful Soup. Базы данных SQL (например, PostgreSQL) или NoSQL (например, MongoDB) для хранения и управления большими массивами данных.

Анализ данных Статистическое ПО R или Python (с такими библиотеками, как pandas, numpy и scipy) для управления данными и статистического анализа. Платформы машинного обучения TensorFlow, PyTorch или scikit-learn для прогнозного моделирования и кластеризации.

Инструменты визуализации данных Библиотеки Tableau, PowerBI или Python (например, matplotlib или seaborn) для визуализации данных и результатов.

Опросные инструменты Платформы Qualtrics, SurveyMonkey или Google Forms для сбора первичных данных, особенно для оценки восприятия или поведения.

Обработка естественного языка Модели на базе программных библиотек spaCy, NLTK или GPT для анализа текстовых данных, в особенности оценки воспринимаемой аутентичности контента или отношения к нему.

Сотрудничество и управление проектами Платформы Trello, Asana или Slack для управления процессом исследований, особенно в команде.

о том, как и в каком объеме такие исследования ведутся. Роль автора настоящей статьи уже во многом свелась к простой формулировке запросов, и подобная тенденция сохранится. Проблематичным в этой связи становится сам статус автора, поскольку речь начинает идти о совместной работе. Более того, ИИ все чаще будет выступать «читателем» или «адресатом». Мы движемся к ситуации, когда информация создается и потребляется ИИ, а люди играют роль информационных администраторов и посредников. Крайне важно поэтому различать человеческий и машинный вклад в подготовку информации, а в дальнейших исследованиях в целом следует сосредоточиться на вопросах этики и ответственности при использовании ИИ для принятия решений.

Заключение

В статье рассматриваются две самостоятельные функции обращения к ИИ — промпт-инжиниринг, т. е. разработка стандартных запросов, и менеджмент ККИ, который состоит в верификации данных. Надежность информации требует их разграничения. Решение о реализации функции ККИ зависит от того, насколько информация критична для деятельности организации; чаще всего речь идет о финансовом и информационном анализе и обработке данных. В исследовании представлена модель применения ИИ для обработки информации и продемонстрирована вероятность падения зарплат менеджеров в будущем.

Спустя год после релиза крупнейших инструментов ИИ образовался существенный квалификационный разрыв между работниками, овладевшими навыками промпт-инжиниринга (самостоятельно или через он-лайн-платформы), и теми, кто по-прежнему не умеет пользоваться сервисами ИИ. В недавней статье в журнале Nature (Conroy, 2023) утверждается, что первоначально ИИ служил в основном для проверки грамматики, кодирования и обобщения. Проведенное нами исследование свидетельствует о более широком применении ИИ учеными, что ставит под вопрос характер независимых исследований. Мы входим в реальность, в которой ИИ не только генерирует ценный контент, но и анализирует его, а люди все чаще выполняют контрольные функции. Примерно 80% этой статьи было написано с помощью ИИ, и она с большей вероятностью будет внимательно «прочитана» не людьми, а ИИ.

С момента своего появления интернет стал благоприятной средой для экономического мошенничества. Сходным образом ИИ сегодня в значительной мере способствует мошенничеству интеллектуальному в силу отсутствия требования соответствующей маркировки, простоты удаления признаков происхождения данных и возможности манипулирования сервисами ИИ для предоставления ложных гарантий аутентичности контента. Актуальная литература по промпт-инжинирингу посвящена в первую очередь механике формирования запросов и автоматизации создания шаблонов для них. Этические вопросы если и затрагиваются, то очень поверхностно; то же можно сказать о проблемах безопасности, корректности, ответственности, подотчетности, прозрачности и социального эффекта. Обсуждается также будущее рынка труда и развития профессиональных навыков, в том числе потенциальная автоматизация рабочих мест и необходимость переквалификации.

Представленный в статье обзор литературы выявил ряд пробелов в исследованиях промпт-инжиниринга, в частности отсутствие глубокого анализа этических дилемм, искажения результатов, обеспечение прозрачности в принятии ИИ решений и углеродный след масштабного внедрения этой технологии. Для промпт-инженеров крайне важно, чтобы процессы принятия ИИ решений были более понятными и достоверными. Хотя в публикациях по теме упоминаются усталость пользователей и повторяемость контента, большого интереса исследователей вопросы пользовательского опыта и инклюзивности не вызывают, а роль промпт-инжиниринга в укреплении общественного доверия к системам ИИ затрагивается лишь вскользь.

Масштабы инвестиций в ИИ дают основания ожидать ускорения ИиР в данной сфере, включая потенциальную интеграцию программных решений в робототехнике, которая позволит компаниям работать через промпты: управлять с их помощью автоматизированным производством и распределением продукции. В настоящее время ИИ находится в восходящей, но нестабильной фазе, которая напоминает о начальном периоде развития любых инноваций — автомобилестроения или освоения космоса. Для этого этапа характерен

риск не физического вреда, а интеллектуальных манипуляций. Одновременно мы проходим стадию интенсивного обучения и, вероятно, в ближайшие несколько лет увидим на рынке труда значительные перемены, в том числе в области заработной платы.

Выполненное в рамках исследования лабораторное тестирование показало, что некоторые профессии, особенно начального и среднего уровней, могут столкнуться риском исчезновения, что может переориентировать больше людей на востребованный квалифицированный труд. По мере приближения производства к полной автоматизации актуализируются дискуссии о базовом безусловном доходе, особенно в богатых странах. В ходе

настоящего исследования показано, что даже в области социального анализа и прогнозирования будущего ИИ при условии грамотно сформулированных запросов не уступает или даже превосходит опытных информационных аналитиков.

По мере дальнейшего технологического развития человечество будет все больше полагаться как на свой биологический, так и на искусственный интеллект, и постоянно проверять информацию. При этом возможна негативная общественная реакция на распространение ИИ: некоторые люди могут искать утешения в природе, вдали от мира технологий, что станет экономически возможным при повышении производительности.

Библиография

Alkaissi H., McFarlane S.I. (2023) Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 15(2), 35179. https://doi. org/10.7759%2Fcureus.35179

Bahrami M., Mansoorizadeh M., Khotanlou H. (2023) Few-shot Learning with Prompting Methods. Paper presented at the 2023 6th International Conference on Pattern Recognition and Image Analysis (IPRIA),14-16 February2023, Qom, Iran, https://doi.org/10.1109/IPRIA59240.2023.10147172 Beganovic A., Jaber M.A., Abd Almisreb A. (2023) Methods and Applications of ChatGPT in Software Development: A Literature Review. Southeast

Europe Journal of Soft Computing, 12(1), 8-12. http://dx.doi.org/10.21533/scjournal.v12i1.251 Bondielli A., Dell'Oglio P., Lenci A., Marcelloni F., Passaro L.C., Sabbatini M. (2023) Multi-fake-detective at EVALITA 2023: Overview of the multimodal fake news detection and verification task. Paper presented at the 8th Evaluation Campaign of Natural Language Processing and Speech Tools for Italian (EVALITA 2023), September 7-8, Parma, Italy. Budhwar P., Chowdhury C., Wood G., Aguinis H., Bamber G.J., Beltran J.R., Boselie P., Cooke F.L., Decker S., DeNisi A., Dey P.K., Guest D., Knoblich A.J., Malik A., Paauwe J., Papagiannidis S., Patel C., Pereira V., Ren S., Rogelberg S., Saunders M.N.K., Tung R.L., Varma A. (2023) Human resource management in the age of generative artificial intelligence: Perspectives and research directions on ChatGPT. Human Resource Management Journal, 33(3), 606-659. https://doi.org/10.1111/1748-8583.12524 Chang Y., Wang X., Wang J., Wu Y., Zhu K., Chen H., Yi X., Wang C., Wang Y., Ye W., Zhang Y., Chang Y., Yu P.S., Yang Q., Xie, X. (2023) A survey on

evaluation of large language models (arXiv preprint 2307.03109). https://doi.org/10.48550/arXiv.2307.03109 Conroy G. (2023) How ChatGPT and other AI tools could disrupt scientific publishing - A world of AI-assisted writing and reviewing might transform

the nature of the scientific paper. Nature, 622, 234-236. https://doi.org/10.1038/d41586-023-03144-w Davenport T.H., Ronanki R. (2018) Artificial intelligence for the real world. Harvard Business Review, 96(1), 108-116.

Fiannaca A.J., Kulkarni C., Cai C.J., Terry M. (2023) Programming without a Programming Language: Challenges and Opportunities for Designing Developer Tools for Prompt Programming. Paper presented at the 2023 CHI Conference on Human Factors in Computing Systems, April. https://doi. org/10.1145/3544549.3585737

Henderson P., Hashimoto T., Lemley M. (2023) Where's the Liability in Harmful AI Speech? (arXiv preprint 2308.04635). https://doi.org/10.48550/ arXiv.2308.04635

Heston T.F., Khun C. (2023) Prompt engineering in medical education. International Medical Education, 2(3), 198-205. https://doi.org/10.3390/ ime2030019

Kumar M., Mani U.A., Tripathi P., Saalim M., Roy S., Roy Sr. S. (2023) Artificial Hallucinations by Google Bard: Think Before You Leap. Cureus, 15(8). https://doi.org/10.7759/cureus.43313

Kumar R. (2017) Machine learning and cognition in enterprises: Business intelligence transformed. Heidelberg, Dordrecht, London, New York: Springer. Kumar D., Taylor G.W., Wong A. (2017) Opening the black box of financial AI with clear-trade: A class-enhanced attentive response approach for explaining

and visualizing deep learning-driven stock market prediction (arXiv preprint 1709.01574). https://doi.org/10.48550/arXiv.1709.01574 Liu P., Yuan W., Fu J., Jiang Z., Hayashi H., Neubig G. (2023) Pre-train, prompt, and predict: A systematic survey of prompting methods in natural

language processing. ACM Computing Surveys, 55(9), 195. https://doi.org/10.1145/3560815 Lou R., Zhang K., Yin W. (2023) Is prompt all you need? No. A comprehensive and broader view of instruction learning (arXiv preprint 2303.10475).

https://doi.org/10.48550/arXiv.2303.10475 Mahmood A., Wang J., Yao B., Wang D., Huang C.M. (2023) LLM-Powered Conversational Voice Assistants: Interaction Patterns, Opportunities,

Challenges, and Design Guidelines (arXiv preprint arXiv:2309.13879). https://doi.org/10.48550/arXiv.2309.13879 Meyer J.G., Urbanowicz R.J., Martin P.C., O'Connor K., Li R., Peng P.C., Gonzalez-Hernandez G., Bright T.J., Tatonetti N., Won K.J., Moore J.H. (2023) ChatGPT and large language models in academia: Opportunities and challenges. BioData Mining, 16(1), 20. https://doi.org/10.1186/s13040-023-00339-9

Seidenglanz R., Baier M. (2023) The Impact of Artificial Intelligence on the Professional Field of Public Relations/Communications Management: Recent developments and opportunities. In: Artificial Intelligence in Public Relations and Communications: Cases, Reflections, and Predictions (ed. A. Adi), Berlin: Quadriga University of Applied Sciences, pp. 14-25. Solberg Soilen K. (2016) Economic and industrial espionage at the start of the 21st century - Status quaestionis. Journal of Intelligence Studies in Business, 6(3), 51-64.

Srivastava B., Lakkaraju K., Koppel T., Narayanan V., Kundu A., Joshi S. (2023) Evaluating Chatbots to Promote Users' Trust - Practices and Open

Problems (arXiv preprint 2309.05680). https://doi.org/10.48550/arXiv.2309.05680 Tetlock P.E., Gardner D. (2016) Superforecasting: The art and science of prediction, New York: Random House.

Thoring K., Huettemann S., Mueller R.M. (2023) The Augmented Designer: A Research Agenda for Generative AI-enabled Design. Paper presented at the

International Conference on Engineering Design (ICED23) 24-28 July 2023, Bordeaux, France. http://dx.doi.org/10.1017/pds.2023.335 Wang J., Liu Z., Zhao L., Wu Z., Ma C., Yu S., Dai H., Yang Q., Liu Y., Zhang S., Shi E., Pan Y., Zhang T., Zhu D., Li X., Jiang X., Ge B., Yuan Y., Shen D., Liu T., Zhang S. (2023a) Review of large vision models and visual prompt engineering (arXiv preprint 2307.00855). https://doi.org/10.48550/ arXiv.2307.00855

Wang S., Scells H., Koopman B., Zuccon G. (2023b) Can ChatGPT write a good boolean query for systematic review literature search? (arXiv preprint

2302.03495). https://doi.org/10.48550/arXiv.2302.03495 Watson E., Viana T., Zhang S. (2023) Augmented Behavioral Annotation Tools, with Application to Multimodal Datasets and Models: A Systematic

Review. AI, 4(1), 128-171. https://doi.org/10.3390/ai4010007 Yeadon W., Hardy T. (2023) The Impact of AI in Physics Education: A Comprehensive Review from GCSE to University Levels (arXiv preprint 2309.05163).

https://doi.org/10.1088/1361-6552/ad1fa2 Zhang C., Wang W., Pangaro P., Martelaro N., Byrne D. (2023) Generative Image AI Using Design Sketches as Input: Opportunities and Challenges. In: Proceedings of the 15th Conference on Creativity and Cognition, New York: Association for Computing Machinery, pp. 254-261. https://doi. org/10.1145/3591196.3596820

i Надоели баннеры? Вы всегда можете отключить рекламу.