The hyip of artificial intelligence: rethinking the prospects for the real use of AI technology in the field of international relations and big politics
Levi Dmitri Andreevich, PhD of Political science, St. Petersburg State University, Saint Petersburg
The purpose of the study is to analyze the current use and prospects of using artificial intelligence algorithms in the field of international relations. The author's task is to critically assess existing niches where artificial intelligence can provide something new for the analysis or management of international relations. The author evaluates the available publications and comes to the conclusion about the excessive fashion for using the concept of artificial intelligence without any application of technology. In the vast majority of cases, in relation to the field of international relations, automation, machine learning and even generative intelligence turn out to be only an auxiliary tool at the secretary level, and it is not necessary to talk about the prospect of developing specialized artificial intelligence algorithms in the field of international relations, other than basic office AI assistants and specialized analytical programs, due to the lack of relevant ideas, and often and goals.
Keywords: artificial intelligence; international relations; machine learning; big data; weak AI; media; generative artificial intelligence; world politics.
Цитировать: Леви Д.А. Мода на искусственный интеллект: переосмысливая перспективы реального использования технологии ИИ в сфере международных отношений и большой политики // KANT: Social science & Humanities. – 2024. – №2(18). – С. 120-127. EDN: LGLCFG. DOI: 10.24923/2305-8757.2024-18.16
Леви Дмитрий Андреевич, кандидат политических наук, Санкт-Петербургский государственный университет, Санкт-Петербург
SPIN-код: 5225-4467
Целью исследования является анализ текущего использования и перспектив использования алгоритмов искусственного интеллекта в сфере международных отношений. Задачей автора является критическая оценка существующих ниш, где искусственный интеллект может дать что-то новое для анализа или управления международными отношениями. Автор проводит оценку имеющихся публикаций и приходит к выводу о чрезмерной моде на использование понятия искусственный интеллект без какого-либо применения технологии. В подавляющем большинстве случаев применительно к сфере международных отношений автоматизация, машинное обучение и даже генеративный интеллект оказываются лишь вспомогательным инструментом уровня секретаря, а говорить о перспективе развития специализированных алгоритмов искусственного интеллекта в сфере международных отношений, отличных от базовых офисных ИИ-помощников и специализированных аналитических программ, пока не приходится ввиду отсутствия соответствующих идей, а зачастую и задач.
Ключевые слова: искусственный интеллект; международные отношения; машинное обучение; большие данные; слабый ИИ; хайп; медиа; генеративный искусственный интеллект; мировая политика
УДК 327.82
5.5.2
Леви Д.А.
Мода на искусственный интеллект: переосмысливая перспективы реального использования технологии ИИ в сфере международных отношений и большой политики
Тема искусственного интеллекта (ИИ) за последние годы превратилась в одну из самых популярных. Сегодня нередко можно встретить дискуссии о потенциале использования ИИ практически в любой сфере, от работы колл-центров маникюрных салонов до глобального подчинения международных отношений и мировой экономики каким-то универсальным алгоритмам и "квантовым вычислениям". В сфере бизнеса уже не один год человечеству пророчат революцию и умирание массы профессий, а лозунг "овцы съели человека" эпохи развития мануфактур обещают обновить до "компьютеры съели человека". Но обещанная революция все еще не наступает, на дороги массово не выходят беспилотные автомобили, а роботам-доставщикам Яндекса и Почты России в идеальном для тестирования новом спальном районе Мурино в Ленинградской области, то и дело помогают выбраться из лужи и сугроба сердобольные прохожие. Пока перспективы у прото-терминаторов "не очень", но исследователи, казалось бы, не унывают, и все равно уже сегодня готовы поверить в эффективность ИИ даже в таких сложных и в общем-то не очень поддающихся логическому управлению сферах, как международные отношения. В настоящей статье предпринята попытка оценить потенциал использования ИИ и обозначить не столько технологические, сколько логические и алгоритмические препятствия применения ИИ в международных отношениях и большой политике, посмотреть на проблему с точки зрения искусственного раздувания медийного и финансового "хайпа".
Актуальность проблемы
Спорить о прорывном характере любых успехов в области ИИ, равно как о способности ИИ как технологии изменить многие производственные процессы в мире сегодня не приходится. Научное предположение ученых-евангелистов ИИ из Дартмутского исследовательского проекта по вопросам ИИ 1956 г. о том, что в будущем "любой вид интеллектуальной работы человека можно будет описать в доступном для воспроизведения машиной виде" [8, с. 12], безусловно стало определенным началом исследований в этой области. За ним последовали кризисы исследований в 1970-х и 1990-х, когда финансирование исследований сворачивалось, теория оставалась теорией без шансов на практическую реализацию. Последующий прорывной взлет и "новый виток", обычно соотносят с бумом алгоритмов машинного обучения [5, с. 9]. в 2000-х, ставшим возможным в первую очередь за счет качественного развития аппаратных вычислительных возможностей. Все эти этапы были связаны в первую очередь с алгоритмическим развитием ИИ как, скажем так, кибернетической технологии. Это ответ на вопрос исследователей: "А можем ли мы это сделать?" Но не сам вопрос и тем более не ответ на вопрос: "Зачем мы это делаем? Какую конкретно проблему мы хотим решить с помощью ИИ и готовы ли мы ее решать?"
В ходе развития ИИ сформировалось несколько отдельных направлений, среди которых разделились непосредственно исследования, направленные на построение математической модели поиска решений по автоматизации систем, моделирования нейронных сетей, формированию общей канвы логических вычислений и среды самообучения машинного алгоритма. В пару к ним наметились и не чисто математические задачи более философского смысла - задачи категоризации абстракций, определения понятия творческого мышления и, в конечном счете, задачи теории компьютерной этики [например: 10, с. 266-275], которая далее породила современную дискуссию о необходимости ограничений в работе ИИ и, возможно, приведет развитие ИИ к выводам бессмертного А. Азимова.
Нас же на современном этапе интересует не столько ИИ, как математическая технология, сколько ее ресурс реализации для решения гуманитарных задач в сфере политических процессов и организации международных отношений и мировой политики в целом. Понятно, что сегодня говорить о "сильном ИИ", напоминающем кинематографического Терминатора, не приходится. Футурологи, правда, верят, что количество рано или поздно перейдет в качество и вопрос сильного ИИ - это вопрос 10-15 лет [3, с. 320]. На текущем этапе человечеству доступен только "слабый ИИ", способный к решению или имитационному моделированию отдельных человеческих реакций и решений задач. К таким ИИ относят собственно ИИ генеративного типа, который для непосвященного человека выглядит, как разумный собеседник, способный отвечать на различные вопросы и даже пытаться следить за ходом разговора, формировать изображения или сочинять музыку.
Приход такого робота во многие сферы человеческой жизни и даже экономики стал психологическим прорывом. Успех проприетарной технологии ChatGPT и следом идущих разработок конкурентов озвучили смелые прогнозы о замене человека машиной в целых отраслях. В феврале 2023 г. компания ResumeBuilder опросила 1000 руководителей высшего звена о намерении использовать ИИ и ChatGPT. 66% опрошенных подтвердили желание использовать ChatGPT для программирования. 58% - планировали заменить ChatGPT копирайтеров. 57% - были готовы составлять с помощью ИИ резюме текстов и поручить ему подготовку документов. Спустя год, эти перспективные идеи оказались не реализованными, а о действительно больших внедрениях ИИ совершенно не слышно. И это не случайно. Дорогу ИИ перешло понимание непростых проблем информационного менеджмента.
Надежда тех, кто высоко оценивает возможности современного ИИ по решению задач сложной и не рутинной гуманитарной направленности, сложнее чем ответы на типовые вопросы на основе базового словаря знаний, пока не оправдываются. Специфика современного генеративного ИИ - это поиск решения, соответствующего ожиданиям оценивающего его зрителя, читателя или собеседника. Иными словами, при наличии достаточного опыта, знаний, а попросту - типовых и статистически ожидаемых продолжений, современный ИИ способен предложить подготовить ответ. Никто не спорит о том, что это - качественная помощь действительно размышляющему сознанию, но это не генерация чего-либо нового. И именно поэтому текст, созданный ИИ, сравнительно легко распознается не только машиной типа Антиплагиата, способной сравнить шинглы и провести частотный и вероятностный анализ, но и человеком, который видит в тексте слабую концентрацию содержания, но идеально расставленные запятые.
Методы исследования
Базовым методом анализа использования ИИ в международных отношениях стал анализ публикационной активности и описанных кейсов использования ИИ, размещенный в экспертной литературе и профильных журналах. Базой исследования стали материалы, упоминаемые в ведущих исследовательских журналах в сфере международных отношений, публикации аналитических центров и обзорные публикации об использовании ИИ в мире. Исследование отталкивалось от системно-функциональной логики изучения использования ИИ в международных отношениях, сосредотачиваясь на поиске реальных новых возможностей, новых алгоритмов, новых методов, которые бы привнесли ИИ в изучаемую сферу. В определенном смысле в исследовании также используется метод декомпозиции политологических стереотипов и ретроспективный метод оценки фактического использования технологий ИИ на международные отношения.
Экспертная дискуссия
Есть мнение, что ИИ в международных отношениях способен произвести революцию, принимая решения и предоставляя рекомендации. Но к каким выводам способен прийти ИИ, если ему предоставить для обучения базу мнений людей? Мы знаем, что есть науки, которые построены на анализе и обобщении опыта предыдущих ситуаций. Среди них менеджмент, который буквально преподается через изучение кейсов. И чем больше кейсов - тем лучше. Но повторяемость - очень спорная характеристика в международных отношениях и даже мировой экономике. Количество элементов пазла и факторов для анализа делает мозаичное полотно принятия решений плохо анализируемым и плохо категоризируемым даже с учетом безграничных возможностей нейросетей к поиску и перебору корреляций/зависимостей. В этой связи международные отношения - это скорее опыт неповторяющихся кейсов, которые интересны, но для предсказания следующего шага - бесполезны. А генеративный ИИ так не работает, он скорее найдет и предложит предсказуемое решение на основе опыта, или, максимум, переберет факторы и разыграет партию в теорию игр. И не случайно, что оптимистичные выводы экспертов и авторов статей о текущей и будущей роли ИИ в международных отношениях , как правило, заканчиваются весьма скудными примерами реального использования алгоритмов, которые и ИИ назвать-то нельзя.
Когда адепты внедрения ИИ в политический процесс приводят в качестве примера ИИ для анализа социальных медиа в 2016 году, можно ли говорить, что именно алгоритмы ИИ использовались ли Cambrige Analytica для отображения наиболее подходящего контента в зависимости от модели избирателя? Едва ли, алгоритмически оценка производилась на основе всего нескольких факторов, а цепочка рассуждений сводилась к цепочке if.. then ... else, а не к сложной модели индивидуального "предсказания" поведения пользователя и подстройки под его интересы.
В профильной литературе описывают, что в 2017 году в Канаде использовались элементы ИИ для анализа публичных консультаций для реформирования избирательной системы [9]. ИИ действительно был обучен по базе предложений и отзывов и резюмировал наиболее популярные предложения, сэкономив организаторам много референто-часов. Но руководствовался ли ИИ принципами целесообразности или принципами массовости идей? Генеративный ИИ рассматривает свой ответ, как успешный, если он подходит и соответствует ожиданиям и принятым популярным (шаблонным) нормам. Являются ли средние статистические граждане носителями и генераторами прорывных идей? И самое главное - есть ли в аналитической обработке данных и резюмировании мнений что-то большее, что действительно влияет на политический процесс, а не выполняет работу, тяжелую и большую работу, но работу младшего секретарского персонала. Эта работа необходима бюрократии, но не меняет политику и не прокладывает курс.
Есть мнение о том, что ИИ уже сегодня оказывает влияние на дипломатию и международные отношения. При этом подразумевается, что влияние на дипломатию происходит в канале цифровой дипломатии, преимущественно связанной с работой соцсетей, публикацией твитов и телеграмм-новостей. О влиянии ИИ на международные отношения чаще говорят о возможности ИИ моделировать переговоры, предлагая участникам будущих встреч "проиграть" сценарии взаимных предложений и уступок. Однако, разве ИИ изменил что-то в стратегии подготовки к переговорам? Разве обученный на открытой базе публикаций и выступлений ИИ предлагает что-то новое экспертам-переговорщикам и способен сформировать сбалансированные, устраивающие обе стороны переговоров позиции?
МИД России, по сообщениям СМИ , в 2021-2023 гг. собирался потратить до 2.3 млрд рублей, в т.ч. на "для поддержки внешнеэкономической деятельности с использованием искусственного интеллекта", однако детали дипломатично не уточняются. Дается только ссылка на то, что примерами использования ИИ в дипломатической работе являются чат-боты для общения с гражданами, а также британская система анализа распределения населения в развивающихся странах на основе анализа спутниковых данных. Не хочется злословить, спрашивая, где же была эта замечательная технология пятилетней давности, когда надо было отслеживать перемещения населения, например, в секторе Газа во время проведения израильской кампании. Но можно ли такие примеры назвать реальным вторжением ИИ в сферу международных отношений и сферу дипломатии? Едва ли.
Действительно, ИИ сегодня довольно эффективен в организации перевода в реальном времени. Но даже AI Journey 2023 - одно из ведущих мероприятий по ИИ в России - работает с переводчиками-людьми синхронистами. Китайский iFytek на саммите БРИКС в 2017 году, безусловно, оказался эффективным, но опять же, роль и функции ИИ оказались на том же секретарском уровне младшего вспомогательного персонала.
Человечество действительно загружено рутинной работой и типовыми операциями, часть из которых само и выдумало для того, чтобы занять чем-то часть населения. Сотрудники колл-центров, продавцы магазинов совершают массу типовых одинаковых действий, которые могут быть заменены даже не ИИ, а вполне понятной программой с очевидным сценарием и инструментами роботизации при условии дешевизны компонентов. Водители осуществляют управление по четким правилам с элементами весьма ограниченного креатива, поэтому снабдив программу достаточными инструментами взаимодействия с внешним миром, можно научить ее совершать сценарные - на основе алгоритма или относительно креативные - на основе ИИ действия в рамках "цифровой нормальности"(т.е. до первого нестандартного сугроба). Но там, где речь заходит о решениях, о суждениях, выстраиваемых не из статистической повторяемости и одобряемости, роль ИИ существенно снижается. Использование ИИ приемлемо для сбора данных, механической проверки сведений, поиска закономерностей, но едва ли пока имеет примеры подлинного самообучения, способного создавать новые идеи и тем более морализировать. Известные примеры, когда ChatGPT отвечает на вопросы о сравнении ценности жизни человека и сохранении программного кода ИИ, - примеры не самостоятельного мышления, а явное влияние "нормальности", почерпнутой из проанализированных текстов, в т.ч. художественных произведений. Это не мышление, а более-менее самостоятельное воспроизведение заложенных идей. Хотя неиспользование этой технологии там, где можно и эффективно, безусловно, "накажет" сопротивляющиеся страны и бизнесы [7, с. 50-52].
Проведя самый широкий анализ доступных сведений и публикаций об использовании ИИ, складывается впечатление, что для подлинного использования ИИ в сфере международных отношений еще очень далеко. Отдельные рутинные действия программы, безусловно, автоматизируют: робота можно натаскать на ответы на типовые вопросы и заставить служить в абстрактном МИДе чат ботом, можно заставить его перебирать заявки на визы и сопоставлять данные из разных баз данных (хотя это четко логический процесс, не имеющий отношения к алгоритмам ИИ), можно даже попросить ИИ резюмировать публикуемые в медиа-статьи (которые тоже скоро будут формироваться роботами) или искать связи между упоминаемыми фамилиями людей, пытаясь создать картину их интересов и круга общения. Такие эксперименты проводил и автор этой статьи лет 20 назад опять же без всякого ИИ. Это, конечно, создаст массив метаданных, но в условиях отсутствия алгоритмов дальнейшей обработки этих данных, не поможет продвинуться дальше в сторону лучшей реализации задач дипломатии: продвижения внешнеполитических задач государства.
Можно, конечно, даже мифологизировать искусственный интеллект и увидеть в "информационной антироссийской Интернет-кампании в марте-апреле 2022 года... характер использования ИИ" , но те, кто когда-либо сталкивался с реальной организацией информационной кампании, скорее, увидит обычную человеческую работу, чем черты работы слаженной автоматики. Кто-то наверняка через несколько месяцев увидит и в легко предсказуемой массовой и истеричной реакции западных политиков на трагическую смерть в колонии одного российского оппозиционера тоже "руку ИИ", но рассудив здраво, для режиссуры такой работы ИИ, опять же, не нужен и совсем не подойдет. Боты с соцсетях - не в счет. Фактическое влияние ИИ, до которого пока додумалось человечество, - это генерация информационного шума, на который общество уже научилось или скоро научится просто не реагировать. Количественные оценки публикаций, ретвитов, репостов, тематических повторов, которые нередко лежат в основе выводов экспертов для доказательства значимости информационного давления на общества [1, с. 2], в известном смысле неоправданны и вводят в заблуждение самих авторов. Практики, знакомые с монетизацией цифрового мира, знают, что значительная доля информации и прочей сетевой активности носит искусственный генеративный характер для накручивания рекламных бюджетов и обманывает не столько людей, сколько KPI.
Сегодня в сфере международных отношений инструменты ИИ не переросли уровень общеофисных, когда их можно будет применять специально для сферы дипломатии и международных отношений. В отсутствии новых алгоритмов использования метаданных, их извлечение и систематизация не приведут ИИ к принятию решений и даже поддержке принятия решений. А значит, постановка вопроса львиной доли исследований о роли искусственного интеллекта в международных отношениях сродни постановке вопроса о роли программного пакета Microsoft Office в международных отношениях. Влияет ли Word на дипломатию? Безусловно, ведь именно с его помощью пишутся самые мерзкие шедевры пост-правды и пост-лжи. Но в чем суть этого влияния и оказывает ли Word какое-то воздействие на авторов текстов? Изменит ли что-либо ИИ, способный тиражировать искаженную или приукрашенную правду и из одной заметки делать сотню публикаций, фейк-постов и твиттов. Или его эффективность сойдет на нет, столкнувшись с аналогичной, но противонаправленной нейросетью?
В настоящем исследовании мы намеренно обошли вопрос военного использования ИИ. Во-первых, собственно военное использование ИИ - непосредственное управление дронами, танками, ракетами и т.п. - все-таки не имеет отношения к международным отношениям, поскольку актуально лишь уже в состоянии пост-отношений. А во-вторых, аспекты анализа больших данных, даже в связи с Национальными стратегиями безопасности США [1; 2], направлены не столько на изучение противника, работу с его аудиторией, информационную или экономическую войну, сколько на реализацию задачи превосходства на поле боя. А в этой части ИИ нужен только как водитель самоуправляемой пушки, без особой морали и тем более с весьма предсказуемой пирамидой приоритетов.
Выводы исследования
Текущий анализ показывает, что из 90 научных и более чем 400 новостных публикаций, проанализированных в рамках исследования вопроса о реальном использовании алгоритмов слабого ИИ и его применения к сфере международных отношений за период 2020-2023 гг. о фактах использования или разработке ИИ в ведущих странах мира, более 60% можно отнести к поверхностным журналистским комментариям, лишенным содержательности и конкретики. Из них до 26% относятся к описанию намерений будущего использования ИИ для некой оптимизации международных отношений. Во всех случаях речь не идет о каком-либо раскрытии содержательных моментов. В 25% случаях авторы приписывают использованию в сфере дипломатии и международных отношений использование типовых и универсальных инструментов по работе с текстом: аналогов ChatGPT, YandexGPT для написания и резюмирования заметок, создания чат-ботов по закрытой базе сведений. Здесь же обнаруживаются материалы публикаций об анализе общественного мнения на основе больших данных и сборе публично выражаемых мнений. Все это не специализированные программные решения, а довольно универсальные, доступные сегодня даже упомянутым выше маникюрным салонам и их колл-центрам.
Собственно, об использовании и анализе специализированных данных можно найти информацию примерно в 15% публикаций, но и здесь речь идет исключительно о программных алгоритмах, направленных на решение конкретных прикладных задач. Распознавание лиц, поиск упоминаний конкретных людей и построение карт межличностных связей, даже сопоставление данных в различных ведомственных базах по сути не является задачей ИИ и тем более не оказывает влияния на принятие решений. Интерес представляют работы, описывающие т.н. Web 5.0, ориентированный на вычисление лояльности гражданина в части следования предустановленным правилам и обычаям (на примере прото-системы социального рейтинга Китая). Власть камеры: доказательства, контроль - по версии M. Фана [4, с. 94-115] для сферы международных отношений довольно ограничена. Ведь Россия никогда не получит доступа к видеопотокам с камер Нью Йорка, а США не увидит аналитику с систем МВД по вычислению стандартных траекторий перемещений автомобилей граждан по городу. Однако использование данных алгоритмов доступно только внутри стран правительствами самих стран, что затруднительно применять для целей дипломатии и международных отношений, где объектом изучения или воздействия являются иностранные граждане в своей стране пребывания. И то, исключительно гипотетически.
Общие же выводы в настоящий момент неутешительны для адептов использования ИИ в международных отношениях. Как и твитты или посты в соцсетях, в свое время называемые "главными инструментами мягкой дипломатии", в итоге оказались весьма неубедительным и маловлияющим инструментом новых методов дипломатии, так и ИИ в международных отношениях сегодня - это преимущественно инструмент хайпа и моды. Новое слово, заменившее "инновации" и приставку "нано", но в мировом масштабе. О ИИ и о перспективах его использования будут написаны сотни страниц, возможно, потрачены гранты, но до тех пор, пока человечество не сформулирует алгоритмы принятия решений в сфере международных отношений или пока не создаст единую теорию международных отношений, говорить о возможности принятия решений в дипломатии и международных отношений силами какого-либо ИИ не приходится. При этом массовое внедрение отдельных вычислительных алгоритмов, в т.ч. ИИ, где в этой технологии есть смысл, для получения ответов на вопросы, связанные с обработкой больших данных, вполне возможно и даже здраво.
Специализированная оценка и аудит мнений населения, вычисляемый без социологических замеров, а через анализ, например, отзывов на статьи, диалогов форумов и проч. неформальных сред - доступен. Манипуляции же здесь будут легко и быстро обнаруживаться и пресекаться всеми участниками информационного обмена. Допустимы полезные статистические исследования, попытки обобщений и аппроксимаций реакций на новостные события. Глобальные же измерения на чужой территории по образцу формирования социального рейтинга Китая не представляются реалистичными. Поверхностные замеры через оценку информационного профиля допустимы, но на текущем уровне информатизации и реализации информационной безопасности не смогут открыть подлинные возможности для формирования достоверного социального портрета, который может быть основой для поведенческого предсказания. Поэтому сегодня и на ближайшие 5-10 лет внешнеполитическим ведомствам придется рассчитывать на собственные способности как минимум в постановке задач информационного взаимодействия с целевой иностранной аудиторией, а ИИ для них сможет служить максимум в качестве переводчика-референта, художника-контентщика или продвинутого табличного калькулятора. Или инструментом "власти патента", позволяющего западному миру выступать в качестве экспортера лицензионных решений [6], но это уже иная дискуссия, уходящая скорее от международных отношений между государствами, как акторами, в вопросы конкуренции экономических режимов и корпораций, где все трансгранично и куда менее определенно.
Литература:
1. Коробков А., Влияние технологий искусственного интеллекта на международные отношения. / Коробков А. // Вестник МГИМО-Университета. - 2021. - С. 1–25. https://doi.org/10.24833/2071-8160-2021-olf1
2. Artificial Intelligence and National Security. Congressional research service. - 2020. - November 10. URL: https://crsreports.congress.gov/product/pdf/R/R45178
3. Bostrom N., Superintelligence: Paths, Dangers, Strategies. - Oxford: Oxford University Press, 2014. – 328 p.
4. Fan M.D., Camera Power: Proof, Policing, Privacy, and Audiovisual Big Data. - Cambridge University Press, 2019. - 419 p.
5. Kamath U., Liu J., Whitaker J., Deep Learning for NPL and Speech Recognition. - Springer Nature Switzerland AG, 2019. – 621 p.
6. Katz Ya., Artificial Whiteness: Politics and Ideology in Artificial Intelligence. Columbia University Press. - 2020. - 352 p.
7. Makridakis S., The Forthcoming Artificial Intelligence (AI) Revolution: Its Impact on Society and Firms. / Makridakis S. // Futures. - 2017. - Vol. 90. - Pр. 46-60.
8. McCarthy J., Minsky M.L., Rochester N., Shannon C.E., A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence / McCarthy J., Minsky M.L., Rochester N., Shannon C.E. // AI Magazine. - 2006. - Vol. 27, No. 4. - Pр. 12–14.
9. Moor J., What Is Computer Ethics? / Moor J. // Metaphilosophy. - 1985. - Vol. 16, № 4. - Рp. 266–275.