CC BY
6
АНАЛИТИЧЕСКИЕ ОБЗОРЫ
Вестник международных организаций. 2023. Т. 18. № 3. С. 205-219 Аналитический обзор УДК 327.7; 327.8
ао1:10.17323/1996-7845-2023-03-11
Показатели и рейтинги в глобальном управлении: новые тенденции1
Е.М. Харитонова
Харитонова Елена Марковна — кандидат политических наук, старший научный сотрудник сектора международных организаций и глобального политического регулирования отдела международно-политических проблем Национального исследовательского института мировой экономики и международных отношений им. Е.М. Примакова (ИМЭМО) РАН; Россия, 117997, Москва, ул. Профсоюзная, д. 23; ekharit@imemo.ru; ОКСГО: 0000-0001-5948-1492
Аннотация
Разнообразные показатели и рейтинги, призванные оценить и сопоставить государства по множеству критериев, от размера ВВП до уровня свободы слова, гендерного равенства или привлекательности национальной кухни, стали неотъемлемой частью информационного пространства и международной жизни. Ранжирование стран зачастую становится основой для формулирования повестки дня, политического влияния или формирования подходов к глобальному управлению. Правительства могут использовать рейтинги, разработанные международными межправительственными и неправительственными организациями, а иногда и коммерческими структурами в качестве ориентира для развития и разработки собственных систем оценки тех или иных показателей, а могут, напротив, дистанцироваться от некоторых из таких рейтингов, обвиняя их создателей в политической ангажированности.
В последнее время внимание исследователей все чаще привлекает само явление рейтингов и индексов, принципы их создания и использования в контексте глобального управления, механизмы их разработки и влияния.
В статье рассматриваются существующие теоретические подходы к исследованию самого явления показателей и рейтингов, предлагаются оценки этого явления. Автор анализирует предпосылки роста интереса к разнообразным сопоставительным исследованиям и появления все новых и новых рейтингов, отмечает ограничения и слабые стороны таких исследований, изучает новые тенденции в данной сфере и возможные сценарии ее дальнейшего развития в условиях трансформации современного миропорядка.
Ключевые слова: глобальное управление, показатели, индексы, рейтинги, политические идеологии, власть, влияние, международные организации
Благодарности: статья опубликована в рамках проекта «Посткризисное мироустройство: вызовы и технологии, конкуренция и сотрудничество» по гранту Министерства науки и высшего образования Российской Федерации на проведение крупных научных проектов по приоритетным направлениям научно-технологического развития (соглашение № 075-15-2020-783).
Для цитирования: Харитонова Е.М. Показатели и рейтинги в глобальном управлении: новые тенденции // Вестник международных организаций. 2023. Т. 18. № 3. С. 205—219 (на русском и английском языках). <М:10.17323/1996-7845-2023-03-11
1 Материал поступил в редакцию 02.07.2023
Введение
Разнообразные показатели и рейтинги, позволяющие судить о каких-либо явлениях и сравнивать чьи-либо достижения, стали неотъемлемой частью жизни современного человека и часто оказываются основой для принятия решений. Инвесторы ориентируются на рейтинги доходности и надежности ценных бумаг для покупок на фондовом рынке; родители выбирают школы и университеты для детей на основании рейтингов; покупатели выбирают марки автомобилей по их позициям в списке самых безопасных или экономичных.
На международном уровне списки и рейтинги стран мира точно так же стали повседневной реальностью, знакомой не только специалистам: в СМИ регулярно появляются сюжеты о выходе новых докладов и публикаций, распределяющих государства по самым разным признакам — от размера ВВП или показателей инфляции до уровня счастья населения, свободы прессы и безопасности дорожного движения.
Российские и зарубежные исследователи не раз обращались к теме показателей, рейтингов и других подобных инструментов: изучали методологию составления конкретных индикаторов, их преимущества и слабые места, а также влияние, которое они оказывают или способны оказывать на участников международных отношений и национальные стратегии в тех или иных сферах (см., например, [Arndt, Oman, 2006; Bakvis, 2007; Pinheiro-Alves, Zambujal-Oliveira, 2012; Харитонова, 2015; Садовая, Бардин, Дов-быш, 2016; Зенков 2022; Андронова, Сахаров, 2022; Сахаров, Дорохина, 2023] и др.). Как экономисты, так и исследователи международных отношений регулярно ссылаются на результаты рейтингов для демонстрации определенных тенденций или закономерностей. Однако специалисты не всегда успевают за скоростью появления все новых и новых международных сопоставительных исследований, а также заметным расширением их тематического охвата. Работ, анализирующих само явление показателей и рейтингов и других подобных инструментов, динамику их развития и место в глобальном управлении, а также рассматривающих теоретические аспекты влияния рейтингов на лиц, принимающих решения, пока что относительно немного. В настоящей статье предлагается обзор публикаций, посвященных осмыслению самого явления рейтингов и собственные оценки автора, а также анализ новых тенденций в этой сфере.
Можно отметить усиление внимания к рассматриваемой теме и ее закрепление в академической литературе за последние 10—15 лет. Были опубликованы работы, рассматривающие роль рейтингов в системе глобального управления (например, [Davis et al., 2012b; Cooly, Snider, 2015]), подготовлены специальные выпуски авторитетных научных журналов, в том числе Review of International Studies в 2015 г. и International Organization («Международная организация») в 2019 г. Их авторы используют для обозначения изучаемого явления такие термины, как «глобальный бенчмаркинг», то есть отдельный тип транснациональных практик, подразумевающий разработку и применение эталонных показателей для сравнительной оценки деятельности [Broome, Quirk, 2015; Broome, Homolar, Kranke, 2018], или Global performance indicators (GPI), что можно перевести как «глобальные показатели деятельности» или «глобальные показатели результативности» [Kelley, Simmons, 2019]. В целом речь идет обо всей совокупности разнообразных индикаторов, рейтингов, «черных списков» и других инструментов, которые оценивают, ранжируют и классифицируют страны по определенным показателям и сравнивают их между собой.
Формирование используемых показателей
В первую очередь перед исследователями встает вопрос об определениях используемых терминов. Во-первых, речь идет о неких индикаторах или показателях (indicators) — то есть в широком смысле оценок самых разнообразных явлений. Экономика, социология и многие другие дисциплины опираются на показатели для оценки ситуации, стратегического планирования и прогнозирования событий. Использование тех или иных показателей для государственного управления также не является чем-то новым. Однако интересной и в определенной степени новой характеристикой постиндустриального мира, особенно хорошо заметной в контексте глобального управления, является стремление «посчитать» и представить в виде цифр, графиков и таблиц не только очевидно поддающиеся оценке характеристики (например, продолжительность жизни, количество иммигрантов или распространенность инфекционных заболеваний), но и такие сложные явления, как коррупция, ситуация с правами человека, демократические свободы, гендерное равенство или межэтническая напряженность. Более того, речь идет о том, чтобы «привести к общему знаменателю» и выразить на глобальном уровне с помощью цифр явления, которые могут несколько по-разному интерпретироваться в различных культурах и обществах. Очевидна также идеологическая обусловленность многих таких показателей и их опора на систему приоритетов, присущих той или иной политической идеологии.
Показатель, или индикатор, вырабатывается на основании определенной методики. При более близком рассмотрении зачастую оказывается, что показатель представляет собой некую «матрешку» и складывается путем объединения других показателей, иногда с добавлением собственных экспертных оценок авторов методики или с учетом мнений сторонних экспертов. Например, при подсчете степени свободы прессы международной неправительственной организации «Репортеры без границ» количественное исследование злоупотреблений в отношении работников СМИ или редакций дополняется анкетированием экспертов по нескольким группам вопросов. Затем с помощью определенной формулы рассчитывается общий показатель для каждой из изучаемых стран [Reporters Without Borders, 2022]. Зачастую новые рейтинги используют в качестве значимой составляющей данные уже существующих авторитетных организаций, например учреждений системы ООН.
На основании одного или нескольких показателей могут быть сформированы индексы или рейтинги стран (в английском языке слово "index" также иногда используется в значении «индикатор»), или же списки, распределяющие государства по определенным категориям (например, неправительственная организация Freedom House подразделяет страны на «свободные», «частично свободные» и «несвободные»). А. Кули из Колумбийского университета различает рейтинги и ранжирование (rating/ranking в английском языке) [Cooley, 2015]: в первом случае речь идет о присвоении определенной категории (как, например, кредитный рейтинг страны или распределение государств на «свободные», «частично свободные» и «несвободные»), во втором — о построении иерархии стран по определенному показателю.
«Черные списки» (blacklists) и «контрольные перечни» (watch lists) стран в каком-то смысле противоположны рейтингам — в них попадают государства, находящиеся внизу списка и не удовлетворяющие каким-либо критериям, либо лидеры по нарушениям в какой-либо области. Исследователи также рассматривают такие форматы в качестве GPI (см., например, [Morse, 2019]).
Показатели и основанные на них рейтинги можно назвать «вершиной айсберга». Их первоочередная задача состоит в том, чтобы представить сложные и комплексные
явления в виде наглядных и простых для восприятия цифр. Методология («подводная часть») может быть самой разнообразной. Именно в этой скрытой части содержится подразумеваемое составителями показателей и рейтингов определение понятий или концепций, например дефиниции гендерного равенства, человеческого развития или демократии. В одних случаях речь может идти о длительном процессе согласования определений и выработке единого подхода для подсчета показателей на глобальном уровне, а затем поэтапном внедрении методологии на уровне стран и регионов. К примеру, показатели смертности новорожденных при переходе на критерии Всемирной организации здравоохранения (ВОЗ) могли отличаться от показателей национальных служб здравоохранения. В других случаях определения ключевых понятий и критерии оценки формулируется составителями рейтинга, и различия между национальными системами управления или культурная специфика не учитываются.
Исследовательские подходы
Возможны разные подходы к отбору тех показателей и рейтингов, которые можно рассматривать в контексте глобального управления. Одни авторы фокусируют внимание на показателях, касающихся собственно государственного управления (индекс коррупции, финансовая устойчивость, верховенство права и др.) [Malito, Umbach, Bhuta, 2018]. Другие рассматривают весь спектр инструментов, используемых на наднациональном уровне, в том числе рейтинги мировых университетов и данные сканирования образовательных результатов PISA, показатели иммунизации и другие [Davis et al., 2012a].
Характерной чертой современного «бума» показателей и рейтингов стало заметное расширение тематики, авторов и используемых методологий. По мнению авторов коллективной монографии издательства Palgrave [Malito, Umbach, Bhuta, 2018], практически любое явление или концепт, от экономической открытости до человеческого развития, расширения прав и возможностей женщин, демократии, коррупции, прозрачности бюджетов, верховенства права и нестабильности государств оказываются пригодными для измерения, обобщения и ранжирования. Тем не менее всеохватность, о которой говорят авторы, все же не абсолютная, и идеологическая обусловленность достаточно заметна: так, рейтинги стран, основанные на консервативных или религиозных ценностях, в отличие от либеральных, экологических или феминистических, широкого применения не имеют.
Можно рассматривать появление все новых и новых рейтингов в контексте глобализации и усилий по формированию системы глобального управления, учитывая, что «сложность современных мира и его жизнедеятельности востребует растущие объемы и диапазоны регулирования на всех уровнях, от внутристранового до глобального» [Барановский, Иванова, 2015]. Для глобального регулирования, в свою очередь, нужна информация, которая может быть представлена в форме показателей. Новые технологические и информационные возможности сделали возможным аккумуляцию и доступ к огромному количеству данных. Одновременно с этим показатели и рейтинги выражают стремление к упрощению, отвечают потребности выразить сложные и зачастую противоречивые явления в форме легко поддающихся сравнению и понятных цифр, обобщить огромный объем разнообразных данных и сформулировать четкие выводы. Избыточный объем информации и чрезмерное количество данных и цифр, понятных только экспертам, с помощью показателей и рейтингов могут быть представлены в упрощенном виде, восприняты официальными лицами и широкими аудиториями и
использованы для принятия решений. Показатели и рейтинги также можно рассмотреть в качестве ответа на центральную проблему глобального управления — дефицит легитимности. Заявленные в качестве беспристрастных и объективных и выраженные в виде цифр, они становятся инструментом легитимации или закрепления норм и правил, которые продвигают различные акторы.
Американский антрополог С. Мерри говорит о появлении новой «культуры индикаторов», которые, казалось бы, способны стать ориентиром в современном сложно устроенном мире и пишет о «соблазне количественной оценки» [Merry, 2016]. Однако одновременно с ростом популярности показателей и рейтингов нарастает и критика в их отношении. Речь идет и о необъективности самих показателей, и о предвзятом отношении составителей рейтингов и опрашиваемых экспертов, о неизбежном упрощении сложных социальных и политических процессов при попытке их отображения с помощью цифр и рейтингов, и об оторванности от культурных и местных реалий. Несмотря на то что цифры позволяют выявить проблемы и проследить за их распространением, они также предоставляют знание, которое «оторвано от контекста, гомогенизировано», а также не соответствует системе понятий и значений на местном уровне, считает С. Мерри. По ее мнению, существует риск того, что знание, полученное с помощью индикаторов, окажется предвзятым, искаженным и вводящим в заблуждение [Merry, 2016].
Само по себе явление глобальных показателей и рейтингов, таким образом, оказалось в поле зрения социологов, антропологов, ученых-международников, специалистов в области права. Современные исследователи обращают внимание и на причины повысившегося интереса к измерению разнообразных явлений, и на проблемы, возникающие при попытке «посчитать» сложные социальные явления с различным культурным и политическим содержанием.
Влияние на принятие политических решений
Создатели рейтингов зачастую открыто говорят о том, что цель ранжирования стран — оказание давления на правительства и содействие реформам в соответствующем направлении, а также включают в отчеты о позициях государств рекомендации для правительств, желающих улучшить показатели своих стран. Можно предполагать, что рейтинги не только отражают объективную ситуацию или ее субъективное восприятие, но и в определенной степени формируют реальность, зачастую — в соответствии с определенной политической идеологией. По оценке некоторых исследователей, «по мере того, как спрос и предложение на GPI растут, различные акторы осознают, что GPI можно использовать в качестве политических инструментов». Чем дальше, тем больше индексы и рейтинги используются для того, чтобы побудить к действию или пристыдить, а также вызвать конкуренцию между государствами [Kelly, Simmons, 2019]. Дж. Келли также пишет об «оценочной дипломатии» и о том, что распределение стран по тем или иным показателям становится все более распространенным способом для оказания влияния — в частности, различные рейтинги используются при распределении зарубежной помощи [Kelly, 2017]. Другие авторы отмечают, что «бурно развивающееся производство и использование индикаторов... может потенциально изменить формы, использование и даже распределение силы в определенных сферах глобального управления» [Davis et al., 2012a].
Для понимания того, как соотносятся рейтинги и политическая власть (сила) на международном уровне, можно провести аналогию с рейтингом учащихся в образова-
тельном учреждении. В зависимости от того, по каким критериям будут формироваться такие рейтинги, будет меняться и поведение студентов. Например, использование показателей посещаемости занятий и выполнения всех домашних заданий даст одно ранжирование, а высокие места в рейтинге за победы в спортивных соревнованиях или способность решить задачи повышенной сложности — другое. Если от позиции в рейтинге зависит репутация студента, его одобрение со стороны сверстников или родителей, или возможности дальнейшего трудоустройства, стратегия ранжирования и избранные показатели будут оказывать влияние на расстановку приоритетов и образовательную стратегию всех обучающихся.
Возникает вопрос о непосредственном влиянии рейтингов на принятие политических решений и приоритеты правительств. Результаты рейтингов могут не афишироваться или отбрасываться как предвзятые или же, напротив, использоваться в качестве подтверждения эффективности текущей политики, однако они в любом случае учитываются национальными правительствами и могут быть интегрированы в стратегические программы и документы. Так, в «майских указах» президента России В.В. Путина, обнародованных в 2012 г., содержалось требование достичь к 2018 г. места в первой двадцатке рейтинга Всемирного банка по ведению бизнеса [Президент Российской Федерации, 2012а], а также обеспечить вхождение к 2020 г. не менее пяти российских университетов в первую сотню ведущих мировых университетов [Президент Российской Федерации, 2012b]. Сегодня же, в ситуации кардинального пересмотра отношений России с западными странами и публикации новой Концепции внешней политики Российской Федерации, позиционирующей Россию в качестве «самобытного государства-цивилизации» [Министерство иностранных дел Российской Федерации, 2023], отношение к позициям страны в тех или иных рейтингах также, очевидно, будет пересматриваться.
Возможны различные типы реакции государственных институтов на публикацию тех или иных рейтингов. Одни правительства используют информацию о высоких местах своих стран в рейтингах в рекламе в крупных экономических изданиях. Другие адаптируют критерии рейтингов для стратегического планирования. Наконец, при неблагоприятных оценках правительства могут подвергнуть сомнению авторитетность рейтингов и их составителей и обвинить в попытке нанесения экономического ущерба и дестабилизации ситуации А. Кули рассматривает потенциальную реакцию стран на рейтинги с двух возможных позиций [Cooley, 2015]. В рамках рационального подхода можно ожидать от государств реакции на значимые для них рейтинги, позволяющей улучшить позиции страны с наименьшими усилиями. Более того, речь может идти об эффекте так называемого закона Кэмпбелла, который писал о количественных индикаторах в образовании следующее: «...чем больше количественные индикаторы используются в регулировании социальных процессов, тем больше они подвержены искажающим влияниям, тем больше в них нарушаются качественные аспекты человеческой деятельности» [Campbell, 1979] — то есть в какой-то мере о симуляции изменений и «подгонке» тех или иных показателей для достижения желаемых результатов рейтингов. С конструктивистской же точки зрения более значимым будет изменение поведения государств благодаря нормам и социальному воздействию рейтингов.
Не менее интересным является вопрос о том, как именно оказывают влияние рейтинги и теоретическое осмысление этого влияния: здесь авторы исследований говорят о таких явлениях, как формирование дискурса, воздействие на повестку дня и формулирование целей и приоритетов, упоминают «символическую власть» П. Бурдьё [2007] и концепцию «нормативной силы» И. Маннерса [Manners, 2009], сообщают о связи между знаниями и управляемостью или властью (например, [Lowenheim, 2008])
и сравнивают использование различных индикаторов с применением законов [Merry, Davis, Kingsbury, 2015]. В обзоре российских исследователей, посвященном дифференциации государств с точки зрения климатической повестки, также пересекающемся по тематике с исследованиями международных рейтингов, предлагается анализ через призму различных теоретических направлений: английской школы международных отношений, где речь может идти о включении или исключении из международного сообщества; с позиций представителей критической теории и последователей А. Грамши, в частности, в контексте гегемонистского контроля над дискурсом; или же в рамках представлений Фуко о силе «нормализирующего суждения» [Жорнист и др., 2021].
Для осмысления исследуемой темы также полезно определить, кем являются создатели и авторы индексов, рейтингов, черных списков и других инструментов, каковы их цели и роль в формировании глобальной повестки. Как и во многих других сферах, здесь становится все более заметным участие негосударственных акторов: многие известные рейтинги и индексы создаются и поддерживаются неправительственными организациями. Это, например, упомянутый выше Индекс восприятия коррупции, Рейтинг политических и гражданских свобод международной неправительственной организации Freedom House, Рейтинг недееспособности государств американского аналитического центра «Фонд мира» и журнала Foreign Policy и многие другие. Одновременно различные показатели, рейтинги, индексы, черные списки и контрольные списки все больше используются крупными наднациональными организациями в качестве одного из инструментов глобального управления. Так, индикаторы, используемые в рамках Целей устойчивого развития ООН призваны оказывать влияние на политику национальных правительств и формировать повестку дня, в то время как Индекс человеческого развития ПРООН, скорее, ориентирован на продвижение определенного понимания и идеологии «человеческого развития» [Davis et al., 2012b].
В создании различных глобальных индексов и рейтингов также принимают участие университеты и аналитические центры, коммерческие консалтинговые компании (см., например, [Харитонова, 2015]) и правительства стран. К примеру, Госдепартамент США выпускает доклад о торговле людьми, в котором ранжирует страны мира в зависимости от их отношения к этой проблеме и вклада в противодействие торговле людьми [Department of State, 2019].
Соответственно, возникает вопрос о том, каким образом те или иные участники международных отношений получают право судить о положении стран, что становится источником их авторитета и влияния, а также с какими целями создаются и публикуются рейтинги стран. По мнению некоторых авторов, составители рейтингов выступают одновременно в качестве судей, глобальных контролеров и регуляторов, пропагандистов или защитников соответствующей идеи или используют рейтинги для того, чтобы закрепить причастность своей организации к исследуемой теме [Abdelal, Blyth, 2015].
Известные американские исследователи конструктивистского толка М. Барнетт и М. Финнемор рассматривают международные организации в качестве бюрократий и также считают классификацию и организацию информации, которой они занимаются, одной из основ их власти (силы). Подобно тому как бюрократии «передвигают людей между социальными категориями или создают такие категории», международные организации «классифицируют мир» [Barnett, Finnemore, 2004]. Авторы подчеркивают, что контроль над информацией имеет ключевое значение для международных организаций. Они пишут: «.из-за того, что у бюрократий есть информация, которой нет у других, или же из-за того, что они могут указывать, какую информацию должны собирать и обнародовать другие акторы, бюрократии могут повысить степень своего контроля за результатами». Более того, они говорят о том, что бюрократии устанавливают общие
для всех, обезличенные правила, которые определенным образом выстраивают и классифицируют мир. Эти правила ставят общие задачи (такие как «развитие»), создают и определяют новые категории акторов (например, «беженцы») и порождают новые интересы для акторов (например, «продвижение прав человека») [Ibid].
Таким образом, речь идет о возможности в некотором роде конструировать реальность, создавать новые категории и новые ориентиры для участников международных отношений. Власть и влияние этих организаций основываются на делегированных полномочиях, моральном авторитете и компетентности в качестве экспертов в своих областях. Показатели и рейтинги в этом контексте оказываются значимым инструментом влияния. Представленные в качестве беспристрастных и объективных оценок ситуации, универсальных для всех стран, они закрепляют в общественном сознании те категории и интересы, которые продвигают международные организации и другие, использующие показатели и рейтинги акторы, а также создают ситуацию конкуренции для государств, выделяют образцы для подражания и формулируют задачи для дальнейшего развития.
Американские исследователи В. Эспеланд и М. Саудер отмечают, что успешные показатели часто оказывают сильный и непредсказуемый эффект: они могут изменить представления людей о своей деятельности, о том, что является предметом для сравнения, как определяется совершенство или посредственность или даже о них самих [Espeland, Sauder, 2012].
Можно также отметить, что одной из причин, побуждающих НПО, международные организации и коммерческие компании создавать и публиковать такого рода списки стран, является привлекательность и простота использования рейтингов для средств массовой информации, блогов и других информационных ресурсов — а значит, потенциал для привлечения внимания как к тематике исследований (например, к гендерному равенству или проблеме свободы прессы), так и к самой выпускающей рейтинг организации. Рейтинги становятся частью коммуникационной кампании: «упаковывая» сложные понятия и концепции в понятный и готовый к использованию в СМИ и социальных сетях продукт, авторы рейтингов создают информационные поводы. К примеру, если проанализировать график популярности выражения "corruption perception" («восприятие коррупции») с помощью сервиса Google Trends, можно увидеть, что пики популярности соответствующего поискового запроса приходятся на время, близкое к публикации очередного рейтинга, который ежегодно выходит в свет примерно в конце января. Похожие результаты дает сравнение всплесков поисковых запросов "press freedom" («свобода прессы») с датами публикации очередных докладов о свободе прессы организации «Репортеры без границ».
Информация, опубликованная в формате рейтингов или ранжирования стран достаточно авторитетными организациями, в дальнейшем подхватывается и распространяется шире. В случае, если государство занимает высокие позиции в рейтинге или заметно продвинулось по сравнению с предыдущими результатами, в распространении информации заинтересованы правительственные структуры, которые используют данные ранжирования в качестве подтверждения эффективности своей работы, а также лояльные СМИ и публичные фигуры. Если же результаты, напротив, неблагоприятны для страны, это становится информационным поводом для оппозиционных сил и неправительственных организаций и позволяет критиковать правительство.
Рейтинги формируют информационное пространство и способствуют закреплению тех или иных понятий и соответствующей трактовки этих понятий. К примеру, исследуя рейтинг восприятия коррупции, который выпускается организацией Transparency International, М. Буковански (США) отмечает, что фокусируясь на государ-
ственной коррупции в противовес коррупции в корпорациях, рейтинг уже определенным образом влияет на понимание данного термина, приводя к тому, что указанное понятие в большей степени применяется к государственным служащим, а не к сотрудникам бизнес-структур [Bukovanski, 2015].
Новые вызовы на современном этапе
Существующие противоречия и дисбалансы современного миропорядка ставят перед исследователем целый ряд новых вопросов, связанных с международными показателями и рейтингами. Используемые сегодня инструменты оценки и сравнения являются неотъемлемой частью переживающей кризис системы международных отношений, а параметры новой системы еще длительное время будут неочевидны [Dynkin, Burrows, 2016]. В частности, в настоящее время полностью пересматриваются роль и место России в системе глобального управления, а следовательно, и отношение к существующим системам ранжирования и оценки государств по различным критериям. Можно предположить, что в ситуации кардинального пересмотра отношений с западными странами в 2022—2023 гг., закрепленного в новой Концепции внешней политики Российской Федерации [Министерство иностранных дел Российской Федерации, 2023], те или иные суждения или рейтинги, опубликованные западными государственными и негосударственными институтами, теряют свою значимость для политического руководства России. Очевидно, что ни рейтинги свободы прессы, ни индексы восприятия коррупции не будут использоваться в стране как ориентир или руководство к действию, а беспрецедентное санкционное давление, по сути, автоматически помещает Россию в единый «черный список» с точки зрения политических элит западных стран, так что отдельные изменения в глобальных рейтингах не будут оказывать влияние на более масштабную повестку. Таким образом, в условиях конфронтации с «коллективным Западом» некоторые из описанных выше механизмов использования индексов и рейтингов в глобальном управлении теряют свою значимость с точки зрения формирования внешней политики и стратегии развития нашей страны, а возможно, в дальнейшем и некоторых других государств, также пересматривающих свою политику.
Продолжаются попытки построить новую, более справедливую с точки зрения ряда участников, систему глобального управления. Так, Пекинская декларация саммита БРИКС, прошедшего в июне 2022 г., призывает «сделать инструменты глобального управления более инклюзивными, представительными и с привлечением более широкого круга участников» [President of the Russian Federation, 2022].
Соответственно, и вопрос о месте международных рейтингов в будущем мировом устройстве зависит от той конфигурации, которая возникнет после прохождения периода турбулентности. Спектр рассматриваемых экспертами сценариев — «от хаоса до многополярности» [Барановский, 2021] — предполагает как разные потребности в оценке и сравнении государств по определенным параметрам, так и разные подходы к определению этих параметров. При сохранении текущих тенденций можно предположить дальнейшее развитие систем сбора данных, в том числе при участии международных организаций; увеличение объема регулярно собираемой статистики и экспертных мнений, а также инструментов их анализа и ранжирования стран; появление новых, конкурирующих между собой рейтингов и показателей. При реализации сценария разделения на отдельные сферы влияния, в каждой из таких сфер может быть создан свой набор рейтингов и оценок, не совпадающий с набором другого «центра силы», с отдельными системами сбора и обработки данных и соответствующими государственными
и негосударственными структурами, и предлагающий свои ориентиры для развития. С другой стороны, вполне возможно, что движение в сторону отказа от ориентации на западные показатели, будь то в сфере образования, науки, свободы прессы или соблюдения прав меньшинств, повлечет за собой снижение интереса к оценке и сопоставлению параметров различных обществ и культур с точки зрения глобального управления. Доступность информационных технологий и инструментов для визуализации вместе с открытостью данных также может привести к усилению перепроизводства в этой сфере и к тому, что многие рейтинги и индексы станут частью развлекательного и познавательного информационного пространства, а их теперешние создатели в какой-то мере утратят монополию на создание ориентиров для развития и критериев оценки.
Таким образом, можно предположить самые различные сценарии развития деятельности в исследуемом направлении: в том числе вероятность создания новых глобальных показателей, учитывающих отличия между обществами и культурами и не направленных на унификацию; увеличение количества рейтингов и «фрагментацию» систем оценки и ранжирования, появление конкурирующих наборов таких систем, выгодных тем или иным «центрам силы»; или же, напротив, сокращение количества используемых в международной политике наборов показателей, с возвратом к тем рейтингам, которые могут быть объективно измерены и подтверждены, и выносом более субъективных оценок за пределы поля зрения лиц, принимающих политические реше-
Однако пока что такие сценарии являются лишь предположениями. На сегодняшний день показатели и рейтинги широко используются в современном мире в контексте глобального управления. Они призваны не только фиксировать определенные факты и тенденции, но и формировать повестку дня, создавать новые ориентиры и цели для участников международных отношений, привлекать внимание к тем или иным явлениям и концепциям, определять «лидеров» и «отстающих». Показатели и рейтинги используются разнообразными акторами: международными организациями, НПО, средствами массовой информации, университетами и коммерческими компаниями, а также правительственными структурами. Наиболее влиятельные и известные из них могут в определенной степени влиять на политику государств. Появление все новых рейтингов, в том числе оценивающих государства по трудно поддающимся квантифи-кации категориям, свидетельствует об интересе различных акторов к ранжированию как способу влияния на повестку дня и привлечению внимания к тем или иным темам и к самим выпускающим подобные исследования организациям. Можно рассматривать такую деятельность как альтернативный и неформальный способ воздействия на участников международных отношений в контексте глобального управления.
Список источников
Андронова И.В., Сахаров А.Г. (2022) Индекс устойчивого развития стран БРИКС: методологические аспекты // Вестник международных организаций. Т. 17. № 3. С. 23—47 (на русском и английском языках). Режим доступа: http://doi.org/10.17323/1996-7845-2022-03-02
Барановский В.Г. (2021) Международный ландшафт: эпоха перемен. Избранная аналитика. ИМЭМО РАН. М.: Весь мир.
Барановский В. Г., Иванова Н. И. (2015) Глобальное управление: возможности и риски. М.: ИМЭМО РАН.
Дынкин А., Барроуз М. (2016) Глобальная система на переломе: пути к новой нормальности: пер. с англ. / под ред. А. Дынкина, М. Барроуза; М.: ИМЭМО РАН.
Жорнист В.М., Несмашный А.Д., Харкевич М.В., Сафранчук И.А. (2022) Дифференциация государств по климатической амбициозности: влияние на мировую политику // Вестник международных организаций. 2022. Т. 17. № 1. С. 163—182 (на русском языке).
Зенков А.Р. (2022) Рейтинги как инструмент адаптации профессионального образования к вызовам постиндустриальной занятости // Социально-трудовые исследования. № 46(1). С. 117—127. doi: 10.34022/2658-3712-2022-46-1-117-127.
Министерство иностранных дел Российской Федерации (РФ) (2023) Концепция внешней политики Российской Федерации (утверждена Президентом Российской Федерации В.В. Путиным 31 марта 2023 г.). Режим доступа: https://www.mid.ru/ru/detail-material-page/1860586 (дата обращения: 01.05.2023)
Президент Российской Федерации (2012a) Подписан Указ о долгосрочной государственной экономической политике. 07.05.2012. Режим доступа: http://kremlin.ru/events/president/news/15232 (дата обращения: 01.05.2023).
Президент Российской Федерации (2012b) Подписан Указ о мерах по реализации государственной политики в области образования и науки. 07.05.2012. Режим доступа: http://kremlin.ru/events/presi-dent/news/15236 (дата обращения: 01.05.2023)
Президент Российской Федерации (2022) Пекинская декларация XIV саммита БРИКС. 23.06.2022. Режим доступа: http://www.kremlin.ru/supplement/5819 (дата обращения: 01.05.2023)
Садовая Е., Бардин А., Довбыш Е. (2016) Индексы социального самочувствия как инструмент исследования и прогнозирования этнополитических конфликтов. Мировая экономика и международные отношения. Т. 60. № 9. С. 57-66. https://doi.org/10.20542/0131-2227-2016-60-9-57-66
Сахаров А.Г., Дорохина К.М. (2023) Индекс устойчивого развития стран БРИКС: результаты // Вестник международных организаций. Т. 18. № 1. С. 75-106 (на русском и английском языках).
Харитонова Е. (2015) Эффективность «мягкой силы»: проблема оценки // Мировая экономика и международные отношения. № 6. С. 48-58. Режим доступа: https://doi.org/10.20542/0131-2227-2015-6-48-58
Abdelal R., Blyth M. (2015) Just Who Put You in Charge? // Ranking the World: Ranking States as a Tool of Global Governance / A. Cooley, J. Snyder (eds). Cambridge: Cambridge University Press. P. 39-59.
Arndt C., Oman C. (2006) Uses and Abuses of Governance Indicators. Development Centre Studies, Organisation for Economic Co-operation and Development. Режим доступа: https://doi.org/10.1787/9789264026865-en
Bakvis P. (2007) How the World Bank and IMF Use the Doing Business Report to Promote Labour Market Deregulation in Developing Countries. PB 15-06-06, International Confederation of Free Trade Unions. Режим доступа: https://library.fes.de/pdf-files/gurn/00171.pdf (режим доступа: 03.10.2023).
Barnett M., Finnemore M. (2004) Rules for the World: International Organizations in Global Politics. L.: Cornell University Press.
Broome A., Quirk J. (2015) Governing the World at a Distance: The Practice of Global Benchmarking // Review of International Studies. Vol. 41. Special issue 5. P. 819-41. Режим доступа: https://doi.org/10.1017/ S0260210515000340
Broome A., Homolar A., Kranke M. (2018) Bad Science: International Organizations and the Indirect Power of Global Benchmarking // European Journal of International Relations. Vol. 24. Issue 3. P. 514-539. Режим доступа: https://doi.org/10.1177/1354066117719320
Bukovanski M. (2015) Corruption Rankings. Constructing and Contesting Global Anti-Corruption Agenda // Ranking the World. Ranking States as a Tool of Global Governance / A. Cooley, J. Snyder (eds). Cambridge: Cambridge University Press. P. 60-84.
Campbell D.T. (1979) Assessing the Impact of Planned Social Change // Evaluation and Program Planning. Vol. 2. Issue 1. P. 67-90. Режим доступа: http://doi.org/10.1016/0149-7189(79)90048-X
Cooley A. (2015) The Emerging Politics of International Ratings and Rankings. A Framework for Analysis // Ranking the World. Ranking States as a Tool of Global Governance / A. Cooley, J. Snyder (eds). Cambridge: Cambridge University Press. P. 1-38.
Cooley A., Snyder J. (eds) (2015) Ranking the World: Grading States as a Tool of Global Governance. Cambridge: Cambridge University Press.
Davis K.E., Fisher A., Kingsbury B., Merry S.E. (eds) (2012b) Governance by Indicators. Global Power through Quantification and Rankings. Oxford: Oxford University Press.
Davis K.E., Kingsbury B., Merry K.E. (2012a) Indicators as a Technology of Global Governance // Law & Society Review. Vol. 46. Issue 1. P. 71-104. Режим доступа: https://doi.org/10.1111/j.1540-5893.2012.00473.x
Department of State. United States of America (2019) Trafficking in Persons Report. June. Режим доступа: https://www.state.gov/wp-content/uploads/2019/06/2019-Trafficking-in-Persons-Report.pdf (дата обращения: 01.05.2023).
Espeland W.N., Sauder M. (2012) The Dynamism of Indicators // Governance by Indicators. Global Power Through Quantification and Rankings / K.R. Davis, A. Fisher, B. Kingsbury, S.E. Merry (eds). Oxford: Oxford University Press. P. 86-109.
Kelley J.G. (2017) Scorecard Diplomacy: Grading States to Influence Their Reputation and Behavior. Cambridge: Cambridge University Press.
Kelley J.G., Simmons B.A. (2019) Introduction: The Power of Global Performance Indicators // International Organization. Vol. 73. Issue 3. P. 491-510. Режим доступа: http://doi.org/10.1017/S0020818319000146
Lowenheim O. (2008) Examining the State: A Foucauldian perspective on International "Governance Indicators" // Third World Quarterly. Vol. 29. Issue 2. P. 255-274. Режим доступа: http://doi.org/10.1080/ 01436590701806814
Malito D.V., Umbach G., Bhuta N. (eds) (2018) The Palgrave Handbook of Indicators in Global Governance. L.: Palgrave Macmillan.
Manners I. (2009) The Concept of Normative Power in World Politics. DIIS Brief, Danish Institute for International Studies. Режим доступа: https://pure.diis.dk/ws/files/68745/B09_maj_Concept_Normative_Pow-er_World_Politics.pdf (режим доступа: 03.10.2023).
Merry S.E. (2016) The Seductions of Quantification: Measuring Human Rights, Gender Violence and Sex Trafficking. Chicago: Chicago University Press.
Merry S., Davis K., Kingsbury B. (eds) (2015) The Quiet Power of Indicators: Measuring Governance, Corruption, and Rule of Law (Cambridge Studies in Law and Society). Cambridge: Cambridge University Press. Режим доступа: http://doi.org/10.1017/CBO9781139871532
Morse J.C. (2019) Blacklists, Market Enforcement and the Global Regime to Combat Terrorism Financing // International Organization. Vol. 73. Issue 3. P. 511-545. Режим доступа: https://doi.org/10.1017/ S002081831900016X
Pinheiro-Alves R., Zambujal-Oliveira J. (2012) The Ease of Doing Business Index as a Tool for Investment Location Decisions // Economic Letters. Vol. 117. Issue 1. P. 66-70. Режим доступа: https://doi.org/10.1016/j. econlet.2012.04.026
Reporters Without Borders (2022) Methodology Used for Compiling the World Press Freedom Index. Режим доступа: https://rsf.org/en/index-methodologie-2022 (дата обращения: 01.05.2023).
ANALYTICAL REVIEW
International Organisations Research Journal, 2023, vol. 18, no 3, pp. 205-219 Analytical Review
doi:10.17323/1996-7845-2023-03-11
Indicators and Ratings in Global Governance: New Trends1
E. Kharitonova
Elena Kharitonova — Cand. of Science (Politics), Senior Researcher, Sector of International Organizations and Global Political Regulation, Department of International Political Problems, Primakov National Research Institute of World Economy and International Relations of the Russian Academy of Sciences (IMEMO RAN); 23 Profsoyuz-naya Ulitsa, Moscow, 117997, Russia; ekharit@imemo.ru; ORCID: 0000-0001-5948-1492
Abstract
Numerous indicators and ratings aimed at assessing and comparing states based on different criteria, such as volume of gross domestic product (GDP), freedom of speech, gender equality, or attractiveness of local cuisine, have become an integral part of contemporary communications and international relations. Country rankings can be used as a basis for agenda setting, political influence, or developing approaches to global governance. National governments sometimes use rankings developed by international intergovernmental and non-governmental organizations, or in some cases by business entities, as benchmarks for their countries development and national scorecards and indexes. Or, if the ratings are considered unsatisfactory, governments can distance themselves from such reports, accusing their authors of political bias.
Lately, the phenomena of international indicators and ratings, the principles behind their development, and their influence and usage in the context of global governance have attracted attention of researchers specializing in international relations and other social science disciplines.
This article examines different theoretical approaches to analyzing the phenomena of indexes and ratings and provides evaluation of the phenomena. The author focuses on the premises for the increasing interest in comparative approaches and emergence of newly developed ratings and indexes, highlights limitations and weaknesses of such approaches, and examines new trends in the field and possible scenarios of its future development in the context of current global transformations.
Keywords: global governance, indicators, indexes, ratings, political ideologies, power, influence, international organizations
Acknowledgments: The article was prepared within the project "Post-crisis world order: challenges and technologies, competition and cooperation" supported by the grant from Ministry of Science and Higher Education of the Russian Federation program for research projects in priority areas of scientific and technological development (Agreement № 075-15-2020-783).
For citation: Kharitonova E. (2023) Indicators and Ratings in Global Governance: New Trends. International Organisations Research Journal, vol. 18, no 3, pp. 205-219 (in English). doi: 10.17323/1996-7845-2023-03-11
References
Abdelal R., Blyth M. (2015) Just Who Put You in Charge? Ranking the World: Ranking States as a ToolofGlobal Governance (A. Cooley, J. Snyder (eds)). Cambridge: Cambridge University Press, pp. 39-59.
1 This article was submitted 02.07.2023
Andronova I.V., Saharov A.G. (2022) Indeks ustojchivogo razvitija stran BRIKS: metodologicheskie aspekty [BRICS Sustainable Development Index: Methodological Aspects]. International Organisations Research Journal, vol. 17, no 3, pp. 23-47. Available at: http://doi.org/10.17323/1996-7845-2022-03-02 (in Russian and English).
Arndt C., Oman C. (2006) Uses and Abuses of Governance Indicators. Development Centre Studies, Organisation for Economic Co-operation and Development. Available at: https://doi.org/10.1787/9789264026865-en
Bakvis P. (2007) How the World Bank and IMF Use the Doing Business Report to Promote Labour Market Deregulation in Developing Countries. PB 15-06-06, International Confederation of Free Trade Unions. Available at: https://library.fes.de/pdf-files/gurn/00171.pdf (accessed 3 October 2023).
Baranovsky V.G. (2021) Mezhdunarodnyj landshaft: jepohaperemen. Izbrannaja analitika [International Landscape: The Age of Change. Selected Analytical M>rks]. IMEMO RAS. Moscow: Ves' Mir (in Russian).
Baranovsky V.G., Ivanova N.I. (eds) (2015) Globallnoe upravlenie: vozmozhnosti iriski [Global Governance: Possibilities and Risks]. Moscow: IMEMO RAS (in Russian).
Barnett M., Finnemore M. (2004) Rules for the World: International Organizations in Global Politics. London: Cornell University Press.
Broome A., Homolar A., Kranke M. (2018) Bad Science: International Organizations and the Indirect Power of Global Benchmarking. European Journal of International Relations, vol. 24, Issue 3, pp. 514-39. Available at: https://doi.org/10.1177/1354066117719320
Broome A., Quirk J. (2015) Governing the World at a Distance: The Practice of Global Benchmarking. Review of International Studies, vol. 41, special Issue 5, pp. 819-41. Available at: https://doi.org/10.1017/ S0260210515000340
Bukovanski M. (2015) Corruption Rankings. Constructing and Contesting Global Anti-Corruption Agenda. Ranking the World. Ranking States as a Tool of Global Governance (A. Cooley, J. Snyder (eds)). Cambridge: Cambridge University Press, pp. 60-84.
Campbell D.T. (1979) Assessing the Impact of Planned Social Change. Evaluation and Program Planning, vol. 2, Issue 1, pp. 67-90. Available at: http://doi.org/10.1016/0149-7189(79)90048-X
Cooley A. (2015) The Emerging Politics of International Ratings and Rankings. A Framework for Analysis. Ranking the World. Ranking States as a Tool of Global Governance (A. Cooley, J. Snyder (eds)). Cambridge: Cambridge University Press, pp. 1-38.
Cooley A., Snyder J. (eds) (2015) Ranking the World: Grading States as a Tool of Global Governance. Cambridge: Cambridge University Press.
Davis K.E., Kingsbury B., Merry K.E. (2012a) Indicators as a Technology of Global Governance. Law & Society Review, vol. 46, Issue 1, pp. 71-104. Available at: https://doi.org/10.1111/j.1540-5893.2012.00473.x
Davis K.E., Fisher A., Kingsbury B., Merry S.E. (eds) (2012b) Governance by Indicators. Global Power through Quantification and Rankings. Oxford: Oxford University Press.
Department of State. United States ofAmerica (2019) Trafficking in Persons Report. June. Available at: https:// www.state.gov/wp-content/uploads/2019/06/2019-Trafficking-in-Persons-Report.pdf (accessed 1 May 2023).
Dynkin A, Burrows M. (eds) (2016) Globallnaja sistema na perelome: puti k novoj normallnosti [Global System on the Brink: Pathways Toward a New Normal]. IMEMO RAS and Atlantic Council. Moscow: IMEMO RAS.
Espeland W.N., Sauder M. (2012) The Dynamism of Indicators. Governance by Indicators. Global Power Through Quantification and Rankings (K.R. Davis, A. Fisher, B. Kingsbury, S.E. Merry (eds)). Oxford: Oxford University Press, pp. 86-109.
Kelley J.G. (2017) Scorecard Diplomacy: Grading States to Influence Their Reputation and Behavior. Cambridge: Cambridge University Press.
Kelley J.G., Simmons B.A. (2019) Introduction: The Power of Global Performance Indicators. International Organization, vol. 73, Issue 3, pp. 491-510. Available at: http://doi.org/10.1017/S0020818319000146
Kharitonova E.M. (2015) Jeffektivnost' "mjagkoj sily": problema ocenki [Soft Power Effectiveness: Problem of Evaluation]. World Economy and International Relations, no 6, pp. 48-58. Available at: http://doi. org/10.20542/0131-2227-2015-6-48-58 (in Russian).
Lowenheim O. (2008) Examining the State: A Foucauldian perspective on International "Governance Indicators." Third World Quarterly, vol. 29, Issue 2, pp. 255-74. Available at: http://doi.org/10.1080/0143659070 1806814
Malito D.V., Umbach G., Bhuta N. (eds) (2018) The Palgrave Handbook of Indicators in Global Governance. London: Palgrave Macmillan.
Manners I. (2009) The Concept of Normative Power in World Politics. DIIS Brief, Danish Institute for International Studies. Available at: https://pure.diis.dk/ws/files/68745/B09_maj_Concept_Normative_Power_ World_Politics.pdf (accessed 3 October 2023).
Merry S.E. (2016) The Seductions of Quantification: Measuring Human Rights, Gender Violence and Sex Trafficking. Chicago: Chicago University Press.
Merry S., Davis K., Kingsbury B. (eds) (2015) The Quiet Power of Indicators: Measuring Governance, Corruption, and Rule of Law (Cambridge Studies in Law and Society). Cambridge: Cambridge University Press. Available at: http://doi.org/10.1017/CBO9781139871532
Ministry of Foreign Affairs of the Russian Federation (2023) Koncepcija vneshnej politiki Rossijskoj Federacii [The Concept of Foreign Policy of the Russian Federation]. 31 March. Available at: https://www.mid.ru/ru/ detail-material-page/1860586 (accessed 1 May 2023) (in Russian).
Morse J.C. (2019) Blacklists, Market Enforcement and the Global Regime to Combat Terrorism Financing. International Organization, vol. 73, Issue 3, 511-45. Available at: https://doi.org/10.1017/S002081831900016X
Pinheiro-Alves R., Zambujal-Oliveira J. (2012) The Ease of Doing Business Index as a Tool for Investment Location Decisions. Economic Letters, vol. 117, Issue 1, pp. 66-70. Available at: https://doi.org/10.1016Zj.econ-let.2012.04.026
President of the Russian Federation (2012a) Podpisan Ukaz o dolgosrochnoj gosudarstvennoj jekonomicheskoj politike [Decree on the Long-Term State Economic Policy Signed]. 7 May. Available at: http://kremlin.ru/ events/president/news/15232 (accessed 1 May 2023) (in Russian).
President of the Russian Federation (2012b) Podpisan Ukaz o merah po realizacii gosudarstvennoj politiki v oblasti obrazovanija i nauki [Decree on the Long-Term State Educational Policy Signed]. 7 May. Available at: http://kremlin.ru/events/president/news/15236 (accessed 1 May 2023) (in Russian).
President of the Russian Federation (2022) Pekinskaja deklaracija XIV sammita BRIKS [Beijing Declaration of the XIV BRICS Summit]. 23 June. Available at: http://www.kremlin.ru/supplement/5819 (accessed 1 May 2023) (in Russian).
Reporters Without Borders (2022) Methodology Used for Compiling the World Press Freedom Index. Available at: https://rsf.org/en/index-methodologie-2022 (accessed 1 May 2023).
Sadovaja E., Bardin A., Dovbysh E. (2016) Indeksy social'nogo samochuvstvija kak instrument issledovanija i prognozirovanija jetnopoliticheskih konfliktov [Indices of Social Well-Being as Tool for Analysis and Forecast of Ethnopolitical Conflicts]. World Economy and International Relations, vol. 60, no 9, pp. 57-66. Available at: http://doi.org/10.20542/0131-2227-2016-60-9-57-66 (in Russian).
Saharov A.G., Dorohina K.M. (2023) Indeks ustojchivogo razvitija stran BRIKS: rezul'taty [BRICS Sustainable Development Index: The Results]. International Organisations Research Journal, vol. 18, no 1, pp. 75-106. Available at: http://doi.org/10.17323/1996-7845-2023-01-03 (in Russian).
Zenkov A.R. (2022) Rejtingi kak instrument adaptacii professional'nogo obrazovanija k vyzovam postindustrial'noj zanjatosti [Ratings as a Tool of Adapting Vocational Education to the Challenges of PostIndustrial Employment]. Socialno-trudovye issledovanija, no 1(46), pp. 117-27. Available at: http://doi. org/10.34022/2658-3712-2022-46-1-117-127 (in Russian).
Zhornist V., Nesmashnyi A., Kharkevich M., Safranchuk I. (2022) Differenciacija gosudarstv po klimatich-eskoj ambicioznosti: vlijanie na mirovuju politiku [State Differentiation by Climate Ambition: Implications for World Politics]. International Organisations Research Journal, vol. 17, no 1, pp. 163-82. Available at: http:// dx.doi.org/10.17323/1996-7845-2022-01-08 (in Russian).
