Научная статья на тему 'КОМПОЗИТНЫЕ ИНДЕКСЫ ДЛЯ УПРАВЛЕНИЯ ЦИФРОВИЗАЦИЕЙ: МЕТОДЫ ФОРМИРОВАНИЯ'

КОМПОЗИТНЫЕ ИНДЕКСЫ ДЛЯ УПРАВЛЕНИЯ ЦИФРОВИЗАЦИЕЙ: МЕТОДЫ ФОРМИРОВАНИЯ Текст научной статьи по специальности «Экономика и бизнес»

CC BY-NC-ND
0
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
оценка цифровизации / цифровое государственное управление / цифровая трансформация / индикативный подход / композитные индексы / метод главных компонент / evaluation of digitalization / digital public administration / digital transformation / indicative approach / composite indices / Principal Component Analysis

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Макаров Иван Алексеевич

В условиях цифровой трансформации государства и общества активное применение находит индикативный подход к анализу цифровизации и управлению ей. Однако специфика данных в этой области порождает методологические проблемы, включая статистическое дублирование. В статье рассматриваются различные методы формирования композитных индексов цифровизации, основанные на вторичном агрегировании главных компонент с целью преодоления дублирования. Выдвигается гипотеза, что нет единого лучшего метода вторичного агрегирования и предпочтительность методов зависит от решаемых задач индикативной оценки. Отсутствие в литературе консенсуса о лучшем методе агрегирования для расчета композитных индексов делает данное предположение обоснованным. Также описан ряд распространенных методов агрегирования. Для рассмотрения гипотезы разбираются два из возможных методов вторичного агрегирования, а также отказ от него. Преимущества этих двух методов анализируются на примере задач рейтингования и анализа сильных и слабых сторон объектов. Данными выступают главные компоненты, выделенные из 21 показателя цифровизации за 2014 и 2016 гг. Корреляционный анализ результатов их вторичного агрегирования и сопоставление рейтингов стран показали: для разных задач подходят различные из анализируемых методов. Это обусловлено соответствием свойств методов требованиям, предъявляемым решаемыми задачами. Практическая применимость рассмотренных методик для анализа цифровизации продемонстрирована на примере Российской Федерации. Исследование подтвердило необходимость учета свойств методов формирования индексов для выбора методов, наиболее соответствующих решаемым задачам. Полученные результаты могут стать основой для разработки классификации требований, предъявляемых задачами индикативной оценки, что также поспособствует систематизации методов агрегирования, представляющей практическую пользу в рамках индикативного подхода.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Макаров Иван Алексеевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

COMPOSITE INDICES FOR GOVERNING DIGITALIZATION: METHODS FOR CONSTRUCTION

In the circumstances of digital transformation of the state and society, the indicative approach to analyzing and governing digitalization finds active usage. However, the characteristics of relevant data cause methodological problems, including statistical duplication. The article considers various methods for constructing composite digitalization indices based on secondary aggregation of principal components in order to overcome duplication. It is hypothesized that there is no single best method for secondary aggregation, and that the preference of methods depends on the indicative evaluation tasks being addressed. The lack of scientific consensus on the best aggregation method for calculating composite indices supports this proposition. Multiple widespread aggregation methods are also described. To consider the hypothesis, two potential secondary aggregation methods, alongside the option to eschew secondary aggregation, are studied. Their advantages are analyzed using common tasks of rating and analysing the strengths and weaknesses of facilities as an example. The data for analysis include principal components extracted from 21 digitalization indicators for years 2014 and 2016. Correlation analysis of their secondary aggregation’s results and country rating comparison show that different analysed methods are suitable for different tasks. This is due to the correspondence of the methods’ properties to the requirements imposed by the tasks being solved. The practical applicability of the discussed methodologies for analysing digitalization is demonstrated by the example of the Russian Federation. The study confirmed the need to consider the index construction methods’ characteristics to select the methods most appropriate to the tasks being solved. The obtained results can serve as the basis for developing a classification of requirements posed by indicative evaluation tasks, which will also contribute to systematization of aggregation methods, which has practical usefulness within the indicative approach.

Текст научной работы на тему «КОМПОЗИТНЫЕ ИНДЕКСЫ ДЛЯ УПРАВЛЕНИЯ ЦИФРОВИЗАЦИЕЙ: МЕТОДЫ ФОРМИРОВАНИЯ»

Научная статья УДК: 351/354

DOI: 10.17323/1999-5431-2024-0-3-81-109

КОМПОЗИТНЫЕ ИНДЕКСЫ

ДЛЯ УПРАВЛЕНИЯ ЦИФРОВИЗАЦИЕЙ:

МЕТОДЫ ФОРМИРОВАНИЯ

Макаров Иван Алексеевич1

1 Стажер-исследователь Международной лаборатории цифровой трансформации в государственном управлении, Институт государственного и муниципального управления, Национальный исследовательский университет «Высшая школа экономики»; 101000, г. Москва, ул. Мясницкая, д. 20; ia.makarov@hse.ru; ORCID: 0000-0002-6476-390X

Аннотация. В условиях цифровой трансформации государства и общества активное применение находит индикативный подход к анализу цифровизации и управлению ей. Однако специфика данных в этой области порождает методологические проблемы, включая статистическое дублирование. В статье рассматриваются различные методы формирования композитных индексов цифровизации, основанные на вторичном агрегировании главных компонент с целью преодоления дублирования. Выдвигается гипотеза, что нет единого лучшего метода вторичного агрегирования и предпочтительность методов зависит от решаемых задач индикативной оценки. Отсутствие в литературе консенсуса о лучшем методе агрегирования для расчета композитных индексов делает данное предположение обоснованным. Также описан ряд распространенных методов агрегирования. Для рассмотрения гипотезы разбираются два из возможных методов вторичного агрегирования, а также отказ от него. Преимущества этих двух методов анализируются на примере задач рейтингования и анализа сильных и слабых сторон объектов. Данными выступают главные компоненты, выделенные из 21 показателя цифровизации за 2014 и 2016 гг. Корреляционный анализ результатов их вторичного агрегирования и сопоставление рейтингов стран показали: для разных задач подходят различные из анализируемых методов. Это обусловлено соответствием свойств методов требованиям, предъявляемым решаемыми задачами. Практическая применимость рассмотренных методик для анализа цифровизации продемонстрирована на примере Российской Федерации. Исследование подтвердило необходимость учета свойств методов формирования индексов для выбора методов, наиболее соответствующих решаемым задачам. Полученные результаты могут стать основой для разработки классификации требований, предъявляемых задачами индикативной оценки, что также поспособствует систематизации методов агрегирования, представляющей практическую пользу в рамках индикативного подхода.

© HSE, 2024

81

Ключевые слова: оценка цифровизации, цифровое государственное управление, цифровая трансформация, индикативный подход, композитные индексы, метод главных компонент.

Для цитирования: Макаров И.А. Композитные индексы для управления циф-ровизацией: Методы формирования // Вопросы государственного и муниципального управления. 2024. № 3. С. 81-109. DOI: 10.17323/1999-5431-2024-0-3-81-109

Original article

COMPOSITE INDICES

FOR GOVERNING DIGITALIZATION:

METHODS FOR CONSTRUCTION

Ivan A. Makarov1

1 Research Assistant, International Laboratory for Digital Transformation in Public Administration, Institute for Public Administration and Governance, National Research University Higher School of Economics (HSE); 20 Myasnitskaya Str., Moscow 101000, Russia; ia.makarov@hse.ru; ORCID: 0000-0002-6476-390X

Abstract. In the circumstances of digital transformation of the state and society, the indicative approach to analyzing and governing digitalization finds active usage. However, the characteristics of relevant data cause methodological problems, including statistical duplication. The article considers various methods for constructing composite digitalization indices based on secondary aggregation of principal components in order to overcome duplication. It is hypothesized that there is no single best method for secondary aggregation, and that the preference of methods depends on the indicative evaluation tasks being addressed. The lack of scientific consensus on the best aggregation method for calculating composite indices supports this proposition. Multiple widespread aggregation methods are also described. To consider the hypothesis, two potential secondary aggregation methods, alongside the option to eschew secondary aggregation, are studied. Their advantages are analyzed using common tasks of rating and analysing the strengths and weaknesses of facilities as an example. The data for analysis include principal components extracted from 21 digitalization indicators for years 2014 and 2016. Correlation analysis of their secondary aggregation's results and country rating comparison show that different analysed methods are suitable for different tasks. This is due to the correspondence of the methods' properties to the requirements imposed by the tasks being solved. The practical applicability of the discussed methodologies for analysing digitalization is demonstrated by the example of the Russian Federation. The study confirmed the need to consider the index construction methods' characteristics to select the methods most appropriate to the tasks being solved. The obtained results can serve as the basis for developing a classification of requirements posed by indicative evaluation tasks, which will also contribute to systematization of aggregation methods, which has practical usefulness within the indicative approach.

Keywords: evaluation of digitalization, digital public administration, digital transformation, indicative approach, composite indices, principal component analysis.

For citation: Makarov, I.A. (2024) 'Composite indices for governing digitalization: Methods for construction', Public Administration Issues, 3, pp. 81-109. (In Russian). DOI: 10.17323/1999-5431-2024-0-3-81-109

JEL Classification: C18, C38, O33, O57. Введение

Индикативный подход играет все возрастающую роль в современном государственном управлении. Он позволяет более предметно и целенаправленно формулировать управленческие задачи и контролировать их выполнение. Примерами такого подхода в практике государственного управления в России являются: Указ Президента Российской Федерации от 07.05.2012 N 596 «О долгосрочной государственной экономической политике», государственный проект повышения конкурентоспособности ведущих российских университетов «5-100», многолетняя практика правительства Москвы в области реформирования и развития школьного образования, оценка социального и экономического развития регионов в виде т.н. «рейтинга губернаторов» (согласно Указу Президента РФ от 04.02.2021 N 68) и другие практики.

Цифровизация является одним из главных направлений трансформации современного государственного управления во всем мире. С одной стороны, она позволяет собирать и интегрировать информацию, важную для принятия государственных программ и решений, а с другой - существенно изменить практики общения между государственными органами и гражданами, значительно расширяя и упрощая доступ граждан к государственным услугам и информационным базам. Этот инновационный процесс охватывает самые разные сферы нашей жизни - от технической и технологической сфер до правового регулирования и подготовки новых кадров. Различные аспекты этого процесса в настоящее время описываются десятками различных разнородных показателей, которые чаще всего тесно взаимосвязаны между собой. Индикативный подход в сфере цифро-визации предполагает агрегирование этих многочисленных показателей в более компактные и удобные индексы цифрового развития. Подобные индексы можно описывать как «технологии» государственного управления (Davis et al., 2012). На основании этих индексов можно проводить сравнительный анализ развития стран в этой области, выявлять преимущества и возможные недостатки, обнаруживать риски несбалансированного развития и принимать дальнейшие решения.

Однако специфика исходных показателей в сфере цифровизации, как и специфика данных, используемая в других управленческих индексах, порождает серьезные методологические проблемы и научные дискуссии о том, как лучше агрегировать имеющуюся информацию, чтобы не потерять глав-

ное и избежать существенных искажений. Различные точки зрения по этому вопросу и систематизация чаще всего используемых методов агрегирования приведены в обзоре литературы.

Следует подчеркнуть, что среди методик построения композитных индексов не существует варианта лучшего, не сталкивающегося с теми или иными методологическими проблемами при практическом применении, так как ни один формализованный метод количественного анализа (тем более столь крупномасштабного) не может полностью учесть всю возможную специфику реальных условий. Это объясняет в том числе и отсутствие среди исследователей согласия по поводу предпочтительности методов агрегирования. Но, несмотря на это, на композитные индексы в государственном управлении в цифровой и иных сферах существует значительный спрос - о чем свидетельствуют и продолжающиеся обсуждения, и широкая практика применения композитных индексов в отечественном и зарубежном государственном управлении. Поэтому, продолжая применять индексы в качестве инструментов для количественного анализа и принятия решений, крайне необходимо учитывать как недостатки, так и относительные преимущества методик их формирования (включающих агрегирование тем или иным методом). Соответственно, при формировании композитного индекса следует сопоставлять эти преимущества и недостатки с условиями реальной ситуации и выбирать методику, наиболее подходящую для определенной управленческой (или исследовательской) задачи. Настоящая статья призвана продемонстрировать этот принцип в явном виде на конкретных примерах, показывая, как анализ преимуществ и недостатков определенных методов агрегирования позволяет сделать выбор в пользу методов, которые, несмотря на свои ограничения, подходят лучше других для решения той или иной задачи.

Соответственно, в настоящей статье на примере использования одного из эффективных методов построения индексов в области цифровизации будет представлен сравнительный анализ нескольких возможных подходов к построению интегральных (или композитных) индексов цифровизации, основанных на вторичном агрегировании главных компонент, и сделаны практические выводы, важные для государственного управления.

Выбор такого подхода к построению индексов связан с тем, что многие авторы указывают на наличие статистического дублирования среди некоторых популярных международных индексов, оценивающих аспекты государственного управления (Чуркин, 2013; Langbein, Knack, 2010). Эта проблема наблюдается и среди широко применяемых индексов, оценивающих аспекты цифровой трансформации - в том числе среди подындексов Индекса развития электронного правительства и Индекса сетевой готовности (Barabashev et al., 2022). Нередко дублирование наблюдается между подындексами различных индексов, и не только между явно тематически схожими подындексами. Использование метода главных компонент для такого типа данных позволяет избавиться от подобного дублирования и перейти к существенно меньшему числу независимых индексов.

Следует отметить, что у метода главных компонент есть ряд ограничений. В частности, в тех случаях, когда набор исходных показателей слабо кор-

релирован, метод главных компонент малоэффективен в снижении размерности при сохранении большей части полезной информации, а выделяемые главные компоненты плохо поддаются интерпретации. Однако в тех случаях, когда рассматриваются специализированные индексы, относящиеся к одной области (в данном случае - индексы цифровизации), как правило, подындексы этих индексов направлены на уточнение ситуации в этой области с разных точек зрения, и возникновение между ними значимых корреляций - дублирования - весьма вероятно, что подтверждается рядом исследований. Если же анализируемые показатели сильно коррелированы, то применение метода главных компонент оправдано, и выделяемые главные компоненты могут быть интерпретированы на основе факторных нагрузок, показывающих их связь с исходными показателями и, следовательно, их содержание.

Однако сами выделяемые главные компоненты неэффективны для решения ряда практических задач индикативного анализа. В частности, для удобства сравнения объектов результаты индикативной оценки нередко публикуются в формате рейтингов. Построение подобных рейтингов (ввиду возможности построения единого рейтинга только по одной переменной), как и некоторые другие методы индикативного анализа, затруднено при работе с набором из нескольких главных компонент, выделяемых из изначальных индексов с целью отражения нескольких латентных характеристик.

Для преодоления этих затруднений целесообразно применение вторичного агрегирования получаемых главных компонент и использование результатов вторичного агрегирования в качестве композитных индексов цифрового развития. Это позволило бы упростить ранжирование объектов и при необходимости придавать различную значимость используемым главным компонентам через их взвешивание. Но на данный момент механизм вторичного агрегирования в применении к композитным индексам остается практически не рассмотренным.

Вторичное агрегирование может производиться различными методами, и выбор метода будет определять природу получаемых композитных индексов и может значительно влиять на ранги оцениваемых объектов. Более того, при выборе метода вторичного агрегирования в контексте индикативного подхода может возникнуть необходимость учета широкого спектра требований. Речь идет не только о сохраняемом объеме полезной информации, но и о теоретической интерпретации получаемых композитных индексов. Одновременно ключевым вопросом остается удобство и эффективность их применения для выполнения исследовательских или управленческих задач индикативной оценки.

Таким образом, в рамках развития индикативного подхода важной исследовательской задачей является рассмотрение различных возможных подходов к вторичному агрегированию главных компонент (в том числе отсутствие вторичного агрегирования) с целью определить, какой подход следует использовать для формирования композитных индексов на основе главных компонент для решения задач индикативной оценки и какие факторы определяют выбор подхода. Гипотеза исследования состоит в том, что нет единого метода вторичного агрегирования, подходящего для лю-

бой задачи, и вместо этого выбор метода вторичного агрегирования должен определяться рядом требований, предъявляемых конкретной задачей.

В работе на данных конкретного кейса будут разобраны два из возможных методов вторичного агрегирования, схожих во всем, кроме способа взвешивания агрегируемых главных компонент, с тем, чтобы выявить наиболее оптимальный способ взвешивания как инструмент анализа «при прочих равных». Предпочтительность этих методов и их фундаментальной альтернативы - отказа от вторичного агрегирования - будет рассмотрена на примере двух задач индикативной оценки: построение единого рейтинга стран и оценка сильных и слабых сторон стран по цифровому развитию. Это послужит аргументацией для обсуждения обобщенной гипотезы и позволит продемонстрировать принципы анализа предпочтительности методов агрегирования для выбора метода, соответствующего задаче. Полученные результаты также могут в дальнейшем быть применимы как основа для разработки теоретической классификации, которая позволит - как в теории, так и на практике - систематизировать процесс анализа и выбора метода вторичного агрегирования главных компонент и (в более общем случае) выбора иных элементов методологий формирования композитных индексов.

Выполнение этой исследовательской задачи внесет вклад в совершенствование способов применения метода главных компонент для расчета управленческих индексов в частности и развитие механизмов индикативной оценки в целом, что, в свою очередь, позволит получать более корректные результаты при проведении индикативного анализа в исследованиях и использовать эти результаты при принятии решений в области цифрови-зации государственного управления.

Обзор литературы

Рассмотрим источники, в которых обсуждается агрегирование в контексте расчета композитных индексов. Имея доступ к широкому спектру методов агрегирования, авторы любого композитного индекса обязаны выбрать один из них для расчета индекса и описать его применение. При этом авторы в разной степени углубляются в обоснование причин выбора метода и его сопоставление с возможными альтернативами. Так, в статье о новом индексе для анализа динамики цифрового неравенства российских регионов авторы подробно объясняют свой выбор в пользу агрегирования методом взвешенной суммы, веса в которой определены с помощью метода главных компонент. Это сочетание методов позволяет агрегировать переменные, избегая двойного учета отражаемых ими латентных характеристик (устраняя возможное дублирование) при обеспечении простоты итогового расчета и требуемой для лонгитюдного анализа стабильности весов во времени (см.: Архипова и др., 2018).

Создатели Индекса легкости ведения бизнеса обосновали выбор метода агрегирования практическим сравнением нескольких методов. Они выяснили, что при агрегировании методом взвешенной суммы определение

весов на основе опросов экспертов затруднено, в то время как остальные методы дают результаты без значимой разницы. Поэтому, а также из-за простоты и понятности метода, выбор сделан в пользу среднего арифметического. В то же время, говоря о факторах выбора метода агрегирования в целом, авторы (см., например, Djankov et al., 2005) рекомендуют использовать метод, наиболее способствующий реформам. Альтернативные методы расчета одного индекса сравниваются и в статье С. Греко и др. (Greco et al., 2020) о разработке индекса благополучия в странах ОЭСР. Однако здесь авторы не делают однозначного выбора, предлагая несколько применимых методов, соответствующих различным функциям полезности в соответствии с пониманиями общественного благосостояния.

Обсуждение методов агрегирования не ограничивается обоснованиями выбора метода в частных случаях. Ведутся дискуссии по поводу того, какие методы предпочтительнее других и почему, или в каких ситуациях. Некоторые авторы детально обосновывают выбор существующих или собственных методов, доказывая их полезность для решения широкого спектра задач индикативной оценки (Becker et al., 2017; Corrente et al., 2021; Greco et al., 2019b; Grupp, Schubert, 2010). Эти обоснования опираются на разные критерии. К примеру, отечественными исследователями был предложен вариант агрегирования методом взвешенной суммы, предназначенный для лонгитюдного или панельного анализа. Способ расчета весов призван гарантировать неотрицательность весов и сопоставимость значений индекса во времени - два свойства, не обеспечиваемые методом главных компонент (Борзых и др., 2016). При этом распространенность метода главных компонент и ряда других методов показывает, что не все авторы стремятся к неотрицательности весов.

Другим, нередко игнорируемым свойством метода агрегирования, является некомпенсаторность - отсутствие возможности для компенсации низких значений одних переменных высокими значениями других. Среднее арифметическое - компенсаторный метод, как и типичное агрегирование взвешенной суммой, и метод главных компонент. В то же время немало авторов настаивает на применении некомпенсаторных методов (Greco et al., 2021; Gutiérrez Sanín et al., 2013). В одной серии работ демонстрируется несостоятельность взвешенной суммы с точки зрения теории методов принятия решений и предлагается использовать метод агрегирования, основанный на процедуре Кондорсе. Главный аргумент - именно некомпенсаторность этого метода, так как возможность компенсации нежелательна в случаях вроде рейтингов устойчивого развития (Munda, Nardo, 2003; Munda, Nardo, 2005; Munda, Nardo, 2009). В статье Г. Мунда (Munda, 2012) описаны преимущества и недостатки ряда некомпенсаторных методов и даны рекомендации по использованию некоторых из них для различных видов анализа и в различных практических ситуациях. То есть ее автор не фокусируется на конкретном методе агрегирования, а сопоставляет ряд методов по выбранному им критерию, допуская, что под него могут подходить различные методы. Аналогичные исследования существуют и для других критериев -как, например, для корректности измерения оцениваемой характеристики композитным индексом (Dialga, Giang, 2017).

Но, несмотря на продолжающиеся обсуждения, нет консенсуса по поводу полного спектра или первоочередности критериев, определяющих предпочтительность методов агрегирования. Ряд исследований посвящен рассмотрению и обоснованию использования тех или иных критериев, причем авторы смотрят на этот вопрос с разных точек зрения. В некоторых публикациях упор делается на необходимости наличия у методов агрегирования конкретных математических свойств - таких, как устойчивость к выбросам и та же некомпенсаторность (Greco et al., 2019a) или устойчивость в динамике (Жгун и др., 2019).

Обязательность этих свойств часто объясняется такими причинами, как: применимость индекса для определенных видов анализа; корректное представление оцениваемых феноменов; соответствие практическим задачам индикативной оценки; а также необходимостью формирования индекса в условиях ограничений. В иных исследованиях эти более близкие к практике критерии становятся основным фокусом. В частности, был предложен метод выбора метода агрегирования для построения композитных индексов устойчивого развития, где фокусом при выборе метода является эффективность получаемого индекса как инструмента для принятия управленческих решений, касающихся конкретных аспектов устойчивого развития (Rowley et al., 2012). В еще одном исследовании об этапах формирования композитных индексов делается вывод, что выбор метода должен быть основан на обеспечении корректного учета относительной важности агрегируемых переменных, которая, в свою очередь, должна быть определена на основе теоретической модели или эмпирического анализа оцениваемых характеристик. Одновременно подчеркивается, что для задачи более детального анализа конкретных характеристик следует отказаться от агрегирования и использовать неагрегированные индикаторы вместо композитных индексов (Freudenberg, 2003) - подход, который разделен в исследовании о формировании композитных индексов инновационного развития (Grupp, Schubert, 2010). Наконец, согласно опубликованному в 2017 г. системному обзору литературы по теме методов агрегирования для построения композитных индексов, выбор метода агрегирования следует делать на основе желаемых свойств индекса, определяемых, в свою очередь, пониманием оцениваемой характеристики, видом анализа и научными либо практическими целями анализа, проводимого с помощью индекса, а также спектром оцениваемых объектов и периодом оценки (Gan et al., 2017).

Следует подчеркнуть, что, фокусируясь на разных видах критериев (от наличия математических свойств до соответствия практическим задачам), эти исследования не противоречат друг другу, а лишь рассматривают разные части общего комплекса требований, предъявляемых к композитным индексам и методологиям их формирования.

Обобщив спектр предъявляемых авторами требований, можно заключить, что все они изначально проистекают из решаемой исследовательской или управленческой задачи индикативной оценки, определяющей как анализируемые характеристики, так и вид анализа, производимого с помощью индекса. В свою очередь, эти аспекты задачи определяют требования к соб-

ственно методике расчета индекса, а также условия, ограничивающие расчет и использование. Можно констатировать, что к настоящему времени в теории и практике индикативного подхода применяется широкий спектр методов агрегирования, что объясняется разнообразием решаемых задач и предъявляемых ими требований. На основании рассмотренных выше источников можно сделать вывод: выбор метода агрегирования должен зависеть от решаемой задачи индикативной оценки.

В дополнение к вышесказанному, основываясь на различных исследованиях в этой области (Nardo et al., 2008; Gan et al., 2017; Greco et al., 2019a), можно описать некоторые наиболее типичные методы агрегирования, используемые для построения композитных индексов, и выделить их основные преимущества и недостатки, упоминаемые в литературе и делающие их применение более или менее целесообразным в различных ситуациях. Представленная ниже Таблица 1, среди прочего, призвана помочь аналитикам, использующим индикативный подход, определить, может ли тот или иной из перечисленных методов агрегирования быть оптимальным или хотя бы допустимым в тех или иных ситуациях, на основе того, насколько значимы преимущества и недостатки метода для конкретной ситуации.

Таблица 1

Преимущества и недостатки методов агрегирования

Метод агрегирования Преимущества Недостатки

Среднее арифметическое Считается самым простым и потому наиболее легко воспринимаемым неспециалистами среди конечных пользователей методом В значительной степени подвержен искажениям из-за дублирования между исходными показателями. Допускает компенсацию низких значений одних показателей высокими значениями других

Взвешенная сумма с весами, установленными на основе теоретической модели Веса имеют явное обоснование и теоретический смысл Может быть подвержен искажениям, вызываемым дублированием. Допускает компенсацию

Взвешенная сумма с весами, установленными на основе опроса респондентов (включая метод «распределения бюджета») Позволяет в явном виде учесть взгляды респондентов (мнение экспертов или интересы стейкхолдеров) на относительную ценность исходных показателей Опрос респондентов может быть трудновыполним. Присвоение весов слишком большому числу показателей затруднительно для респондентов. Необъективность весов может являться проблемой и ограничивает возможность переноса сформированной методики расчета в другие условия. Может быть подвержен искажениям, вызываемым дублированием. Допускает компенсацию

Среднее геометрическое Компенсация возможна в меньшей степени, чем в линейных методах агрегирования. Более предпочтителен для агрегирования показателей, представленных в несравнимых единицах измерения Допускает компенсацию в ограниченной степени. Все исходные показатели должны быть положительны. В значительной степени подвержен искажениям, вызываемым дублированием. Особо неустойчив к сильным отклонениям отдельных показателей

Метод главных компонент Позволяет выделить латентные характеристики, косвенно отражаемые исходными показателями. Позволяет преодолеть проблему дублирования. Сохраняет максимальный объем полезной информации Неэффективен при недостаточной коррелированности исходных показателей. Зависимость результатов от значений показателей ограничивает сравнимость результатов между различными временными периодами. Может присваивать отрицательные веса части исходных показателей. Допускает компенсацию

Метод ненаблюдаемых компонент Позволяет выделить латентные характеристики, косвенно отражаемые исходными показателями. В отличие от метода главных компонент, применим при отсутствии достаточных корреляций между исходными показателями Надежность результатов зависит от объема доступных данных. Чувствителен к сильным отклонениям отдельных показателей

Метод «Выгоды сомнения» (Benefit of the doubt) Веса устанавливаются для каждого объекта по-отдельности так, чтобы максимизировать результат -это позволяет оценивать успешность стран в соответствии с приоритетами национальной государственной политики Веса уникальны для каждого объекта, делая сравнительный анализ невозможным. Необходимы дополнительные ограничения для взвешивания, иначе есть вероятность, что все объекты получат максимальную оценку

Метод анализа иерархий Позволяет учесть взгляды респондентов (мнения экспертов или интересы стейкхолдеров) на относительную ценность исходных показателей. Позволяет оценить согласованность суждений каждого из респондентов Оценка относительной важности слишком большого числа показателей затруднительна для респондентов. Необъективность весов может являться проблемой и ограничивает возможность переноса сформированной методики расчета в другие условия. Сравнительно высокая сложность вычисления

Метод Кондорсе-Кемени-Янга-Левен-глика (Condorcet-Kemeny-Young-Levenglick, CKYL) Не допускает компенсацию. Является усовершенствованием метода Кондорсе Высокая сложность вычисления. Не способен дать объектам количественную оценку, только порядковую (рейтинг)

Источник: составлена автором на основании обзора литературы.

Данные и методы

Для проверки изначальной исследовательской гипотезы о том, что нет единого метода вторичного агрегирования главных компонент, подходящего для любой задачи индикативной оценки, и выбор метода агрегирования должен определяться требованиями, предъявляемыми задачей, нужно (1) провести сравнительный анализ нескольких методов вторичного агрегирования главных компонент, (2) найти примеры задач индикативной оценки, для которых подходят эти методы, и (3) изучить зависимость предпочтительности методов от предъявляемых требований.

В статьях (БагаЬаэЬеу е! а1., 2022; Барабашев и др., 2022) представлен анализ некоторых из существующих индексов цифрового развития, опирающихся на 21 международный показатель цифрового развития из различных источников. В этот 21 показатель входят:

- Три показателя, на основе которых ООН рассчитывает Индекс развития электронного правительства (E-Government Development Index), опубликованный на сайте Департамента по экономическим и социальным вопросам ООН1, а именно:

- Индекс онлайн-услуг (Online Service Index).

- Индекс человеческого капитала (Human Capital Index).

- Индекс телекоммуникационной инфраструктуры (Telecommunication Infrastructure Index).

- Три показателя, на основе которых Всемирный банк рассчитывал Индекс принятия цифровых технологий (Digital Adoption Index), опубликованный на сайте Всемирного банка2, а именно:

- Индекс принятия цифровых технологий бизнесом (Digital Adoption Index (Business)).

- Индекс принятия цифровых технологий населением (Digital Adoption Index (People)).

- Индекс принятия цифровых технологий государством (Digital Adoption Index (Governments)).

- Три показателя, на основе которых Международный союз электросвязи до 2017 г. включительно рассчитывал Индекс развития информационно-коммуникационных технологий (ИКТ) (ICT Development Index), опубликованный на их официальном сайте3, а именно:

- Подындекс доступа к ИКТ (Access Sub-index).

- Подындекс использования ИКТ (Use Sub-index).

- Подындекс цифровых навыков (Skills Sub-index).

- Десять показателей, на основе которых Институт Портуланс до 2016 г. включительно рассчитывал Индекс сетевой готовности (Network Readiness Index), опубликованный на собственном официальном сайте4, а именно:

- Показатель политической и регуляторной среды (Political and regulatory environment pillar).

- Показатель предпринимательской и инновационной среды (Business and innovation environment pillar).

- Показатель ИКТ-инфраструктуры (Infrastructure pillar).

- Показатель финансовой доступности ИКТ (Affordability pillar).

- Показатель цифровых навыков (Skills pillar).

- Показатель индивидуального использования ИКТ (Individual usage pillar).

- Показатель использования ИКТ бизнесом (Business usage pillar).

- Показатель использования ИКТ государством (Government usage pillar).

- Показатель экономического влияния ИКТ (Economic impacts pillar).

- Показатель социального влияния ИКТ (Social impacts pillar).

1 URL: https://publicadministration.un.org/egovkb/en-us/About/Overview/-E-Government-Development-Index (дата обращения: 22.09.2024).

2 URL: https://www.worldbank.org/en/publication/wdr2016/Digital-Adoption-Index (дата обращения: 22.09.2024).

3 URL: https://www.itu.int/en/ITU-D/Statistics/Pages/IDI/default.aspx (дата обращения: 22.09.2024).

4 URL: https://networkreadinessindex.org/ (дата обращения: 22.09.2024).

- Индекс электронного участия (E-Participation Index). Он рассчитывается ООН и публикуется на сайте Департамента по экономическим и социальным вопросам ООН5.

- Показатель доли высокотехнологичного экспорта в общем экспорте изготавливаемых товаров, данные по которому собираются и публикуются Всемирным банком на своем сайте6.

Объектами оценки всех перечисленных показателей являются страны мира. На официальных сайтах публикующих их организаций доступны как базы данных, содержащие значения показателей для всех стран мира, входящих в охват этих показателей, так и материалы, поясняющие методологии сбора и обработки данных для расчета этих показателей, а также методики их агрегирования в соответствующие индексы.

В описанных выше работах (Barabashev et al., 2022; Барабашев и др., 2022) также дается описание этих показателей. Там же к этим показателям был применен метод главных компонент и были выделены по три независимые главные компоненты для каждого из анализируемых временных периодов (2014 и 2016 гг.).

Выбор периода был обусловлен ограниченной доступностью данных по некоторым индексам для более поздних лет. Также следует отметить, что с тех пор методологии части индексов значительно изменились. В анализ вошли 121 страна в 2014 г. и 122 страны - в 2016 г.

Применимость метода главных компонент к этим данным была подтверждена предварительным анализом, выявившим наличие значимых положительных корреляций между 21 исходным показателем. На это же указал расчет меры КМО и критерия сферичности Бартлетта (Бараба-шев и др., 2022).

В результате расчетов для обоих периодов были получены по три главные компоненты, которые суммарно отражают почти одинаковые доли совокупной дисперсии 21 изначального показателя: 85,5% для 2014 г., 86% для 2016 г. Из них первая компонента в случае обоих временных периодов отражает большую часть совокупной дисперсии (71,2% для 2014 г., 74,5% для 2016 г.) и допускает ясную интерпретацию. Вторая и третья дополняют ее, отражая соответственно 7,6% и 6,2% для 2014 г., 6,5% и 5% для 2016 г. Сравнительный анализ главных компонент для 2014 и 2016 гг. позволил проверить стабильность структуры выделенных главных компонент во времени.

В Таблице 2 приведены факторные нагрузки всех выделенных главных компонент - коэффициенты корреляции каждой из главных компонент с каждым из исходных показателей, на основе которых может производиться интерпретация компонент (подробнее, включая примеры значений этих главных компонент для некоторых стран мира, см.: Barabashev et al., 2022; Барабашев и др., 2022).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5 URL: https://publicadministration.un.org/egovkb/en-us/About/Overview/E-Participation-Index (дата обращения: 22.09.2024).

6 URL: https://data.worldbank.org/indicator/TX.VAL.TECH.MF.ZS (дата обращения: 22.09.2024).

Таблица 2

Матрица компонент: 2014 и 2016 гг.

2014 г. 2016 г.

Исходные показатели Главная компонента Главная компонента

1 2 3 1 2 3

Индекс электронного участия 0,754 0,141 0,499 0,842 -0,089 0,372

Индекс развития электронного правительства:

Индекс онлайн-услуг 0,846 0,167 0,382 0,873 -0,014 0,350

Индекс человеческого капитала 0,854 -0,406 0,015 0,898 -0,257 -0,125

Индекс телекоммуникационной инфраструктуры 0,960 -0,126 -0,113 0,956 -0,064 -0,157

Индекс принятия цифровых технологий:

Индекс принятия цифровых технологий бизнесом 0,913 -0,235 -0,122 0,922 -0,189 -0,134

Индекс принятия цифровых технологий населением 0,944 -0,168 -0,113 0,945 -0,116 -0,165

Индекс принятия цифровых технологий государством 0,695 0,136 0,534 0,709 -0,076 0,522

Индекс развития ИКТ:

Подындекс доступа к ИКТ 0,944 -0,216 -0,107 0,946 -0,169 -0,156

Подындекс использования ИКТ 0,949 -0,122 -0,098 0,955 -0,068 -0,146

Подындекс цифровых навыков 0,831 -0,470 0,095 0,892 -0,338 -0,065

Доля высокотехнологичного экспорта в общем экспорте 0,555 0,300 0,109 0,523 0,340 0,252

Индекс сетевой готовности:

Показатель политической и регуляторной среды 0,769 0,451 -0,315 0,785 0,508 -0,109

Показатель предпринимательской и инновационной среды 0,869 0,147 -0,104 0,896 0,171 -0,082

Показатель ИКТ-инфраструктуры 0,943 -0,111 -0,185 0,935 -0,055 -0,190

Показатель финансовой доступности ИКТ 0,498 -0,212 0,541 0,518 -0,486 0,340

Показатель цифровых навыков 0,870 -0,313 -0,088 0,907 -0,190 -0,097

Показатель индивидуального использования ИКТ 0,962 -0,130 -0,136 0,963 -0,082 -0,151

Показатель использования ИКТ бизнесом 0,843 0,315 -0,209 0,836 0,404 -0,106

Показатель использования ИКТ государством 0,799 0,476 0,047 0,822 0,335 0,251

Показатель экономического влияния ИКТ 0,887 0,281 -0,183 0,890 0,298 -0,109

Показатель социального влияния ИКТ 0,905 0,312 0,051 0,924 0,204 0,153

Источник: составлена автором на основе данных из нескольких источников (значения исходных показателей) и собственных расчетов. Впервые опубликована в (БагаЬазЬеу е! а1., 2022).

В настоящей статье для сравнения различных методов вторичного агрегирования будут использованы вышеописанные три главные компоненты за каждый временной период. Они будут в качестве примера подвергнуты вторичному агрегированию двумя методами. Оба метода опираются на расчет дистанции объектов от лучшего результата с помощью метрики Евклида. В первом методе главные компоненты, выступающие измерениями в функции дистанции, будут взвешены поровну, а во втором они будут взвешены в соответствии с их собственными значениями (eigenvalues), полученными на этапе выделения главных компонент. Кроме этого, в качестве третьей альтернативы будет рассмотрена опция отказа от вторичного агрегирования и использования трех главных компонент по отдельности.

Полной формулой расчета композитного индекса для страны j на данных конкретного года вторичным агрегированием вышеописанных главных компонент с равными весами будет:

где: Euclid. - композитный индекс, рассчитанный с равными весами главных компонент, для страны j; PC.. - значение i-ой главной компоненты для страны j; PO. - лучшее значение i-ой главной компоненты для всех стран (точка отсчета для расчета дистанции).

В случае второго анализируемого метода формула расчета композитных индексов будет аналогичной, но дистанция по каждому измерению будет умножена на корень из собственного значения соответствующей главной компоненты:

(2) WeightEuclidj = JZiCy/Щ * {POt - РСи)~)2,

где: WeightEuclidj - композитный индекс, рассчитанный с взвешиванием главных компонент в соответствии с их собственными значениями, для страны j; EVi - собственное значение i-ой главной компоненты; остальные обозначения аналогичны.

Сравнительный анализ результатов вторичного агрегирования (или отсутствия такового) будет проводиться с помощью корреляционного анализа и сопоставления рейтингов, построенных на их основе. Это позволит проверить, какой из исследуемых методов вторичного агрегирования наиболее предпочтителен для двух из типичных задач индикативной оценки: задачи построения единого рейтинга объектов (стран) и задачи выделения сильных и слабых сторон объектов. Далее выделение требований, которые эти задачи предъявляют к формируемым для их решения композитным индексам, позволит выявить, как соответствие этим требованиям определяет предпочтительность методов вторичного агрегирования.

Первой гипотезой, основанной на исходной обобщенной гипотезе и уточненной после анализа источников и определения рамок исследования, является то, что, для задачи построения рейтинга, метод, в котором расчет дистанции от лучшего результата производится с равным взвешиванием

главных компонент, является наиболее предпочтительным среди разбираемых методов (включая отказ от агрегирования). Данное предположение основано на том, что для построения удобного для практического использования рейтинга требуется одна единая переменная, и на необходимости более сбалансированного отражения нескольких латентных характеристик цифрового развития без искажений, вызываемых статистическим дублированием в изначальных индексах. Основным методом для рассмотрения первой гипотезы будет корреляционный анализ результатов вторичного агрегирования и агрегируемых главных компонент.

Второй уточненной гипотезой является то, что, для задачи выделения сильных и слабых сторон стран, отсутствие вторичного агрегирования предпочтительнее, чем рассматриваемые методы вторичного агрегирования. Это предположение обосновывается возможностью более детального анализа с помощью большего числа отдельных переменных. При рассмотрении этой гипотезы будет сделан сравнительный анализ рейтингов, основанных на результатах вторичного агрегирования и неагрегированных главных компонентах.

Подтверждение обеих уточненных гипотез будет аргументом в пользу общей исследовательской гипотезы, так как покажет, что ни один из рассматриваемых методов вторичного агрегирования главных компонент (включая его отсутствие) не подходит для любой возможной задачи индикативной оценки и что выбор какого-то из этих методов зависит от требований, накладываемых задачами индикативной оценки. Это послужит демонстрацией описанного общего принципа применения композитных индексов в государственном управлении: учет достоинств и недостатков методик формирования композитных индексов с целью выбора методик, которые, не будучи идеальными, лучше других подходят для решения тех или иных конкретных управленческих задач.

Анализ и результаты

Для расчета дистанции от лучшего результата по данным выше формулам требуется определить значения описанных в предыдущем разделе главных компонент, являющиеся подобным лучшим результатом. Это требует интерпретации агрегируемых главных компонент для того, чтобы определить их смысловую направленность. Содержательная интерпретация компонент будет произведена на основе их факторных нагрузок - коэффициентов корреляции выделенных главных компонент с исходными показателями (приведенных в табл. 2 в предыдущем разделе, впервые представленных в (БагаЬаэЬеу е! а1., 2022)). (Заметим, что исходные показатели связаны с выделенными главными компонентами с помощью модели множественной регрессии.) Структура рассматриваемых в настоящем исследовании главных компонент достаточно стабильна во времени, что делает возможным давать компонентам примерную единую интерпретацию для обоих анализируемых периодов. Первая компонента (в случае обоих лет) может быть интерпретирована как представляющая латентную характеристику общего уровня цифрового развития страны. Вторая компонента может рассматриваться как оценка степе-

ни, в которой регулирование ИКТ и их применение в публичном и частном секторах развиваются быстрее, чем их доступность для населения (в плане цен и навыков). Третья же компонента может интерпретироваться как оценка степени, в которой государственные электронные услуги и механизмы цифрового участия особо развиты, и также положительно связана с финансовой доступностью ИКТ, но отрицательно - с развитием ИКТ-инфраструктуры.

Необходимо заметить, что, в отличие от первой, вторая и третья компоненты имеют амбивалентный смысл: они одновременно положительно и отрицательно связаны с различными показателями цифрового развития. Они могут рассматриваться как характеристики отклонения цифрового развития страны от типичного, сбалансированного пути, по которому идут большинство из анализируемых стран. Такое отклонение может расцениваться как негативный или по крайней мере рискованный феномен - оно может подразумевать неравномерность развития, способную ограничивать положительные эффекты от цифрового развития или создавать риски и угрозы для государства и общества. По этой причине, в то время как для первой компоненты «лучшим» значением является максимальное, в случае второй и третьей компоненты «лучшим» значением будет правильным считать среднее значение, показывающее отсутствие отклонения от типичного профиля цифрового развития.

Получается, что лучшими результатами - точками отсчета для расчета дистанции - будут считаться точки в пространстве данных главных компонент, соответствующие максимальным значениям первой главной компоненты и средним значениям второй и третьей главных компонент (в z-шкалах, в которых приводятся компоненты, это всегда 0). Максимальным значением первой компоненты для 2014 г. стало 2,00643, а для 2016 г. -1,88002. Соответственно, вторичное агрегирование главных компонент будет проводиться как расчет дистанции по метрике Евклида каждой страны от точки (2,00643; 0; 0) для 2014 г. или от точки (1,88002; 0; 0) для 2016 г.

Используя эти значения в качестве лучших значений PO. в представленных в предыдущем разделе формулах, для всех возможных объектов были рассчитаны четыре новые переменные: по два альтернативных композитных индекса для каждого из двух периодов по отдельности.

Чтобы сравнить полученные композитные индексы и определить их относительную предпочтительность, раздельно для каждого периода были рассчитаны попарные коэффициенты корреляции Пирсона между ними, тремя главными компонентами, а также средним арифметическим 21 изначального показателя (см. табл. 3 и 4). Поскольку вторая и третья главные компоненты понимались при вторичном агрегировании как меры отклонения от среднего результата, для корреляционного анализа были взяты их модули. В представленных таблицах: «Euclid» - композитный индекс, рассчитанный с равным взвешиванием главных компонент, «WeightEuclid» -композитный индекс, рассчитанный с взвешиванием главных компонент по их собственным значениям, «PCOMP 1» - первая главная компонента, «Abs PCOMP 2» и «Abs PCOMP 3» - модули второй и третьей главной компоненты, «AvgOriginal» - среднее арифметическое оригинальных показателей (предварительно нормализованных приведением в z-шкалы).

Таблица 3

Коэффициенты корреляции Пирсона, 2014 г.

Euclid WeightEuclid РСОМР 1 ЛЬя РСОМР 2 ЛЬя РСОМР 3 ЛvgOriginal

Euclid Корр. 1 0,939** -0,912** 0,353** 0,078 -0,910**

Знач. 0,000 0,000 0,000 0,395 0,000

WeightEuclid Корр. 0,939** 1 -0,997** 0,153 -0,099 -0,995**

Знач. 0,000 0,000 0,093 0,282 0,000

РСОМР 1 Корр. -0,912** -0,997** 1 -0,109 0,115 0,999**

Знач. 0,000 0,000 0,233 0,209 0,000

ЛЬя РСОМР 2 Корр. 0,353** 0,153 -0,109 1 -0,259** -0,109

Знач. 0,000 0,093 0,233 0,004 0,234

ЛЬя РСОМР 3 Корр. 0,078 -0,099 0,115 -0,259** 1 0,116

Знач. 0,395 0,282 0,209 0,004 0,206

AvgOriginal Корр. -0,910** -0,995** 0,999** -0,109 0,116 1

Знач. 0,000 0,000 0,000 0,234 0,206

Примечание: Число объектов - 121; ** р <0,01 (двухсторонняя). Источник: расчеты автора.

Таблица 4

Коэффициенты корреляции Пирсона, 2016 г.

Euclid WeightEuclid РСОМР 1 ЛЬя РСОМР 2 ЛЬя РСОМР 3 ЛvgOriginal

Euclid Корр. 1 0,925** -0,896** 0,250** 0,356** -0,893**

Знач. 0,000 0,000 0,006 0,000 0,000

WeightEuclid Корр. 0,925** 1 -0,997** 0,022 0,110 -0,996**

Знач. 0,000 0,000 0,814 0,229 0,000

РСОМР 1 Корр. -0,896** -0,997** 1 0,021 -0,079 1,000**

Знач. 0,000 0,000 0,816 0,388 0,000

ЛЬя РСОМР 2 Корр. 0,250** 0,022 0,021 1 -0,027 0,021

Знач. 0,006 0,814 0,816 0,765 0,815

ЛЬя РСОМР 3 Корр. 0,356** 0,110 -0,079 -0,027 1 -0,074

Знач. 0,000 0,229 0,388 0,765 0,416

AvgOriginal Корр. -0,893** -0,996** 1,000** 0,021 -0,074 1

Знач. 0,000 0,000 0,000 0,815 0,416

Примечание: Число объектов - 122; ** р <0,01 (двухсторонняя). Источник: расчеты автора.

Результаты корреляционного анализа по большей части схожи для обоих периодов. Выявлены положительные корреляции между композитным индексом, рассчитанным с равными весами главных компонент (далее - первым композитным индексом), и модулями второй (в обоих периодах) и третьей (только в 2016 г.) главных компонент. Эти корреляции слабы по силе, но значимы на уровне 0,01. В 2014 г. корреляция между первым композитным индексом и модулем второй главной компоненты составила 0,353, с уровнем значимости 0,000; корреляция между их аналогами для 2016 г. составила 0,250, с уровнем значимости 0,006. Корреляция между первым композитным индексом и модулем третьей главной компоненты в случае 2014 г. оказалась незначима, но в случае 2016 г. составила 0,356, с уровнем значимости 0,000.

При этом в обоих периодах первый композитный индекс сильно отрицательно коррелирует с первой главной компонентой - коэффициенты составили -0,912 в 2014 г. и -0,896 в 2016 г. Высокая сила этих корреляций по сравнению с корреляциями с модулями второй и третьей компонент частично объясняется тем, что модули главных компонент имеют меньшую дисперсию, чем сами главные компоненты, и изменения их значений слабее влияют на результат. Отрицательность корреляций объясняется тем, что, в отличие от первой компоненты, построенные композитные индексы более высокими значениями указывают на менее предпочтительные результаты.

Композитный индекс, рассчитанный с взвешиванием главных компонент по их собственным значениям (далее - второй композитный индекс), не коррелирует значимо с модулями второй и третьей главных компонент. В свою очередь, корреляция второго композитного индекса с первой главной компонентой в обоих периодах оказалась значимой, отрицательной, и крайне сильной —0,997 для обоих лет, превышая корреляции первого композитного индекса с первой главной компонентой.

Получается, что второй композитный индекс зависит от значений второй и третьей компонент в недостаточной степени, а значит, не учитывает в достаточной мере описываемые ими характеристики цифрового развития. Ранее предполагалось, что использование собственных значений в качестве весов при вторичном агрегировании главных компонент позволит отразить относительную важность компонент, так как собственные значения могут интерпретироваться как репрезентация долей полезной информации, содержащейся в каждой компоненте. Однако в данном случае такой способ подбора весов привел к тому, что получающийся композитный индекс почти полностью определяется значениями первой компоненты - что ожидаемо, ведь ее собственное значение (в обоих периодах) значительно выше собственных значений других компонент.

Такое соотношение собственных значений обусловлено тем, что первая компонента в данном случае является отражением основной латентной характеристики, в большей или меньшей степени косвенно описываемой всеми изначальными показателями - т.е. собирает в себе именно ту информацию, которая дублируется между этими показателями. Именно способность метода главных компонент агрегировать эту дублированную информацию

в одну переменную позволяет устранить дублирование, выделяя более специфические латентные характеристики, малозаметные в оригинальных данных из-за многократного учета основной латентной характеристики, в виде отдельных главных компонент. Собственные значения же определяются соотношением степеней, в которых выявленные латентные характеристики представлены в оригинальных данных. Следовательно, взвешивание главных компонент в соответствии с их собственными значениями воссоздает многократный учет основной латентной характеристики. Иными словами, второй рассматриваемый метод вторичного агрегирования - агрегирование главных компонент с использованием собственных значений в качестве весов - восстанавливает статистическое дублирование, которое было призвано устранить применение метода главных компонент.

В свою очередь, первый метод - агрегирование главных компонент с равными весами - позволяет учесть в равной степени различные латентные характеристики - и ту, которая многократно отражена практически всеми оригинальными показателями, и те, которые оказывают влияние в меньшей степени только на часть из них. Таким образом, первый метод соответствует изначальной задаче устранения дублирования, приводящего к искажению степени, в которой совокупность значений оригинальных показателей определяется разными латентными характеристиками. Это отличие между разбираемыми методами вторичного агрегирования также заметно по тому, что второй композитный индекс коррелирует со средним арифметическим изначальных показателей (результатом метода агрегирования, чьи результаты искажаются дублированием) крайне сильно, а первый индекс - сравнительно слабее.

Делается вывод, что из двух рассмотренных методов вторичного агрегирования главных компонент агрегирование с приданием главным компонентам равных весов является более предпочтительным для задачи построения рейтинга, чем альтернативный метод. Оба метода позволяют получить один композитный индекс, в большей степени применимый для задачи построения единого рейтинга, чем набор из нескольких переменных. Но, в отличие от агрегирования с весами, соответствующими собственным значениям главных компонент, агрегирование главных компонент с равными весами позволяет одновременно также сохранить создаваемый методом главных компонент эффект устранения дублирования, учитывая в равной мере различные латентные характеристики, представленные в оригинальных переменных в разной степени вследствие дублирования.

Использование подобного метода вторичного агрегирования, объединяющего соответствующие различным латентным характеристикам главные компоненты в один композитный индекс, приводит к потере некоторой доли полезной информации. Но эта потеря не столь существенна для задачи построения единого рейтинга, требующего единой переменной. Цель рейтинга - дать упрощенную и приблизительную, зато удобную для практического использования оценку относительного уровня объектов по комплексной характеристике. При такой постановке задачи некоторая потеря информации о специфике отдельных объектов по сравнению с полным

спектром низкоуровневых, более конкретных показателей неизбежна и допустима. В частности, определенная специфика отдельных стран, которая может не прослеживаться в едином рейтинге, может играть роль сильных сторон, создающих преимущества перед другими странами, или слабых сторон, связанных с угрозами для дальнейшего стабильного развития. Но в таком случае успешная реализация преимуществ или осуществление угроз могут в дальнейшем повлиять на иные аспекты развития в данной области, приводя в итоге к результату, схожему с результатом сбалансированного развития, что будет соответствовать рейтингу, оценивающему, например, менее развитую страну с уникальными преимуществами так же, как типичную более развитую страну. Таким образом, применение данного метода к рассматриваемым показателям позволяет построить рейтинг, быстро дающий первичное представление об уровне сбалансированного цифрового развития стран мира.

Если поставить иную практическую задачу - детальную оценку сильных и слабых сторон отдельных объектов, например, с целью формирования государственной политики, которая позволит реализовать преимущества и предотвратить осуществление угроз, то вызванная вторичным агрегированием потеря информации может стать более существенной. Демонстрацией этого является то, что оцениваемые объекты, имеющие разные сильные и слабые стороны и потому - разные значения главных компонент, могут получить похожие значения композитного индекса, построенного с помощью первого вышеописанного метода вторичного агрегирования.

На основе композитного индекса, рассчитанного первым методом (на основе первой формулы, представленной в предыдущем разделе) для 2016 г., был построен рейтинг 122 стран. Рассмотрим случай двух близлежащих стран - Словении и Венгрии. Значения композитного индекса для них составили соответственно 1,797 и 1,799 (более низкие значения - лучше). Словения заняла 33 место из 122, а Венгрия - 34. Руководствуясь этим, можно предположить, что профили этих стран в области цифрового развития, описываемые анализируемыми показателями, схожи. Но такое предположение окажется не полностью верным: и значения 21 изначального показателя, и значения описанных в предыдущем разделе главных компонент, выступающих в качестве индексов независимых латентных характеристик цифрового развития, различаются для этих стран. Значение первой главной компоненты выше для Словении - 0,731 против 0,363 для Венгрии (значения - в безразмерных z-шкалах). Вторая главная компонента для Словении ниже по значению и выше по модулю: -1,226 по сравнению с -0,709 для Венгрии. С другой стороны, значения третьей компоненты расходятся незначительно: -0,639 и -0,657.

Разница в значениях главных компонент выявляет различия в том, на каком уровне находились те или иные аспекты цифрового развития Словении и Венгрии в 2016 г. По значению первой компоненты, положительно связанной со всеми изначальными показателями, можно судить, что в целом Словения была несколько более развитой, чем Венгрия. Отличие в значении второй компоненты может быть интерпретировано как то, что население

Словении обладает более развитыми цифровыми навыками, а ИКТ-услуги более доступны финансово, в то время как в Венгрии наблюдается более развитое регулирование ИКТ и использование их в государственном управлении. Данная интерпретация согласуется со значениями большинства из изначальных показателей, оценивающих эти характеристики и определяющих значение второй компоненты в наибольшей степени.

Схожесть в значении композитного индекса, полученного из главных компонент, объясняется тем, что в случае Словении по сравнению с Венгрией более высокое значение первой компоненты, которое иначе бы привело к более низкому (хорошему) значению композитного индекса, было компенсировано значением второй компоненты (при близких значениях третьей компоненты). Будучи выше по модулю, значение второй компоненты для Словении расценивается построенной моделью как свидетельство большего отклонения от типичного и предположительно сбалансированного профиля цифрового развития, что может создавать риски, и потому приводит к более высокому (худшему) значению итогового композитного индекса.

Аналогичная близость значений композитного индекса при заметных расхождениях в значениях главных компонент наблюдается также, например, в случае Российской Федерации и Румынии (на 47 и 48 местах соответственно), и в случае Дании (26 место), отличающейся от похожих по значениям компонент Чили и Уругвая на 25 и 27 местах.

Это показывает, что используемый метод вторичного агрегирования, вследствие его компенсаторной природы, способен приводить к тому, что имеющие разные сильные и слабые стороны страны будут оценены как похожие. Происходит потеря некоторой доли информации о специфике отдельных стран, и это делает данный метод вторичного агрегирования главных компонент не предпочтительным для задачи выявления сильных и слабых сторон. По сравнению с этим методом (и другим рассмотренным методом вторичного агрегирования - ввиду его аналогичной компенсаторной природы), более предпочтительным для такой задачи, подразумевающей более детальный анализ, будет не проводить вторичное агрегирование каким-либо из рассмотренных методов. Вместо этого следует пользоваться -как было продемонстрировано - несколькими главными компонентами как набором индексов, отражающих независимые латентные характеристики.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Проведенный анализ подтвердил обе уточненные гипотезы исследования. Для задачи построения рейтинга метод вторичного агрегирования с равным взвешиванием главных компонент является предпочтительным среди рассматриваемых методов (включая отсутствие агрегирования): позволяя, в отличие от метода с взвешиванием главных компонент на основе собственных значений, сохранить эффект устранения дублирования, требуемый для формирования рейтинга в соответствии с изучаемой исследовательской проблемой; и, в отличие от опции отказа от вторичного агрегирования, создавая единую переменную, что требуется для создания единого рейтинга, удобного в практическом применении. Для задачи же выделения сильных и слабых сторон стран отказ от вторичного агрегирования и использование главных компонент как комплекса независимых переменных

предпочтительнее, чем оба рассмотренных метода вторичного агрегирования, так как отвечает требованию сохранить больший объем информации для более детального анализа.

Подтверждение этих гипотез свидетельствует в пользу изначальной обобщенной исследовательской гипотезы: нет единого метода вторичного агрегирования главных компонент, подходящего для любой задачи индикативной оценки, и выбор метода агрегирования должен определяться требованиями, предъявляемыми этой задачей. Показано, что ни один из разобранных методов вторичного агрегирования, как и опция отказа от агрегирования, не может рассматриваться как подобный единый метод, причем это было показано на примерах практических задач, чьи различающиеся требования к используемым переменным обуславливают предпочтительность различных методов. Обзор литературы также поддерживает исследовательскую гипотезу: отсутствие в научном дискурсе консенсуса по поводу наиболее предпочтительных методов агрегирования при построении композитных индексов согласуется с отсутствием единого ответа на этот вопрос. В то же время возможно обобщить разнообразие факторов, на которые авторы делают упор при рассмотрении методов агрегирования, и свести их к единому источнику требований - решаемой задаче индикативной оценки.

Полученные методики позволяют получать для каждой страны конкретную оценку ее цифрового развития и давать конкретные рекомендации. В качестве примера практического применения можно провести анализ уровня цифрового развития Российской Федерации в 2016 г. и представить соответствующие рекомендации для этого периода.

В рейтинге, построенном с помощью вторичного агрегирования выделенных главных компонент с равным взвешиванием, Россия заняла в мире 47 место из 122. Можно утверждать, что, по предоставляемой этим рейтингом оценке общего уровня сбалансированного цифрового развития, Россия показывала результаты выше среднего, однако со значительным пространством для усиления позиций. Это подразумевает желательность как поддержки дальнейшего цифрового развития, так и, по необходимости, принятия мер по устранению или компенсации слабых сторон для обеспечения стабильности развития.

Рассмотрение же значений трех отдельных главных компонент позволяет получить более детальную оценку, выявляя сильные и слабые стороны, и дать соответствующие рекомендации. Значение первой компоненты в 2016 г. для России - 0,590 (в г-шкале). Если построить рейтинг только по этой компоненте, Россия займет 38 место из 122. Это позволяет охарактеризовать общий уровень (не обязательно сбалансированного) цифрового развития России как выше среднего. Тем не менее дальнейшая государственная поддержка различных аспектов цифрового развития для повышения конкурентоспособности России в этой области в такой ситуации была востребована.

Однако особое внимание следовало бы уделить аспектам, в которых Россия отклоняется от сбалансированного профиля цифрового развития. Значение второй компоненты составило -1,317, что помещает Россию

на 19 место в рейтинге по модулю второй главной компоненты (т.е. степени отклонения от среднего по миру). Согласно описанной ранее интерпретации этих главных компонент, такое значение свидетельствует о высоком уровне цифровых навыков и человеческого капитала, а также финансовой доступности ИКТ, и о сравнительно низком уровне государственного регулирования цифровой среды. Значение же третьей компоненты в 2016 г. было 0,959 (42 место по модулю компоненты), что позволяет говорить о неплохом уровне развития системы государственных электронных услуг и электронного участия, а также об отсутствии на тот момент особо выделяющихся в мире успехов в развитии ИКТ-инфраструктуры. Можно говорить о том, что на 2016 г. в России освоение гражданами цифровых навыков опережало ряд других аспектов цифрового развития, и потому существовал дополнительный потенциал для массового внедрения цифровых технологий; в то время как, даже несмотря на активное применение подобных технологий в государственном управлении, их регулирование требовало явного совершенствования. Активное развитие и внедрение ИКТ без должного регулирования связано с различными негативными эффектами и рисками. Поэтому можно было дать рекомендацию сконцентрировать усилия государства по поддержке цифрового развития в первую очередь (хотя не исключительно) именно на государственном регулировании этой области.

Заключение

Сравнительный анализ двух рассмотренных в работе методов построения единого рейтинга цифрового развития показал, что индекс, рассчитанный вторым методом (с взвешиванием главных компонент по их собственным значениям), в недостаточной степени отражает вторую и третью главную компоненту и потому не соответствует изначальной цели исследования.

Первый метод вторичного агрегирования, подразумевающий агрегирование главных компонент с равными весами, позволяет получить единый композитный индекс, в большей степени отражающий различные главные компоненты. Поэтому, а еще потому, что отказ от вторичного агрегирования оставляет набор из нескольких главных компонент, не позволяющих легко построить единый рейтинг, сделан вывод о подтверждении первой из уточненных гипотез, основанных на общей исследовательской гипотезе: из рассмотренных методов (включая отказ от агрегирования) первый метод является предпочтительным для задачи построения единого рейтинга.

На основании композитного индекса, построенного с помощью первого метода вторичного агрегирования для 2016 г., был составлен рейтинг 122 стран и произведен сравнительный анализ некоторых стран, имеющих схожие значения композитного индекса и места в рейтинге, по значениям отдельных главных компонент. Было выявлено, что, судя по компонентам, профили цифрового развития рассматриваемых стран различаются, что свидетельствует о потере части полезной информации при проведении вторичного агрегирования главных компонент. Утверждается, что, хотя для ранее рассмотренной задачи построения рейтинга данная потеря инфор-

мации не столь существенна, для задачи анализа сильных и слабых сторон объектов эта потеря имеет большее значение и потому для этой задачи отказ от вторичного агрегирования и использование главных компонент как набора не дублирующих друг друга индексов предпочтительнее, чем оба рассмотренных метода вторичного агрегирования. Таким образом, была подтверждена и вторая из уточненных гипотез.

Практическая ценность методики выделения главных компонент цифрового развития и их вторичного агрегирования была продемонстрирована на примере предоставления возможных рекомендаций для дальнейшей государственной поддержки цифрового развития Российской Федерации на момент, охватываемый рассматриваемыми данными. Полученные в ходе исследования результаты позволяют формировать аналогичные практические рекомендации для других лет и стран.

Результаты данного исследования, равно как и обзор научного дискурса, говорят в пользу общей исследовательской гипотезы: не существует единого метода вторичного агрегирования главных компонент, подходящего для любой задачи индикативной оценки, и выбор метода агрегирования должен делаться на основе требований, предъявляемых решаемой задачей.

Этот вывод вкупе с отсутствием консенсуса об оптимальном методе агрегирования в литературе поддерживает и наглядно демонстрирует описанный во введении принцип выбора методик для построения индексов. Нет идеальной методики формирования композитных индексов, и каждая из методик имеет свои преимущества и недостатки. Эти преимущества и недостатки определяют, насколько каждая методика подходит для той или иной задачи индикативной оценки и сопутствующих ей условий. Поэтому при построении композитных индексов для решения любых практических (или исследовательских) задач в государственном управлении необходимо руководствоваться соответствием достоинств и недостатков методики расчета (включающей метод агрегирования) требованиям, условиям и специфике решаемой задачи, чтобы выбрать методику, наиболее подходящую для этой задачи. Данная рекомендация не ограничивается рассмотренным примером вторичного агрегирования главных компонент для оценки цифровизации - она релевантна при применении индикативного подхода в любой сфере и на любом уровне государственного управления. Это повысит качество результатов индикативного анализа и в конечном итоге поспособствует аргументированному принятию решений и повышению эффективности государственного управления в цифровой и иных сферах.

Представляет значительный интерес углубление анализа зависимости выбора методов агрегирования и других элементов методологий композитных индексов от требований, предъявляемых решаемыми задачами. На основании изучения источников и аналогичных исследований предпочтительности разных элементов методологий для различных задач может быть предложена классификация требований к индексам, входящих в комплекс взаимосвязанных требований, предъявляемых задачами индикативной оценки. Такая классификация поможет структурировать научный дискурс в области индикативного подхода и станет основой для методоло-

гии анализа предпочтительности методов агрегирования. В свою очередь, это поспособствует дальнейшему поиску и систематизации методов, наиболее подходящих для решения различных управленческих задач - что представляет ценность для практического применения индикативного подхода в государственном управлении в сфере цифровизации и в иных областях.

Благодарности.

Статья подготовлена в рамках Программы фундаментальных исследований Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ).

СПИСОК ИСТОЧНИКОВ

1. Архипова М.Ю., Сиротин В.П., Сухарева Н.А. Разработка композитного индикатора для измерения величины и динамики цифрового неравенства в России // Вопросы статистики. 2018. Т. 25, № 4. С. 75-87.

2. Барабашев А.Г., Зарочинцев С.В., Макаров И.А. Как искать «черных лебедей» высокотехнологического развития: индикативный подход // Государственное управление. Электронный Вестник. 2022. № 95. С. 192-208.

3. Борзых Д.А., Фурманов К.К., Чернышева И.К. О способе построения динамически сопоставимых композитных индексов // Вестник НГУЭУ. 2016. № 4. С. 67-83.

4. Жгун Т.В., Липатов А.В., Чалов Г.А. О корректности вычислительной задачи построения композитных индексов // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 2. С. 441-455. DOI: 10.25559/ 81Т1Т0.15.201902.441-455

5. Чуркин В.И. Индекс экономической свободы. Анализ и рекомендации // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Экономические науки. 2013. Т. 185, № 6-1. С. 28-38.

6. Barabashev A., Makarov I., Zarochintcev S. How to shape government policies on high-technology development using the indicative evaluation of risks? // Administration & Public Management Review. 2022. No. 38. P. 70-89. DOI: 10.24818/ amp/2022.38-04

7. Becker W., Saisana M., Paruolo P., Vandecasteele I. Weights and importance in composite indicators: Closing the gap // Ecological Indicators. 2017. Vol. 80. P. 12-22. DOI: 10.1016/j.ecolind.2017.03.056

8. Corrente S., Garcia-Bernabeu A., Greco S., Makkonen T. Robust measurement of innovation performances in Europe with a hierarchy of interacting composite indicators // Economics of Innovation and New Technology. 2021. P. 1-18. DOI: 10.1080/10438599.2021.1910815

9. Davis K.E., Kingsbury B., Merry S.E. Indicators as a technology of global governance // Law & Society Review. 2012. Vol. 46, no. 1. P. 71-104. DOI: 10.2139/ssrn.1583431

10. Dialga I., Giang L.T.H. Highlighting methodological limitations in the steps of composite indicators construction // Social Indicators Research. 2017. Vol. 131, no. 2. P. 441-465. DOI: 10.1007/s11205-016-1263-z

11. Djankov S., Manraj D., McLiesh C., Ramalho R. Doing Business indicators: Why aggregate, and how to do it. Washington, DC: World Bank, 2005. URL: https://archive. doingbusiness.org/content/dam/doingBusiness/media/Methodology/Other/why-aggregate-doing-business-2006.pdf (дата обращения: 25.09.2024).

12. Freudenberg M. Composite indicators of country performance: A critical assessment // OECD Science, Technology and Industry Working Papers. 2003. No. 2003/16. P. 1-35. DOI: 10.1787/405566708255

13. Gan X., Fernandez I.C., Guo J., Wilson M., Zhao Y., Zhou B., Wu J. When to use what: Methods for weighting and aggregating sustainability indicators // Ecological Indicators. 2017. Vol. 81. P. 491-502. DOI: 10.1016/j.ecolind.2017.05.068

14. Greco S., Ishizaka A., Resce G., Torrisi G. Measuring well-being by a multidimensional spatial model in OECD Better Life Index framework // Socio-Economic Planning Sciences. 2020. Vol. 70, art. no. 100684. DOI: 10.1016/j.seps.2019.01.006

15. Greco S., Ishizaka A., Tasiou M., Torrisi G. On the methodological framework of composite indices: A review of the issues of weighting, aggregation, and robustness // Social Indicators Research. 2019a. Vol. 141, no. 1. P. 61-94. DOI: 10.1007/ s11205-017-1832-9

16. Greco S., Ishizaka A., Tasiou M., Torrisi G. Sigma-mu efficiency analysis: A methodology for evaluating units through composite indicators // European Journal of Operational Research. 2019b. Vol. 278, no. 3. P. 942-960. DOI: 10.1016/j.ejor.2019.04.012

17. Greco S., Ishizaka A., Tasiou M., Torrisi G. The ordinal input for cardinal output approach of non-compensatory composite indicators: The PROMETHEE scoring method // European Journal of Operational Research. 2021. Vol. 288, no. 1. P. 225-246. DOI: 10.1016/j.ejor.2020.05.036

18. Grupp H., Schubert T. Review and new evidence on composite innovation indicators for evaluating national performance // Research Policy. 2010. Vol. 39, no. 1. P. 67-78. DOI: 10.1016/j.respol.2009.10.002

19. Gutiérrez Sanín F., Buitrago D., Gonzalez A. Aggregating political dimensions: Of the feasibility of political indicators // Social Indicators Research. 2013. Vol. 110, no. 1. P. 305-326. DOI: 10.1007/s11205-011-9932-4

20. Langbein L., Knack S. The worldwide governance indicators: Six, one, or none? // The Journal of Development Studies. 2010. Vol. 46, no. 2. P. 350-370. DOI: 10.1080/ 00220380902952399

21. Munda G. Choosing aggregation rules for composite indicators // Social Indicators Research. 2012. Vol. 109, no. 3. P. 337-354. DOI: 10.1007/s11205-011-9911-9

22. Munda G., Nardo M. On the methodological foundations of composite indicators used for ranking countries. Ispra: Joint Research Centre of the European Communities, 2003.

23. Munda G., Nardo M. Constructing consistent composite indicators: The issue of weights. Ispra: Institute for the Protection and Security of the Citizen, Joint Research Centre, 2005.

24. Munda G., Nardo M. Noncompensatory/nonlinear composite indicators for ranking countries: A defensible setting // Applied Economics. 2009. Vol. 41, no. 12. P. 1513-1523. DOI: 10.1080/00036840601019364

25. Nardo M., Saisana M., Saltelli A., Tarantola S., Hoffman A., Giovannini E. Handbook on constructing composite indicators: Methodology and user guide. Paris: OECD Publishing, 2008.

26. Rowley H.V., Peters G.M., Lundie S., Moore S.J. Aggregating sustainability indicators: Beyond the weighted sum // Journal of Environmental Management. 2012. Vol. 111. P. 24-33. DOI: 10.1016/j.jenvman.2012.05.004

REFERENCES

1. Arkhipova, M.Yu., Sirotin, V.P. and Sukhareva, N.A. (2018) 'Development of a composite indicator for measuring the value and dynamics of digital inequality in Russia', Voprosy Statistiki, 25(4), pp. 75-87. (In Russian).

2. Barabashev, A.G., Zarochintcev, S.V. and Makarov, I.A. (2022) 'How to find the "black swans" of high-technology development: An indicative approach', Public Administration. E-journal (Russia), 95, pp. 192-208. (In Russian).

3. Barabashev, A., Makarov, I. and Zarochintcev, S. (2022) 'How to shape government policies on high-technology development using the indicative evaluation of risks?', Administration & Public Management Review, 38, pp. 70-89. DOI: 10.24818/ amp/2022.38-04

4. Becker, W., Saisana, M., Paruolo, P. and Vandecasteele, I. (2017) 'Weights and importance in composite indicators: Closing the gap', Ecological Indicators, 80, pp. 12-22. DOI: 10.1016/j.ecolind.2017.03.056

5. Borzykh, D.A., Furmanov, K.K. and Chernysheva, I.K. (2016) 'On the method of constructing dynamically comparable composite indices', Vestnik NSUEM, 4, pp. 67-83. (In Russian).

6. Churkin, V.I. (2013) 'The index of economic freedom. Analysis and recommendations', Nauchno-Tekhnicheskie Vedomosti Sankt-Peterburgskogo Gosudarstven-nogo Politekhnicheskogo Universiteta. Ekonomicheskie Nauki, 6-1 (185), pp. 28-38. (In Russian).

7. Corrente, S., Garcia-Bernabeu, A., Greco, S. and Makkonen, T. (2021) 'Robust measurement of innovation performances in Europe with a hierarchy of interacting composite indicators', Economics of Innovation and New Technology, pp. 1-18. DOI: 10.1080/10438599.2021.1910815

8. Davis, K.E., Kingsbury, B. and Merry, S.E. (2012) 'Indicators as a technology of global governance', Law & Society Review, 46(1), pp. 71-104. DOI: 10.2139/ssrn.1583431

9. Dialga, I. and Giang, L.T.H. (2017) 'Highlighting methodological limitations in the steps of composite indicators construction', Social Indicators Research, 131(2), pp. 441-465. DOI: 10.1007/s11205-016-1263-z

10. Djankov, S., Manraj, D., McLiesh, C. and Ramalho, R. (2005) Doing Business indicators: Why aggregate, and how to do it. Washington, DC: World Bank. Available at: https://archive.doingbusiness.org/content/dam/doingBusiness/media/Methodology/ Other/why-aggregate-doing-business-2006.pdf (accessed 18 July 2024).

11. Freudenberg, M. (2003) 'Composite indicators of country performance: A critical assessment', OECD Science, Technology and Industry Working Papers, 2003/16, pp. 1-35. DOI: 10.1787/405566708255

12. Gan, X., Fernandez, I. C., Guo, J., Wilson, M., Zhao, Y., Zhou, B. and Wu, J. (2017) 'When to use what: Methods for weighting and aggregating sustainability indicators', Ecological Indicators, 81, pp. 491-502. DOI: 10.1016/j.ecolind.2017.05.068

13. Greco, S., Ishizaka, A., Resce, G. and Torrisi, G. (2020) 'Measuring well-being by a multidimensional spatial model in OECD Better Life Index framework', SocioEconomic Planning Sciences, 70, art. no. 100684. DOI: 10.1016/j.seps.2019.01.006

14. Greco, S., Ishizaka, A., Tasiou, M. and Torrisi, G. (2019a) 'On the methodological framework of composite indices: A review of the issues of weighting, aggregation, and robustness', Social Indicators Research, 141(1), pp. 61-94. DOI: 10.1007/s11205-017-1832-9

15. Greco, S., Ishizaka, A., Tasiou, M. and Torrisi, G. (2019b) 'Sigma-mu efficiency analysis: A methodology for evaluating units through composite indicators', European Journal of Operational Research, 278(3), pp. 942-960. DOI: 10.1016/j.ejor.2019.04.012

16. Greco, S., Ishizaka, A., Tasiou, M. and Torrisi, G. (2021) 'The ordinal input for cardinal output approach of non-compensatory composite indicators: The PROMETHEE scoring method', European Journal of Operational Research, 288(1), pp. 225-246. DOI: 10.1016/j.ejor.2020.05.036

17. Grupp, H. and Schubert, T. (2010) 'Review and new evidence on composite innovation indicators for evaluating national performance', Research Policy, 39(1), pp. 67-78. DOI: 10.1016/j.respol.2009.10.002

18. Gutiérrez Sanin, F., Buitrago, D. and Gonzalez, A. (2013) 'Aggregating political dimensions: Of the feasibility of political indicators', Social Indicators Research, 110(1), pp. 305-326. DOI: 10.1007/s11205-011-9932-4

19. Langbein, L. and Knack, S. (2010) 'The worldwide governance indicators: Six, one, or none?', The Journal of Development Studies, 46(2), pp. 350-370. DOI: 10.1080/ 00220380902952399

20. Munda, G. (2012) 'Choosing aggregation rules for composite indicators', Social Indicators Research, 109(3), pp. 337-354. DOI: 10.1007/s11205-011-9911-9

21. Munda, G. and Nardo, M. (2003) On the methodological foundations of composite indicators used for ranking countries. Ispra: Joint Research Centre of the European Communities.

22. Munda, G. and Nardo, M. (2005) Constructing consistent composite indicators: The issue of weights. Ispra: Institute for the Protection and Security of the Citizen, Joint Research Centre.

23. Munda, G. and Nardo, M. (2009) 'Noncompensatory/nonlinear composite indicators for ranking countries: A defensible setting', Applied Economics, 41(12), pp. 1513-1523. DOI: 10.1080/00036840601019364

24. Nardo, M., Saisana, M., Saltelli, A., Tarantola, S., Hoffman, A. and Giovannini, E. (2008) Handbook on constructing composite indicators: Methodology and user guide. Paris: OECD Publishing.

25. Rowley, H.V., Peters, G.M., Lundie, S. and Moore, S.J. (2012) 'Aggregating sustain-ability indicators: Beyond the weighted sum', Journal of Environmental Management, 111, pp. 24-33. DOI: 10.1016/j.jenvman.2012.05.004

26. Zhgun, T.V., Lipatov, A.V. and Chalov, G.A. (2019) 'On the correctness of the computational problem of composite indices construction', Modern Information Technologies and IT-Education, 15(2), pp. 441-455. DOI: 10.25559/SITITO.15.201902.441-455 (In Russian).

Статья поступила в редакцию 13.08.2024; одобрена после рецензирования 01.09.2024; принята к публикации 25.09.2024.

i Надоели баннеры? Вы всегда можете отключить рекламу.