CC BY
67
ВЕСТН. МОСК. УН-ТА. СЕР. 18. СОЦИОЛОГИЯ И ПОЛИТОЛОГИЯ. 2017. № 2
М.В. Юрасова, канд. социол. наук, доц. кафедры социологии организаций и менеджмента социологического факультета МГУ имени М.В. Ломоносова, г. Москва, Россия*
РЕЙТИНГ КАК ИНСТРУМЕНТ ИЗМЕРЕНИЯ УСПЕХА: "ЗА" И "ПРОТИВ"
Yurasova Maria Vladimirovna, PhD in sociology, assistant professor, Sociology of organizations and management subdepartment, Department of sociology, Lomonosov Moscow State University, Moscow, Russian Federation, e-mail: polevik@rambler.ru
RATING AS A TOOL FOR MEASURING SUCCESS: "PRO" AND "CONTRA"
Современный стиль и уровень развития управления требуют различных механизмов оценивания видов деятельности. Возрастает роль измерений качества как самих социальных процессов, так и управления ими. Процесс измерения требует формирования разного рода подходов и методик. В современном социальном управлении становятся принципиально важными комплексные показатели, которые рассчитываются и озвучиваются как рейтинги и индексы. Они применяются по отношению к самым разнообразным объектам — странам, губернаторам, компаниям, учебным заведениям, микрорайонам и т.п. Часто ими определяется престижность и место некоторого объекта в условиях жесткой конкуренции.
В статье подробно рассматриваются положительные и отрицательные аспекты построения рейтингов и индексов. Автор утверждает, что в современном обществе формируется вера в их универсалистский характер и объективность. При этом в большинство рейтингов включаются не только объективные (статистические или подобные им) показатели, но и субъективные экспертные оценки. Множество других элементов в методиках составления рейтингов и индексов также не позволяют говорить, что они всегда отражают реальное положение вещей. Главное их достоинство в том, что они помогают выделить лучших и худших, а это оказывается принципиально важным для управленца любого уровня. Популярности формирования различного рода инструментальных показателей, индексов и рейтингов способствует процесс "менеджеризации ", который на их основе формирует критерии оптимальности и эффективности. Ориентация на менеджерскую эффективность, по сути, диктует необходимость непрерывного оценивания ситуации.
Автор раскрывает проблемы, скрывающиеся за построением рейтингов и их последующим использованием: сложности оценки качества исходного материала, равнозначность экспертов и т.п. Любые рейтинги вызывают определенную реакцию: о них спорят, обсуждают оптимальность выбран-
* Юрасова Мария Владимировна, e-mail: polevik@rambler.ru
ных параметров и методики оценки. Рассматриваются различные подходы к методикам построения индексов. Приведены примеры наиболее интересных рейтингов и индексов, создаваемых различными организациями. В статье анализируется практика применения международных рейтингов и индексов, а также рейтингов и индексов, используемых для оценки территорий внутри страны.
В качестве примеров в статье рассматриваются механизмы оценивания деятельности глав региональной и местной власти, параметры оценки имиджа региона. На основании сопоставления применяемости показателей предлагается авторская модель использования различных методик и технологий измерения качества работы представителей государственного и муниципального управления. Предложенная авторская системная модель оценки включает различные критерии и методы сбора информации и ориентирована на поступательное развитие территорий страны.
Ключевые слова: измерение, рейтинг, международный индекс, управление, имидж территории.
Modern style of management requires different mechanisms of evaluation. They are very important, the quality measurements of both the social processes and the social management. The measurement process requires the creation of different approaches and techniques. In the modern social management integrated indicators become of the great importance. They are calculated and sounded like ratings and indexes. They are applied to a wide variety of objects — countries, governors, companies, schools, neighborhoods, eс Often, they determined the prestige and position of an object in a competitive environment.
The article examines in detail the positive and negative aspects of building ratings and indexes. The author argues that in modern society emerges the belief in their universal applicability and objectivity. In the majority of ratings are included not only the objective (statistical or similar) figures, but also subjective expert assessments. Many other elements in the methodology of ratings and indexes do not allow to say that they always reflect the real situation. Their main advantage is that they enable to select the best and the worst, and it is fundamentally important for a manager at any level. The process of total "menegeriza-tion" determines the popularity of indexes, as they form the basis of efficiency criteria. And it's the focus on managerial efficiency, that, in fact, dictates the need for continuous assessment of the situation.
The author reveals the problems that lie behind the construction of the ratings, and their subsequent use: assessing the quality of the primary data, the equivalence of experts work, etc. Any rating causes a certain reaction: argumentation for and against, discussions about the optimality of the selected parameters and methodology. In the article various approaches and methods of index construction are examined. There are examples of the most interesting ratings and indexes creating by different organizations. The article analyzes the practice of international ratings and indexes, as well as ratings and indexes used to measure areas within the country.
As examples, the article discusses the mechanisms for assessment of regional and local authorities, the criteria for evaluation of the region's image. Based on the comparison of the applicability of different indicators the author's model is
presented. It measures the quality ofthe work ofstate and municipal officers. The proposed model includes a variety ofcriteria and methods for collection of information and is oriented on the ongoing development ofthe country's territories.
Keywords: measuring, ranking, international index, management, image of the region.
Уже с детства любого ребенка приучают что-то измерять и оценивать — рост, вес, успеваемость. Какие-то показатели можно измерить приборами, а какие-то только на основании выработанных правил, таких, например, как школьные оценки или баллы за выполнение упражнений в гимнастике или фигурном катании.
На государственном уровне важно вести свои измерения и, более того, формировать систему оценивания, в которой можно было бы учитывать различные параметры. Например, нехватка мест в детских садах может быть связана с ростом рождаемости, негодностью старого здания и/или массовой застройкой микрорайонов. Причин может быть много. Но если эта проблема обусловлена всплеском рождаемости или застройкой (с привлечением на территорию молодых семей), то это можно рассматривать как позитивную тенденцию, а аварийное состояние здания отнести к недостаткам управления.
В связи с этим перед государствами возникает необходимость определения измеряемых показателей и сравнения их совокупности для выявления лидеров управления территориями и отстающих.
В России до сих пор остро стоит вопрос разработки такого инструментария оценки, при котором минимизировались бы риски субъективных оценок. Хороший пример изменения методики оценки можно наблюдать в художественных видах спорта, в которых пропорционально выставляются оценки за выполнение заявленного элемента (включая снижение оценки при его невыполнении) и субъективной оценки наглядности и художественности представления связки элементов (что повышает интерес зрителя). Единой системы оценивания государственных и муниципальных руководителей, как в школе или спорте, до сих пор нет, но есть много локальных и обобщающих методик, позволяющих оценивать жизнь территории. В ряде случаев ориентиром могут послужить международные индексы и рейтинги, определяющие некоторые критерии сравнения стран как больших территорий, управляемых единым правительством.
Увеличению интереса и спроса на универсальные методики оценивания и сравнения способствует процесс всеобщей менеджери-зации, который предполагает внедрение в социальные и управленческие процессы принципов менеджмента, а также стремление
к повышению хозяйственной эффективности работы любой общественной системы, что так свойственно экономистам, "правящим бал" во многих структурах государственного управления.
Основным параметром (мерилом) работы в менеджериализме являются показатели эффективности, которыми руководствуются в своих решениях и действиях менеджеры. Они утверждают универсалистский характер инструментов и методов управления вне зависимости от сферы деятельности будь то на производстве, в социальной сфере или на государственной службе.
Система измерения служит важнейшим управленческим инструментом, позволяющим направить ограниченные ресурсы туда, где от них можно получить наибольшую выгоду. В этой ситуации, примером может служить учет расхода ресурсов (электричество, газ, вода, тепло и т.п.). Если измерить, во что обходится "продуваемое окно", то вопрос о необходимости его замены решается быстрее. Хотя не стоит забывать, что социальный "вес" просящего заменить стекло или дверь в подъезде тоже может иметь свое значение.
То же самое происходит и с наукой. Государство и неправительственные фонды оказывают финансовую поддержку научных исследований. Естественно, инвесторы хотят знать, разумно ли инвестируются их деньги; они хотят оценить качество научных исследований, принимать обоснованные решения относительно будущих инвестиций. Такие оценки бесконечно "сложнее" разбитого стекла, но имеют ту же цель — экономическую эффективность.
Требованием сегодняшнего дня являются простота, понятность и объективность оценки. Фактически, встает вопрос о сведении любой сложной оценки к совокупности простых. Абсурдность такой постановки очевидна как с точки зрения здравого смысла, так и с возвышенной философской точки зрения. Понятно, что не существует простой величины или совокупности простых величин для оценки работы врача или учителя точно так же, как и государственного управленца. Но есть требование общества, и ему как-то нужно соответствовать.
С понятием "измерение" мы сталкиваемся еще в начальной школе, когда на уроках математики прикладываем линейку к абстрактному отрезку. Проходя медицинский осмотр, мы измеряем антропометрические показатели, такие как рост, вес, скорость реакции и т.п. Часть этих данных получают с помощью измерительного инструмента (весов, линейки и др.), это так называемые жесткие параметры. К ним еще относят такие параметры, которые можно высчитать с помощью формул, например, объем отклонения от среднего веса. На основе полученных данных делается вывод и ставится диагноз, но зачастую сюда включаются субъективные параметры —
оценка конкретного врача, оценка предполагаемых нагрузок, боязнь навредить. Включение субъективных факторов в оценивание можно воспринимать как позитивный (например, если на губернатора поступило за год четыре жалобы, а за следующий — восемь; прирост 50% или 100 и 120 и прирост в 20%: вроде бы, он стал работать хуже) и как отрицательный (возможность влияния на судей, подкупа, одностороннего рассмотрения некоторых вопросов и т.д.) факт.
Субъективное оценивание чаще всего рассматривается в сочетании с объективно измеренными параметрами. Сочетание параметров в измерении эффективности не имеет готовых и однозначных рецептов. В каждом случае выводятся свои параметры и свои критерии.
Мы сталкиваемся с еще одним видом измерения, которое рассмотрим на примере простого школьника. Это оценка школы, которую осуществляют, если использовать юридический язык, его "законные представители" (в подавляющем большинстве — родители). Необходимость определить все значимые для законных представителей первоклассника показатели, прямо или косвенно влияющие на выбор школы. Каждый родитель основывает свое измерение на значимых именно для него показателях, т.е. измерение носит субъективный и целевой характер (определяется целями измерения). Если кому-то важен минимальный путь до школы, то другому — аттестационные показатели выпускников школы и показатель поступления на бюджетные места престижных вузов. Правда, показатели "поступаемости" и/или высоких баллов ЕГЭ и ГИА не всегда можно рассматривать только как заслугу школы (на это могут влиять занятия с репетиторами, дополнительные занятия, кружки и секции и т.п.).
Для некоторых родителей важен престиж школы. Причем, для одних важно попасть в "хорошую" школу, для кого-то важно уйти от "пафосности". Поэтому составить рейтинг школ, который удовлетворял бы каждого родителя, невозможно. Но для государственных нужд такой рейтинг сегодня видится необходимым, определяющим для отношений школы и местной власти.
В результате у школ появляются свои рейтинги — определенный результат измерений, представленных в сопоставимой форме. Они складываются как из объективных показателей, отраженных в официальной статистике, пройденной обработке субъективных
^ /44 55
суждений, включенных в этот процесс ("экспертами" здесь могут выступать ученики и их законные представители, учителя и сотрудники школы, местные органы власти и др.), известность школы, ее выпускников и педагогов на уровне населенного пункта, региона, страны и т.п. И этот рейтинг начинает восприниматься как абсо-
лютно объективная и простая оценка, схожая с измерением, производимым линейкой.
Согласно теории, любую проблему или ситуацию можно измерить, главное — правильно выбрать критерий, по которому осуществлять измерение, и определить начальную точку измерения или его основание. Правильно измеренная проблема в управлении влечет за собой создание адекватной программы изменений. Измерение — это способ изучения социальных явлений, процессов, систем, их свойств и отношений с помощью количественных оценок. Само количественное изучение социальных явлений способствует осознанию вероятностного характера ряда социальных закономерностей, более полному применению статистических методов. Измерение позволяет разобраться в ситуациях и определить подходящие направления действий для достижения поставленной цели. В то же время нередко измерение само по себе приносит очень мало пользы, а то и вовсе оказывается бесполезным. При этом измерение не является самоцелью. Основная цель измерения — повышение производительности, снижение издержек и т.п. И эта "благородная" цель как раз и снижает точность измерений, заставляет сложные явления подвергать простым оценкам и выстраивать рейтинг там, где его быть не должно.
Важно помнить, что в социальном управлении наряду с точными статистическими и иными оценками существуют и принципиально иные — экспертные. Они применяются для оценки так называемых мягких параметров. К ним относятся такие, которые не могут быть измерены специальными приборами и рассчитаны по формулам, отражающим объективные закономерности. Например, эстетические или вкусовые параметры, характеризующие внешний вид объекта, соответствие моде, сочетание цветов и вкусов, своевременность и т.п. В социологии и точные, и экспертные оценки образуют некий неделимый синтез, который претендует на абсолютную объективность. При этом о соотношении в этом синтезе двух видов оценок никто не задумывается.
Хороший пример, характеризующий сочетание расчетных и экспертных методов, — это температура блюда в ресторане. Для одних блюд вкусовые качества проявляются при высоких температурах, для других, наоборот, при низких. В таких случаях используют как одни, так и другие виды оценок, причем в данном примере экспертные, по сути субъективные, оценки предшествуют расчетным.
Кроме того, что субъективизм содержится в оценке "мягких" параметров, он проявляется еще и при решении проблем определения весовых коэффициентов и ранжировании априорной информации. Ранжирование — один из методов экспертных оценок,
когда относительная значимость объектов устанавливается присвоением чисел натурального ряда, определяющих порядок (место) каждого объекта в исследуемой совокупности. Это позволяет выбрать наиболее предпочтительные объекты.
Эксперты могут знать, а могут и не знать о весах и рангах, которые приписываются их оценкам. И даже если они знают о формуле, по которой составляется рейтинг, они могут быть с ней согласны, а могут и нет. Точность или надежность ранжирования зависят от многих факторов, в том числе от профессиональной и квалиметри-ческой компетентности экспертов, их объективности, заинтересованности в результатах ранжирования, а также от числа ранжируемых объектов.
Для обеспечения точности и надежности ранжирования требуется выработка согласованности мнений экспертов. Чем согласованность больше, тем надежнее и точнее результаты ранжирования. Информация, полученная от экспертов при ранжировании, в обязательном порядке подвергается математико-статистической обработке с целью определения степени согласованности их мнений. Сам процесс расчета степени согласованности мнений экспертов, вычисление коэффициентов весомости ранжируемых объектов требуют больших временных затрат. Поэтому в социальном управлении эту трудоемкую процедуру часто заменяют проставлением рангов и весов, согласно мнению заказчиков рейтинга.
Сегодня наглядным примером абсолютно субъективного сочетания объективных и субъективных оценок служат интегральные показатели — рейтинги и индексы, предназначенные для сравнения характеристик различных стран. Как правило, для построения подобного рода рейтингов и индексов можно ограничиться получением статистической информации и экспертными оценками. Реже используются массовые опросы населения и анализ СМИ. По ряду рейтингов и индексов пишется многостраничный отчет с обоснованием выставляемой оценки. Но при всем при этом, основным методическим инструментарием государствоведческих исследований обычно служат различные методики экспертных оценок, которые получают в результате анкетирования сотен и тысяч квалифицированных экспертов как из исследуемого государства, так и из-за рубежа. Наряду с этим, но в меньших масштабах, используются сбор и обработка статистических данных. Понятно, что получаемые рейтинги, составленные по экспертным оценкам, как это уже отмечалось ранее, несут на себе отпечаток субъективизма. Однако стремление сделать преимущественный "акцент на анализе универсальных по масштабу и признанию статистических баз
данных"1 также может привести к неадекватности получаемых результатов.
В табл. 1 приведены данные по применяемым международным рейтингам, которые были отобраны по принципу встраивания в системные оценки государственного и муниципального управления2. Имеющиеся и применимые разложения на составляющие (субоценки) приведены под названием соответствующего рейтинга или индекса. В столбцах отмечены виды исследований.
Таблица 1
Сравнение данных, используемых при составлении международных рейтингов
Агентства Наименование рейтингов / индексов Статистика Экспертные оценки Массовые опросы Анализ СМИ
Foreign Policy, A.T. Kearney, The Chicago Council on Global Affairs Индекс глобальных городов + + +
Freedom House Оценка демократии +
Страны переходного периода + + +
Свобода прессы в мире +
Состояние свободы в мире +
Индекс качества и эффективности государственной власти +
INSEAD Глобальный индекс инноваций + + +
KurtzmanGroup Индекс непрозрачности + + +
Mercer Human Resource Consulting Индекс качества жизни в городах мира + +
New Economic Foundation Всемирный индекс счастья + +
1 Политический атлас современности: опыт многомерного статистического анализа политических систем современного государства. М., 2007. С. 9.
2 Таблица основана на материалах, представленных в ссылках с портала Центра гуманитарных технологий: Экспертно-аналитический портал. URL: http:// gtmarket.ru/ratings (дата обращения: 25.06.2012); см. также: Проблемы применения международных рейтингов: общество, государство, экономика. М., 2009.
Агентства Наименование рейтингов / индексов Статистика Экспертные оценки Массовые опросы Анализ СМИ
The Center for Public Integrity Индекс открытости и общественной лояльности +
Индекс подотчетности и прозрачности ветвей власти + + +
Индекс открытости государственных служб и управления государственной собственностью +
Индекс развития антикоррупционных механизмов и верховенства закона +
The Division for Public Administration and Development Management, The United Nations Индекс развития электронного правительства + +
The Economist Intelligence Unit, Citigroup Индекс демократии стран мира + +
Индекс качества жизни + +
Индекс конкурентоспособности городов мира + +
The Fund for Peace Индекс недееспособности государств + + +
The Legatum Institute Индекс процветания стран мира + + +
The Lien Foundation, The Economist Intelligence Unit Рейтинг качества смерти + +
Transparency International Индекс восприятия коррупции +
Всемирная организация здравоохранения Рейтинг стран мира по уровню потребления алкоголя +
Агентства Наименование рейтингов / индексов Статистика Экспертные оценки Массовые опросы Анализ СМИ
Всемирный банк Качество государственного управления + + + +
Индекс экономики знаний + + +
Ведение бизнеса + +
Индекс учета мнения населения и подотчетности государственных органов + + + +
Департамент ООН по экономическим и социальным вопросам Рейтинг стран мира по уровню урбанизации +
Институт независимых политических исследований, Национальная служба мониторинга Рейтинг информационной открытости глав субъектов Российской Федерации (каким должен быть информационно открытый губернатор) +
Институт развития свободы информации Рейтинг информационной открытости государственных органов власти России сайт
Международная организация труда Основные показатели на рынке труда +
Программа развития Организации Объединенных Наций (ПРООН) / (UNDP) Индекс развития человеческого потенциала +
Индекс уровня образования +
Университет Лечестера Индекс удовлетворенности жизнью в странах мира + + +
Фонд наследия / The Heritage Foundation Индекс экономической свободы +
Агентства Наименование рейтингов / индексов Статистика Экспертные оценки Массовые опросы Анализ СМИ
The Heritage Foundation Индекс роли государства в экономике + +
Индекс степени ограничения экспорта и импорта + + +
Индекс инвестиционного климата и ограничения прав иностранных инвесторов +
Индекс свободы предпринимательства + +
Индекс защищенности прав собственности +
Фонд устойчивого общества / Sustainable Society Foundation Индекс устойчивости обществ + +
Центр экологической политики и права при Йельском университете Индекс экологической эффективности + +
Covalence Мониторинг социальной и этической ответственности крупнейших компаний + + +
The World Economic Forum Индекс глобальной конкурентоспособности + + +
The World Economic Forum Индекс конкурентоспособности частного бизнеса + +
Систематизируем ограничения, которые несут в себе расчеты индексов и рейтингов3.
Во-первых, это субъективизм. Как показано в табл. 1, показатели в существенной мере определяются на основе экспертных оценок и данных опроса населения, следовательно, существует определен-
3 См.: Проблемы применения международных рейтингов: общество, государство, экономика. М., 2009.
ное влияние субъективных факторов. Область оценивания не всегда позволяет пользоваться только объективными статистическими оценками. Часто встает вопрос о верности, полноте и неискажен-ности исходных данных и компетентности экспертов. Например, в России проживает человек, который зарекомендовал себя как эксперт по Южной Америке. К нему обращаются составители рейтинга. Этот человек, действительно, прекрасно знает ситуацию в Бразилии. Более того, он по бразильской прессе имеет представление о том, часто делается в Уругвае, Перу и десятке других стран этого континента. Но можно ли утверждать, что он знает ситуацию в Перу точно так же, как в Бразилии? Вопрос тем более актуален, если между этими странами существует (гипотетически) некоторая политическая напряженность. Данные, получаемые экспертом из средств информации Бразилии, будут явно искажать реальное положение дел в Перу. Но найти эксперта, имеющего полное и объективное представление о делах во множестве латиноамериканских стран, вообще невозможно. Остается надеяться, что субъективизм одних, наложенный на субъективизм других, в результате даст некоторую объективную оценку. Расчет слабый и по понятным причинам ненаучный.
Во-вторых, ограниченность применения. Рейтинги только помогают определить, насколько эффективно по сравнению с другими функционирует объект оценки, а установить характер проблемы и методы ее устранения с их помощью не представляется возможным. Выявление причин динамики отдельных показателей может быть осложнено.
В-третьих, подотчетность, прозрачность и обоснованность рейтингов нередко ставятся под вопрос. Те, кто управляет, всегда найдут возможность повлиять как на сам рейтинг, так и на тех, кто его составляет.
Степень надежности измерений бывает не всегда одинакова для всех стран. Баллы и соответствующие им ранги стран оцениваются на основе относительно небольшого числа источников и характеризуются большим разбросом в оценках и в итоге могут оказаться не вполне адекватными. В основе индексов лежат усредненные данные, собранные за определенный промежуток времени. В результате индекс дает представление о текущих оценках некоторого критерия экспертами, почти не фокусируясь на происходящих из года в год сдвигах. Поэтому индекс не всегда отражает реальную динамику, поскольку его колебания могут быть обусловлены корректировкой выборки, особенностями источников информации (при этом не все они обновляются на ежегодной основе), а место
страны в общем списке может сильно измениться в связи с изменением списка стран, включенных в рейтинг.
Для обеспечения прозрачности и адекватности применения тех или иных систем подсчета некоторые рейтинговые агентства используют свои методики. Но есть агентства, методика которых не раскрывается. Именно они чаще подвергаются критике со стороны потребителей. Следовательно, возникает необходимость детального изучения и знания методик проведения исследований для выбора определяемых по их результатам индексов или составляющих их индикаторов в качестве валидных количественных показателей, отображающих изучаемые характеристики государства.
В-четвертых, для повышения доверия к рейтингам необходимо заботиться о репутации агентства, специализирующегося на расчетах рейтингов.
Ни один из международных индексов не может дать абсолютно точной и исчерпывающей оценки положения дел в стране или отдельной сфере общественной жизни. Вместе с тем, при условии четкого соблюдения границ использования рейтингов они способны адекватно отражать реальную ситуацию в исследуемой области4.
Участие отдельных регионов Российской Федерации в интегральной оценке не всегда является обязательным (соблюдается принцип добровольности), а имея показательно необходимую привязку к выборному процессу, процедура может быть искажена в связи с участием/неучастием ряда территорий. Это может повлиять на качество и репрезентативность рейтинга.
Парадокс заключается в том, что при понимании всех недостатков описанных выше сравнений у государственного управления внутри страны есть настоятельный запрос на составление рейтингов и индексов. Работа любой системы управления должна быть обеспечена бесперебойной обратной связью с субъектами управления. Это означает, что власти нужны ориентиры и нормативные показатели для детального мониторинга своей деятельности. При этом указанная работа может осуществляться по двум основным направлениям: во-первых, это сравнительный анализ на основе интегральных показателей (который активно представлен мировыми рейтинговыми агентствами и рассмотрен выше) и, во-вторых, анализ на основе системы исследований по отдельным показателям и выбранным базовым направлениям.
Сравнение по интегральным показателям может только указать на место региона среди других, т.е. ограничиться функциональ-
4 Проблемы применения международных рейтингов... С. 160.
ным подходом к исследованию. Подобные сравнения всецело ориентируются на предлагаемую методику, что не всегда чувствительно для ряда инновационных изменений. Более того, изменение показателей в системообразующем параметре (например, принятие законодательного акта или моратория) может внести существенные коррективы в положение территории, но быть малоощутимым в жизни населения.
Второй вариант оценивания более сложный. Он предполагает
__KJ ТЛ KJ
детальное сравнение отдельных показателей. В какой-то мере он похож на SWOT-анализ в бизнесе, в котором указываются сильные стороны, слабые позиции, возможности и угрозы. При этом отдельные параметры функционирования объекта управления могут быть детально и точно измерены. Главное, что, анализируя каждый параметр, любой человек легко представляет себе то, откуда взялась данная информация — из обобщенного анализа СМИ, данных статистического ведомства, опросов населения и т.п. Поэтому достаточно легко отличить субъективные оценки (или оценки со значительной склонностью к субъективизму) от объективных, жесткие параметры от мягких. В этом случае можно составить относительно объективную картину, отражающую положение дел на территории. Например, можно оценивать отдельные мероприятия и программы, осуществляемые государством. Опыт зарубежных стран, в частности Финляндии и Великобритании, показывает необходимость создания системы исследований результативности программ государственного управления. Такая система должна обеспечивать текущий мониторинг и оценку результатов программ, а также осуществлять периодическую внутреннюю и внешнюю отчетность по достигаемому прогрессу.
Почему же рейтинги оказались насколько более привлекательными, чем оценка по отдельным показателям? Безусловно, из-за их простоты! Но часто, как говорится в русской пословице, "простота хуже воровства". Будучи интегральными показателями и скрывая различия между объективными и субъективными оценками, они способны настолько исказить реальное положение дел, что становятся в большей степени вредными, чем полезными.
Но простота рейтингов подкупает практически всех управленцев. Увлеченность ими стала одной из черт современного социального управления. Очень трудно сравнивать отдельные показатели и приводить их в систему. Тем более, что оцениваемые все равно в большинстве останутся недовольны и будут указывать на то, что принципы оценки могут быть другими. Значительно проще иметь некую общую цифру — место в рейтинге или индекс, который хотя и получился неким загадочным способом, но позволит быстро
распределить премиальные, похвалить одних и поругать других. Именно это и требуется высшему начальству от процедуры оценки.
И все же с объективной точки зрения следует признать, что оценка регионов страны и их руководителей только по рейтингам должна всегда дополняться оценкой конкретных направлений развития, конкретных программ и мероприятий. Без этого рейтинги и иные интегральные показатели могут служить только ориентирами в проставлении итоговых оценок и проведении качественного сравнения.
У применения рейтингов и индексов в системе национального государственного управления есть свои особенности, отличающие их от аналогичных международных инструментов. Одной из основных методологических проблем, связанных с оценкой эффективности работы систем управления, является трудность выявления устойчивой взаимосвязи между улучшениями в области управления и качеством жизни территории. Международному рейтинговому агентству по большому счету все равно, измениться ли что-то в Зимбабве после опубликования рейтинга или нет. А внутри государства вся процедура оценки регионов подчинена одной стратегической цели — прогрессу в развитии территорий.
Особенностью оценки государственного управления является сложность определения объективных количественных показателей его эффективности. Существенная часть показателей результативности (а также часть показателей непосредственных результатов) основана на результатах исследований (населения, госслужащих, деловой и бизнес элиты, представителей СМИ). Использование такого рода данных является весьма полезным, поскольку они более чувствительны в оценке происходящих изменений. Но опять же подобные показатели должны дополняться объективными статистическими данными, а также данными министерств и ведомств для получения наиболее точной и достоверной характеристики функционирования системы управления.
Следует отметить главную трудность в процессе составления рейтингов регионов внутри страны. Сотрудники региональных и муниципальных служб, задействованные в составлении рейтингов, чаще всего являются жителями региона. Если рассмотреть гипотезу о том, что желающие работать в этих структурах будут всегда, выделяя в качестве сильной стороны работодателя стабильность работы, социальный пакет, сравнительно приличное жалование и, впоследствии, хорошее пенсионное обеспечение, то удовлетворенность их работодателем (губернатором, местным правительством, руководителем поселения и др.) будет иметь чисто номинальное
значение. Более того и вероятнее всего неудовлетворенность по отдельным показателям государственные и муниципальные служащие вряд ли выскажут. Особенно это актуально для дотационных территорий и национальных округов. Для такой категории граждан применимы методы экспертных интервью с развивающими вопросами.
Особенно ярко вся специфика рейтинга как инструмента социального управления раскрывается в случае оценивания таких нематериальных активов региона, как имидж. Тенденцией последних лет является заинтересованность представителей местного и регионального управления в формировании имиджа и репутации территории. В связи с этим территориям в условиях жесткой конкуренции и существенных экономических ограничений приходится заботится о выстраивании собственного РЯ-пространства.
Интерес к проблеме имиджа территории обусловлен необходимостью решения практических задач в сфере управления и коммуникаций. Использование знаний и навыков в формировании имиджа стало одним из важнейших критериев успешности профессиональной деятельности государственных управленцев.
Сам имидж территории можно рассматривать с разных позиций, содержащих объективные и субъективные оценки. Например, инвестиционная привлекательность территории рассматривается как более объективная величина, чем абстрактное качество жизни. Можно оценивать имидж территории по количеству упоминаний в СМИ. С одной стороны, это хороший показатель, с другой — все зависит от темы публикации. И даже негативное явление, такое как стихийное бедствие, можно расценивать по-разному с позиции влияния на имидж. Если власти оперативно отреагировали, оказали необходимую помощь — это одно, если говорить о возникающих проблемах — то уже совершенно другое. Таким образом, числовые показатели могут быть фактически бесполезными.
При оценке имиджа региона может быть использован и метод анализа документов. Он востребован, например, для определения количества и содержания жалоб и похвальных отзывов, содержания информации СМИ. Например, в одном из регионов в районных газетах, финансируемых из средств регионального бюджета, публиковались только официальные документы, сводка происшествий, некрологи и поминальные. Последнее было связано с тем, что газеты зарабатывали на подобных сообщениях. Таким образом, формировалось общее депрессивное настроение и падение интереса к СМИ вообще.
Любая территория рассматривается как специфический набор характеристик и полезных качеств, носителями которых являются жители, инвесторы, предприниматели, туристы и т.д. Особое вни-
мание уделяется формированию привлекательного имиджа, включающего построение "бренда" и создание позитивной репутации. В качестве примеров создания территориальных "брендов" и формируемого имиджа территории можно привести Кострому — родину Снегурочки, Великий Устюг — резиденцию Деда Мороза и т.п. Эти примеры показывают, что кроме самого создания имиджа, необходимо его постоянное поддержание: мероприятия в резиденции Деда Мороза проводятся круглогодично, на территории функционирует детский оздоровительный лагерь и трудовой лагерь для старшеклассников, специализирующийся на работе аниматоров и наведению порядка на территории.
Большинство исследователей под имиджем территории понимают некую комплексную характеристику населения, которое определяет его социально-экономическое положение и совокупность условий, обеспечивающих жизнедеятельность человека. При этом имидж определяется как поверхностное, зачастую искусственно созданное за сравнительно недолгое время представление об объекте в сознании людей. Образ одной и той же территории у разных людей формируется по-разному. Отсюда — субъективность и динамичность оценок. Имидж можно существенно изменять, при этом практически ничего не меняя на самой территории.
Имидж относят к идеальным объектам, возникающим в сознании людей и вызывающим определенный эмоциональный отклик. Он отличается неустойчивостью, что требует постоянного "подкрепления" и развития рекламой или разнообразными целевыми РЯ-акциями. Поскольку напрямую имидж измерить невозможно, то оценивают его по отношениям, в общении, деятельности, выборе и т.п., по данным мониторинга и изучению реакции на него. Рекомендуется регулярное проведение мониторинговых исследований, связанных с имиджем, и последующая работа по РЯ-сопровождению.
В условиях социальных преобразований индивидуальные представления о качестве жизни на территории формируются в основном под влиянием не только рационального, но в большей степени эмоционального компонента. Поэтому важно при определении имиджа территории выделять и характеристики субъективного восприятия качества жизни.
Из всего сказанного выше понятно, насколько субъективным и неточным будет любой интегральный инструмент оценки имиджа региона. Поэтому подобного рода индексы и рейтинги следует рассматривать исключительно как вспомогательные инструменты социального управления. Они не могут быть положены в основу реалистической политики. Только в совокупности с конкретными показателями (уровнем жизни, показателями миграции населе-
ния, уровнем безработицы и т.п.) интегральный показатель имиджа региона может использоваться высшей властью в стране, а также региональными властями для определения приоритетных направлений своей политики.
В заключение вернемся к попыткам целостной оценки регионов (а не только их имиджей). В последнее время в этой области сделано не мало того, что следует обобщить и на основе этого предложить системную модель оценки. Признавая все трудности создания рейтингов и индексов, следует отметить, что потребность создания инструмента оценивания и сравнения уровня развития регионов Российской Федерации в совокупности с критическим анализом действующих мировых оценок позволяет создавать образы модели для подобного сравнения. Предлагаемая авторская модель базируется на принципах построения оценок экономических субъектов (предприятий и организаций), принципах формирования модели качества жизни, международных индексах и рейтингах, отражающих специфику государственного управления. Рассмотрев принципы построения международных рейтингов и индексов, а также имеющиеся российские показатели, соотнеся их с моделью делового совершенствования (модель и критерии оценок Премии Правительства Российской Федерации в области качества5), построим предлагаемую модель оценки.
Проанализировав и сопоставив варианты и сценарии оценивания можно составить таблицу, выделив пять значимых критериев и подкритерии, позволяющие сопоставлять работу разных государственных институтов, используя различного рода оценки (см. табл. 2).
Данная модель отличается комплексностью и возможностью оценить как интегральный рейтинг территории, так и отдельные важнейшие показатели ее развития. Использование множества
5 Галеев В.И. Системы менеджмента — новые горизонты // Сертификация. 2010. № 2. С. 14—15; Галеев В.И., Дворук Т.Ю. Опыт проведения региональных конкурсов в области качества // Сертификация. 2011. № 3. С. 26—28; Галеев В.И., Дубинин В.С. Год за годом на пути к совершенству (Конкурс на соискание премий Правительства Российской Федерации в области качества) // Сертификация. 2010. № 2. С. 9—11; Они же. Конкурс на соискание премий Правительства РФ в области качества: замысел, воплощение, контуры будущего // Сертификация. 2015. № 2. С. 36—39; Галеев В.И., Дубинин В.С., Рыбалкина С.В. Конкурс на соискание премий Правительства Российской Федерации в области качества: прошлое, настоящее и будущее // Сертификация. 2005. № 2. С. 38—42; Дубинин В.С. Премия Содружества Независимых Государств за достижения в области качества продукции и услуг: первый конкурс взял старт // Сертификация. 2006. № 4. С. 9—10; Ека-теринин М.В. Внедрение ИСО 18091: 2014 в органах местной власти // Сертификация. 2015. № 1. С. 78—81; Юрасова М.В. Новый уровень качества управления: модель Премии Правительства Российской Федерации в области качества // Государственное управление. Электронный вестник. 2016. Дек. Вып. 59.
методов дает возможность снизить субъективизм оценки и дать всестороннюю картину социально-экономических, социально-политических и социокультурных процессов, характеризующих современное состояние дел в регионе. Понятно, что на составление подобной модели требуется немало ресурсов как материальных, так и временных. Но в результате можно получить инструмент социального управления, отвечающий запросам современного этапа развития страны.
Таблица 2
Системная модель оценки регионов России: критерии и методы получения информации
Методы оценки Критерии оценки Анализ документов Анализ СМИ Экспертный опрос Массовый опрос Фокус-группы Наблюдение
Критерий 1. Оценка лидерства + + +
Оценка известности руководителя, команды управления
Уровень доверия руководителю и команде + + +
Возможность решить наиболее острые проблемы в регионе + +
Оценка уровня влияния лидера на федеральном уровне, взаимодействия с федеральными органами власти + + +
Оценка работы лидера региональными элитами, бизнес-сообществом, населением +
Оценка уровня коррумпированности + + + +
Желание поменять действующую власть +
Доступность и уровень донесения информации о работе региональных властей. Ведение сайта. Содержание официальной прессы. Развитие электронного правительства. Работа с обращениями граждан. Наличие стандарта оказания услуг органами власти + + +
Доступность выборности и/или трудоустройства в органы власти + +
Доступность развития малого и среднего бизнеса + +
Методы оценки Критерии оценки Анализ документов Анализ СМИ Экспертный опрос Массовый опрос Фокус-группы Наблюдение
Доступность руководства для общения с гражданами и юридическими лицами + +
Участие и инициирование экологических программ, социальных программ и благотворительности + +
Мотивация, поддержка и поощрение руководством наиболее успешных граждан и юридических структур +
Определение и поддержка руководителями перемен в регионе + +
Участие руководства в профильных комитетах, наблюдательных или общественных структурах и т.п. +
Политический и электоральный рейтинг и антирейтинг + + +
Критерий 2. Стратегия развития региона
Наличие программ, их проработанность, определение ключевых показателей развития +
Инновационный потенциал + + +
Программы для молодежи + +
Программы развития инфраструктуры и ЖКХ + +
Программы развития предпринимательства и инвестиционный климат + +
Программы развития образования и науки + + +
Программы развития здравоохранения и профилактики заболеваний + + +
Экологические программы + + +
Программы развития физкультуры и спорта + + +
Программы развития культуры + +
Каким образом определяются существующие и будущие потребности и ожидания заинтересованных сторон для разработки политики и стратегии + + +
Методы оценки Критерии оценки Анализ документов Анализ СМИ Экспертный опрос Массовый опрос Фокус-группы Наблюдение
Использование информации, полученной в результате измерений, исследований, познавательной и творческой деятельности, для разработки политики и стратегии +
Развертывание и доведение до сведения жителей политики и стратегии развития региона + + +
Соблюдение законности и наличие стандартов оказания услуг +
Электоральное поведение и электоральная активность + + + + + +
Критерий 3. Социальная политика региона
Трудовая сфера + + +
Демография + + +
Социальная сфера + + + + +
Доходы населения + +
Показатель интегрированности образовательных учреждений и предприятий +
Критерий 4. Партнерство и ресурсы
Определение ключевых партнеров и поставщиков и стратегические возможности партнерства, соответствующих предназначению (миссии) и стратегии +
Программы долгосрочного сотрудничества с партнерами и поставщиками, основанные на взаимном доверии, уважении и открытости +
Создание на основе партнерства большей ценности для заинтересованных сторон +
Программы совместной работы с партнерами для достижения взаимной выгоды, поддержки друг друга посредством компетентности, ресурсов и знаний для достижения совместных целей + +
Реализация социальных программ и программ социального партнерства организациями и предприятиями региона + +
Методы оценки Критерии оценки Анализ документов Анализ СМИ Экспертный опрос Массовый опрос Фокус-группы Наблюдение
Финансовые ресурсы
Разработка и внедрение финансовых стратегий для реализации общей стратегии территории +
Оценка работы системы финансового планирования, контроля, отчетности и анализа процессов для оптимизации ресурсов и их эффективного использования +
Определение и обоснование программ инвестирования, оценки, выбора и утверждения инвестирования, учитывая их долгосрочные экономические, социальные и экологические эффекты + + +
Разработка и внедрение методов управления рисками по отношению к финансовым ресурсам на всех уровнях региона +
Обеспечение равновесия между достижением долгосрочных целей и краткосрочными циклами финансового планирования + +
Инфраструктура и материальные ресурсы
Данные о разработке и внедрении стратегий и поддерживающей политики по управлению государственной и муниципальной собственностью, зданиями, оборудованием и материалами +
Программы развития ЖКХ + +
Экологические и природоохранные программы +
Программы оптимизации потребления разных видов энергии, утилизации отходов + +
Обеспеченность региона социальными учреждениями образования, здравоохранения, культуры, спорта, досуга и т.п. + + +
Информация и знания
Оцениваются технологии обеспечения и улучшения эффективной работы, наличие организации труда, дисциплины, изучение и применение лучшего опыта +
Методы оценки Критерии оценки Анализ документов Анализ СМИ Экспертный опрос Массовый опрос Фокус-группы Наблюдение
Наличие разработок информационных технологий +
Коммуникационные возможности + + + +
Критерий 5. Удовлетворенность жителей управлением на территории
Доступность информации о политической и экономической обстановке в регионе, расходах регионального/ местного бюджета, вопросах ЖКХ и благоустройства, проводимой социальной политике + + + + + +
Доступность местных властей для обращения граждан со своими проблемами и возможность их разрешить + + +
Возможность жителей участвовать в управлении территорией (подача предложений, обсуждение) и наделение их определенными полномочиями + +
Удовлетворенность переменами и их внедрением + +
Развитие потенциала жителей, включая возможность учиться и совершенствоваться, подготовку и обучение +
Государственные гарантии в обеспечении равных возможностей, занятости, оплаты труда и льгот, охраны здоровья, безопасности труда, соблюдения законодательства +
Удовлетворенность деятельностью руководством региона, политикой и стратегией региона + + + +
Субъективные оценки восприятия качества жизни, уровня достатка, социальной политики в целом, роли региона в жизни общества + + + + + +
Удовлетворенность проводимой экономической, демографической и экологической политикой + + +
Оценка качества проводимых регионом мероприятий + + +
Данные о проблемном поле региона, выстроенные по порядку обострения проблемы или ситуации + +
Проблемы развития территории — ее руководства, выстроенной системы работы, партнерства, распределения ресурсов — необходимо отслеживать и оценивать с позиции экономической и социальной целесообразности. Исходя из этой целесообразности, нужно дополнять интегральную оценку, выводимую из данной модели, детальным анализом конкретных показателей, способных расставить правильные акценты на реальных достижениях и проблемах.
СПИСОК ЛИТЕРАТУРЫ
Барков С.А. Инновации и социальная иерархия: диалектика взаимодействия // Вестник Московского университета. Серия 18. Социология и политология. 2011. № 4.
Галеев В. И. Системы менеджмента — новые горизонты // Сертификация. 2010. № 2.
Галеев В.И., Дворук Т.Ю. Опыт проведения региональных конкурсов в области качества // Сертификация. 2011. № 3.
Галеев В.И., Дубинин В.С. Год за годом на пути к совершенству (Конкурс на соискание премий Правительства Российской Федерации в области качества) // Сертификация. 2010. № 2.
Галеев В.И., Дубинин В.С. Конкурс на соискание премий Правительства РФ в области качества: замысел, воплощение, контуры будущего // Сертификация. 2015. № 2.
Галеев В.И., Дубинин В.С., Рыбалкина С.В. Конкурс на соискание премий Правительства Российской Федерации в области качества: прошлое, настоящее и будущее // Сертификация. 2005. № 2.
Дубинин В.С. Премия Содружества Независимых Государств за достижения в области качества продукции и услуг: первый конкурс взял старт // Сертификация. 2006. № 4.
Екатеринин М.В. Внедрение ИСО 18091: 2014 в органах местной власти // Сертификация. 2015. № 1.
Замятин Д.Н. Геокультурный брендинг территорий: концептуальные основы. Работа выполнена в рамках научно-исследовательской работы по теме "Теоретические основы и методологические принципы разработки и реализации экономической политики России" // Лабиринт. 2013. № 5.
Ивченко С., Либоракина М., Сиваева Т. Город и бизнес: формирование социальной ответственности российских компаний. М., 2003.
Клямкин И., Тимофеев Л. Теневая Россия. Экономико-социологическое исследование. М., 2000.
Ксенофонтова Е.Г. Лидерство как стремление или Исторические тенденции понимания феномена лидерства // Известия Саратовского университета. Новая серия. Серия Социология. Политология. 2016. Т. 16. № 2.
Ксенофонтова Е.Г., Пехова Н.Ю. Социология компетентности и модель компетенций как области научного и практического интереса // Вестник Московского университета. Серия 18. Социология и политология. 2014. № 1.
Кубр М. Управленческое консультирование. Введение в профессию. М., 2004.
Маркеева А.В. Риски маркетинговых программ, основанных на социально-значимой проблеме // Российское предпринимательство. 2012. № 7 (205).
Маркеева А.В. Развитие краудсорсинговых проектов в российских компаниях // Глобальный научный потенциал. 2014. № 8 (41).
Нисевич Ю. Метод сопоставительно-институционального анализа // Мировая экономика и международные отношения. 2011. № 5.
Оносов А.А., Судас Л.Г. Практика исследования в режиме мониторинга: методологические и конструктивные решения // Вестник Российского университета дружбы народов. Серия Социология. 2013. № 3.
Политический атлас современности: опыт многомерного статистического анализа политических систем современного государства. М., 2007.
Портал Центра гуманитарных технологий. URL: http://gtmarket.ru/ratings (дата обращения: 25.06.2012).
Проблемы применения международных рейтингов: общество, государство, экономика. М., 2009.
Свердликова Е.А. Идеология равенства и социокультурный контекст развития экономики России // Известия высших учебных заведений. Поволжский регион. Общественные науки. 2015. № 1 (33).
Судас Л.Г. Современные технологии производства социальных групп // Вестник Московского университета. Серия 21. Управление (государство и общество). 2015. № 2. С. 16-29.
Юрасова М.В. Интегрированные системы исследований качества (качество исследований и исследование качества) // Вестник Московского университета. Серия 18. Социология и политология. 2014. № 1.
Юрасова М.В. Разработка критериев эффективности программ дополнительного профессионального образования в вузах России // Вестник Московского университета. Серия 20. Педагогическое образование. 2015. № 2.
Юрасова М.В. Проблемы измерения современного менеджмента // Вестник Московского университета. Серия 18. Социология и политология. 2016. № 1.
Юрасова М.В. Новый уровень качества управления: модель Премии Правительства Российской Федерации в области качества // Государственное управление. Электронный вестник. 2016. Дек. Вып. 59.
REFERENCES
Barkov S.A. Innovacii i social'naja ierarhija: dialektika vzaimodejstvija [Innovations and social hierarchy: dialectics of interaction] // Vestnik Moskovsk-ogo universiteta. Serija 18. Sociologija i politologija [Bulletin of Moscow University. Series 18. Sociology and Political Science]. 2011. N 4 (in Russian).
Dubinin V.S. Premija Sodruzhestva Nezavisimyh Gosudarstv za dostizhenija v oblasti kachestva produkcii i uslug: pervyj konkurs vzjal start [Prize of the Commonwealth of Independent States for achievements in the field of product and service quality: the first contest took the start] // Sertifikacija [Certification]. 2006. N 4 (in Russian).
Ekaterinin M.V. Vnedrenie ISO 18091: 2014 v organah mestnoj vlasti [Implementation of ISO 18091: 2014 in the local authorities] // Sertifikacija [Certification]. 2015. N 1 (in Russian).
Galeev V.I. Sistemy menedzhmenta — novye gorizonty [Management systems - new horizons] // Sertifikacija [Certification]. 2010. N 2 (in Russian).
Galeev V.I., Dubinin V.S. God za godom na puti k sovershenstvu (Konkurs na soiskanie premij Pravitel'stva Rossijskoj Federacii v oblasti kachestva) [Year after year on the way to perfection (Competition for the award of the Government of the Russian Federation in the field of quality)] // Sertifikacija [Certification]. 2010. N 2 (in Russian).
Galeev V.I., Dubinin V.S. Konkurs na soiskanie premij Pravitel'stva RF v oblasti kachestva: zamysel, voploshhenie, kontury budushhego [Competition for the award of Russian Government prizes in the field of quality: design, implementation, contours of the future] // Sertifikacija [Certification]. 2015. N 2 (in Russian).
Galeev V.I., Dubinin V.S., Rybalkina S.V. Konkurs na soiskanie premij Pravitel'stva Rossijskoj Federacii v oblasti kachestva: proshloe, nastojashhee i budushhee [Competition for the award of the Government of the Russian Federation in the field of quality: past, present and future] // Sertifikacija [Certification]. 2005. N 2 (in Russian).
Galeev V.I., Dvoruk T.Ju. Opyt provedenija regional'nyh konkursov v oblasti kachestva [Experience of regional competitions in the field of quality] // Sertifikacija [Certification]. 2011. N 3 (in Russian).
Ivchenko S., Liborakina M., Sivaeva T. Gorod i biznes: formirovanie soci-al'noj otvetstvennosti rossijskih kompanij [City and business: formation of social responsibility of Russian companies]. M., 2003 (in Russian).
Kljamkin I., Timofeev L. Tenevaja Rossija. Jekonomiko-sociologicheskoe issledovanie [Shadow Russia. Economic and sociological research]. M., 2000 (in Russian).
Ksenofontova E.G. Liderstvo kak stremlenie ili Istoricheskie tendencii poni-manija fenomena liderstva [Leadership as an aspiration or Historical tendencies of understanding the phenomenon of leadership] // Izvestija Saratovskogo uni-versiteta. Novaja serija. Serija Sociologija. Politologija [Izvestiya Saratov University. New episode. Series Sociology. Political science]. 2016. T. 16. N 2 (in Russian).
Ksenofontova E.G., Pehova N.Ju. Sociologija kompetentnosti i model' kom-petencij kak oblasti nauchnogo i prakticheskogo interesa [Sociology of competence and the model of competences as areas of scientific and practical interest] // Vestnik Moskovskogo universiteta. Serija 18. Sociologija i politologija [Bulletin of Moscow University. Series 18. Sociology and Political Science]. 2014. N 1 (in Russian).
Kubr M. Upravlencheskoe konsul'tirovanie. Vvedenie v professiju [Management consulting. Introduction to the profession]. M., 2004 (in Russian).
Markeeva A.V. Riski marketingovyh programm, osnovannyh na social'no-znachimoj probleme [Risks of marketing programs based on a socially significant problem] // Rossijskoe predprinimatel'stvo [Journal of Russian Entrepre-neurship]. 2012. N 7 (205) (in Russian).
Markeeva A.V. Razvitie kraudsorsingovyh proektov v rossijskih kompanijah [Development of crowdsourcing projects in Russian companies] // Global'nyj nauchnyj potencial [Global scientific potential]. 2014. N 8 (41) (in Russian).
Nisevich Ju. Metod sopostavitel'no-institucional'nogo analiza [Method of comparative-institutional analysis] // Mirovaja jekonomika i mezhdunarodnye otnoshenija [World economy and international relations]. 2011. N 5 (in Russian).
Onosov A.A., Sudas L.G. Praktika issledovanija v rezhime monitoringa: metodologicheskie i konstruktivnye reshenija [The practice of the study in the monitoring mode: methodological and constructive solutions] // Vestnik Rossij-skogo universiteta druzhby narodov. Serija Sociologija [Bulletin of the Russian University of Friendship of Peoples. Series Sociology]. 2013. N 3 (in Russian).
Politicheskij atlas sovremennosti: opyt mnogomernogo statisticheskogo analiza politicheskih sistem sovremennogo gosudarstva [Political atlas of the present: the experience of multivariate statistical analysis of political systems of the modern state]. M., 2007 (in Russian).
Portal Centra gumanitarnyh tehnologij [Portal of the Center for Humanitarian Technologies]. URL:// http://gtmarket.ru/ratings (data obrashhenija: 25.06.2012) (in Russian).
Problemy primenenija mezhdunarodnyh rejtingov: obshhestvo, gosudarstvo, jekonomika [Problems of applying international ratings: society, state, economy]. M., 2009 (in Russian).
Sudas L.G. Sovremennye tehnologii proizvodstva social'nyh grupp [Modern technology of production of social groups] // Vestnik Moskovskogo universiteta. Serija 21. Upravlenie (gosudarstvo i obshhestvo) [Bulletin of Moscow University. Series 21. Management (state and society)]. 2015. N 2. S. 16-29 (in Russian).
Sudas L.G., Yurasova M.V. Has Russian science overcome the singularity syndrome? // Vestnik of the Russian Academy of Sciences. 2006. Vol. 76. N 6.
Sudas L.G., Yurasova M.V. College student's attitudes toward science and scientific work // Russian Education and Society. 2006. Vol. 48. N 11.
Sverdlikova E.A. Ideologija ravenstva i sociokul'turnyj kontekst razvitija jekonomiki Rossii [Ideology of equality and socio-cultural context of development of the Russian economy] // Izvestija vysshih uchebnyh zavedenij. Povolzhskij region. Obshhestvennye nauki [News of higher educational institutions. The Volga region. Social Sciences]. 2015. N 1(33) (in Russian).
Yurasova M.V. Integrirovannye sistemy issledovanij kachestva (kachestvo issledovanij i issledovanie kachestva) [Integrated systems of quality research (quality of research and quality research)] // Vestnik Moskovskogo universiteta. Serija 18. Sociologija i politologija [Bulletin of Moscow University. Series 18. Sociology and Political Science]. 2014. N 1 (in Russian).
Yurasova M.V. Razrabotka kriteriev jeffektivnosti programm dopolnitel'nogo professional'nogo obrazovanija v vuzah Rossii [Development of criteria for the effectiveness of additional professional education programs in Russian universities] // Vestnik Moskovskogo universiteta. Serija 20. Pedagogicheskoe obrazovanie [Bulletin of Moscow University. Series 20. Pedagogical education]. 2015. N 2 (in Russian).
Yurasova M.V. Problemy izmerenija sovremennogo menedzhmenta [Problems of measuring modern management] II Vestnik Moskovskogo universiteta. Serija 1S. Sociologija i politologija [Bulletin of Moscow University. Series 1S. Sociology and Political Science]. 2016. N 1 (in Russian).
Yurasova M.V. Novyj uroven' kachestva upravlenija: model' Premii Pravitel'stva Rossijskoj Federacii v oblasti kachestva [A new level of quality management: a model of the Government of the Russian Federation in the field of quality] II Gosudarstvennoe upravlenie. Jelektronnyj vestnik [Public administration. Electronic bulletin]. 2016. Dek. Vyp. 59 (in Russian).
Zamjatin D.N. Geokul'turnyj brending territorij: konceptual'nye osnovy. Rabota vypolnena v ramkah nauchno-issledovatel'skoj raboty po teme "Teo-reticheskie osnovy i metodologicheskie principy razrabotki i realizacii jekonomi-cheskoj politiki Rossii" [Geocultural branding of territories: conceptual basis. The work was carried out within the framework of research work on the theme "Theoretical Foundations and Methodological Principles for the Development and Implementation of Russia's Economic Policy"] II Labirint [Labyrinth]. 2013. N 5 (in Russian).
