CC BY
176
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 39
Для цитирования: Экономика региона. — 2015. — №3. — С. 39-52
doi 10.17059/2015-3-4 УДК 338.2
О. В. Кожевина а), Е. В. Юрченко а), Н. В. Балунова б)
а) Финансовый университет при Правительстве Российской Федерации (Москва, Российская Федерация)
б) ООО «Трикрон» (Москва, Российская Федерация)
РАЗВИТИЕ МЕТОДОЛОГИИ ОЦЕНКИ КАЧЕСТВА УПРАВЛЕНИЯ ОРГАНИЗАЦИЯМИ ГОСУДАРСТВЕННОГО СЕКТОРА ЭКОНОМИКИ:
ПРОБЛЕМЫ И пРОТИвОРЕчия1
Развитие методологии оценки качества управления организациями государственного сектора является актуальной научной и практической проблемой экономических исследований. Использование результатов оценки на основании представленной авторами методики позволяет проводить рейтингование организаций государственного сектора, обосновывать решения о реорганизации и разгосударствлении, осуществлять мониторинг изменений уровня качества управления организацией государственного сектора. В ходе исследования определено место качества процессов управления организацией государственного сектора в системе «качество государственного управления — результативность функционирования организации государственного сектора», выявлены противоречия, связанные с оценкой качества управления, и обоснованы условия эффективного функционирования организаций государственного сектора, разработаны механизм комплексного оценивания и алгоритм построения модели оценки качества управления, эмпирически обоснованы экономические, бюджетные, социально-государственные, информационные, инновационные и институциональные критерии оценки качества управления в организациях государственного сектора. С использованием предложенного алгоритма построена модель оценки качества управления в организациях государственного сектора, включающая финансово-экономический, социальный, инновационный, информационный и институциональный индикаторы. Для каждого индикатора качества управления на основе экспертных оценок определены коэффициенты значимости в модели оценки качества управления, а также комплексные и частные показатели оценки. Основной вывод статьи заключается в том, что оценка качества управления организацией государственного сектора должна не только опираться на показатели, достигнутые в динамике, используемые при анализе эффективности управления, но и учитывать эталонные уровни значений этих показателей. Сопоставление показателей позволит оценить как степень достижения целей и результатов, так и степень соответствия выбранной стратегии развития с позиции качества управления.
Ключевые слова: государственный сектор, организация общественных процессов, оценка качества управления организациями государственного сектора, характеристики качества управления, алгоритмизация, противоречия оценки качества управления
Введение
Государственный сектор экономики является материальным базисом выполнения государством социальных, экономических, производственных и политических задач. В большинстве стран государственный сектор экономики решает вопросы оздоровления и поддержания отраслей, обеспечивающих наиболее общие условия производственно-хозяйственной деятельности и развития научно-технического прогресса.
Подвижность границ государственного сектора обусловлена инициированием процес-
1 © Кожевина О. В., Юрченко Е. В., Балунова Н. В. Текст. 2015.
сов разгосударствления и приватизации, постепенным ослаблением контроля над объектами государственной собственности. Формирование эффективной системы управления государственным сектором экономики предполагает целенаправленное научно обоснованное управление этим процессом на основе синтеза экономических и административных методов.
Научная проблема и дискуссия
Существует широкий диапазон мнений о роли государства в регулировании экономики. О различной степени доминирующей роли государства писали представители институционального направления и неолиберализма [1-3] По утверждению Р. Эскауса, госу-
ЭКОНОМИКА РЕГИОНА № 3 (2015)
40
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
дарственный сектор создан и функционирует для развития экономики, будучи вспомогательным элементом, создающим благоприятную среду для частного капитала [4]. По мнению А. А. Каменского, под государственным сектором экономики в широком смысле понимается совокупность институтов государственной власти, связанная системой политико-экономических отношений власти и подчинения, и нацеленная на управление, являющееся демократическим как по форме, так и по содержанию, действующее в интересах всего населения [5].
Значительное число исследований посвящено оценке эффективности и результативности управления, в том числе и в государственном секторе [6]. Например, С. Поллит и Г. Букерт понимают под эффективностью управления сравнение положения на входе и выходе, а под результативностью — соотношение поставленных целей полученным результатам [7].
А. В. Артемов оценивает эффективность государственного сектора в свете международных структурных сравнений [8]. И. А. Погосов использует в этой связи методику оценки степени достижения государственными организациями своих целей [9]. Ряд авторов оценивают эффективность государственного сектора через его инновационный и коммерческий потенциал [10, 11]. В отечественной науке уже предпринимались попытки разработки модели оценки качества управления [12, 13], однако все они связаны с исследованиями в негосударственном коммерческом секторе, функционирующем в конкурентных условиях. По нашему мнению, оценка качества и эффективности управления в этих случаях не учитывает специфики деятельности государственных организаций, так как они оказывают общественные услуги, которые не всегда поддаются однозначной оценке и должны учитывать разные ценностные установки.
Однозначной точки зрения среди ученых на оценку качества управления организациями государственного сектора экономики нет [14; 15, с. 27]. Оценка качества управления организациями, учрежденными органами государственной власти и местного самоуправления, согласуется с решением социально ориентированных задач государства, направленных на формирование базиса устойчивого развития общества.
Объектом исследования являются организации транспортного комплекса Российской Федерации, учрежденные органами государственной власти и органами местного самоу-
правления. Особенностью рассматриваемых в научно-исследовательской работе организаций является их функционирование в неконкурентной среде.
Научная проблема, на решение которой направленно исследование — использование научно обоснованной методики оценки качества управления в организациях, учрежденных органами государственной власти и органами местного самоуправления, позволяющее выявить условия и факторы, влияющие на результативность системы государственного (муниципального) управления в условиях модернизации российской экономики. Результаты мониторинга качества управления рассматриваются как информационная база исследований систем управления в организациях, учрежденных органами государственной власти и органами местного самоуправления, и являются обоснованием принятия решений в отношении неэффективных организаций с низким качеством управления.
Основная гипотеза исследования предполагает объективную потребность в разработке методической базы проведения интегральной оценки качества управления в организациях, учрежденных органами государственной власти и органами местного самоуправления, обосновании предложений по реализации органами государственной власти и местного самоуправления функции по проведению мониторинга и оценки качества управления подведомственных организаций; систематизации и классификации инструментов оценки качества управления в государственном секторе экономики, определении элементного состава и группировки показателей мониторинга подведомственных организаций: государственных (муниципальных) предприятий, автономных, бюджетных и казенных учреждений.
При оценке качества управления организаций, учрежденных органами власти и местного самоуправления, желательно выработать механизм проведения аналитических работ, включающий коммуникации по сбору и обобщению данных статистической и оперативной отчетности, определить социальную значимость организации, степень ее участия в реализации экономических программ развития отрасли или территории, модель финансирования ее деятельности и отчетности перед собственником имущества. Как процедуру, так и результаты оценки качества управления можно рассматривать как средства коммуникации, выявляющие суть работы организации. Этот механизм дает возможность обнаружить неэф-
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 41
фективность деятельности организации и перестроить ее работу.
Методы
Оценка эффективности выполняет важную роль в обеспечении легитимности государственной деятельности. Прозрачность организационно-управленческих процедур влияет на эффективность и стимулирует инновационные процессы. В свою очередь, став прозрачной, организация начинает стремиться к достижению целей. Таким образом, прозрачность служит дополнительным стимулом к повышению качества управления и деятельности организации в целом [16].
Смысл оценки эффективности довольно прост: государственная организация формулирует желаемые цели будущего развития, разрабатывает показатели, которые будут использоваться для оценки достижимости целей, определяет объемы ресурсов, необходимых для достижения заданных целей. В то же время, результаты деятельности государственных организаций зачастую с трудом поддаются оценке вследствие многосторонности их деятельности, не всегда можно оценить эффективность совместной работы, если между действием и результатом существует временной лаг. Данные обстоятельства являются проблемой оценки эффективности и результативности управления в государственном секторе экономики.
Затруднительно количественное измерение достижения абстрактных целей, таких как безопасность, интеграция, качество, поскольку оценке поддаются непосредственные результаты деятельности организации (лицензии, патенты, справки, заключения, статьи и пр.), а в некоторых случаях измеряются промежуточные результаты.
Дискуссионным остается также вопрос определения качества управления. Под качеством управления понимается степень развития человеческого потенциала организации, удовлетворения потребностей общества, экономических партнеров и заинтересованных сторон с помощью совокупности характеристик управления (функции, методы, технологии принятия решений и управления конфликтами). По нашему мнению, оценка качества управления представляет собой процесс анализа и синтеза, направленный на определение уровня достижения функциональных (инновационных, рыночных, финансовых, социальных) целей организации, удовлетворения потребностей заинтересованных сторон (соб-
ственников, сотрудников, акционеров, общества, контрагентов), конкурентоспособности и потенциальных возможностей дальнейшего развития человеческого потенциала.
Процесс управления предприятием, относящимся к государственному сектору экономики Российской Федерации, в настоящее время довольно сложно представить как некий формализованный алгоритм, который можно использовать повсеместно. Это обусловлено, прежде всего, сложившимся государственным аппаратом в РФ. Государственные органы, входящие в его структуру, выполняют поставленные им задачи с помощью тех организаций, которые находятся в их ведении. Государственный сектор Российской Федерации включает в себя более 65 тысяч различных организаций. Складывается ситуация, в которой один государственный орган должен управлять несколькими сотнями или даже тысячами организаций, что негативно отражается на эффективности управления в целом. Адекватным решением является сокращение численности подведомственных организаций. Данный процесс можно наблюдать в настоящее время в РФ. Не только избыточное количество объектов управления является негативным трендом в процессе управления государственными организациями, но и действующее законодательство осложняет общую координацию, проводимую государственными органами.
Полномочия государственного органа по управлению подведомственной организацией изложены в Федеральном законе № 161-ФЗ от 14 ноября 2002 г. «О государственных и муниципальных унитарных предприятиях», которые сфокусированы на определении целей деятельности и разрешении отдельных операций с имуществом. Контроль результатов осуществляется на основании представляемого отчета руководителя, а также бухгалтерской отчетности и других сопутствующих документов.
Ответственность руководителя унитарных предприятий связана с возможными убытками и утратой имущества. Недостижение конечных целей деятельности унитарных предприятий не является условием возникновения ответственности его руководителя. Данные факты не способствуют укреплению взаимосвязи между субъектом управления в лице государственного органа и объектом управления — унитарным предприятием.
Экономическая характеристика деятельности государственных унитарных предприятий за последние пять лет в общей структуре средств, перечисленных в доход РФ
ЭКОНОМИКА РЕГИОНА № 3 (2015)
42
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
(табл. 1), характеризуется как положительная. Рассматривая основные особенности управления государственными унитарными предприятиями, можно констатировать, что они в первую очередь связаны с «самоотстранением» государственного органа от процесса управления посредством назначения стороннего руководителя, а также нарушением обратной связи между субъектом и объектом управления.
Особенность изучения качества управления организациями государственного сектора (ОГС) заключается в статусе собственника, в качестве которого выступают органы государственной власти (ОГВ) и органы местного самоуправления (ОМС). Они являются надсистемой по отношению к организациям государственного сектора и должны преследовать интересы не конкретного частного лица, а общества и, следовательно, устанавливать для организаций государственного сектора такие целевые ориентиры и предоставлять такие возможности, которые бы обеспечивали достижение общественных целей. Для этого органы государственной власти и местного самоуправления задают определенное структурно-функциональное устройство организациям государственного сектора [17], предполагающее достижение поставленных целей. Следовательно, качество системы управления организациями государственного сектора задают ее собственники (рис. 1). Поэтому отметим также влияние качества управления государственного и муниципального управления на качество управления организациями государственного сектора.
Из вышесказанного следует, что качество управления организацией государственного сектора есть производная от качества государственного (муниципального) управления и системы управления организацией государственного сектора, определяющая эффективность управления и эффективность деятельности организации государственного сектора [18]. По нашему мнению, качество государственного (муниципального) управления — это совокупность характеристик государственного (муниципального) управления, отражающих степень удовлетворения потребностей общества при условии эффективного использования собственности.
Цель функционирования государственной собственности носит двойственный характер и проявляется на макро- и микроуровне. На макроуровне — это осуществление государственных конституционных функций и удовлетворение жизненно важных потребностей общества посредством максимизации эффективно-
Таблица 1
Динамика доходов государственных унитарных предприятий в общей структуре доходов от управления имуществом РФ, млн руб.
Период Доходы всего Доходы от перечисления части прибыли, остающейся после уплаты налогов и иных обязательных платежей ГУП %, от общей суммы доходов
2009 г. 31 849,6 1 757,3 5,5
2010 г. 69 728,8 4 764,1 6,8
2011 г. 104 304,0 4 637,85 4,4
2012 г. 228 964,5 5 002,0 2,2
2013 г. 153 775,55 6 195,8 4,02
Источник: Составлено по данным Федеральной службы государственной статистики
Рис. 1. Логическая взаимосвязь качества управления с качеством государственного (муниципального) управления и эффективностью деятельности организации государственного сектора
сти национальной экономики (а не достижения рентабельности отдельного хозяйственного объекта). На микроуровне — максимизация коммерческой эффективности использования объектов государственной собственности: государственных, муниципальных и казенных предприятий. В качестве индикаторов оценки коммерческой эффективности используются следующие показатели: выручка, чистая прибыль, себестоимость, уровень трудовых и материальных затрат на единицу продукции, оборачиваемость фондов, рентабельность, ликвидность и пр.
Схема распределения сфер ответственности за достижение результатов по административным уровням государственного сектора экономики представлена на рисунке 2.
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 43
Рис. 2. Виды результатов и эффектов по уровням государственного сектора экономики
Оценка качества государственного (муниципального) управления основывается на изучении социальных и экономических характеристик. Социальные характеристики выражают соответствие деятельности органов власти потребностям населения, а экономические характеристики — экономию и выгоды, получаемые за счет оптимизации и рационализации деятельности органов государственной власти [19, с. 16].
Высокое качество государственного (муниципального) управления порождает высокое качество системы управления организациями государственного сектора.
Качество системы управления государственной организацией — это интегральная характеристика и величина, выражающая меру упорядоченности структурно-функциональной организации системы управления и оценочные интервальные результаты (эффективность) управления. Качественное государственное (муниципальное) управление способствует накоплению компетенций, необходимых для оптимального проектирования организаций государственного сектора. При проектировании организаций государственного сектора наиболее общими условиями, обусловливающими структуру системы управления ими, являются общественная цель, определяющая функции организации государственного сектора, территориальные особенности организации общественных процессов и сложившаяся структура общественного производства.
Отличие подходов к оценке качества управления и к оценке эффективности управления организацией государственного сек-
тора будет основываться на различиях процедур оценки. Это значит, что оценка качества управления организацией государственного сектора должна не только опираться на показатели, достигнутые в динамике (как это делается при анализе эффективности управления), но и учитывать эталонные уровни и значения этих показателей. Такое сопоставление будет указывать как на достигнутые результаты, так и на степень соответствия выбранной (установленной) стратегии развития организацией государственного сектора, то есть на качество управления. Целями оценки качества управления являются определение уровня качества управления организацией государственного сектора, рейтингование организаций государственного сектора; обоснование решений о ликвидации, реорганизации или приватизации организаций государственного сектора, проведение мониторинга изменений и реакций организации на управленческие воздействия.
Вопросы сущности и содержания механизмов управления рассматриваются во многих работах [20-22]. Элементы механизма оценки качества управления организацией, созданной органами государственной власти или органами местного самоуправления, представлены на рисунке 3. Условия реализации указанного механизма — полнота информации о деятельности объекта управления, достоверность поставляемых объектом управления данных, высокое качество экспертных оценок, наличие технических и программных средств поддержки системы анализа и принятия управленческих решений.
ЭКОНОМИКА РЕГИОНА № 3 (2015)
44
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
Механизм комплексного оценивания качества управления организациями государственного сектора
Организация государственного сектора
Орган государственной власти или местного самоуправления
Цели и инструменты оценки
Условия осуществления механизма оценки
Критерии оценки качества управления
Принципы оценки качества управления
Процедура оценки качества управления
Рис. 3. Элементы механизма комплексного оценивания качества управления организациями государственного
сектора
Многообразие критериев и уточняющих их показателей обуславливается наличием множества функциональных подсистем управления, целей системы управления и целей организации, спецификой деятельности организации и другими факторами. В связи с этим согласимся с мнением авторов [20, 21], что один критерий, даже включающий несколько показателей, при оценке сложных экономических систем, проектов и пр. малоэффективен и может дать только приблизительное пред-
ставление о качестве процессов или явлений. Необходима система критериев и конкретизирующих их показателей. Причем если речь идет об оценке качества управления, то необходимы критерии, позволяющие оценить степень достижения целей управляющей подсистемы организации. Эти цели могут существенно отличаться от целей функциональных подсистем организации.
Нами предлагаются следующие критерии оценки качества управления в организациях,
/ N Определение показателей
Определение индикаторов для оценки индикаторов
качества управления качества управления
организациями, Ф организациями,
учрежденными учрежденными
государством или органом государством или органом
местного самоуправления местного самоуправления
L 1 J 1 L J
Формирование эталонного набора параметров и показателей качества управления организацией в долгосрочной перспективе
3
Преобразование
Определение алгоритма показателей, приведение их
агрегирования Ф к сопоставимому виду
5
Группировка показателей качества управления организациями по принципу измеримости 4
Сверка показателей, оценка индикаторов и расчет интегральной оценки качества управления организацией 7
Ф
Определение уровня качества управления организациями государственного сектора 8
Рис. 4. Алгоритм построения модели оценки качества управления государственными (муниципальными)
организациями
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 45
Федеральная; Муниципальная;
Субъектов Федерации;
8; 9%
Рис. 5. Распределение организаций по форме собственности
ДВФО ПФО
14
ЮфО 6 14
8% ™ 15%л СЗФО
УрФО_
9
10%
1__СКФО
I 1
СФО
16
17%
1%
Рис. 6. Распределение организаций по Федеральным округам
созданных органами государственной власти и органами местного самоуправления:
— финансово-экономический — степень достижения управляемой подсистемой при реализации качественных управленческих воздействий экономических и (или) коммерческих результатов;
— бюджетный — степень влияния на формирование бюджетов всех уровней;
— социальный — степень выполнения предназначения организации: выполнение заданного (государственным (муниципальным) заказом, сметой) объема общественных услуг определенного качества;
— информационный — отражение качества информационного обеспечения системы управления организациями и обратной связи, и в частности подсистемы управления рисками и кризисами;
— инновационный — способность системы управления к развитию (совершенствованию) объекта управления;
— институциональный — степень регламентированности деятельности объекта управления.
Методика оценивания показателей качества управления — система методологических принципов и инструментария, позволяющая получить комплексную целостную оценку качества управления организацией и на ее основе принять управленческое решение относительно результативности и достижения стратегических целей. В процессе исследования разработан алгоритм построения модели оценки качества управления в организациях государственного сектора (рис. 4).
Для определения параметров и показателей качества управления государственными и муниципальными организациями проведено анкетирование руководителей государственных и муниципальных организаций, осуществляющих деятельность в транспортном секторе экономики. В целом было обследовано 92 организации, относящихся к транспортной отрасли РФ, структура собственности отражена на рисунке 5.
При проведении обследования большое внимание было уделено территориальному размещению организаций, в результате чего базу для исследования составили 29 организаций Центрального федерального округа (31 %), 16 организаций Сибирского федерального округа (17 %), 14 — Приволжского федерального округа (15 %), 10 и 9 соответственно — Северо-Западного и Уральского федеральных округов, 7 и 6 организаций соответственно из Южного и Дальневосточного федеральных округов и 1 организация представляет СевероКавказский федеральный округ (рис. 6).
Результаты
Результаты анкетного опроса показали, что наиболее значимыми индикаторами качества управления являются финансово-экономический, бюджетный, социальный, инновационный, информационный и институциональный. В силу логической и содержательной близости финансово-экономический и бюджетный индикаторы были объединены в одну группу.
Проведенное анкетирование организаций транспортного комплекса России позволило разработать модель оценки качества управления коммерческими организациями государственного сектора и выделить ряд индикаторов и показателей их оценки (табл. 2).
Поскольку для государственных (муниципальных) учреждений экономические (коммерческие, рыночные) показатели не имеют смысловой нагрузки, модель оценки качества управления в них должна отличаться от модели, разработанной для государственных (му-
ЭКОНОМИКА РЕГИОНА № 3 (2015)
46
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
Таблица 2
Индикаторы качества управления коммерческими предприятиями государственного сектора и показатели
их оценки
Индикатор качества управления Показатель качества управления
Финансово- экономический индикатор Выработка добавленной стоимости на одного работника
Чистые активы на одного работника
Финансовая устойчивость
Выполнение плановых показателей государственных (муниципальных) заданий
Отклонение затрат на один рубль произведенной продукции (услуг) в сопоставимых ценах для государственных (муниципальных), социальных нужд относительно норматива
Соотношение суммы поступивших в государственный (муниципальный) бюджет от организации денежных средств и суммы расходов на содержание организации, понесенных государственным (муниципальным) бюджетом
Социальный индикатор Общественная полезность и значимость деятельности предприятия
Иннов ационный индикатор Эффективность инновационных проектов
Выполнение задания по обновлению основных фондов
Инф ормационный индикатор Уровень технической оснащенности системы управления
Уровень информационной открытости организации
Уровень технической поддержки системы принятия решений
Институциональный индикатор Правовая эффективность
Эффективность связей с общественностью
Эффективность управления собственностью
ниципальных) предприятий. Поэтому требуется корректировка содержания первого финансово-экономического индикатора качества управления.
Учреждениям государственного сектора очень важно своевременно планировать свою деятельность, равномерно осваивать лимиты бюджетных обязательств, своевременно осуществлять расчеты с кредиторами. В то же время, невозможно оценить отклонения фактической удельной себестоимости от плановой в виду отсутствия таковых. Показатель бюджетной эффективности можно применить далеко не ко всем учреждениям государственного сектора. Следовательно, финансовоэкономический индикатор в модели оценки качества управления учреждениями государственного сектора трансформируется в финансово-плановый индикатор (табл. 3).
Для определения степени влияния выявленных индикаторов качества управления на интегральный показатель качества управления, а также в целях повышения обоснованности применения весовых коэффициентов показателей проведен экспертный опрос по существующей проблеме. Цель опроса — проведение ранжирования индикаторов качества управления.
В соответствии с теорией измерений, для получения значений соответствующих рангов
Таблица 3
Показатели оценки финансово-планового индикатора качества управления государственными (муниципальными) учреждениями
Индикатор качества управления Показатель качества управления
Финансово- плановый индикатор Исполнительская дисциплина
Чистые активы на одного работника
Выполнение плановых показателей государственных (муниципальных) заданий
была выбрана порядковая шкала от 1 до 5, где 1 означает самый высокий ранг, а 5 — самый низкий. Статистические выводы в данном случае следует считать адекватными реальности, поскольку они инвариантны относительно допустимого преобразования шкалы.
Минимальное количество экспертов зависит от числа ранжируемых индикаторов и может быть определено по формуле:
N = 0,5 (3/а + М), (1)
где М — число ранжируемых индикаторов; 0 < а < 1 — индикатор, задающий минимальный уровень ошибки экспертизы.
Исходя из того, что ранжированию должны быть подвержены 5 индикаторов, минимальное количество экспертов равно 4. При этом
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 47
Таблица 4
Экспертное ранжирование индикаторов качества управления в организациях государственного сектора
Индикатор качества управления Ранг, мнение экспертов Сумма рангов d d2
I II III IV V VI VII
Финансово-экономический (плановый) 2 1 3 2 2 2 5 17 -4 16
Социальный 1 2 1 1 1 1 1 8 -13 169
Институциональный 4 3 2 5 5 3 3 25 4 16
Иннов ационный 3 4 4 4 3 4 4 26 5 25
Информационный 5 5 5 3 4 5 2 29 8 64
Сумма баллов 15 15 15 15 15 15 15 105 290
мы приняли ошибку экспертизы равной нулю, то есть а = 1. Однако большинство исследователей считают, что для группового оценивания достаточно привлечения 7-9 экспертов.
Основными требованиями, предъявляемым к экспертам являются:
1) уровень образования — высшее, ученая степень;
2) опыт работы по профилю предметной области — от 5 лет;
3) административная независимость в данной предметной области;
4) опыт участия в экспертном оценивании.
В качестве экспертов при ранжировании индикаторов качества управления были привлечены:
а) руководители и работники организаций государственного сектора;
б) научные и научно-педагогические работники;
в) представители исполнительных органов государственной власти г. Москвы.
Численность экспертной группы, достаточная для получения качественной оценки в настоящем исследовании, составляет 7 человек.
Оценку степени значимости индикаторов эксперты производят путем присвоения им рангового номера. Индикатору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составлена сводная матрица рангов (табл. 4).
d=У =У x-21- (2)
Проверка правильности составления матрицы на основе исчисления контрольной суммы:
у х. = <1+п+ = <1+5)1 = 15. (3)
^ ,1 2 2
Суммы по столбцам матрицы равны между собой и контрольной сумме, значит, матрица составлена правильно.
Оценка средней степени согласованности мнений всех экспертов проводится путем определения коэффициента конкордации:
W =
125
т2(пъ - п) ’
(4)
где S = 290, п = 5, т = 7.
W =
12 х 290 72(53 - 5)
0,592.
W = 0,592 говорит о наличии средней степени согласованности мнений экспертов.
Для оценки значимости коэффициента кон-кордации вычислим критерий согласования Пирсона:
12S
тп( п +1)’
(5)
X
2
12 х 290 7 х 5(5 +1)
16,57.
Вычисленный х2 сравним с табличным значением для числа степеней свободы K = п - 1 = = 5 - 1 = 4 и при заданном уровне значимости а = 0,05.
Так как х2 расчетный (16,57) больше табличного (9,48773), то W = 0,592 — величина неслучайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Результаты расчетов весовых коэффициентов индикаторов качества управления в организациях, учрежденных государственными органами и органами местного самоуправления, представлены в таблице 5.
Социальный индикатор получил наибольший вес (0,42), что предсказуемо, поскольку обследованию подвергались организации государственного сектора, для которых определяющим является критерий достижения определенной общественной цели. На втором ме-
ЭКОНОМИКА РЕГИОНА № 3 (2015)
48
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
Таблица 5
Весовые коэффициенты и итоговые ранги индикаторов качества управления организациями государственного сектора
Индикатор качества управления Величины, обратные сумме рангов Коэффициенты весомости индикаторов Итоговый ранг
Финансово-экономический (плановый) 0,0588 0,2 2
Социальный 0,13 0,42 1
Институциональный 0,04 0,13 3
Иннов ационный 0,0385 0,13 4
Информационный 0,0345 0,12 5
Сумма весов 1,0
сте с весовым коэффициентом 0,2 находится финансово-экономический индикатор. Самый низкий ранг, по мнению экспертов, имеет информационный индикатор.
При использовании метода средних оценок и метода медианных рангов распределение индикаторов качества управления по рангам приняло такой же вид. На основании сказанного модель интегральной оценки качества управления для коммерческих организаций государственного сектора, функционирующих в неконкурентной среде, можно представить следующим образом:
КУ = 0,М + 0,42М2 + 0,13М3 + 0,13М4 + 0,12М5, (6)
где КУ — интегральная оценка качества управления; Мг — комплексная оценка финансовоэкономического (финансово-планового) индикатора; М2 — комплексная оценка социальногосударственного индикатора; М3 — комплексная оценка институционального индикатора; М4 — комплексная оценка инновационного индикатора; М5 — комплексная оценка информационного индикатора.
Далее были уточнены и дополнены количественные и качественные показатели, позволяющие получить комплексные оценки индикаторов качества управления организациями. Сложность классификации показателей связана с тем, что в исследовании были задействованы организации, дифференцированные по видам экономической деятельности, таким образом, возникла задача выявления показателей, которые можно использовать при оценке качества управления, вне зависимости от выполняемой функции.
Интерпретация проводится на основе шкалы, представленной в таблице 6. Значение интегрального показателя качества управления организациями государственного сектора, равное нулю, будет свидетельствовать об отсутствии качества как такового, то есть об отсутствии управления. Чем ближе значение ин-
Таблица 6
Шкала интерпретации оценки качества управления организациями государственного сектора
Значение интегральной оценки Характеристика качества управления
0,0-0,2 Крайне низкий уровень качества управления
0,21-0,4 Минимально допустимый уровень качества управления
О V 1 О ON Приемлемый уровень качества управления
0 ON 1 о 00 Высокий уровень качества управления
0 00 1 о Желательный уровень качества управления
тегрального показателя к единице, тем выше качество управления и, следовательно, выше степень достижения целей, стоящих перед организацией.
На основании полученных интегральных оценок качества управления можно проводить построение рейтинга предприятий государственного сектора, начиная с предприятия, получившего наибольшее значение интегрального показателя качества управления (ему присваивается первое место в рейтинге), далее — по мере уменьшения значения указанного показателя.
Использование результатов оценки качества управления позволяет проводить рейтингование организаций государственного сектора, обосновывать решения о реорганизации и разгосударствлении, осуществлять мониторинг изменений уровня качества управления предприятием государственного сектора. Предложенная модель оценки качества управления предприятием государственного сектора не только опирается на показатели, достигнутые в динамике, используемые при анализе эффективности управления, но и учитывает эталонные (желаемые) уровни значений этих показателей. Рассмотрение отдельных
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 49
Таблица 7
Рейтинговая таблица муниципальных предприятий по уровню качества управления
Ранг Наименование предприятия М2 М3 М4 М5 Значение ин-теграль-ного показателя качества управления Уровень качества управления
1. МП ГО Саранск «Горэлектротранс» 0,428 0,772 0,728 0,556 0,523 0,639 Приемлемый
2. МУП «Горэлектротранс», г. Барнаул 0,504 0,650 0,728 0,641 0,523 0,614
3. МУП Горэлектротранспорта «Управление Калужского троллейбуса», г. Калуга 0,504 0,690 0,728 0,397 0,523 0,600
4. МКП «Калининград-Гортранс» ГО «Город Калининград» 0,407 0,690 0,728 0,640 0,412 0,598
5. МУП «Ижгорэлектротранс», г. Ижевск 0,446 0,650 0,728 0,580 0,523 0,595
6. МУП ТТП, г. Смоленск 0,466 0,622 0,728 0,585 0,523 0,588
7. МКП «Тулгорэлектротранс», МО г. Тула 0,408 0,650 0,728 0,535 0,523 0,581
8. МУП ТТП, г. Орел 0,466 0,622 0,728 0,418 0,523 0,566
9. ЕМУП ТТУ, г. Екатеринбург 0,407 0,622 0,728 0,564 0,412 0,560
10. МУП «Электротранс», г. Череповец 0,431 0,595 0,728 0,560 0,412 0,553
11. ГУМП «Трамвайно-троллейбусное управление», г. Томск 0,466 0,595 0,728 0,387 0,412 0,537
12. МУП «Ивановский пассажирский транспорт» 0,440 0,595 0,728 0,368 0,412 0,530
13. МУП «Краснодарское трамвайнотроллейбусное управление» 0,428 0,595 0,728 0,278 0,523 0,529
14. МП «Горэлектротранс», г. Красноярск 0,446 0,568 0,728 0,416 0,412 0,526
15. Волжское МУП «Горэлектротранс», ГО «Город Волжский 0,331 0,568 0,728 0,397 0,523 0,514
16. МУП ТТУ, г. Таганрог 0,398 0,500 0,728 0,247 0,523 0,479
17. МУАТП, г. Астрахань 0,393 0,473 0,728 0,223 0,523 0,464
18. МУП «Энгельсэлектротранс», г. Энгельс 0,429 0,473 0,728 0,232 0,301 0,445
19. МУП «Трамвайно-троллейбусное управление», г. Хабаровск 0,266 0,364 0,728 0,411 0,412 0,404 Минимально допустимый
индикаторов и показателей качества управления организациями государственного сектора позволяет оценить как степень достижения целей и результатов, так и степень соответствия им выбранной стратегии развития с позиции качества управления.
Для тестирования методики были отобраны 19 организаций из числа участвовавших в анкетировании. Объектами оценки стали муниципальные предприятия, осуществляющие деятельность в области трамвайного и троллейбусного транспорта. Основными принципами формирования выборки стали:
— обеспечение репрезентативности выборки;
— однородность основного вида деятельности организаций, входящих в выборку;
— неконкурентная рыночная среда деятельности предприятий;
— однородность формы собственности.
Результаты оценок значений индикаторов
качества управления указанными предприятиями, а также итоговый рейтинг муниципальных предприятий по качеству управления представлены в таблице 7.
Данные таблицы свидетельствуют, что в большинстве оцененных муниципальных предприятий качество управления является приемлемым, и лишь в одном — минимально допустимым.
ЭКОНОМИКА РЕГИОНА № 3 (2015)
50
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
Основные выводы
Проведенное исследование показывает, что практическая реализация механизма комплексного оценивания качества управления организациями государственного сектора, во-первых, позволит системно подойти к оценке деятельности не только организаций, но и персонально их руководителей, во-вторых, полученные количественные оценки позволят принимать более обоснованные решения о развитии организаций государственного сектора экономики, а также повысить степень достижения общественных целей. Предложенные методические подходы, алгоритмы, модель и рекомендации могут найти применение в деятельности федеральных, региональных органов государственной власти и органов местного самоуправления при проведении мониторинга и оценки качества управления подведомственных предприятий.
По результатам комплексного исследования разработаны дифференцированные си-
стемы показателей для оценки качества управления государственными (муниципальными) предприятиями и государственными (муниципальными) учреждениями, сформирован алгоритм проведения оценки, определены процедуры приведения количественных и качественных показателей к сопоставимому виду (процедуры нормирования), порядок получения количественных и экспертных оценок для всех показателей.
Содержащиеся в работе теоретические положения и методологические подходы, полученные выводы и результаты могут найти применение в деятельности федеральных, региональных органов государственной власти и органов местного самоуправления при проведении мониторинга и оценки качества управления подведомственных организаций: государственных (муниципальных) предприятий, бюджетных, автономных и казенных учреждений.
Благодарность
Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по Государственному заданию Финансового университета при Правительстве Российской Федерации 2014 г.
Список источников
1. Galbraith J. K. Economics and the Public Purpose. Boston: Houghton Mifflin, 1973. Pp. 334.
2. Stiglitz J. E. Economics of the Public Sector. NY, London, 1995.
3. Friedman M. Capitalism and Freedom. The University of Chicago Press Chicago, 2002.
4. Eskaus R. S. Basis Economycs. Boston. USA, 1972. p. 18.
5. Каменский А. А. Эффективность государственного сектора в рыночной экономике. — СПб.: С.-Петерб. гос. ун-т экономики и финансов, 2005. — С. 5.
6. Wollmann H. Evaluation in Public-sector reform: Toward a ‘third wave’ of evaluation? in: Hellmut Wollmann (ed.). Evaluation in Public Sector Reform, Cheltenham. Northampton: Edward Elgar, 2003. pp. 1-11.
7. Pollitt C., Bouckaert G. Evaluating public management reforms: An international perspective. Evaluation in Public-Sector Reform, Cheltenham: Edward Elgar, 2003. pp. 12-35.
8. Артемов А. В., Брыкин А. В., Шумаев В. А. Управление экономикой на основе государственного сектора // Менеджмент в России и за рубежом. — 2007. — № 6. — С. 89-103.
9. Погосов И. А. Целевые установки и институциональные единицы общественного сектора экономики // Вопросы статистики. — 2009. — № 5. — С. 32-41.
10. Карпов Д. Ю. Роль государственного сектора на современном этапе развития российской экономики // Вестник Самарского государственного экономического университета. — 2010. — № 8. — С. 33-36.
11. Репич О. Б. Развитие конкурентных начал в государственном секторе региональной экономики. Методические подходы к оценке // Экономические науки. — 2009. — № 10. — С. 187-191.
12. Просвирина М. Е. Разработка методов комплексной оценки системы менеджмента качества предприятия: дис. ... канд. экон. наук. — М., 2004. — 221 c.
13. Гукасян З. О. Формирование системы оценки качества управления на предприятии на принципах равновесия экономических интересов: дис. ... канд. экон. наук. — М., 2008. — 200 c.
14. Брюйн Хайнс де. Управление по результатам в государственном секторе / Пер. с англ. И. Попеско,
О. Синицыной. — М.: Институт комплексных экономических исследований, 2005. — (Библиотека ИКСИ).
15. Якобсон Л. И. Экономика общественного сектора. Основы теории государственных финансов : учебник для вузов по направлению «экономика». — М.: Аспект Пресс, 1996. — 556 с.
16. Osborne D., Gaebler T. Reinventing Government, Massachusetts, 1992, p. 146.
17. Kozhevina O., Sirotenko M. Formation of metodological based of the Balanced Scorecard in strategic management development Pablic Sector mesoscale . Institution framework of the economy functioning in conditions of transformation. Vol. 2 — Verlag SWG imex GmbH, Nurnberg, Deutschland, 2014. p. 31-34.
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
О. В. Кожевина, Е. В. Юрченко, Н. В. Балунова 51
18. Кожевина О. В., Балунова Н. В., Юрченко Е. В. Разработка методологического подхода к оценке качества управления в государственном секторе экономики // Финансовый менеджмент. — 2015. — № 1. — С. 23-26
19. Нагимова А. М. Эффективность деятельности государственных органов управления как фактор повышения качества жизни в регионе. Проблемы оценки и измерения / ЦПЭИ АН РТ; науч. ред. М. Р. Сафиуллина. — Казань: Казан. гос. ун-т, 2009.
20. Механизмы управления. Мультифункциональное учебное пособие / В. Н. Бурков [и др.]; под ред. чл.-к. РАН Д. А. Новикова. — М.: УРСС (Editorial URSS), 2011. — 216 с. — (Умное управление).
21. Ищенко М. М., Крылов М. Г. Теоретические основы формирования механизма оценки эффективности системы управления предприятием // Аудит и финансовый анализ. — 2007. — №4. — С. 350-354.
22. Курникова А. В. Сущность механизма управления инновационным развитием региона // Вестник Челябинского государственного университета. — 2012. — Вып. 7. — № 3 (257). — С. 9-13. — (Управление).
Информация об авторах
Кожевина Ольга Владимировна — доктор экономических наук, доцент, директор Научно-образовательного центра исследования эффективности и результативности управления, Финансовый университет при Правительстве Российской Федерации (Российская Федерация, г. Москва, 125993 ГСП-3, Ленинградский пр-т, 49; e-mail: [email protected]).
Юрченко Евгения Витальевна — научный сотрудник, Финансовый университет при Правительстве Российской Федерации (Российская Федерация, Москва, 125993 ГСП-3, Ленинградский пр-т, 49; e-mail: [email protected]).
Балунова Наталия Владимировна — кандидат экономических наук, исполнительный директор, ООО «Трикрон» (Российская Федерация, г. Москва, 117312, ул. Вавилова, 13, стр. 7.; e-mail: [email protected]).
For citation: Ekonomika regiona [Economy of Region]. — 2015. — №3. — pp. 39-52
O. V. Kozhevina, E. V. Yurchenko, N. V. Balunova
Development of Management Quality Assessment Methodology in the Public Sector:
Problems and Contradictions
The development management quality assessment methodology in the public sector is relevant scientific and practical problem of economic research. The utilization of the results of the assessment on the basis of the authors’ methodology allows us to rate the public sector organizations, to justify decisions on the reorganization and privatization, and to monitor changes in the level of the management quality of the public sector organizations. The study determined the place of the quality of the control processes of the public sector organization in the system of “Quality of public administration — the effective operation of the public sector organization,’’ the contradictions associated with the assessment of management quality are revealed, the conditions for effective functioning of the public sector organizations are proved, a mechanism of comprehensive assessment and algorithm for constructing and evaluating the control models of management quality are developed, the criteria for assessing the management quality in the public sector organizations, including economic, budgetary, social and public, informational, innovation and institutional criteria are empirically grounded. By utilizing the proposed algorithm, the assessment model of quality management in the public sector organizations, including the financial, economic, social, innovation, informational and institutional indicators is developed. For each indicator of quality management, the coefficients of importance in the management quality assessment model, as well as comprehensive and partial evaluation indicators are determined on the basis of the expert evaluations. The main conclusion of the article is that management quality assessment for the public sector organizations should be based not only on the indicators achieved in the dynamics and utilized for analyzing the effectiveness of management, but also should take into account the reference levels for the values of these parameters.
The comparison of the indicators will allow to assess not only the degree of the achievement of objectives and results but also the quality of conformance of the chosen development strategy from a position of management quality.
Keywords: the public sector, organization of social processes, management quality assessment in the public sector, the characteristics of management quality, algorithmization, contradictions of management quality assessment
Acknowledgment
The article was prepared according to the results of the research carried out at the expense of the budget funds by the state task of the Financial University under the Government of the Russian Federation in 2014.
References
1. Galbraith, J. K. (1973). Economics and the Public Purpose. Boston: Houghton Mifflin, 334.
2. Stiglitz, J. E. (1995). Economics of the Public Sector. NY, London, 1995.
3. Friedman, M. (2002). Capitalism and Freedom. The University of Chicago Press Chicago.
4. Eskaus, R. S. (1972). Basis Economycs. Boston. USA, 18.
5. Kamenskiy, A. A. (2005). Effektivnost gosudarstvennogo sektora v rynochnoy ekonomike [Efficiency of public sector in the market economy]. St. Petersburg: Saint Petersburg State University of Economics and Finance Publ., 5.
6. Wollmann, H. (2003). Evaluation in Public-sector reform: Toward a ‘third wave’ of evaluation? In: Hellmut Wollmann (Ed.). Evaluation in Public Sector Reform, Cheltenham. Northampton: Edward Elgar, 1-11.
7. Pollitt, C. & Bouckaert, G. (2003). Evaluating public management reforms: An international perspective. Evaluation in Public-Sector Reform. Cheltenham: Edward Elgar, 12-35.
ЭКОНОМИКА РЕГИОНА № 3 (2015)
52
СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ПРОБЛЕМЫ РЕГИОНА
8. Artemov, A. V., Brykin, A. V. & Shumaev, V. A. (2007). Upravlenie ekonomikoy na osnove gosudarstvennogo sektora [Management of economy on the basis of public sector]. Menedzhment v Rossii i za rubezhom [Management in Russia and Abroad], 6, 89-103.
9. Pogosov, I. A. (2009). Tselevyye ustanovki i institutsionalnyye edinitsy obshchestvennogo sektora ekonomiki [Purposes and institutional units of public sector of economy]. Voprosy statistiki [Questions of statistics], 5, 32-41.
10. Karpov, D. Yu. (2010). Rol gosudarstvennogo sektora na sovremennom etape razvitiya rossiyskoy ekonomiki [Role of public sector at the present stage of the Russian economy development]. Vestnik Samarskogo gosudarstvennogo ekonomicheskogo universiteta [Bulletin of the Samara State Economic University], 8, 33-36.
11. Repich, O. B. (2009). Razvitie konkurentnykh nachal v gosudarstvennom sektore regionalnoy ekonomiki: metodicheskie podkhody k otsenke [Development of the competitive beginnings in the public sector of regional economy: methodical approaches to an assessment]. Ekonomicheskie nauki [Economicsciences], 10, 187-191.
12. Prosvirina, M. E. (2004). Razrabotka metodov kompleksnoy otsenki sistemy menedzhmenta kachestva predpriyatiya: dis. ... kand. ekon. nauk [Method development of quality management system complex assessment for the enterprise: PhD thesis in Economics]. Moscow, 221.
13. Gukasyan, Z. O. (2008). Formirovanie sistemy otsenki kachestva upravleniya na predpriyatii na printsipakh ravnovesiya ekonomicheskikh interesov: dis.... kand. ekon. nauk [System development of management quality evaluation at the enterprise according to the principles of balance of economic interests: PhD thesis in Economics]. Moscow, 200.
14. Hans de Bruijn (2005). Upravlenie po rezultatam v gosudarstvennom sektore [Managing Performance in the Public Sector]. Trans. from English by I. Popesko, O. Sinitsynoy. Moscow: Economic Research Institute Publ. (Biblioteka IKSI [Library of Economic Research Institut]).
15. Yakobson, L. I. (1996). Ekonomika obshchestvennogo sektora: osnovy teoriigosudarstvennykh finansov: uchebnik dlya vuzov po napravleniyu «Ekonomika» [The public sector economy: bases of the theory of public finances: the textbook for higher education institutions in the direction of Economy]. Moscow: Aspekt Press, 556.
16. Osborne, D. & Gaebler, T. (1992). Reinventing Government. Massachusetts, 146.
17. Kozhevina, O. & Sirotenko, M. (2014). Formation of metodological based of the Balanced Scorecard in strategic management development Pablic Sector mesoscale. Institution framework of the economy functioning in conditions of transformation, 2. Verlag SWG imex GmbH, Nurnberg, Deutschland, 31-34.
18. Kozhevina, O. V., Balunova, N. V. & Yurchenko, E. V. (2015). Razrabotka metodologicheskogo podkhoda k otsenke kachestva upravleniya v gosudarstvennom sektore ekonomiki [Development of methodological approach to the management quality assessment in the public sector of economy]. Finansovyy menedzhment [Financial management], 1, 23-26.
19. Nagimova, A. M. (2009). Effektivnost deyatelnostigosudarstvennykh organov upravleniya kak faktorpovysheniya kachestva zhizni v regione: problemy otsenki i izmereniya [The government efficiency as a factor of improvement of quality of life in the region: problems of assessment and measurement]. TsPEI AN RT [Center of Advanced Economic Research of Academy of Sciences of Republic of Tatarstan]; In: M.R. Safiullin (Ed.). Kazan: Kazan State University Publ.
20. Burkov, V. N. et al. (2011). Mekhanizmy upravleniya. Multifunktsionalnoye uchebnoyeposobie [The management mechanisms. Multifunctional manual]. In: D. A. Novikov, Academician of RAS (Ed.). Moscow: URSS (Editorial URSS) Publ., 216. (Umnoe upravlenie [Celver management]).
21. Ishchenko, M. M. & Krylov, M. G. (2007). Teoreticheskie osnovy formirovaniya mekhanizma otsenki effektivnosti sistemy upravleniya predpriyatiem [Theoretical essentials of development of the assessment mechanism of system effectiveness of business management]. Audit i finansovyy analiz [Audit and financial analysis], 4, 350-354.
22. Kurnikova, A. V (2012). Sushchnost mekhanizma upravleniya innovatsionnym razvitiem regiona [Essence of the region innovative development management mechanism]. Vestnik Chelyabinskogogosudarstvennogo universiteta [Bulletin of the Chelyabinsk State University], 3 (257), 7, 9-13 (Upravlenie [Management]).
Authors
Kozhevina Olga Vladimirovna — Doctor of Economics, Associate Professor, Head of the Scientific-Educational Center for Research the Efficiency and Management Productivity, the Financial University under the Government of the Russian Federation (49, Leningradsky Ave., Moscow, 125993 Municipal Post Office-3, Russian Federation; e-mail: [email protected]).
Yurchenko Evgeniya Vitalyevna — Research Associate, the Financial University under the Government of the Russian Federation (49, Leningradsky Ave., Moscow, 125993 Municipal Post Office-3, Russian Federation; e-mail: [email protected]).
Balunova Nataliya Vladimirovna — PhD in Economics, Chief Executive of LLC Trikron (build. 7, 13, Vavilova St., Moscow, 117312, Russian Federation; e-mail: [email protected]).
ЭКОНОМИКА РЕГИОНА № 3 (2015)
WWW.ECONOMYOFREGiON.COM
