CC BY
80
РЕГИОНАЛЬНАЯ И МЕЖДУНАРОДНАЯ ЭКОНОМИКА
УДК 330.341.1 1БЬ 031, М38, С8
Г. А. Унтура 1 2, Т. Н. Есикова 1, 2, И. Д. Зайцев 3, О. Н. Морошкина 1
1 Институт экономики и организации промышленного производства СО РАН пр. Акад. Лаврентьева, 17, Новосибирск, 630090, Россия
2 Новосибирский государственный университет ул. Пирогова, 2, Новосибирск, 630090, Россия
3 Институт Систем информатики им. А. П. Ершова СО РАН пр. Акад. Лаврентьева, 6, Новосибирск, 630090, Россия
[email protected]; [email protected]
ПРОБЛЕМЫ И ИНСТРУМЕНТЫ АНАЛИТИКИ ИННОВАЦИОННОГО РАЗВИТИЯ СУБЪЕКТОВ РФ
Рассматриваются подходы и сравниваются оценки уровня инновационного развития регионов РФ по различным методикам. Особое внимание уделяется расхождению оценок разных методик вследствие разного набора показателей, характеризующих инновационное развитие, и алгоритмов, используемых при расчете композитных индексов. Приводится методическая схема создания оригинального программного комплекса для аналитики и визуализации индикаторов инновационного развития, группируемых в разных композициях. Оригинальная программа позволяет сравнивать оценки композитных индексов, применяя действующие или новые, гибко формируемые алгоритмы, в соответствии с целями анализа и экспертизы для выработки решений, принимаемых на различных уровнях власти. Приводятся иллюстрации по апробации программы для расчета отдельных видов композитных индексов.
Эмпирическая оценка уровня инновационного развития регионов России выполняется разными методами, которые отличаются набором показателей и алгоритмов. Цель статьи - анализ методов оценки композитного индекса инновационного развития региона, разработанных разными исследователями, для создания общей схемы его расчета, сопровождаемой оригинальным программным обеспечением.
Методология исследования включает краткий обзор подходов к оценке уровня инновационного развития российских регионов, сравнение эмпирических результатов различных методов для того, чтобы создать компьютерную программу, которая содержит библиотеку алгоритмов анализа и визуализации. Результат исследования -методическая схема построения композитного индекса и его межрегиональные сравнения. Схема включает выбор показателей, группировки, алгоритмы, ранги, типологии, визуализацию результатов. В частности, сравнивались последствия применения алгоритмов на результаты оценивания, использующие методические приемы Всемирного банка и метод Хельвига. Показано, что применение разных алгоритмов обеспечивает близкие оценки уровня инновационного развития регионов-лидеров, таких как Москва и Санкт-Петербург, Нижегородская область. Одновременно наблюдается большая разница оценок для большинства регионов. Верификация схемы расчета индекса выполнена на примере оценки индекса экономики знаний регионов России.
Разработанный авторами программный комплекс позволяет создавать и вести библиотеку алгоритмов, конструируемых пользователем; обрабатывать массивы информации с применением как заранее определенных, так и конструируемых пользователем алгоритмов; визуализировать получаемые результаты в различных формах. Его практическое применение расширяет возможности прикладного анализа различных композиций из показателей, характеризующих развитие регионов России.
Ключевые слова: уровень инновационного развития, субъект Федерации, индекс экономики знаний, алгоритм, программный комплекс, композитные индексы.
Унтура Г. А., Есикова Т. Н, Зайцев И. Д., Морошкина О. Н. Проблемы и инструменты аналитики инновационного развития субъектов РФ // Вестн. Новосиб. гос. ун-та. Серия: Социально-экономические науки. 2014. Т. 14, вып. 1. С. 81-100.
ISSN 1818-7862. Вестник ИГУ. Серия: Социально-экономические науки. 2014. Том 14, выпуск 1 © Г. А. Унтура, Т. Н. Есикова, И. Д. Зайцев, О. Н. Морошкина, 2014
Введение
Комплексная оценка инновационного развития стран и регионов давно используется в мировой экономической практике. Например, публикуются доклады по оценке индекса глобальной конкурентоспособности, экономики знания, человеческого потенциала, национальных инновационных систем и др. Композитные индексы формируются с помощью различных показателей экономического и инновационного развития, которые затем по определенным алгоритмам объединяются в интегральную композицию с учетом иерархии и весов отдельных субиндексов, построенных на основе первичных показателей. Они позволяют в динамике наблюдать развертывание конкуренции между США, странами Европы, Азии (прежде всего Японии и Китая), международными альянсами, например странами БРИК, СНГ и др. Выполняя такие работы, известные международные организации используют методологию исследовательских центров OECD и Всемирного банка, сопровождают результаты развитой аналитикой, т. е. анализом частных и интегральных индексов в различной структуре и динамике, а также картографической визуализацией. Так, отдельный раздел в докладе индекса глобальной конкурентоспособности посвящен субиндексу инновационного развития, который является одним из 12 составляющих данного композитного индекса. Достаточно широк арсенал инструментов оценки и предоставления результатов в удобной наглядной форме 1.
К настоящему времени появился ряд российских аналитических докладов и публикаций в научной литературе, посвященных оценке уровня развития национальной инновационной системы и уровня инновационного развития регионов. Эти работы, как правило, носят оригинальный характер, используют официальную статистику или экспертные данные. По-видимому, поэтому наблюдается расхождение оценок уровня инновационного развития одного и того же региона по различным методикам. Вместе с тем, поскольку исследования по оценке инновационного развития субъектов РФ ведутся в России в течение последних лет, это позволяет обобщать опыт и оценки индикаторов социально-экономического и инновационного развития регионов страны, а также институциональных факторов и стратегических намерений регионов по усилению эффективности научно-технической и инновационной деятельности в регионах в динамике.
Краткий обзор подходов
к оценке уровня инновационного развития регионов России
Назовем наиболее известные аналитические подходы к оценке инновационного уровня развития регионов, разработанные в организациях РФ. Далее сравним оценки уровня инновационного развития регионов РФ по нескольким широко представленным в Интернете докладам, позволяющим судить о динамике инновационного развития регионов с 2008 до 2012 г. Многие подходы опубликованы в научной литературе и касаются различных аспектов оценки инновационного уровня развития, которые вытекают из задач проведения исследования. Оценки могут представлять интерес для федеральных или региональных органов власти, которые занимаются разработкой стратегий инновационного развития и научно-технической и инвестиционной политикой субъектов РФ.
Институт статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики» представил в виде текстовых, табличных и картографических данных систему рейтинговых оценок и анализ инновационного раз-
1 Так, в отдельных странах, например Индии, по поддержке ученых из индийского Института технологии (IITs), индийского Института управления (ММВ), ранее работавших с различными данными глобальных организаций, подобных «Оракул», оказывающему финансовые услуги и проводящему глобальную аналитику по запросам на интересующие темы, создан центр по обработке данных, способный ускорять аналитику и проведение исследовательских работ «Innovaccer Data Lab (см. сайт www.Innovaccer.com). Он использует различные оригинальные процедуры комплексной обработки данных по нескольким этапам организации исследований в следующей логической последовательности: гипотезы, моделирование, экстракция данных, преобразование данных, аналитика, визуализация и публикация результатов. Центр сотрудничает с рядом ведущих университетов США и Европы и ищет выход для сотрудничества с вузами и РАН России.
вития 83 российских регионов. В аналитическом докладе «Рейтинг инновационного развития субъектов РФ» изложена методология формирования системы показателей, характеризующих социально-экономические условия, научно-технический потенциал регионов, уровень развития инновационной деятельности, а также качество реализуемой в регионах инновационной политики 2.
В ГУВШЭ разработаны и другие подходы по оценке инновационного потенциала регионов. Например, построена типология уровня инновационного развития регионов РФ на основе одного индикатора - внутренних затрат на исследования и разработки в расчете на душу населения - с использованием инструментария нечетких множеств [1] Выделены три группы регионов с высоким, средним и низким уровнем развития.
Институт стратегических исследований (ИСИ) в презентации представил методический подход для комплексного анализа развития регионов. В нем также использованы показатели инновационного развития. В докладе ИСИ в основном делается акцент на факторы национальной безопасности РФ и отдельных ее регионов, в том числе и факторы научно-технического и инновационного развития [2].
Ассоциация инновационных регионов России (АИРР) инициировала разработку методики рейтингования регионов-территорий инновационного развития. Ее назначение - выработать критерии для выделения регионов, которым потенциально может быть оказана федеральная поддержка на конкурсной основе в качестве элемента региональной политики в рамках инновационной стратегии РФ. Так, в 2011 г. была проведена работа по систематизации показателей, характеризующих уровень инновационного развития регионов, группой экспертов из научных учреждений и вузов регионов членов АИРР под руководством И. М. Бортника. Задачей группы являлась разработка методики и системы индикаторов, позволяющих количественно рассчитывать инновационный рейтинг регионов, который бы мог использоваться Правительством РФ для отбора 5 лучших регионов каждые 3 года для федеральной поддержки в рамках реализации пространственного разреза инновационной стратегии. Эти методические наработки были переданы в Министерство регионального развития, и предполагалось, что они смогут способствовать разработке инструментов, нацеленных на федеральную поддержку регионов, имеющих различную специфику в осуществлении модернизации на инновационной основе. Кроме того, были выполнены эмпирические работы по апробации этой методики [3], показывающие, что набор системы показателей, их структурная компоновка и выбранный алгоритм построения интегрального рейтинга могут приводить к разным количественным результатам, влияющим на присвоение места региону как по значению интегрального индекса инновационного развития региона, так и по его субиндексам по сравнению с отдельными методиками [4], существовавшими на тот момент.
Национальная ассоциация инноваций и развития информационных технологий (НАИРИТ) опубликовала аналитические доклады за период 2009-2012 гг. Методика оценки уровня инновационного развития во многом перекликается с фрагментами многих методик организаций, работающих с данными Росстата (например, ИЭ РАН, АИРР 3 и др.). Для характеристики именно инновационной деятельности в первую очередь рассматриваются несколько основных показателей Росстата: число организаций, осуществляющих технологические инновации; затраты на технологические инновации; производство, а также экспорт инноваци-
2 Рейтинг инновационного развития субъектов РФ: аналитический доклад ГУ ВШЭ. URL: http://www.hse.ru/ primarydata/rir2012
3 По каждому из индикаторов региону присваивается балл по следующей формуле:
i — i
n min,n
qn =-.-:-,
i — i
max,n min,n
где qn - балл региона за индикатор n; in - значение индикатора n в регионе; imax n - значение по индикатору n региона-лидера; imin n - значение по индикатору n региона-аутсайдера.
Показатели рассчитываются за два предшествующих году конкурса года (в случае отсутствия статистики берутся два последних года, по которым статистика имеется). Затем высчитывается среднее за два года значение:
к i — i m i — i z i — i
Int _ ^ ^ n min,n ^ ^ ^ n min,n ^ ^ ^ n min,n
n _1 imax,n imin,n n _1 'max, n imin,n n _1 'max, n 'min,n
где к - количество индикаторов в 1-й группе, m - во 2-й, z - в 3-й.
онных товаров, работ, услуг; кроме того, индикатор - совокупный уровень инновационной активности организаций. Для каждого индикатора по всем исследуемым регионам выбирается максимальное и минимальное значения (Ктах и Утт соответственно). Далее индикаторы нормируются, преобразуются (с использованием разницы между ^тах и Утт) в относительные величины для сопоставимости. Итоговый показатель инновационной активности региона (Ргеё) рассчитывается как среднеарифметическое значение всех индикаторов или групп индикаторов, характеризующих ту или иную сторону инновационной активности региона за определенный период. Вместе с тем имеются и различия методик, поскольку каждая из организаций привлекает дополнительный круг экспертных показателей. В частности, НАИРИТ 4 для построения рейтинга дополнительно использует информацию из следующих источников: анкетирование участников рейтинга с целью получения наиболее точных и актуальных данных; отчеты федеральной службы государственной статистики; Министерства экономического развития; Министерства регионального развития; собственные аналитические материалы; информацию с официальных региональных порталов по инновационной деятельности 5.
СОПС в соавторстве с рядом организаций разработал коллективную методику для оценки и мониторинга инновационного развития регионов России, которая является результатом совместной работы представителей Минэкономразвития РФ, Ассоциации инновационных регионов России, Совета по изучению производительных сил, Института экономической политики им. Е. Т. Гайдара и Министерства экономики Республики Татарстан [5]. В основу данного подхода были положены принципы и показатели, использовавшиеся при построении рейтингов инновационных регионов в Европейском союзе и США. Далее эта методика, в частности, послужила основой для отбора регионов для проведения в СОПСе сравнительного анализа применения инструментов поддержки инновационной деятельности, а также механизмов реализации инновационной политики в субъектах Российской Федерации для выявления лучших практик. При этом рассматривались не все субъекты Российской Федерации, а предварительно отобранные лучшие и средние регионы в соответствии с методикой оценки инновационной активности субъектов Российской Федерации, включая регионы АИРР.
В ИЭ ОПП СОРАН совместно с НГУ разработан ряд подходов к оценке уровня инновационного развития регионов, которые различаются наборами анализируемых показателей. Оценки уровня инновационного развития в основном совпадают на уровне федеральных округов, но различаются в отношении отдельных регионов [6-11]. Кроме того, был выполнен факторный и кластерный анализ инновационной активности субъектов РФ и Сибири для выявления наиболее значимых со статистической точки зрения показателей, которые затем были использованы для построения панельных регрессий. Эта работа показала, что не все показатели статистики науки и инноваций, предлагаемые в систему индикаторов инновационного развития и построения типологий в большинстве названных методик, имеют статистически значимое влияние на инновационное развитие. Тем более с определенной осторожностью их следует использовать в прогностических целях. Вместе с тем выявлено, что показатели ресурсов для наращивания научно-технического потенциала, а также показатели выпуска инновационной продукции и затрат на технологические инновации успешно применяются во многих вышеназванных подходах, используемых для мониторинга российского рейтинга инновационного индекса [6]. Так, в работе [7] предлагается построение типологии регионов по двум композитным индексам создания и использования знаний без построения интегрального. Такой подход позволяет более детально в матричной форме анализировать индексы и дифференцированно подходить к разработке научной и инновационной политики.
Постановка задачи
Краткий обзор упомянутых работ показывает, что необходимо провести сравнение не только методических схем, но и результатов оценки индекса инновационного развития
4 См.: http://nair-it.ru
5 Национальная ассоциация инноваций и развития информационных технологий. URL: http://nair-it.ru/news/ 18.03.2010/135
регионов по разным методикам для того, чтобы выявить проблемы и обобщить инструменты, предлагаемые для формирования композитных индексов. Анализ логической и количественной основы расчетов разных методик, на наш взгляд, даст возможность разработать оригинальный программный комплекс, позволяющий выполнять широкий спектр аналитических функций и визуализации результатов.
Методы анализа
Методы анализа включают сравнительный анализ и верификацию отдельных алгоритмов для расчета индексов инновационного развития на примере индекса экономики знаний (ИЭЗ).
Сравнение оценок уровня инновационного развития регионов и применяемого инструментария в разных методиках. Отметим, что типологии существенно могут различаться в зависимости от выбранной методики расчета рейтинга уровня инновационного развития региона (табл. 1). Под терминами «комплексный», «интегральный», «композитный индекс», упоминаемыми в разных методиках, семантически подразумевается синоним, поскольку в исследовании речь идет о совокупной «композиции» индикаторов, характеризующих разные аспекты развития. Чтобы не перегружать текст, приведем лишь пример, демонстрирующий существенное расхождение оценок композитных индексов для методик МЭР, ГУ ВШЭ и НАИРИТ (табл. 2), а также двух последних методик между собой. В методиках ГУ ВШЭ и НАИРИТ фигурируют многие схожие индикаторы (особенно по результативности инновационной деятельности), приводятся оценки уровня инновационного развития в динамике. Видно, что число регионов, по которым имеется небольшое расхождение оценок, невелико. Это в основном центральные города страны и регионы, которые имеют лидирующие позиции как по научному, так и инновационному потенциалу. Однако разброс «недооценки» или «переоценки» рейтинга достаточно широк для многих субъектов РФ, например, для Пермского края, который по методике МЭР мог бы претендовать на федеральную поддержку, а по методике ГУ ВШЭ - уже нет.
Вполне ожидаемо, что региональные органы власти будут отдавать предпочтение тем методикам, в которых рейтинг их региона оказывается выше, и оспаривать результаты других методик. Особенно «болезненно» для субъектов Федерации видеть низкий рейтинг по результатам методики, которой руководствуются федеральные органы власти и, в частности, МЭР, поскольку это может сдерживать приток бюджетных инвестиций в регион. Определенная настороженность к достоверности результатов методик может возникнуть также у инвесторов и министерств, оказывающих корпоративную или частную поддержку регионам.
Например, обратим внимание на положение сибирских регионов в соответствии с данными рейтинга НАИРИТ (табл. 3). Большинство сибирских регионов повысили уровень инновационного развития, три субъекта (Томская, Новосибирская области и Алтайский край) вошли в Топ-10 по РФ, т. е. находятся в лиге регионов с высоким уровнем инновационного развития; 4 (Красноярский край, Кемеровская и Омская, Иркутская области) - в лиге со средним и умеренным уровнем развития. Однако ряд регионов остался на низком уровне (Республика Алтай, Бурятия, Хакасия, Забайкальский край) за истекший период 20092012 гг. Омская область, республика Алтай и республика Бурятия несколько понизили свой рейтинг по сравнению с 2011 г.
Динамика уровня инновационного развития субъектов СФО (по методике НАИРИТ) показывает, что те регионы, которые вошли в ТОП-15, за последние 2 года сохранили или даже несколько улучшили свои позиции в Российском рейтинге (см. табл. 3, т. е. 1-е место -лучшее).
Примерно такая же ситуация некоторого улучшения наблюдается для регионов со средним уровнем инновационного развития (занимающие строки до 40-го места), улучшили свои позиции Красноярский край и особенно Кемеровская область. Однако регионы с низким уровнем инновационного развития (после 60-го места), такие как Забайкальский край, республики Тыва и Хакасия, даже ухудшили свои места и сдвигаются вниз списка российских регионов.
Таблица 1
Оценки инновационного уровня развития регионов по различным методикам, 2010 г.
Субъект РФ Методика 1 (МЭР, АИРР, СОПС, Институт экономической политики им. Е. Т. Гайдара, Министерство экономики Республики Татарстан) Методика 2 (ГУ ВШЭ) Методика 3 (НАИРИТ) Методика 4 Индекс экономики знания регионов РФ (ИЭОПП СО РАН)
ранг уровень ранг уровень ранг уровень ранг уровень
г. Москва 1 высокий 1 высокий 1 высокий 1 высокий
г. Санкт-Петербург 2 высокий 2 высокий 5 высокий 2 высокий
Нижегородская область 3 высокий 3 высокий 3 высокий 6 высокий
Московская область 4 высокий 8 высокий 2 высокий 4 высокий
Калужская область * 5 высокий 6 высокий 25 средний 23 средний
Томская область * 6 высокий 9 высокий 6 высокий 16 средний
Новосибирская область * 12 средний 7 высокий 10 высокий 3 высокий
Республика Татарстан * 14 средний 10 высокий 4 высокий 8 высокий
Пермский край * 18 средний 4 высокий 22 10 высокий
Республика Мордовия * 19 средний 26 средний 44 умеренный 65 умеренный
Красноярский край * 35 низкий 29 средний 24 средний 11 средний
Иркутская область * 57 низкий 37 средний 48 умеренный 18 средний
Алтайский край - - 35 средний 8 высокий 24 средний
Кемеровская область - - 44 умеренный 34 средний 32 средний
Омская область - - 18 средний 30 средний 19 средний
Республика Алтай - - 75 низкий 49 умеренный 75 низкий
Республика Бурятия - - 63 умеренный 68 низкий 63 умеренный
Забайкальский край - - 70 низкий 64 низкий 73 низкий
Республика Тыва - - 74 низкий 65 низкий 81 низкий
Республика Хакасия - - 79 низкий 75 низкий 74 низкий
Примечание. Таблица составлена по: [5; 12]; http://www.hse.ru/primarydata/rir2012; http://www.nair-it.ru/news/17.05.2011/217. Знаком «звездочка» отмечены регионы, входящие в Ассоциацию инновационных регионов России.
Таблица 2
Уровень инновационного развития регионов: центральные города, регионы АИРР, субъекты СФО в 2010 г.
Методика 1
МЭР, АИРР, СОПС, Институт Методика2
экономической политики Национальный исследовательский Методика 3
Субъект РФ им. Е. Т. Гайдара, Министерст- университет «Высшая школа НАИРИТ
во экономики экономики»
Республики Татарстан
Типология 1 Типология 2 Разница оценок методик
ранг уровень уровень ранг Т 1 ** 2 и 1 3 и 1 2 и 3
г. Москва 1 высокий высокий 1 0 0 0
г. Санкт-Петербург 2 высокий высокий 2 0 3 -3
Нижегородская область 3 высокий высокий 3 0 0 0
Московская область 4 высокий высокий 8 4 -2 6
Калужская область 5 высокий высокий 6 1 20 -19
Томская область 6 высокий высокий 9 3 0 3
Новосибирская область 12 средний высокий 7 -5 -2 -3
Республика Татарстан 14 средний высокий 10 -4 -10 6
Пермский край 18 средний высокий 4 -14 4 -18
Республика Мордовия 19 средний средний 26 7 25 -18
Красноярский край 35 низкий средний 29 -6 -11 5
Иркутская область 57 низкий средний 37 -20 -9 -11
Примечание:
- субъекты РФ, вошедшие в Ассоциацию инновационных регионов России ( АИИР) в 2009 г.; - разница рассчитывается как результат вычитания ранга по методике 1 (МЭР) из ранга по методике 2 (ВШЭ), минус означает занижение места региона по методике 1 по сравнению с методикой 2, а плюс - завышение места. Если в отношении Москвы, Санкт-Петербурга, Нижегородской области оценки рейтингов совпадают, то для других субъектов Федерации имеются существенные расхождения, в частности для регионов АИРР (субъекты отмечены звездочкой), и характерно существенное занижение места субъектов по их инновационному развитию по методике Минэкономразвития по сравнению с методикой ГУ ВШЭ.
Источник: расчеты авторов и данные табл. 1.
По методике ИЭОПП СО РАН [12; 13], предлагающей ИЭЗ [14] использовать в качестве одного из композитных индексов для оценки уровня инновационного развития, наблюдается несколько иная картина состава лидеров СФО и динамики Новосибирской и Томской областей, а также более стремительным выглядит повышение места Алтайского края (рис. 1).
Чем ближе значение рейтинга индекса к 1, тем ближе место региона к 1-му месту лидера, имеющему максимальное значение композитного индекса. Например, в России в группу ТОП-15 (пятнадцать лучших регионов) в 2010 г. из состава СФО вошли Новосибирская область, занимая и удерживая 3-е место, Красноярский край, который улучшил свой рейтинг с 14-го в 2008 г. до 11-го места в 2010 г., и Томская область, которая несколько снизила рейтинг с 11-го до 16-го места за аналогичный период, т. е. приблизилась к границе (15 регионов), задаваемой МЭР для отбора регионов для федеральной поддержки. При этом хотя и не вошел в Топ-15, но лидером по наращиванию индекса экономики знания в РФ оказался Алтайский край, которому удалось улучшить свой рейтинг с 40-й до 24-й позиции. Несколько улучшили свой рейтинг Кемеровская и Иркутская области.
Таблица 3
Динамика уровня инновационного развития регионов СФО по методике НАИРИТ
Субъект РФ 2009 2010 2011 2012
Томская область 11 6 5 5
Алтайский край 9 8 9 8
Новосибирская область 13 10 7 9
Красноярский край 38 24 26 23
Кемеровская область 42 34 24 25
Омская область 31 30 32 34
Иркутская область 73 48 52 48
Республика Алтай 43 49 53 53
Республика Бурятия 59 68 67 66
Забайкальский край 68 64 69 68
Республика Тыва 81 65 71 72
Республика Хакасия 78 75 77 78
Источник: Данные Национальной ассоциации инноваций и развития информационных технологий (НАИРИТ). Итоговая таблица Рейтинга инновационной активности. 2012 г. (http://www.nair-it.ru/news/ 04.07.2013/405); 2011 г. (http://nair-it.ru/news/19.06.2012/334); 2010 г. (http://nair-it.ru/news/ 17.05.2011/ 217); 2009 г. (http://nair-it.ru/news/18.03.2010/135)
Рис. 1. Рейтинг региона СФО по методике интегрального индекса экономики знания за 2008-2010 гг.
(Источник: расчеты авторов)
Верификация расчетов по алгоритмам. Было выполнено тестирование методики ИЭЗ, подтвердившее, что тип выбранного алгоритма для построения типологии существенно влияет на количественные значения оценок. Опробованы, во-первых, алгоритм составления композитного индекса из нормированных показателей суммированием по блокам с равными коэффициентами вхождения в формулу при нормировке, предложенной Всемирным бан-
ком 6. Во-вторых, рассчитан модифицированный коэффициент Альфа из формулы Хельвига 7 [15], которая определяет позицию каждого многомерного показателя, входящего в агрегат, исходя из эталонного значения (в данном случае - шах), в-третьих, по алгоритму величины М 8, рассчитываемой как сумма удельных значений «среднего» для каждого из признаков
6 Нормирование показателей осуществлялось по формуле, предложенной в [16], которую автор преобразовал применительно к регионам. Совокупность данных по показателю а ранжируется по N регионам, вошедшим в выборку, приобретая ранг от 1 до N. После этого вычисляется показатель Мхц - число регионов, чьи показатели а хуже, чем у оцениваемого региона ц. Затем это число сопоставляется с общим числом регионов в рассматриваемой выборке из N регионов по формуле: Яа = 10 • (Na|/N -1), где Яа - нормированное значение абсолютного
показателя оцениваемого региона по какому-то показателю (в нашем случае это показатели, входящие в состав частных четырех индексов, образующих суммированием с равными весовыми коэффициентами интегральный индекс экономики знания. Индекс экономики знаний (ИЭЗ) - это средний из четырех индексов (институционального режима, образования, инноваций, ИКТ), подробнее см.: [13; 14; 16].
7 Данный метод применяется для совокупности объектов, характеризуемых большим числом признаков. Его
основу составляет таксономический показатель уровня развития, который представляет собой синтетическую величину, «равнодействующую» всех признаков, характеризующих единицы исследуемой совокупности, что позволяет с его помощью линейно упорядочить элементы данной совокупности [12; 17; 18]. Признаки, включенные в матрицу наблюдений, неоднородны, так как описывают разные свойства объектов. Кроме того, различаются единицы их измерения, что затрудняет выполнение некоторых операций. Поэтому проводим процедуру стандартизации. Это преобразование производится в соответствии с формулой, представляющей собой стандартизированное значение признака к для единицы г:
St
_ 1 <
Причем хк = — V хк - среднее арифметическое значение признака к; ю - число единиц объектов; п - число при-
<ю г=1
знаков; хгк - значение признака к для единицы г.
S„-
1
1 ™ _ —Z(- xi )2
ю ti _
есть стандартное отклонение признака к, к = 1, п.
Следующий шаг - дифференциация признаков матрицы наблюдений. Все переменные делятся на стимуляторы и дестимуляторы. Разделение признаков на стимуляторы и дестимуляторы служит основой для построения так называемого эталона развития, который представляет собой точку P0 с координатами z01,z02,...,z0n, где
z0s = max zrs, если s e I; z0s = min zrs, если s ( I (s = 1,n); I - множество стимуляторов; zs - стандартизированное значение признака s для единицы r.
Расстояние между отдельными точками - единицами и точкой P0, представляющей эталон развития, обозначается ci0 и рассчитывается следующим образом:
1
п 2 2 — ciо = Z(zis - zos) , ' =1 ю.
_ s=1 _
Полученные расстояния служат исходными величинами, используемыми при расчете показателя уровня развития:
ct 0
— i 0 0
а г =
c
_ _ 1 ш
где c0 = c0+2S0; c0 =—Zci0; S0 =
Wj
1 " _
— Z(ci0 - c0)2
W i=1
Показатель уровня развития аг характеризуется тем, что является величиной положительной, и лишь с вероятностью, близкой к нулю, может оказаться больше единицы. Интерпретация его следующая: данная единица находится на тем более высоком уровне развития, чем ближе значение показателя уровня развития к нулю.
На практике обычно используется модифицированный показатель развития а 1 = 1 - —.
' С0
Интерпретируется он следующим образом: данный объект тем более развит, чем ближе значение показателя уровня развития к единице. Показатель уровня развития служит для статистической характеристики множества объектов. С его помощью можно оценить достигнутый в некоторый период «средний» уровень значений признаков, характеризующих изучаемое явление.
8 Однако проведение анализа изменений, происходящих за некоторый промежуток времени, оказывается затруднительным, так как, вообще говоря, нормирующая величина с0, а также координаты эталона развития подвергаются изменениям. Существует другой способ измерения «среднего» уровня значений признаков. Абсолют-
x„. — x
ik
k
Z„. =
ik
ИЭЗ, отнесенного к соответствующему стандартному отклонению значения соответствующего признака к, что может упрощать применение метода Хельвига для показателей за ряд лет [15. С. 34-35]. Разницу оценок можно наблюдать в табл. 4. Ранги значений оценок, полученных методом Хельвига и методом формирования сводного индекса из четырех блоков, включающих 9 показателей для ИЭЗ, дают достаточно близкие оценки (см. табл. 4).
Таблица 4
Сравнение рангов оценок модифицированного коэффициента Альфа, М (9) и ИЭЗ (9) по отдельным субъектам РФ за 2010 г.
Субъект РФ Модифицированный коэффициент Альфа М ИЭЗ
Республика Башкортостан 28 37 15
Республика Бурятия 56 42 63
Республика Дагестан 81 77 69
Республика Ингушетия 82 83 68
Республика Калмыкия 49 75 67
Карачаево-Черкесская республика 79 82 62
Республика Карелия 15 21 48
Республика Коми 27 11 40
Республика Марий Эл 77 75 77
Республика Мордовия 66 68 65
Республика Саха (Якутия) 45 34 51
Республика Северная Осетия - Алания 80 74 71
Республика Татарстан 12 21 8
Республика Тыва 75 73 81
Удмуртская республика 52 49 37
Республика Хакасия 41 54 74
Чеченская республика 83 81 83
Чувашская республика 54 53 47
Алтайский край 36 29 24
Забайкальский край 71 72 73
Камчатский край 26 16 56
Краснодарский край 21 44 17
Красноярский край 7 5 11
Пермский край 9 7 10
Приморский край 19 19 20
Ставропольский край 38 38 30
Хабаровский край 20 18 31
Амурская область 67 65 66
Архангельская область 74 70 59
ный показатель уровня развития рассчитывается следующим образом: М1 х'Л, причем хкк = Хк, где хгк -
к=1 ^к
значение признака к для объекта г; 8к - стандартное отклонение значений признака к.
Используемые в данной формуле значения признаков х[к всегда положительны, поэтому и значения показателя М1 всегда положительны. Экономическая интерпретация абсолютного показателя уровня развития выглядит следующим образом: г-й объект достиг тем более высокого уровня развития, чем больше значение показателя Мг..
Окончание табл. 4
Субъект РФ Модифицированный коэффициент Альфа М ИЭЗ
Астраханская область 58 60 55
Белгородская область 53 47 36
Брянская область 76 80 60
Владимирская область 46 51 33
Волгоградская область 35 35 27
Вологодская область 39 39 42
Воронежская область 17 8 13
Ивановская область 42 39 45
Иркутская область 16 26 18
Калининградская область 13 32 25
Калужская область 23 9 23
Кемеровская область 64 63 32
Кировская область 57 54 43
Костромская область 48 48 54
Курганская область 59 60 70
Курская область 65 61 46
Ленинградская область 30 33 26
Липецкая область 73 63 58
Магаданская область 24 21 61
Московская область 3 12 4
Мурманская область 31 17 35
Нижегородская область 8 6 6
Новгородская область 43 47 50
Новосибирская область 4 4 3
Омская область 22 25 19
Оренбургская область 63 65 39
Орловская область 55 45 52
Пензенская область 32 30 29
Псковская область 62 69 63
Ростовская область 11 14 5
Рязанская область 51 36 41
Самарская область 10 15 8
Саратовская область 44 41 21
Сахалинская область 14 13 44
Свердловская область 33 43 14
Смоленская область 69 66 49
Тамбовская область 70 57 57
Тверская область 47 52 38
Томская область 5 3 16
Тульская область 60 49 34
Тюменская область 6 10 7
Ульяновская область 40 20 28
Челябинская область 18 31 12
Ярославская область 29 21 22
Москва 1 1 1
Санкт-Петербург 2 2 2
Еврейская автономная область 50 68 79
Источник: расчеты авторов, цветом выделены субъекты СФО.
Расчеты для ИЭЗ разными методами (методом Хельвига) и методом Всемирного банка (ВБ), т. е. суммирования 4 частных индексов (групп нормированных показателей, образующих частный индекс при равных весах вхождения в формулу), дают разные результаты. Для центральных городов РФ и Новосибирской области они опять-таки достаточно близки (рис. 2).
Так, в более наглядной графической форме видно, что даже в рамках одного подхода при разных нормировках и алгоритмах построения интегрального индекса оценки для регионов отличаются, например, существенно для Томской области. Однако если их рассчитать по методу Хельвига, они достаточно близко совпадают с оценками по методике НАИРИТ (см. табл. 3). Кроме того, наблюдается устойчивость оценок регионов, попавших в рейтинг Топ-5, по обоим алгоритмам (рис. 3).
Можно сделать вывод, что метод Хельвига несколько занижает значение ИЭЗ в качестве показателя уровня инновационного развития региона, но оба метода в целом дают совпадающую картину оценки, что свидетельствует о достоверности расчетов.
Динамику показателя уровня инновационного развития можно отслеживать на практике по модифицированному коэффициенту Альфа (рис. 4, 5). Содержательно он показывает, чем значение коэффициента ближе к 1, тем выше уровень развития. Из рис. 4 следует, что Новосибирская область (НСО) устойчиво держит лидерство в СФО. Наиболее близко к НСО особенно в последние годы приближаются Томская область и Красноярский край, хотя резкого изменения этих коэффициентов по регионам СФО не наблюдается.
Рис. 2. Сравнение результатов оценки индекса экономики знаний регионов Сибирского федерального округа по различным алгоритмам формирования композитного индекса, 2010 (Источник: расчеты авторов)
в
Рис. 3. Рейтинг Топ-5:
а - по индексу экономики знания (методика ВБ по расчету ИЭЗ, адаптированная к РФ); б - по индексу инновационного развития региона методом Хельвига (модифицированный коэффициент Альфа; без учета образования); в - по индексу инновационного развития региона методом Хельвига (модифицированный коэффициент Альфа; с учетом образования)
Рис. 4. Динамика абсолютных значений модифицированного коэффициента Альфа: лидеры и вторая лига инновационных регионов из состава субъектов СФО (Москва имеет значение 0,989, Санкт-Петербург - 0,746 в 2010 г.) (Источник: расчеты авторов)
Рис. 5. Динамика рейтинга модифицированного коэффициента Альфа для регионов СФО в общероссийском списке (Москва имеет рейтинг 1) (Источник: расчеты авторов)
Основные результаты
Обобщена методическая схема для аналитики и визуализации уровня инновационного развития региона, написана программа и проведена ее апробация для программного комплекса, позволяющего строить гибкие алгоритмы и проводить сопоставления результатов расчетов для композитных индексов, в том числе оценки ИЭЗ регионов.
Обзор методик и сравнение количественных оценок уровня инновационного развития регионов выявили потребность в создании гибко настраиваемых модельных аналитических комплексов, позволяющих выполнять аналитику и визуализацию результатов по разным методикам. При этом возможно использовать одну базу данных, на которой можно как верифицировать различные методики оценки инновационного развития субъектов РФ, так и сравнивать их результаты между собой для того, чтобы выявить место регионов с учетом наиболее значимых факторов инновационного развития, приводящих к схожим результатам при разных методах расчетов. Это естественное требование возникает в практике принятия решений (особенно при выделении значимой финансовой поддержки регионам), позволяющей судить о достоверности полученных оценок, на основе которых строятся различные типологии лидеров, средних и отсталых регионов.
В этой связи можно констатировать, что набор аналитических средств расширяется (см., например, [1; 5; 16] и др.), а пользователям требуется работа «в одном окне», позволяющем перепроверить или сопоставить полученные оценки различных инновационных характеристик субъектов РФ, в том числе и рейтингов по разным методикам в рамках одного рабочего места. Немаловажное значение имеет и удобство в виде гибкости настраивания пакета, работающего с системой отобранных показателей, возможность визуального сравнения результатов полученных по отдельным методикам. Более того, расширяются возможности электронной базы федеральных и региональных ресурсов, которые могут быть «закачаны» в такой модельный комплекс. Демоверсия комплекса аналитики и визуализации может содействовать обучению как студентов, так и государственных служащих, ведущих мониторинг развития инновационной деятельности в регионах, в том числе и проводить межрегиональные сравнения.
Методология, лежащая в основе разработки такого модельного комплекса, позволяет проводить анализ различных интегральных показателей инновационного развития и отдельных составляющих композитных индексов, т. е. субиндексов. Субиндекс показывает уровень развития выделенной группы факторов одного содержательного блока в сравнении с другим блоком (например, патентной активности и оснащенности информационно-коммуникационными технологиями), а их композиция позволяет вычислять «сводное» значение уровня инновационного развития региона, поскольку один фактор может быть значимо развит, а другой менее. Так, существуют регионы - лидеры по НИОКР, и регионы - лидеры по инновационному развитию, и достаточно мало таких, где и тот и другой фактор представлены на достаточно высоком уровне. Сам композитный индекс можно трактовать как инновационный статус региона, потому что он количественно равен рейтингу-месту в списке, показывающему позицию по уровню инновационного развития, учитывающего различные показатели, содержащиеся в статистике науки, инноваций, промышленности, общего экономического развития и др.
Ядром такого аналитико-визуализационного комплекса могут быть следующие компоненты:
1) показатели, имеющиеся в ежегодной официальной статистике, а также показатели, собираемые экспертно;
2) методики, имеющие наиболее широкое хождение, которые могут подвергаться «аудиту» или методики, вновь разрабатываемые, как правило, должны содержать следующую логическую последовательность.
Первый этап. Отбор показателей на базе официальной статистики или данных выборочных обследований, экспертных оценок для их включения в систему индикаторов, обеспечивающую комплексность учета различных факторов, влияющих на интегральный рейтинг инновационного развития региона. Первый этап базируется на результатах качественного
Рис. 6. Пример возможности введения в комплекс библиотек алгоритмов нормирования
анализа или теоретически предлагаемых гипотезах, а также результатах корреляционного анализа, факторного анализа, и др.
Второй этап. Группировка показателей в содержательные блоки (см., например, иерархическую структуру российского инновационного индекса по методике ГУ ВШЭ или НАИРИТ). Кроме того, второй этап включает работу по переходу от абсолютных показателей к нормированным, учет экстремальных значений или так называемую «трансформацию» показателей с учетом кривой распределения значений в группе и их асимметрии).
Третий этап. Использование различных шкал нормирования показателей по каждому содержательному блоку.
Четвертый этап. Выбор алгоритмов для расчетов композитного индекса с учетом весовых коэффициентов и индивидуального ранга региона по каждому отобранному показателю или блоку показателей. В развитых аналитико-визуальных комплексах, по-видимому, должна также содержаться опция, обеспечивающая работу как с позитивными, так и негативными характеристиками, влияющими на развитие региона, при построении композиции, возможность сравнения результатов по различным методикам, построения эталонов и сравнения с эталонными объектами, со средними значениями по совокупности и др.).
Пятый этап. Ранжирование количественных значений композитного индекса для объектов, т. е. позиционирование по уровню инновационного развития регионов.
Шестой этап. Построение типологий регионов (на основе однофакторного анализа или других экспертных методов с учетом пограничных значений выявляемых групп).
Седьмой этап. Визуализация - представление результатов в табличной, графической и картографической визуальной форме: страны мира, субъекты РФ; федеральные округа; произвольно выбираемая совокупность регионов в зависимости от задач анализа. Например, создаются аналитические проекты для АИРР, ресурсных регионов страны, регионов с высокой концентрацией научно-технического потенциала, регионов дислокации ВПК и др.
Авторы, опираясь на логику названных этапов, создали программный комплекс ПАВИ-СЭР, предназначенный для организации, хранения, обработки данных, анализа и визуализации индикаторов социально-экономического и инновационного развития административно-территориальных единиц России. Он, в частности, использовался для верификации алгоритмов расчета ИЭЗ и позволил создать графические иллюстрации сравнительных результатов оценок по трем алгоритмам в данной статье.
Первая версия авторского программного обеспечения всех этапов аналитико-визуа-лизационного комплекса была создана в 2013 г., проходит апробацию на экономическом факультете в НГУ 9 и передана для патентования. Фрагмент расчета различных способов нормирования приведен на рис. 6.
Таким образом, программный комплекс ПАВИСЭР позволяет: а) извлекать данные из стандартных форм статистической отчетности; б) организовывать их хранение и трансформацию индикаторов согласно вводимым пользователем ограничениям; в) создавать и вести библиотеку алгоритмов, конструируемых пользователем; г) обрабатывать массивы информации с применением как заранее определенных, так и конструируемых пользователем алгоритмов; д) визуализировать получаемые результаты в различных формах (табличная, картографическая и диаграммы) с возможностью интерактивного взаимодействия и сохранения результатов расчетов и визуализации в различных форматах. Его практическое применение расширяет возможности прикладного анализа различных композиций из показателей, характеризующих развитие регионов России.
Список литературы
1. Сиротин В. П., Кузьмин О. М. Моделирование инновационного потенциала региона. URL: finbiz.spb.ru/dounload/4_2008_sirotin.pdf
2. Моисеев В. И. Презентация ИСИ. М., 2012.
3. Унтура Г. А. Стратегическая поддержка регионов России: проблемы оценки статуса территорий инноваций // Регион. 2012. № 1. С. 123-141.
4. Киселев В. Н. Сравнительный анализ инновационной активности субъектов Российской Федерации // Инновации. 2010. № 4. C. 44-55.
5. Семенова Р. И. Сравнительный анализ применения инструментов поддержки инновационной деятельности, а также механизмов реализации инновационной политики в субъектах Российской Федерации: выявление лучших практик. URL: http://regconf.hse.ru/ uploadsZc7f5b686a8a833cd2b357bd0155ac33739b4233b.doc
6. Канева М. А., Унтура Г. А. Диагностика инновационного развития Сибири // Регион. 2013. № 2. С. 173-197.
7. Халимова С. Инновационная деятельность российских региональных систем. _Saarbrucken: LAP Lambert AcademicPubl., 2011. 115 с.
8. Валиева О. Российские региональные инновационные системы. Характеристика и анализ. Saarbrucken: LAP Lambert Academic Publ., 2011. 192 с.
9. Казанцев С. В. Масштабы инновационной деятельности в субъектах Федерации // Регион: экономика и социология. 2012. № 4. С. 111-138.
10. Лавровский Б. Л. К вопросу об изменении инновационного фактора: региональный аспект // Регион: экономика и социология. 2012. № 4. С. 171-182.
11. Марков Л. С., Ягольницер М. А. Кластеры: формализация взаимосвязей в неформализованных производственных структурах. Новосибирск, 2006.
12. Унтура Г. А., Комиссарова И. Г., Ушаков Ф. А. Методы обработки данных для построения комплексных (интегральных) индикаторов и классификации объектов. Новосибирск, 1998. 75 с.
13. Унтура Г. А. Перспективные вложения для развития экономики знаний: общероссийские и региональные тенденции // Регион: экономика и социология. 2009. № 1. С. 64-84.
9 Программный комплекс реализован на платформе Java SE. Он состоит из 3 блоков - блока работы с данными, блока анализа и блока визуализации. Блок работы с данными предоставляет возможность сбора, хранения и извлечения значений социально-экономических индикаторов, определенных для некоторого ряда регионов и лет. В его основе лежит база данных (реализованная в виде файла MS Access). Блок анализа обеспечивает вычисление расчетных параметров на основе показателей, хранящихся в базе данных, согласно задаваемым пользователем алгоритмам. Блок визуализации предоставляет возможность визуализации как расчетных параметров, так и показателей, хранящихся в БД, в различных формах (таблица, диаграмма и картограмма), а также позволяет сохранять результаты работы.
14. Chen D., Dahlman K. The Knowledge Economy, the KAM Methodology and World Bank Operations // World Bank Institute Working Paper No. 37256. October 2005. URL: http://siteresources.worldbank.org/KFDLP/Resources/KAM_Paper_WP.pdf
15. Инновационный вектор экономики знания / Под ред. Г. А. Унтуры. Новосибирск: Наука, 2011. 271 с.
16. Гапоненко А. Контуры наукоемкой экономики // Экономика. 2005. № 10. С. 56-66.
17. Плюта В. Сравнительный многомерный анализ в экономических исследованиях. М.: Статистика, 1980.
18. Hellwig Z. Zastosowanie metody taksonomicznej do typologocznego podzialu krajov ze wzgledu na poziom ich rozwoju i structure wykwalificowanych kadr // Przeglad Statictyczny. 1968. № 4. S.307-324.
Материал поступил в редколлегию 13.11.2013
G. A. Untura 1 2, T. N. Esikova 1 2, I. D. Zaytsev 3, O. N. Moroshkina 1
1 Institute of Economics and Industrial Engineering of the Siberian Branch of the RAS 17 Lavrentiev Ave., Novosibirsk, 630090, Russian Federation
2 Novosibirsk State University 2 Pirogov Str., Novosibirsk, 630090, Russian Federation
3 Institute of Informatics Systems of the Siberian Branch of the RAS 6 Lavrentiev Ave., Novosibirsk, 630090, Russian Federation
[email protected]; [email protected]
PROBLEMS AND RESEARCH TOOLS DEVELOPED THE LEVEL OF INNOVATIVE DEVELOPMENT OF RUSSIAN REGIONS
The authors examine the approaches and compare the assessment of the level of innovative development of Russian regions by various known methods. Particular attention is paid to the discrepancy to the different methods caused a set of parameters describing the combined index of innovative development and algorithms used in its calculation. It showed a methodical scheme of creation of original software for analytics and visualization of complex indicators of innovative development, which allows to compare results across existing or new flexibility formed by the algorithms in accordance with the purposes of analysis and expertise to develop solutions for the various levels of government. Illustrations are given on the testing program for the calculation of certain types of composite indexes.
The estimation of the level of innovative development is performed by methods, which have different set of indicators and algorithms. Purpose of the article - the analysis methods to assess the composite index of Regional Development to create a general scheme for its calculation based on the original software.
The methodology of the study includes the comparison of the empirical results of different methods in order to create a computer program that contains a library of algorithms for analysis and visualization.
The research result - scheme of constructing the composite index and its interregional comparisons. It is shown that the application of different algorithms provide similar estimates the level of innovative regional development - leaders such as Moscow and St. Petersburg, Nizhny Novgorod
region. At the same time there is a big difference estimates for most regions. Verification of scheme for calculating the composite index is made by some techniques on the example of assessing the knowledge economy index regions of Russia.
The software package allows to create and maintain a library of algorithms constructed by the user, visualization results. Its practical application extends the capabilities of the applied analysis of various formulations of indicators characterizing the development of Russian regions.
Keywords: level of innovation development, subject of the federation , the index of knowledge economy, algorithm, software package, composite index.
References
1. Sirotin V. P., Kuz'min O. M. Modelirovanie innovatsionnogo potentsiala regiona [Modelling Innovative Potential of the Region]. URL: finbiz.spb.ru/dounload/4_2008_sirotin.pdf (In Russ.)
2. Moiseev V. I. Prezentatsiya ISI [Presentation ISI]. Moscow, 2012.
3. Untura G. A. Strategicheskaia podderzhka regionov rossii: problemy otsenki statusa territorii innovatsii [Strategic Support of Russian Regions: Problem of Assessing of the Territories Innovation Status]. Region, 2012, no. 1, p. 123-141. (In Russ.)
4. Kiselev. V. N. Sravnitel'nyi analiz innovatsionnoi aktivnosti sub'ektov Rossiiskoi Federatsii [Comparative Analysis of Innovation Activity of the Russian Federation Subjects]. Innovatsii, 2010. № 4. (In Russ.)
5. Semenova R. I. Sravnitel'nyi analiz primeneniia instrumentov podderzhki innovatsionnoi deiatel'nosti, a takzhe mekhanizmov realizatsii innovatsionnoi politiki v sub'ektakh Rossiiskoi Federatsii: vyiavlenie luchshikh praktik [Comparative Analysis of the Use of Instruments to Support Innovation and the Mechanisms for Innovation Policy in the Russian Federation Subjects: Definition of Best Practices]. URL: http://regconf.hse.ru/uploads/c7f5b686a8a833cd2b357bd0155 ac33739b4233b.doc (In Russ.)
6. Kaneva M. A., Untura G. A. Diagnostika innovatsionnogo razvitiia Sibiri [Diagnosis of Innovative Development of Siberia]. Region, 2013, no. 2, p. 173-197. (In Russ.)
7. Khalimova S. Innovatsionnaia deiatel'nost' rossiiskikh regional'nykh system [Innovative Activities of Russian regional systems]. Saarbrucken, LAP Lambert Academic Publ., 2011, 115 p. (In Russ.)
8. Valieva O. Rossiiskie regional'nye innovatsionnye sistemy. Kharakteristika i analiz [The Russian Regional Innovation Systems. Characterization and Analysis]. Saarbrucken, LAP Lambert Academic Publ., 2011. 192 p. (In Russ.)
9. Kazantsev S. V. Masshtaby innovatsionnoi deiatel'nosti v sub"ektakh Federatsii [The Scale of Innovation of the Russian Federation Subjects]. Region: ekonomika i sotsiologiia, 2012, no. 4, p. 111-138. (In Russ.)
10. Lavrovskii B. L. K voprosu ob izmenenii innovatsionnogo faktora: regional'nyi aspect [On the Issue of Measuring an Innovation Factor: Regional Aspect]. Region: ekonomika i sotsiologiia, 2012, no. 4, p. 171-182. (In Russ.)
11. Markov L. S., Iagol'nitser M. A. Klastery: formalizatsiia vzaimosviazei v neformalizovan-nykh proizvodstvennykh strukturakh [Clusters: Formalizing Relationships in the Unformalized Production Structures]. Novosibirsk, Publishing House of SB RAS, 2006. (In Russ.)
12. Untura G. A., Komissarova I. G., Ushakov F. A. Metody obrabotki dannykh dlia postroeniia kompleksnykh (integral'nykh) indikatorov i klassifikatsii ob'ektov [Data Processing Methods for Constructing Complex (Integrated) Indicators and Classification of Objects]. Novosibirsk, 1998. 75 p. (In Russ.)
13. Untura G. A. Perspektivnye vlozheniia dlia razvitiia ekonomiki znanii: obshcherossiiskie i regional'nye tendentsii [Prospective investments for the development of the knowledge economy: national and regional trends]. Region: ekonomika i sotsiologiia, 2009, № 1, p. 64-84. (In Russ.)
14. Chen D., Dahlman K. The Knowledge Economy, the KAM Methodology and World Bank Operations. World Bank Institute Working Paper No. 37256, October 2005. URL: http:// siteresources.worldbank.org/KFDLP/Resources/KAM_Paper_WP.pdf
15. Untura G. A. (ed.) Innovatsionnyi vektor ekonomiki znaniia [Innovative Vector Knowledge Economy]. Novosibirsk, Nauka Publ., 2011, 271 p. (In Russ.)
16. Gaponenko A. Kontury naukoemkoi ekonomiki [Contours of the Knowledge Economy]. Ekonomika, 2005, no. 10, p. 56-66. (In Russ.)
17. Pliuta V. Sravnitel'nyi mnogomernyi analiz v ekonomicheskikh issledovaniiakh [Comparative Multivariate Analysis in the Economic Research]. Moscow, Statistika Publ., 1980. (In Russ.)
18. Hellwig Z. Zastosowanie metody taksonomicznej do typologocznego podzialu krajov ze wzgledu na poziom ich rozwoju i structure wykwalificowanych kadr. Przeglad Statictyczny, 1968, no. 4, p. 307-324. (In Pol.)
