CC BY
11
Вестн. Моск. ун-та. Сер. 21. Управление (государство и общество). 2012. № 3
СОВРЕМЕННЫЕ УПРАВЛЕНЧЕСКИЕ ТЕХНОЛОГИИ
Л.Г. Судас, А.А. Оносов
СОЦИОЛОГИЧЕСКИЙ МОНИТОРИНГ: ЛОГИКА И ПРАКТИКА ПОСТРОЕНИЯ НАЦИОНАЛЬНОЙ СИСТЕМЫ
В статье изложены результаты социологического компонента совместного Проекта Правительства РФ и Всемирного банка «Модернизация и техническое перевооружение учреждений и организаций Росгидромета». Описывается опыт конструирования, апробации и внедрения национальной системы мониторинга качества метеорологического обслуживания в России.
Ключевые слова: социологический мониторинг, методология мониторинга, Всемирная Метеорологическая Организация (ВМО), Росгидромет, гидрометеорологический прогноз, метеообслуживание.
The results of sociological component of joint Project Russian Government and World Bank "Modernization and Technical Rearm of Establishments and Organizations of Roshydromet" are represented. Describes the experience of designing, testing and implementation of a national monitoring of the quality of meteorological services in Russia.
Key words: sociological monitoring, methodology of monitoring, World Meteorological Organization (WMO), Roshydromet, hydrometeorological forecast, meteorological services.
В конце 2011 г. был завершен совместный Проект Правительства РФ и Всемирного банка «Модернизация и техническое перевооружение учреждений и организаций Росгидромета». Основной целью Проекта являлось повышение потенциала Росгидромета — улучшение и расширение его возможностей с точки зрения предоставления востребованных продуктов и услуг в области гидрометеорологии и смежных с ней областях Правительству Российской Федерации, другим органам власти различных уровней, населению за счет перевооружения основных элементов технической и технологической базы Росгидромета, усиления его организационной
Судас Лариса Григорьевна — доктор философских наук, профессор факультета государственного управления МГУ имени М.В. Ломоносова, руководитель исследования; e-mail- sudaslg@spa.msu.ru
Оносов Александр Аркадьевич — кандидат философских наук, ведущий научный сотрудник МГУ имени М.В. Ломоносова, руководитель аналитической службы исследования; e-mail: sasha@msu.ru
труктуры, изменения логики взаимодействия с клиентами. В рамках Проекта была выполнена не имеющая аналогов в деятельности Росгидромета программа по разработке концепции, методологии и методики, инструментария и дизайна и практического внедрения национальной системы мониторинга оценки пользователями услуг Росгидромета1.
Проект был вызван жесточайшей необходимостью в связи с тем предкатастрофическим положением, в котором национальная служба погоды оказалась к началу 2000-х гг.
Федеральная служба России по гидрометеорологии и мониторингу окружающей среды (Росгидромет) является одной из первых метеорологических организаций мира. В 1834 г. по «высочайшему соизволению» императора Николая I в Санкт-Петербурге при Корпусе горных инженеров была учреждена Нормальная магнитно-метеорологическая обсерватория. С этого исторического момента метеорологическая служба России начала вести регулярные метеорологические и магнитные наблюдения по единому руководству.
Россия первой выступила с призывом создать международную систему метеонаблюдений. И в 1873 г. Венский метеорологический конгресс учредил Международный метеорологический комитет, а в 1879 г. на Первом международном конгрессе президентом Международного метеорологического комитета (на 17 лет!) был избран российский академик Генрих Иванович Вильд.
В соответствии с законодательством Российской Федерации главной целью деятельности Федеральной службы по гидрометеорологии и мониторингу окружающей среды (Росгидромет) является снижение угрозы жизни населения, ущерба окружающей среде и экономике страны от погодных и климатических явлений.
Росгидромет выполняет важные международные функции. Российская Федерация подтвердила свои обязательства, принятые еще в 1960-х гг. СССР, по обеспечению функционирования всемирной метеорологической сети, общее координирование которой осуществляется Всемирной метеорологической организацией ООН (ВМО). Данные, генерируемые наблюдательной сетью РФ, составляют 10% от всего массива данных, передаваемых по сети Всемирной метеорологической организации и используемых для составления ежедневных прогнозов погоды. Мировой метеорологический центр в Москве является одним из трех мировых центров (два других располагаются в Вашингтоне и Мельбурне), в функции которых входит составление и передача ежедневных глобальных прогнозов
1 Исследование выполнено в 2005—2011 гг. на базе Центра политической конъюнктуры. Руководитель исследования — Л.Г. Судас, руководитель аналитической службы исследования — А.А. Оносов.
погоды, выступающих в качестве основы синоптических моделей отдельных регионов мира, а также разработка новых подходов к составлению глобальных прогнозов. Архив Всероссийского научно-исследовательского института гидрометеорологической информации (ВНИИГМИ), расположенного в Обнинске, является Мировым центром данных. Региональные специализированные центры Росгидромета в Хабаровске и Новосибирске являются региональными метеорологическими учреждениями ВМО с географической специализацией прогнозирования. Главная геофизическая обсерватория им. А.И. Воейкова является Мировым центром данных, который ведет глобально значимые базы данных по солнечной радиации. Росгидромету принадлежит также важная роль в глобальном международном обмене гидрометеорологическими данными. Москва включена в качестве одного из узлов в состав телекоммуникационной инфраструктуры, обеспечивающей связь между национальными метеорологическими организациями по всему миру.
Таким образом, Росгидромет принимает самое активное участие в обеспечении функционирования всех систем ВМО: Глобальной системы наблюдений; Глобальной системы телесвязи (ГСТ); управлении базами данных; Глобальной системы обработки данных.
Переход России к рыночной экономике создал чрезвычайно сложные условия для эффективного выполнения Росгидрометом своих внутренних и международных функций. В связи с дефицитом финансирования начиная с 1987 г. Росгидромет был поставлен перед труднейшей задачей не только обеспечения функционирования системы, но в отдельные периоды и ее сохранения. Из-за хронического недофинансирования значительно (почти в два раза) сократилась численность персонала Росгидромета, практически не обновлялась техническая база, ухудшалось состояние наблюдательных сетей. В период с 1994 по 2000 г. бюджетное финансирование составляло в разные годы лишь 28—41% реальной потребности Росгидромета. В связи с острым дефицитом финансирования к концу 1990-х гг. Росгидромет вынужден был закрыть около 30% наземных станций сбора данных. Использовавшееся на них оборудование устарело морально и физически и постоянно требовало значительных затрат на эксплуатацию и обслуживание. В результате из 130 аэрологических станций, приходившихся на долю России во всемирной сети, насчитывавшей 1000 станций, было закрыто около 30. А между тем данные о состоянии верхних слоев атмосферы, получаемые с помощью аэрозондов, являются важнейшей составляющей численных методов метеорологического прогнозирования. Кроме того, к началу 2000-х гг. либо уже сошли с орбиты, либо функционировали неудовлетворительно и российские метеорологические спутники. Лишь отдельные наземные станции спут-
никовой связи Росгидромета были способны принимать данные с международных спутников.
Масштабной и безотлагательной модернизации требовала и гидрологическая сеть России. Каждый год потери национальной экономики от наводнений составляли 1—1,4 млрд долл. США. Крайне неудовлетворительным было состояние средств связи. Нередко (особенно на отдаленных станциях) данные все еще передавались в виде телеграмм или с помощью сигналов азбуки Морзе, от которой более передовые метеорологические службы отказались еще в 60-х гг. минувшего столетия.
Повышение качества прогнозирования в решающей степени зависит от привлекаемых вычислительных мощностей и совершенствования методов расчетов, работу же вычислительного центра Росгидромета обеспечивал один суперкомпьютер «CRAY», установленный примерно за 10 лет до описываемого периода. Несмотря на острый дефицит финансирования, Мировой метеорологический центр (ММЦ) ВМО в Москве сделал все возможное для максимально эффективного использования имеющейся вычислительной базы за счет совершенствования программного обеспечения и моделирования. Однако по быстродействию компьютерный парк Росгидромета примерно в 1000 раз уступал аналогичным международным центрам, притом что вычислительный потенциал Росгидромета достиг своего предела. Общее положение осложнялось еще и тем, что качество носителей данных, аккумулируемых и архивируемых во Всероссийском НИИ гидрометеорологической информации — Мировом центре данных (ВНИИГМИ-МЦД) в Обнинске, стремительно ухудшалось. Эти данные, сохранность и доступность которых имеет огромное международное значение, хранившиеся на бумаге, магнитных лентах и в виде микрофильмов, необходимо было срочно оцифровать, перевести в электронное представление, в противном случае они могли быть утеряны безвозвратно.
Таким образом, состояние материально-технической базы в Росгидромете, который десять лет фактически боролся за свое выживание, было близко к катастрофическому. Ухудшение затронуло все компоненты системы Росгидромета — наблюдательные сети, системы передачи данных, средства архивации и обработки данных, научно-исследовательскую базу. В результате такого рода энтропийных процессов качество прогнозов Росгидромета, несмотря на наличие в его штате высококвалифицированных специалистов, стало значительно уступать качеству метеорологических служб конкурирующих стран по таким ключевым параметрам, как достоверность и заблаговременность. Другим еще более серьезным следствием такого положения дел явилось явное снижение уровня предупреждения и защиты от опасных погодных и природных яв-
лений, который можно было бы обеспечить, принимая во внимание квалификацию и достижения российских метеорологов. По информации Росгидромета, число опасных природных явлений, не предсказанных Росгидрометом, в сопоставлении с количеством фактически имевших место опасных явлений выросло с 6,1% в 1993 г. до 23,1% в 2001 г. В начале нынешнего века каждое четвертое реально наблюдавшееся на территории РФ опасное природное явление не было предсказано соответствующим прогнозом Росгидромета.
Проект модернизации Росгидромета
В связи с обеспокоенностью Правительства РФ тем, что ухудшение состояния инфраструктуры Росгидромета приведет к увеличению потерь в экономике России и не позволит Российской Федерации в полной мере выполнять свои обязательства перед Всемирной метеорологической организацией, в течение 2002 г. в установленном порядке были проведены переговоры с международными финансовыми организациями о привлечении средств на финансирование технического перевооружения учреждений и организаций Росгидромета, обеспечивающих осуществление функций Мирового метеорологического центра в г. Москве. В 2002— 2004 гг. Росгидрометом был подготовлен проект модернизации и технического перевооружения подведомственных учреждений и организаций, а в 2005 г. для финансирования данного проекта было подписано Соглашение о займе на сумму 80,0 млн долл. США. Со-финансирование российской стороны первоначально составляло 53,3 млн долл. США, а в 2009 г. было увеличено до 99,2 млн долл. США. Проект был завершен в конце 2011 г.
Основная цель Проекта — повышение точности прогнозов, предоставляемых населению, органам государственной власти и отраслям экономики Российской Федерации за счет модернизации и технического перевооружения материально-технической базы подведомственных учреждений и организаций, институционального укрепления Росгидромета.
Компоновка Проекта была направлена на поддержание курса Правительства на восстановление Росгидромета. Во-первых, проект способствовал возрождению Росгидромета как одной из ведущих национальных метеорологических служб, обеспечивающих предоставление достоверных и своевременных прогнозов погоды на глобальном, региональном и локальном уровнях. Во-вторых, проект оказал содействие достижению цели, поставленной Правительством РФ, — обеспечению выполнения Росгидрометом международных обязательств РФ в рамках ее членства в ВМО, а также в рамках других международных соглашений, подписанных и ра-
тифицированных Российской Федерацией. В-третьих, реализация проекта способствовала сокращению потерь в экономике, вызванных экстремальными погодными явлениями, посредством предоставления прогнозов, которые используются при принятии решений для снижения уровня риска и сокращения ущерба. В-четвертых, реализация проекта позволяет предотвратить по возможности гибель людей.
Проект был ориентирован на восстановление потенциала организации за счет модернизации ключевых компонентов технической базы Росгидромета и институционального укрепления. Он включал в себя четыре стратегических направления: техническое перевооружение вычислительных средств, архивации и средств связи; модернизацию сетей наблюдения; институциональное укрепление, совершенствование методов распространения информации и готовности к чрезвычайным ситуациям; управление проектом, мониторинг и оценку.
Социологический мониторинг
В рамках проекта предполагалось усовершенствовать технологии, методы и формы предоставления метеорологической информации, улучшить качество взаимодействия с клиентами, а в итоге — повысить клиентоориентированность деятельности учреждений и организаций Росгидромета. Все это выдвигало принципиально новые требования к качеству, объему, срокам и способам получения информации о реальной текущей оценке потребителями услуг Росгидромета.
В качестве эффективного инструмента получения такой информации была предложена система мониторинга оценки потребителями услуг Росгидромета исходя из того, что особенности технологии мониторинга, основанной на принципах комплексности, стабильности и регулярности, позволяют выявлять состояние и динамику оценки потребителями услуг Росгидромета, тенденции и характер изменений, происходящих в структуре информационных потребностей населения, органов власти, запросов корпоративных клиентов. Такой подход полностью соответствовал принятым стандартам изучения оценки пользователями гидрометеорологической информации и услуг зарубежных национальных гидрометеослужб (НГМС), а также подготовленному в октябре 2010 г. «Краткому руководству по подготовке и проведению опросов», составленному Программой по метеорологическому обслуживанию населения (МОН) Всемирной метеорологической организации, в котором подчеркивается необходимость проведения опросов ключевых групп пользователей в течение продолжительного периода времени.
Для решения стандартной задачи конструирования системы мониторинга как механизма контроля реализации комплексных проектов, к которым, безусловно, относится проект «Модернизация и техническое перевооружение учреждений и организаций Росгидромета», существуют стандартные, апробированные технологии. И тем не менее создание (и последующее внедрение) системы мониторинга оценки потребителями услуг Росгидромета стало инновационным проектом, потребовавшим новаторских теоретических, методологических и сугубо практических — технологических, инструментальных — решений. Сложность создания системы мониторинга была связана в первую очередь с содержательной спецификой, с практическим отсутствием апробированного инструментария социологического изучения данного специфического объекта. Дополнительная сложность заключалась в том, что предполагалось масштабное вовлечение в формирование и функционирование системы мониторинга центральной и региональных структур Росгидромета, что предъявляло повышенные требования к качеству (а именно — простоте и надежности) методологии мониторинга. Сложность и определенные риски создания системы мониторинга были связаны также и с тем, что она проектировалась не только как механизм контроля эффективности осуществления проекта, но и как долговременный компонент формируемой системы обслуживания клиентов, обеспечивающий стабильность и долговременность достигнутых в ходе его реализации результатов.
Сама постановка задачи создания системы мониторинга оценки потребителями услуг Росгидромета отличалась качественно новым уровнем интеграции назревших вопросов. Такой подход сложился в ходе изучения существовавшего на момент запуска проекта отечественного опыта проведения опросов пользователей ГМИ.
Исследования потребностей пользователей гидрометеоинфор-мации, которые проводились в структурах Росгидромета во второй половине 1990-х — начале 2000-х гг., были ориентированы главным образом на изучение экономической эффективности гидрометеорологического обслуживания в различных отраслях экономики, выяснение погодозависимости этих отраслей, а также получение распределения спроса на различные виды гидрометеорологической информации. Такие исследования чаще всего ограничивались анализом имеющейся статистики обращений за информацией определенного вида. В результате коренных социально-экономических преобразований в стране и становления рыночных отношений Росгидромет и его структурные подразделения оказались в крайне тяжелом экономическом положении, когда приоритетной задачей стало сохранение самой национальной гидрометеорологической
службы, обеспечение ее финансирования и дееспособности. В связи с этим вопросы качества ГМО оказались явно не первоочередными.
С получением разрешения оказывать клиентам платные специализированные услуги возникла инициативная практика локальных исследований, проводимых преимущественно силами территориальных подразделений Росгидромета и ориентированных на решение сугубо коммерческих задач. Такие исследования носили бессистемный разрозненный характер; по охвату потребителей, по своему содержанию и направленности они были узкими и фрагментарными, ограниченными по целям и задачам. В силу неизбежных и существенных различий в частных методиках исследований, используемом инструментарии, получаемые в ходе таких опросов данные, оказывались разнохарактерными, разнокалиберными, практически несопоставимыми и не интегрируемыми в единую базу. Все эти особенности, разумеется, не позволяли выходить на компаративный анализ, на выявление и изучение значимых трендов, закрывали горизонт масштабных эмпирических обобщений и в предельном осмыслении ситуации не соответствовали актуальным задачам, стоящим перед Росгидрометом.
Более того, в качестве респондентов в таких опросах выступали преимущественно или даже исключительно руководители предприятий/организаций погодозависимых отраслей хозяйства, т.е. потребители специализированной ГМИ. Опросы населения практически не проводились. Не выявлялись оценки ГМО и со стороны представителей органов исполнительной власти, МЧС, ВС и т.д. Таким образом, опросами оказался охвачен крайне узкий спектр потребителей ГМИ. Вне сферы исследований оказались основные направления деятельности Росгидромета и его главные информационные продукты: регулярные данные мониторинга гидрометеорологических параметров, качества воды и атмосферного воздуха, характеристик почвы; прогнозы — кратко-, средне- и долгосрочные, в том числе сезонные; прогнозирование засухи, агрометеорологический прогноз; предупреждения (штормовые, паводковые и др.) и т.д. Вне фокуса научно-исследовательского внимания к оценке качеств ГМИ оказался и главный для опросов, проводимых зарубежными НГМС, вопрос об уровне удовлетворенности населения деятельностью национальной ГМС и его динамике.
Адекватным целям и задачам проекта должно было стать комплексное, широкоформатное, развернутое на длительном пространственно-географическом, территориально-климатическом и временном континууме исследование, предполагающее создание централизованной системы регулярных опросов, генерализацию методологии, получение апробированной методики и стандартизированного инструментария постоянного и системного изучения 88
потребностей в гидрометеорологической информации, оценки удовлетворенности потребителей продуктами и услугами Росгидромета, а также единой базы данных, открывающей возможность выявления динамики такой оценки, изменения интенсивности и структуры спроса на ГМИ.
Весь этот комплекс сформулированных задач требовал обязательного теоретического, методологического прояснения, технологической операционализации и эффективного, предельно конкретного решения. Разумеется, в этой ситуации в полном объеме был использован доступный арсенал мирового опыта.
Прежде всего были проработаны материалы Всемирной Метеорологической Организации (ВМО), которая в 1991 г. учредила Программу по метеорологическому обслуживанию населения (ПМОН) в качестве неотъемлемой части своей программы по применению метеорологии (ППМ). Далее, был проведен анализ и обобщение зарубежного опыта опросов общественного мнения по восприятию услуг и продукции НГМС и удовлетворенности ими. В ряду таких НГМС оказались Австралийское правительственное Метеорологическое бюро (Australian Bureau Of Meteorology), Национальная служба погоды Национального управления океанических и атмосферных исследований США (National Weather Service of the National Oceanic and Atmospheric Administration — NWS/NOAA), Метеорологическая служба Великобритании (Met. Office — одна из старейших в Европе и одна из ведущих служб в современном мире), Метеорологическая служба Ирландии (The Irish Meteorological Service), Метеорологическое управление Китая (China Meteorological Administration), Обсерватория Гонконга (Hong— Kong Observatory).
Конструирование системы мониторинга
В конечном итоге комплексный анализ стороннего опыта позволил перейти к проектированию собственной системы мониторинга, формирование которого осуществлялось постепенно, иногда с заметным ускорением, иногда — с возвратами к ранее пройденным схемам. Концептуальное конструирование осуществлялось путем интеграции некоторых «инвариантных» — общеметодологических и проблемных — блоков, «лоскутной» адаптации потенциала зарубежных национальных проектов к российским условиям, самостоятельных разработок или подобранных частных решений.
Были определены принципиальные подходы к постановке и решению вопросов, неизбежно возникающих на этапе проектирования, разработки и внедрения системы мониторинга, основные
параметры самой этой системы и требования/условия к ее технологическому инструментарию.
Главной целью мониторинга постулировалась квалифицированная помощь и содействие Росгидромету в повышении его клиен-тоориентированности, в достижении его службами более полного соответствия генерируемых информационных продуктов реальным потребностям населения и корпоративных клиентов РГМ.
Работа по созданию национальной системы мониторинга разворачивалась поэтапно, методом итераций — последовательного уточнения и реализации основных параметров, постепенного приближения к заданному системному качеству и полноте. И первая такая итерация началась с разработки методологии опроса пользователей гидрометеорологической информации, осуществленной еще на стадии подготовки проекта.
Прежде всего был принципиально расширен спектр категорий потребителей ГМИ, оценки которых подлежали эмпирическому выяснению и изучению. Учитывая существенно неоднородный состав потребителей ГМИ, были выделены три целевые группы мониторинга — население, хозяйствующие субъекты и органы исполнительной власти. Стратегически было необходимо и выигрышно разработать такой унифицированный вопросник, который, используя модульный принцип, позволял бы путем замены модулей, отражающих особенности одной группы, на модули, специфические для другой группы, легко модифицировать инструментарий, корректно операционализируя его под каждую конкретную группу, сохраняя при этом высокую стандартизацию (а значит, совместимость и сопоставимость) информации, не только «пространственную» — для каждой группы в масштабе всей страны, и «временную» — в ходе мониторингового времени, но и между различными группами — в той части, в которой их особенности нивелируются. В конечном счете для опроса обозначенных целевых групп были разработаны совместимые, но специализированные анкеты: для населения специальная анкета «Поговорим о погоде», для двух оставшихся групп как адресных клиентов общая анкета «Прогноз погоды в деятельности организации». В сопровождение каждой анкеты был также разработан вспомогательный инструментарий.
Далее были определены наиболее существенные характеристики ГМИ, на выявление оценки по которым со стороны потребителей должны быть направлены проводимые опросы; выделены основные информационные блоки, необходимые для разработки соответствующего инструментария для опроса российских пользователей ГМИ; составлен перечень основных показателей, рассчитываемых на основе получаемых эмпирических данных опросов, для выработки обоснованной интегральной оценки эффективности служб ГМИ.
В качестве базового, определяющего показателя качества работы РГМ был принят уровень удовлетворенности различных групп пользователей ГМИ текущим метеообслуживанием и его динамика.
Содержательно инструментарий был сфокусирован на вопросах, которые находятся в центре внимания практически всех НГМС и ВМО и отражают общемировые тенденции развития гидрометеорологического информационного обеспечения населения. На основе сформулированных целей и задач проекта и с учетом опыта зарубежных НГМС была обоснована и предложена сбалансированная система основных показателей оценки ГМИ, динамика которых будет рассматриваться в качестве показателей модернизации метеообслуживания:
Общая оценка удовлетворенности
Оценка основных показателей ГМИ:
точность;
доступность;
своевременность;
полезность;
понятность;
полнота.
Характеристики спроса на ГМИ:
рейтинг востребованности видов ГМИ; рейтинг востребованности параметров погоды; рейтинг востребованности прогнозов по долгосрочности; востребованность дополнительных услуг, в том числе платных. Мотивация использования ГМИ:
оценка объективной климатической, экологической ситуации в регионе;
оценка погодозависимости и рисков; целевое использование ГМИ. Параметры информационной ситуации: интенсивность использования; каналы распространения, уровень доверия; рейтинг форм подачи.
Предложенный набор показателей и индикаторов мониторинга вполне совместим со сложившимися международными и национальными стандартами опросов пользователей ГМИ, поэтому его использование позволяет получать сопоставимую с данными других НГМС информацию об оценке потребителями услуг российской национальной метеослужбы.
Стремительное развитие информационных технологий позволяет при проведении опросов (в том числе и мониторингов) опи-
раться на методы, основанные на интернет-технологиях. Это открывает возможность проводить онлайн-опросы различных групп пользователей ГМИ на регулярной основе. Вместе с тем в условиях, существующих на данный момент в России, более применимыми остаются традиционные методы опроса, которые сохраняют свою эффективность и позволяют гарантировать представительство определенных категорий респондентов в выборке исследования, что в конечном счете способствует получению валидных, репрезентативных данных.
Исходя из этих обстоятельств, в качестве оптимального метода опроса на начальном этапе построения мониторинга был принят метод личного интервью 'ТасеЧо-Тасе". Однако предполагаемые существенные ограничения в использовании метода личного интервью при опросе представителей органов власти и хозяйствующих субъектов потребовали применительно к этим целевым группам предусмотреть возможность комбинирования различных методов опроса: личного интервью, телефонного интервью, дистанционного опроса с использованием сети Интернет. Действительно, такая разветвленная методика позволила наполнить плановую выборку, обеспечив при этом надлежащий уровень репрезентативности данных.
Апробация инструментария мониторинга
Переход к практическому созданию системы мониторинга начался в 2007 г., когда в рамках «ходовых испытаний» был проведен стандартный локальный пилотаж — тестирование функционала разработанного в первом приближении инструментария.
Что дал пилотаж? Как стандартная в условиях массового опроса процедура, он позволил обнаружить локальные изъяны в имеющейся теоретической и технологической оснастке, которые были устранены в ходе целенаправленной коррекции инструментария. В результате полученная микро-проба позволила принять обоснованное решение о возможности инициации более масштабного тестирования методологии и инструментария, разрабатываемого для мониторинга, о проведении исследования на более обширном, разнообразном и сложном исследовательском плацдарме.
Реализация этой логики проходила в процессе второй итерации при конструировании системы мониторинга. В 2007 г. в трех регионах, выбранных в качестве пилотных2, была проведена апро-
2 Сибирский федеральный округ — территория ответственности Среднесибирского УТМС; Приволжский федеральный округ — территория ответственности Верхне-Волжского УТМС; Дальневосточный федеральный округ — территория ответственности Приморского УТМС.
бация и корректировка методологии опроса пользователей Росгидромета.
Для участия в опросе были выбраны регионы, в какой-то мере отражающие многообразие климатических, природно-географи-ческих, социально-экономических условий России, обладающие выраженной территориальной, отраслевой, отчасти этнической спецификой, и в то же время совокупностью своих особенностей выражающие во всем реальном разнообразии некую среднюю линию, типичность как для субъектов России, так и для территориальных управлений Росгидромета (УГМС).
Первоочередной на этом этапе была задача отработки методологии и стандартного инструментария мониторинга, который позволил бы получать стандартизированную, репрезентативную и сопоставимую информацию в масштабе всей страны. Кроме того, важнейшей задачей данного этапа исследования было выявление и фиксация предпроектной оценки потребителями выбранных регионов гидрометеорологических услуг по основным показателям качества и в целом — пробная компоновка, «сборка» на базе полученных в этих регионах результатов целостной системы основных показателей оценки гидрометеорологических услуг, — конкретное количественное выражение именно тех показателей и индикаторов, которые предполагалось принять в качестве стандартных для системы мониторинга. Необходимо было удостовериться, что базовые показатели могут надежно служить в качестве измеряемых признаков, быть количественно наполняемы посредством соответствующих шкал, в совокупности образуют целостную систему оценивания, придают замеряемой оценке интегральный характер и что предложенная система показателей объемно и адекватно отражает реальное качество гидрометеорологических услуг. На все эти принципиальной важности вопросы и должен был ответить опрос в трех регионах.
Было подготовлено и проведено «стандартное» полевое исследование, обработан и проанализирован полученный фактаж с «прицелом» на дальнейшее развитие мониторинга. В рамках ранее принятой парадигмы применительно к специфическим условиям экспериментальных регионов была конкретизирована и уточнена разработанная методика мониторинга, в инструментальный комплекс были внесены необходимые коррективы, учитывающие выявленные рассогласования методики и получаемой с ее помощью эмпирики.
Другой стратегически важной задачей этого этапа стало утверждение принципов построения выборки применительно к каждой целевой группе, проектирование соответствующих выборок и апробация полученных моделей выборок. Сложность заключалась в том,
что административно-территориальное деление России на федеральные округа (7 ФО в 2007 г., 8 — в 2010 и 2011 гг.) и субъекты РФ не совпадает с делением на зоны ответственности УГМС (24 УГМС/ГУ УГМС), и потому необходимо было выработать такую логику построения выборки, которая бы обеспечивала репрезентативность данных как для региона (ФО), так и одновременно для УГМС. Принятый и апробированный в пилотном исследовании уровень репрезентативности — территория ответственности УГМС.
Выборка, обеспечивающая репрезентативность на уровне территории ответственности УГМС, проектировалась в привязке к административно-территориальному делению России путем установления соответствия зоны ответственности каждого УГМС и территории ФО РФ, на которой осуществляет свою деятельность конкретное УГМС, а также на основе анализа структуры промышленности, экономических, географических, климатических и поселенческих характеристик территорий (субъектов и федеральных округов России). В качестве источников информации использовались документы государственной и ведомственной (Росгидромет) статистики, вспомогательные информационные материалы.
На данном этапе для выбранной — пилотной и потому упрощенной — конфигурации «ФО-субъекты РФ-УГМС» были построены, по сути, три отдельные, независимые региональные выборки, каждая из которых была изначально запроектирована на получение репрезентативных данных в соответствующем регионе. В силу заданной локализации пилотного опроса каждая такая выборка одновременно репрезентировала УГМС, в зону ответственности которых входили охваченные исследованием субъекты РФ. Таким образом, на пилотном этапе развертывания мониторинга не ставилась задача опроса по полноценной федеральной выборке, получения репрезентативных данных для России в целом и всей структуры Росгидромета. Другими словами, выборка в ее основных параметрах, как и весь исследовательский арсенал, усложнялась тоже постепенно, в соответствии с общей стратегией поэтапного развертывания мониторинга.
Для опроса населения была определена стратифицированная, многоступенчатая выборка, случайная на этапе отбора респондентов. При таком типе выборки учитываются особенности географического, социально-экономического положения населения, его поселенческая структура и основные социально-демографические характеристики.
В опросе специалистов хозяйствующих субъектов использовалась квотная выборка из клиентской базы территориальных УГМС, для опроса представителей органов исполнительной власти соот-
ветствующих уровней — квотная выборка (с учетом административно-территориального деления, зоны ответственности каждого УГМС и структуры органов власти). Такая схема обеспечила представительство адресных клиентов всех уровней и различной отраслевой принадлежности — территориальных органов федеральной власти, органов субъекта федерации, местных — городских и муниципальных структур власти, сельских органов власти, хозяйствующих субъектов, деятельность которых связана с погодозави-симыми отраслями.
В ходе пилотного исследования разработанная методология и методика мониторинга прошла сквозную апробацию, включая обработку данных, и была признана соответствующей поставленным целям и задачам и обеспечивающей их надежное и эффективное решение, позволяющей получать на основе периодических опросов комплексную стандартизированную информацию о динамической оценке потребителями услуг Росгидромета.
Инструментарий в целом показал свою применимость для замера и изучения оценки услуг Росгидромета. Вместе с тем был выявлен ряд проблем, связанных, в частности, с достижимостью респондентов — представителей адресных пользователей ГМИ, их мотивацией для участия в опросе. Эти вопросы потребовали дальнейшей шлифовки методологии и методики мониторинга в ходе следующей итерации.
Развертывание системы мониторинга
В 2010—2011 гг. состоялся запуск мониторинга, были проведены две волны мониторингового исследования.
Главной задачей третьей итерации стало проведение широкоформатных опросов, внедрение системы мониторинга федерального масштаба. Кроме того, выполнялась окончательная доводка и оптимизация всего исследовательского комплекса мониторинга, подготовка к сдаче системы мониторинга.
Прохождение волн исследования имело свои особенности, обусловленные главным образом федеральным масштабом опроса. По сравнению с пилотным исследованием существенно расширился и усложнился вопрос о параметрах выборки, — ее структуре, объеме и размещении. Для исследования необходимо было спроектировать федеральную выборку, включающую в себя все федеральные округа, все УГМС (за исключением нескольких оговоренных). Принятый ранее в пилотном исследовании уровень репрезентативности, территория ответственности отдельного УГМС, в случае статистически значимого представительства всех территориальных
подразделений Росгидромета не подходил, объем такой выборки был бы слишком велик, а ее наполнение — весьма затратно. Требовалось переопределение и масштабирование, укрупнение параметров выборки.
С учетом этого критического условия наименьшей единицей анализа эмпирических данных были определены совокупная (объединенная) зона ответственности региональной группы УГМС/ГУ УГМС, действующих на территории каждого ФО, и одновременно федеральный округ РФ.
Таким образом, была предложена модель двумерной выборки, которая совмещала требования репрезентативности одновременно по двум признакам: принадлежность ФО и группе УГМС. Эта модель действительно позволила получить фактическую выборку, репрезентативную на уровне территорий федеральных округов РФ и России в целом и одновременно региональных групп УГМС/ГУ УГМС, действующих на территориях соответствующих федеральных округов. Вместе с тем данная модель выборки в целом уже не обеспечивала репрезентативность на уровне каждого отдельного УГМС, равно как и субъекта РФ.
Объем выборки для конкретного федерального округа определялся долей населения РФ, проживающего в этом округе. Конфигурация субъектов в ФО подбиралась таким образом, чтобы она обеспечивала, по возможности, пропорциональное «покрытие» зон ответственности УГМС, образующих региональную группу данного ФО. В рамках отдельного субъекта РФ, отобранного для исследования, структура выборки детализировалась в результате формирования маршрутов опроса. В целом полевой этап обеих волн исследования прошел успешно, подтвердив правильность выбранного подхода. Был собран запланированный массив анкет для каждой целевой группы респондентов.
Обработка полученных данных проходила по стандартной схеме. На всех этапах обработки информации осуществлялся контроль качества:
1. Выборочный (10%) контроль правильности ввода первичных данных в базу данных.
2. Автоматизированное тестирование первичных данных:
♦ проверка полноты и структурной целостности эмпирических данных;
♦ контроль диапазонов допустимых значений.
3. СоирМ-анализ первичных данных:
♦ контроль логической корректности множественных ответов;
♦ многомерное тестирование смысловой непротиворечивости и совместимости данных.
Обработка данных осуществлялась с помощью ПК на базе процессора Intel® Core™2 Quad с использованием пакета IBM SPSS Statistics 19 и СУБД Paradox 9.0.
Постепенно в ходе трех направленных итераций было завершено конструирование национальной системы мониторинга качества гидрометеоинформации и метеоуслуг, предоставляемых Росгидрометом. В настоящий момент система мониторинга (и вся сопутствующая инструментально-технологическая оснастка) сдана в эксплуатацию и находится в активированном состоянии.
Суммарно, на трех этапах исследования — в ходе пилотного исследования и прохождения двух волн мониторингового исследования — было опрошено 8576 респондентов, из них 6442 — среди населения, 2134 — среди адресных клиентов, в том числе специалистов хозяйствующих субъектов — 1685, представителей органов власти всех уровней — 449.
Краткие итоги
В процессе комплексной обработки полученных данных была сформирована объединенная унифицированная база данных, интегрирующая эмпирические данные, полученные в ходе исследований первой и второй волн мониторинга; разработана схема статистической обработки данных.
На этапе анализа данных были выполнены описательный статистический и неформальный содержательный анализ полученных данных, предложена интерпретация результатов волн исследования, проведен сравнительный анализ результатов пилотного исследования, исследований первой и второй волн мониторинга.
В ходе камеральных работ была выявлена и проанализирована система потребительских оценок услуг Росгидромета по показателям и индикаторам, которые были приняты как стандартные для данного мониторинга.
Для более точного и дифференцированного анализа оценок населением прогнозов погоды был разработан сводный показатель, или интегральный индекс, вычисляемый путем аккумулирования частных оценок, полученных на наборе пятибалльных шкал, в которых 1 балл соответствовал суждению «совершенно не удовлетворены», а 5 баллов — «полностью удовлетворены». В выбранной таким образом шкале нейтральной оценке соответствует величина 3,0 балла («точка индифферентности»). В зависимости от конкретного вопроса-индикатора по шкале фиксировались следующие оценки прогнозов: точность прогнозов по степени заблаговре-менности, удовлетворенность отдельными качествами прогнозов,
удовлетворенность основными характеристиками прогнозов. Таким образом был рассчитан интегральный индекс для региональной группы УГМС каждого ФО. Упорядоченный по средней величине этого индекса список позволяет получить рейтинг ФО/региональ-ной группы УГМС (табл. 1).
Таблица 1
Рейтинг ФО/региональных групп УГМС по интегральной оценке (индексу) различных качеств прогноза погоды (две волны мониторинга, население)
Ранг Федеральный округ РФ Региональная группа УГМС Интегральный индекс (средняя сумма баллов)3
2010 г. 2011 г.
1. Приволжский Верхне-Волжское УГМС Приволжское УГМС ГУ «УГМС Республики Татарстан» ГУ «Башкирское УГМС» Уральское УГМС 45,2 46,4
2. Уральский Обь-Иртышское УГМС Уральское УГМС 46,2 45,0
3. Дальневосточный Дальневосточное УГМС ГУ «Приморское УГМС» ГУ «Сахалинское УГМС» ГУ «Камчатское УГМС» ГУ «Якутское УГМС» 45,8 44,7
4. Центральный Центральное УГМС Центрально-Черноземных областей УГМС 44,0 44,6
5. Северо-Кавказский Северо-Кавказское УГМС 42,9 44,3
6. Южный Северо-Кавказское УГМС 46,3 44,2
7. Северо-Западный Северо-Западное УГМС Северное УГМС ГУ «Мурманское УГМС» 44,3 44,1
8. Сибирский Западно-Сибирское УГМС Среднесибирскоке УГМС Иркутское УГМС Забайкальское УГМС Обь-Иртышское УГМС 45,1 43,6
3 Максимальная сумма баллов по 12 параметрам качества прогноза погоды, оцениваемым населением по пятибалльной шкале, составляет 60 баллов.
Чтобы сделать ранжирование более удобным и наглядным, данный рейтинг целесообразно представить с точки зрения средней оценки, получаемой по пятибалльной шкале совокупно по ряду указанных параметров, используемых для построения интегрального индекса (табл. 2).
Таблица 2
Рейтинг ФО/региональных групп УГМС по среднему баллу интегральной оценки различных качеств прогноза погоды (вторая волна мониторинга, население)
Ранг Федеральный округ РФ Региональная группа УГМС Средний балл
1. Приволжский Верхне-Волжское УГМС Приволжское УГМС ГУ «УГМС Республики Татарстан» ГУ «Башкирское УГМС» Уральское УГМС 3,9
2. Уральский Обь-Иртышское УГМС Уральское УГМС 3,8
3. Дальневосточный Дальневосточное УГМС ГУ «Приморское УГМС» ГУ «Сахалинское УГМС» ГУ «Камчатское УГМС» ГУ «Якутское УГМС» 3,8
4. Центральный Центральное УГМС Центрально-Черноземных областей УГМС 3,7
5. Северо-Кавказский Северо-Кавказское УГМС 3,7
6. Южный Северо-Кавказское УГМС 3,7
7. Северо-Западный Северо-Западное УГМС Северное УГМС ГУ «Мурманское УГМС» 3,7
8. Сибирский Западно-Сибирское УГМС Среднесибирскоке УГМС Иркутское УГМС Забайкальское УГМС Обь-Иртышское УГМС 3,6
Полученный рейтинг свидетельствует, что все ФО находятся в зоне положительных оценок от умеренной (3,6 балла при нейтральной оценке 3 балла) до хорошей (3,9 баллов).
В ходе реализации проекта осуществлено создание и внедрение системы мониторинга оценки пользователями услуг Росгидромета, сформирована уникальная база данных, открывающая возмож-
ность выявления динамики оценки и спроса на ГМИ широкого спектра потребителей на территории всей страны. Росгидромет вооружен надежной апробированной методологией и инструментарием, которые позволяют получать стандартизированную, репрезентативную и сопоставимую информацию в масштабе всей страны, с учетом уникального разнообразия географических и климатических условий различных территорий.
В настоящий момент актуальной становится задача поддержания мониторинга, его необходимое организационное, кадровое и финансовое обеспечение. Планируемое продолжение проекта «Модернизация и техническое перевооружение учреждений и организаций Росгидромета» внушает определенный оптимизм относительно перспектив реализации этой задачи.
Полученные в процессе мониторинга данные сами создают весьма интересный и плодотворный контекст для обоснования задачи поддержания мониторинга.
По результатам всех этапов исследования выявлена стабильно положительная оценка удовлетворенности всех групп пользователей качеством ГМИ4.
Так, оценки удовлетворенности населения РФ качеством прогнозов погоды варьируют по различным параметрам от 3,7 до
4.3 балла в исследовании второй волны и от 3,7 до 4,4 баллов в исследовании первой волны мониторинга. Наиболее высокую оценку неизменно получают такие качества ГМИ, как ее доступность, открытость и полезность; заблаговременность, своевременность прогнозов и их точность, достоверность получают более низкую, но, тем не менее, устойчиво положительную оценку (диагр. 1).
Общие оценки удовлетворенности адресных клиентов качеством прогнозов погоды варьируют по различным параметрам в пределах 3,8—4,6 балла во второй волне мониторинга и от 3,8 до
4.4 балла в первой волне (диагр. 2).
Несмотря на обозначившийся вектор изменений оценки, речь, скорее, может идти лишь о некотором стабильном состоянии, нежели о сформировавшейся позитивной динамике. Зафиксированный на различных этапах исследования рост средних оценок качества ГМИ несуществен (и в ряде случаев по величине не превышает ошибку выборки).
Общие оценки удовлетворенности качеством ГМИ различных групп пользователей расходятся незначительно, и все же адресные пользователи на всех этапах исследования дают более высокую оценку (на 0,1-0,4 балла) по различным параметрам качества про-
4 Оценка удовлетворенности качеством ГМИ респондентами всех категорий проводилась по пятибалльной шкале, в которой 1 балл соответствовал суждению «совершенно не удовлетворены», а 5 баллов — «полностью удовлетворены».
Диаграмма 1
Оценивая работу гидрометеорологической службы, насколько Вы в целом удовлетворены следующими качествами прогнозов погоды (население): (оценка по пятибалльной шкале)?
Диаграмма 2
Оценивая работу гидрометеорологической службы, насколько Вы в целом удовлетворены следующими качествами прогнозов погоды (адресные клиенты): (оценка по пятибалльной шкале)?
гноза погоды по сравнению с населением и демонстрируют более устойчивую позитивную динамику оценки качества ГМИ. Это может означать, что население, в отличие от адресных пользователей, пока не ощутило достаточно явных позитивных изменений в каче-
стве получаемой им ГМИ, реальных улучшений, связанных с перевооружением основных элементов технической и технологической базы Росгидромета в ходе реализации проекта. Вместе с тем именно на основе полученных в ходе мониторинга данных возможна разработка конкретных — дифференцированных и специализированных — эффективных мер, способных реально обеспечить устойчивое повышение удовлетворенности качеством ГМИ всех групп пользователей. Эта задача в определенной мере поддается решению в рамках уже имеющихся в настоящее время технических возможностей Росгидромета и его территориальных структур путем повышения уровня их клиентоориентированности, более полного учета специфики спроса различных групп пользователей, а также целенаправленного формирования спроса, ибо оценка пользователями качества ГМИ носит субъективный характер и определяется как ее объективными техническими характеристиками, так и ее востребованностью: показатели оценки отражают меру сбалансированности ожиданий потребителей и их фактического удовлетворения.
Реальные позитивные изменения в качестве прогнозов, связанные с перевооружением Росгидромета в ходе реализации проекта, в той или иной степени ощутили все группы пользователей разных федеральных округов и в еще большей степени пользователи разных УГМС (диагр. 3, 4). В этом аспекте полученная в процессе мониторинга информация (дифференцированная по федеральным округам, УГМС и группам пользователей) полезна для разработки организационных и иных механизмов, направленных на выравнивание территориальных эффектов от технического и технологического перевооружения РГМ, и более равномерный рост оценок удовлетворенности качеством ГМИ во всех ФО и территориях ответственности УГМС.
Таким образом, поддержание системы мониторинга в функциональном состоянии, содержательная переработка и учет получаемых с его помощью регулярных, серийных данных позволят целенаправленно, оперативно и эффективно решать одну из важнейших задач Росгидромета: обеспечивать устойчивую, долговременную, комплексную позитивную динамику оценки качества услуг Росгидромета, и, кроме того, будет способствовать лучшему пониманию населением возможностей Росгидромета и путей наилучшего использования предоставляемого им обслуживания.
Такая постановка вопроса с необходимостью требует решения сопряженной задачи: создания действенного механизма, способного обеспечить квалифицированное оперирование поступающими данными мониторинга, их конвертирование в конкретные эффективные технологии повышения клиентоориентированности деятельности всех структур Росгидромета. Такое оперирование данными
Диаграмма 3
Диапазоны оценок метеорологических прогнозов по параметрам качества прогноза (по ФО РФ)
Точность 1
О 2
Л I-
О Ф
Ф 2
£
Заблаговременность
0,4
ф §
о га X
Ф 2
л I-
о Ф
Ф 3
Доступность 0,7
0,4
ф §
о го X
Ф 2
л I-
о Ф
Ф 2
2
- 0,4
Полезность 0,6
ф §
о го X
О ф Ф 3
Обслуживание 0,6
ф §
о го X
Ф 2 л I-
о Ф
ф 5
2
Диапазоны оценок метеорологических прогнозов по параметрам качества прогноза (по УГМС5)
Диаграмма ■
Точность 1,4
ф
о <0 X
О 2
Л I-
О Ф
Ф 2
Заблаговременность Доступность
ф §
о га X
1,3
Ф 2
л I-
о Ф
Ф 3
ф 5
о го X
1,4
Ф 2
л I-
о Ф
Ф 2
Полезность 0,8
ф §
о го X
О ф Ф 3
Обслуживание 1
ф §
о го X
Ф 2
Л I-
О Ф
ф 5
5 Распределения оценок по УГМС использовались лишь справочно, поскольку выборка исследования, как уже отмечалось, в целом не предполагала репрезентативности данных для отдельных УГМС.
мониторинга, дифференцированными по социально-демографическим, отраслевым, поселенческим и другим показателям, позволяет энергично и целенаправленно формировать осознанный спрос у различных групп пользователей ГМИ, эксплицируя важнейшие параметры погодозависимости отдельных социально-демографических групп населения и деятельности конкретных организаций; формировать и активно продвигать новые информационные продукты. Данные мониторинга позволяют динамически оценивать текущий перспективный ресурс рынка СГМИ, совершенствовать стратегию развития платного ГМО населения, выделяя различные группы потребителей ГМИ среди населения (в том числе по конкретным регионам, половозрастным и образовательным группам и т.д.) и целенаправленно генерируя специализированные продукты с заранее востребованными свойствами/качествами. При этом необходимо также учитывать дополнительные факторы пользования информацией: каналы получения ГМИ, уровень доверия к ним, предпочтительные формы подачи ГМИ и т.п.
В качестве предварительного вывода (полученного на основе данных мониторинга) можно отметить, что взаимодействие Росгидромета со СМИ требует дополнительного специального исследования, практическим результатом которого могли бы стать рекомендации по выстраиванию «информационной вертикали» по линии «Росгидромет ^ СМИ», по формированию определенной культуры и дисциплины метеоинформирования, ибо качество метеоуслуг РГМ в сознании потребителей ГМИ, как правило, опосредуется СМИ и неизбежно ассоциируется с качеством работы именно средств массовой информации в этом секторе информационных услуг (оборот ГМИ, возможные произвольные манипуляции с метеоинформацией и т.п.).
Поддержание и развитие системы мониторинга оценки качества услуг Росгидромета может стать добротной технологической, информационной, методологической и интеллектуальной базой для инициирования и проведения более обширных, сложных и социально значимых исследований по смежной тематике. Речь может идти об одной из глобальных проблем XXI в. — масштабном изменении климата и нарастании климатических угроз современной цивилизации. Исследовательский комплекс мониторинга услуг Росгидромета может стать российской стартовой площадкой для межрегиональных и глобальных проектов, направленных на изучение формирующихся стереотипов и форм восприятия климатических угроз, адаптации населения к планетарному изменению климата; на разработку конкретных мер, способных обеспечить безопасность и благосостояние населения в меняющейся климатической ситуации, мониторинг действенности этих все более и более неотложных мер.
