CC BY
45
МАССОВЫЕ ОПРОСЫ, ЭКСПЕРИМЕНТЫ,
КЕЙС-СТАДИ
ПРАКТИКА ИССЛЕДОВАНИЯ В РЕЖИМЕ МОНИТОРИНГА: МЕТОДОЛОГИЧЕСКИЕ И КОНСТРУКТИВНЫЕ РЕШЕНИЯ*
А.А. Оносов1, Л.Г. Судас2
кафедра социологии Российский университет дружбы народов ул. Миклухо-Маклая, 10/2, Москва, Россия, 117198
2Кафедра социологии управления МГУ имени М.В. Ломоносова Ломоносовский просп., 27-4, Москва, Россия, 119991
В статье описывается опыт конструирования, апробации и внедрения национальной системы мониторинга качества метеорологического обслуживания в России. В рамках данного проекта была выполнена масштабная исследовательская программа по разработке концепции, методологии и методики, инструментария и дизайна мониторинга оценки пользователями услуг Росгидромета.
Ключевые слова: социологический мониторинг, методология мониторинга, Росгидромет, гидрометеорологический прогноз, гидрометеорологическое обслуживание.
В Российской Федерации в рамках реализации совместного проекта Всемирного Банка и Правительства РФ «Модернизация и техническое перевооружение учреждений и организаций Росгидромета» была выполнена не имеющая аналогов в деятельности Росгидромета программа по разработке концепции, методологии и методики, инструментария и дизайна мониторинга оценки пользователями услуг Росгидромета и последующего практического внедрения системы мониторинга. Основной целью проекта являлось расширение спектра и повышение точности прогнозов, предоставляемых населению, органам государственной власти и отраслям экономики Российской Федерации, за счет модернизации и перевооружения технической и технологической базы Росгидромета, институционального укрепления последнего.
В рамках проекта предполагалось усовершенствовать технологии, методы и формы предоставления метеорологической информации, изменить саму логику
* Статья подготовлена по итогам реализации социологического компонента совместного проекта Правительства Российской Федерации и Всемирного банка «Модернизация и техническое перевооружение учреждений и организаций Росгидромета».
взаимодействия с пользователями гидрометеоинформации и тем самым улучшить качество взаимодействия с клиентами, а в итоге — повысить клиентоориентиро-ванность деятельности учреждений и организаций Росгидромета. Все это выдвигало принципиально новые требования к качеству, объему, срокам и способам получения информации о реальной текущей оценке потребителями услуг Росгидромета.
В качестве эффективного инструмента получения такой информации была предложена система мониторинга оценки потребителями услуг Росгидромета, поскольку именно технология мониторинга, базирующаяся на принципах комплексности, стабильности и регулярности, позволяет выявлять текущее состояние и динамику оценок потребителями услуг Росгидромета, тенденции и характер изменений, происходящих в структуре информационных потребностей населения, органов власти, запросов корпоративных клиентов. Такой подход соответствует принятым стандартам изучения оценки пользователями гидрометеорологической информации и услуг зарубежных национальных гидрометеорологических служб (НГМС), а также положениям «Краткого руководства по подготовке и проведению опросов», рекомендованного Программой по метеорологическому обслуживанию населения Всемирной метеорологической организации, в котором подчеркивается необходимость проведения опросов ключевых групп пользователей в течение продолжительного периода времени.
Разумеется, для решения стандартной задачи конструирования системы мониторинга существуют стандартные, апробированные технологии. И, тем не менее, создание (и последующее внедрение) системы мониторинга оценки потребителями услуг Росгидромета стало инновационным проектом, потребовавшим новаторских теоретических, методологических и сугубо практических — технологических, инструментальных — решений. Сложность создания системы мониторинга была связана, в первую очередь, с содержательной спецификой, с практическим отсутствием апробированного инструментария социологического изучения данного объекта. Дополнительная сложность заключалась в том, что предполагалось широкое вовлечение в формирование и функционирование системы мониторинга центральной и региональных структур Росгидромета, что предъявляло повышенные требования к качеству (а именно — простоте и надежности) методологии мониторинга. Сложность и определенные риски создания системы мониторинга были связаны также и с тем, что она проектировалась не только как механизм контроля эффективности осуществления проекта, но и как долговременный компонент формируемой системы обслуживания клиентов, обеспечивающий стабильность и долговременность достигнутых в ходе его реализации результатов.
Сама постановка задачи создания системы мониторинга оценки потребителями услуг Росгидромета отличалась качественно новым уровнем интеграции назревших вопросов. Такой подход сложился в ходе изучения существовавшего на момент запуска проекта отечественного опыта проведения опросов пользователей гидрометеорологической информации (ГМИ).
Исследования потребностей пользователей гидрометеоинформации, которые проводились в структурах Росгидромета во второй половине 1990-х — начале
2000-х гг., были ориентированы, главным образом, на изучение экономической эффективности гидрометеорологического обслуживания в различных отраслях экономики, выяснение погодозависимости этих отраслей, а также получение распределения спроса на различные виды гидрометеорологической информации. Такие исследования чаще всего ограничивались анализом имеющейся статистики обращений за информацией определенного вида. В результате коренных социально-экономических преобразований в стране и становления рыночных отношений Росгидромет и его структурные подразделения оказались в крайне тяжелом экономическом положении, когда приоритетной задачей стало сохранение самой национальной гидрометеорологической службы, обеспечение ее финансирования и дееспособности. В связи с этим вопросы качества гидрометеорологического обслуживания оказались явно не первоочередными.
С получением разрешения оказывать клиентам платные специализированные услуги возникла инициативная практика локальных исследований, проводимых преимущественно силами территориальных подразделений Росгидромета и ориентированных на решение сугубо коммерческих задач. Такие исследования носили бессистемный разрозненный характер; по охвату потребителей, по своему содержанию и направленности они были узкими и фрагментарными, ограниченными по целям и задачам.
В силу неизбежных и существенных различий в частных методиках исследований, используемом инструментарии получаемые в ходе таких опросов данные оказывались разнохарактерными, разнокалиберными, практически несопоставимыми и не поддающимися интеграции в единую базу. Все эти особенности, разумеется, не позволяли выходить на компаративный анализ, на выявление и изучение значимых трендов, закрывали горизонт масштабных эмпирических обобщений и, в предельном осмыслении ситуации, — не соответствовали актуальным задачам, стоящим перед Росгидрометом.
Более того, в качестве респондентов в таких опросах выступали преимущественно или даже исключительно руководители предприятий/организаций погодо-зависимых отраслей хозяйства, т.е. потребители специализированной гидрометеорологической информации (СГМИ). Опросы населения практически не проводились. Не выявлялись оценки гидрометеорологического обслуживания и со стороны представителей органов исполнительной власти, МЧС, ВС и т.д. Таким образом, опросами оказался охвачен крайне узкий спектр потребителей ГМИ. Вне сферы исследований оказались основные направления деятельности Росгидромета и его главные информационные продукты: регулярные данные мониторинга гидрометеорологических параметров, качества воды и атмосферного воздуха, характеристик почвы; прогнозы — кратко-, средне- и долгосрочные, в том числе сезонные; прогнозирование засухи, агрометеорологические прогнозы; предупреждения (штормовые, паводковые и др.) и т.д. Вне фокуса научно-исследовательского внимания к оценке качеств ГМИ оказался и главный для опросов, проводимых зарубежными НГМС, вопрос — об уровне удовлетворенности населения деятельностью национальной гидрометеослужбы и его динамике.
Адекватным целям и задачам проекта должно было стать комплексное, широкоформатное, развернутое на протяженном пространственно-географическом, природно-климатическом, территориально-экономическом и временном континууме исследование, предполагающее создание централизованной системы регулярных опросов, генерализацию методологии, выработку апробированной методики и стандартизированного инструментария постоянного и системного изучения потребностей в гидрометеорологической информации, оценки удовлетворенности потребителей продуктами и услугами Росгидромета, а также единой базы данных, открывающей возможность выявления динамики такой оценки, изменения интенсивности и структуры спроса на гидрометеорологическую информацию.
Весь этот комплекс сформулированных задач требовал обязательного теоретического, методологического прояснения, технологической операционализации и эффективного, предельно конкретного решения. Разумеется, в этой ситуации в полном объеме был использован доступный арсенал мирового опыта — «бонус» для тех, кто идет вслед за первопроходцами.
Прежде всего, были проработаны материалы Всемирной Метеорологической Организации (ВМО), которая в 1991 г. учредила Программу по метеорологическому обслуживанию населения в качестве неотъемлемой части своей программы по применению метеорологии. Далее, был проведен анализ и обобщение зарубежного опыта опросов общественного мнения по восприятию услуг и продукции национальных гидрометеорологических служб и удовлетворенности ими. В ряду таких НГМС оказались Австралийское правительственное Метеорологическое бюро (Australian Bureau Of Meteorology), Национальная служба погоды Национального управления океанических и атмосферных исследований США (National Weather Service of the National Oceanic and Atmospheric Administration — NWS/ NOAA), Метеорологическая служба Великобритании (Met. Office — одна из старейших в Европе и одна из ведущих служб в современном мире), Метеорологическая служба Ирландии (The Irish Meteorological Service), Метеорологическое управление Китая (China Meteorological Administration), Обсерватория Гонконга (Hong-Kong Observatory).
В конечном итоге комплексный анализ стороннего опыта позволил перейти к проектированию собственной системы мониторинга. Абрис ее прорисовывался постепенно, иногда с заметным ускорением, иногда — с возвратами к ранее пройденным схемам. Концептуальное конструирование осуществлялось путем интеграции некоторых «инвариантных» — общеметодологических и проблемных — блоков, «лоскутной» адаптации потенциала зарубежных национальных проектов к российским условиям, самостоятельных разработок или подобранных частных решений.
Были определены принципиальные подходы к постановке и решению вопросов, неизбежно возникающих на этапе проектирования, разработки и внедрения системы мониторинга, основные параметры самой этой системы и требования/условия к ее технологическому инструментарию.
Главной целью мониторинга постулировалась квалифицированная помощь и содействие Росгидромету в повышении его клиентоориентированности, в достижении его службами более полного соответствия генерируемых информационных продуктов реальным потребностям населения и корпоративных клиентов РГМ.
Работа по созданию национальной системы мониторинга разворачивалась поэтапно, методом итераций — последовательного уточнения и реализации основных параметров, постепенного приближения к заданному системному качеству и полноте. И первая такая итерация началась с разработки методологии опроса пользователей гидрометеорологической информации.
Прежде всего, был расширен спектр категорий потребителей гидрометеорологической информации, оценки которых подлежали эмпирическому выяснению и изучению. Учитывая существенно неоднородный состав потребителей ГМИ, были выделены три целевые группы мониторинга — население, хозяйствующие субъекты и органы исполнительной власти.
Стратегически было необходимо и выигрышно разработать такой унифицированный опросник, который, используя модульный принцип, позволял бы путем замены модулей, отражающих особенности одной группы, на модули, специфические для другой группы, легко модифицировать инструментарий, корректно опе-рационализируя его под каждую конкретную группу, сохраняя при этом высокую стандартизацию (а значит, совместимость и сопоставимость) информации, причем не только «пространственную» — для каждой группы в масштабе всей страны, и «временную» — в ходе мониторингового времени, но и между различными группами — в той части, в которой их особенности нивелируются. В конечном счете для опроса обозначенных целевых групп были разработаны совместимые, но специализированные анкеты: для населения специальная анкета «Поговорим о погоде», для двух оставшихся групп как адресных клиентов — общая анкета «Прогноз погоды в деятельности организации». В сопровождение каждой анкеты был также разработан вспомогательный инструментарий.
Далее, были определены наиболее существенные характеристики ГМИ, на выявление оценки по которым со стороны потребителей, прежде всего, и должны быть направлены проводимые опросы; выделены основные информационные блоки, необходимые для разработки соответствующего инструментария для опроса российских пользователей ГМИ; составлен перечень основных показателей, рассчитываемых на основе получаемых эмпирических данных опросов, для выработки обоснованной интегральной оценки эффективности служб ГМИ.
В качестве базового, определяющего показателя качества работы РГМ был принят уровень удовлетворенности различных групп пользователей ГМИ текущим метеообслуживанием и его динамика.
Содержательно инструментарий был сфокусирован на вопросах, которые находятся в центре внимания практически всех НГМС и ВМО и отражают общемировые тенденции развития гидрометеорологического информационного обеспечения населения. На основе сформулированных целей и задач Проекта и с учетом опыта зарубежных НГМС была обоснована и предложена сбалансированная сис-
тема основных показателей оценки ГМИ, динамика которых будет рассматриваться в качестве показателей модернизации метеообслуживания:
Общая оценка удовлетворенности
Оценка основных показателей ГМИ:
— точность;
— доступность;
— своевременность;
— полезность;
— понятность;
— полнота.
Характеристики спроса на ГМИ:
— рейтинг востребованности видов ГМИ;
— рейтинг востребованности параметров погоды;
— рейтинг востребованности прогнозов по долгосрочности;
— востребованность дополнительных услуг, в том числе платных.
Мотивация использования ГМИ:
— оценка объективной климатической, экологической ситуации в регионе;
— оценка погодозависимости и рисков;
— целевое использование ГМИ.
Параметры информационной ситуации:
— интенсивность использования;
— каналы распространения, уровень доверия;
— рейтинг форм подачи.
Предложенный набор показателей и индикаторов мониторинга вполне совместим со сложившимися международными и национальными стандартами опросов пользователей ГМИ, поэтому его использование позволяет получать сопоставимую с данными других НГМС информацию об оценке потребителями услуг российской национальной метеослужбы.
В условиях современного становящегося информационного общества проведение массовых опросов (преимущественно мониторингов) с необходимостью все шире опирается на методы, основанные на интернет-технологиях. Это позволяет оперативно и на регулярной основе осуществлять онлайн опросы различных групп пользователей ГМИ. Вместе с тем в наличных условиях России более применимыми остаются традиционные методы опроса, которые сохраняют свою эффективность и позволяют гарантировать представительство определенных категорий респондентов в выборке исследования, что, в конечном счете, способствует получению валидных, репрезентативных данных.
Исходя из этих обстоятельств, в качестве оптимального метода опроса на начальном этапе построения мониторинга был принят метод личного интервью "face-to-face". Однако предполагаемые существенные ограничения в использовании метода личного интервью при опросе представителей органов власти и хозяйствующих субъектов потребовали применительно к этим целевым группам предусмотреть возможность комбинирования различных методов опроса: личного
интервью, телефонного интервью, дистанционного опроса с использованием сети Интернет. Действительно, такая разветвленная методика позволила наполнить плановую выборку, обеспечив при этом надлежащий уровень репрезентативности данных.
Переход к практическому созданию системы мониторинга начался с «ходовых испытаний», в рамках которых был проведен стандартный локальный пилотаж — опробование функциональности разработанного, в первом приближении, инструментария. Что дал пилотаж? Как и обычная в условиях массового опроса процедура, он позволил обнаружить локальные изъяны в имеющейся теоретической и технологической оснастке, которые были устранены в ходе целенаправленной коррекции инструментария. В результате полученная микропроба позволила принять обоснованное решение о возможности инициации более масштабного тестирования методологии и инструментария, разрабатываемого для мониторинга, о проведении исследования на более обширном, разнообразном и сложном исследовательском плацдарме.
Реализация этой логики проходила в процессе второй итерации при конструировании системы мониторинга: в трех регионах, выбранных в качестве пилотных, была проведена апробация и корректировка методологии опроса пользователей Росгидромета. (Сибирский федеральный округ — территория ответственности Среднесибирского управления Росгидромета (УГМС); Приволжский федеральный округ — территория ответственности Верхне-Волжского УГМС; Дальневосточный федеральный округ — территория ответственности Приморского УГМС).
Для участия в опросе были выбраны регионы, в какой-то мере отражающие многообразие климатических, природно-географических, социально-экономических условий России, обладающие выраженной территориальной, отраслевой, отчасти — этнической спецификой, и в то же время, совокупностью своих особенностей выражающие во всем реальном разнообразии некую среднюю линию, типичность как для субъектов России, так и для территориальных управлений по гидрометеорологии и мониторингу окружающей среды (УГМС).
Первоочередной на этом этапе была задача отработки методологии и стандартного инструментария мониторинга, который позволил бы получать стандартизированную, репрезентативную и сопоставимую информацию в масштабе всей страны. Кроме того, важнейшей задачей данного этапа исследования было выявление и фиксация предпроектной оценки потребителями гидрометеорологических услуг по основным показателям качества и, в целом, пробная компоновка, «сборка» на базе полученных в этих регионах частных результатов целостной — необходимой и достаточной — системы основных показателей качества гидрометеорологических услуг, — конкретное количественное выражение именно тех показателей и индикаторов, которые предполагалось принять как стандарты для системы мониторинга. В конечном итоге, в результате обобщения, «свертки» такая система должна синтезировать генеральную оценку качества метеообслуживания. В этой перспективе необходимо было удостовериться, что 1) базовые показатели могут надежно служить в качестве измеряемых признаков, быть количественно
наполняемы посредством соответствующих шкал; 2) эти показатели в совокупности образуют целостную систему оценивания, придают замеряемой оценке интегральный характер; 3) предложенная система показателей объемно и адекватно отражает реальное качество гидрометеорологических услуг. На все эти принципиальной важности вопросы и должен был ответить опрос в трех регионах.
Было подготовлено и проведено «стандартное» полевое исследование, обработан и проанализирован полученный фактаж с «прицелом» на дальнейшее развитие мониторинга. В рамках ранее принятой парадигмы, применительно к специфическим условиям экспериментальных регионов была конкретизирована и уточнена разработанная методика мониторинга, в инструментальный комплекс были внесены необходимые коррективы, учитывающие выявленные рассогласования методики и получаемой с ее помощью эмпирики.
Другой стратегически важной задачей этого этапа стало утверждение принципов построения выборки применительно к каждой целевой группе, проектирование соответствующих выборок и апробация полученных моделей выборок. Специфическая сложность заключалась в том, что административно-территориальное деление России на федеральные округа (8 ФО) и субъекты РФ (89 субъектов) не совпадает с делением на зоны ответственности УГМС (24 УГМС/ГУ УГМС), и потому необходимо было выработать такую логику построения выборки, которая бы обеспечивала репрезентативность данных как для региона (ФО), так и, одновременно, — для УГМС. Принятый и апробированный в пилотном исследовании уровень репрезентативности — территория ответственности УГМС.
В общем подходе выборка, обеспечивающая репрезентативность на уровне территории ответственности УГМС, проектировалась в привязке к административно-территориальному делению России путем установления соответствия зоны ответственности каждого УГМС и территории ФО РФ, на которой осуществляет свою деятельность конкретное УГМС, а также на основе анализа структуры промышленности, экономических, географических, климатических и поселенческих характеристик территорий (субъектов и федеральных округов России). В качестве источников информации использовались документы государственной и ведомственной (Росгидромет) статистики, вспомогательные информационные материалы.
На данном этапе для выбранной — пилотной и потому упрощенной — конфигурации «ФО ^ Субъекты РФ ^ УГМС» были построены, по-сути, три отдельные, независимые региональные выборки, каждая из которых была изначально запроектирована на получение репрезентативных данных в соответствующем регионе. В силу заданной локализации пилотного опроса каждая такая выборка одновременно репрезентировала УГМС, в зону ответственности которых входили охваченные исследованием субъекты РФ.
Таким образом, на пилотном этапе развертывания мониторинга не ставилась задача опроса по полноценной федеральной выборке, получения репрезентативных данных для России в целом и всей структуры Росгидромета. Другими словами, выборка в ее основных параметрах, как и весь исследовательский арсенал, усложнялась тоже постепенно, в соответствии с общей стратегией поэтапного развертывания мониторинга.
Далее, для опроса населения была определена стратифицированная, многоступенчатая выборка, случайная на этапе отбора респондентов. При таком типе выборки учитываются особенности географического, климатического, социально-экономического положения населения, его поселенческая структура и основные социально-демографические характеристики.
В опросе специалистов хозяйствующих субъектов использовалась квотная выборка из клиентской базы территориальных УГМС, а для опроса представителей органов исполнительной власти соответствующих уровней — квотная выборка (с учетом административно-территориального деления, зоны ответственности каждого УГМС и структуры органов власти). Такая схема обеспечила представительство адресных клиентов всех уровней и различной отраслевой принадлежности — территориальных органов федеральной власти, органов субъекта федерации, местных — городских и муниципальных структур власти, сельских органов власти, хозяйствующих субъектов, деятельность которых связана с погодозависимыми отраслями.
В ходе пилотного исследования разработанная методология и методика мониторинга прошла сквозную апробацию, включая обработку данных, и была признана соответствующей поставленным целям и задачам и обеспечивающей их надежное и эффективное решение, позволяющей получать на основе периодических опросов комплексную стандартизированную информацию о динамической оценке потребителями услуг Росгидромета.
Инструментарий в целом показал свою применимость для замера и изучения оценки услуг Росгидромета. Вместе с тем был выявлен ряд проблем, связанных, в частности, с достижимостью респондентов — представителей адресных пользователей ГМИ, их мотивацией для участия в опросе. Эти вопросы потребовали дальнейшей шлифовки методологии и методики мониторинга в ходе следующей итерации.
Наконец, после завершения всех предварительных этапов состоялся запуск мониторинга — были проведены две волны собственно мониторингового исследования.
Главной задачей третьей итерации стало проведение широкоформатных опросов, внедрение системы мониторинга федерального масштаба. Кроме того, выполнялась окончательная доводка и оптимизация всего исследовательского комплекса мониторинга, подготовка к сдаче системы мониторинга.
Прохождение волн исследования имело свои особенности, обусловленные, главным образом, федеральным масштабом опроса. По сравнению с пилотным исследованием существенно расширился и усложнился вопрос о параметрах выборки — ее структуре, объеме и размещении. Для исследования необходимо было спроектировать федеральную выборку, включающую в себя все федеральные округа, все (за исключением нескольких оговоренных) УГМС. Принятый ранее, в пилотном исследовании уровень репрезентативности — территория ответственности отдельного УГМС — в случае статистически значимого представительства всех территориальных подразделений Росгидромета был неприемлем — объем такой выборки оказался бы слишком велик, а ее наполнение —
затратно. Требовалось переопределение и масштабирование, укрупнение параметров выборки.
С учетом этого критического условия наименьшей единицей анализа эмпирических данных была определена совокупная (объединенная) зона ответственности региональной группы УГМС/ГУ УГМС, действующих на территории каждого ФО и одновременно федеральный округ РФ.
Таким образом, была предложена модель двумерной выборки, которая совмещала требования репрезентативности одновременно по двум признакам: принадлежность ФО и группе УГМС. Эта модель действительно позволила получить фактическую выборку, репрезентативную на уровне территорий федеральных округов РФ и России в целом и, одновременно, — региональных групп УГМС/ГУ УГМС, действующих на территориях соответствующих федеральных округов. Вместе с тем данная модель выборки в целом уже не обеспечивала репрезентативность на уровне каждого отдельного УГМС, равно как и субъекта РФ.
Объем выборки для конкретного федерального округа определялся долей населения РФ, проживающего в этом округе. Конфигурация субъектов в ФО подбиралась таким образом, чтобы она обеспечивала по возможности пропорциональное «покрытие» зон ответственности УГМС, образующих региональную группу данного ФО. В рамках отдельного субъекта РФ, отобранного для исследования, структура выборки детализировалась в результате формирования маршрутов опроса. В целом полевой этап обеих волн исследования прошел успешно, подтвердив правильность выбранного подхода. Был собран запланированный массив анкет для каждой целевой группы респондентов.
Так, постепенно, в ходе трех направленных итераций было завершено конструирование национальной системы мониторинга качества гидрометеоинформа-ции и метеоуслуг, предоставляемых Росгидрометом. В настоящий момент система мониторинга (и вся сопутствующая инструментально-технологическая оснастка) сдана в эксплуатацию и находится в активированном состоянии. Суммарно, на трех этапах исследования — в ходе пилотного исследования и прохождения двух волн мониторингового исследования — было опрошено 8576 респондентов, из них 6442 — среди населения, 2134 — среди адресных клиентов, в том числе специалистов хозяйствующих субъектов — 1685, представителей органов власти всех уровней — 449.
В процессе комплексной обработки полученных данных была сформирована объединенная унифицированная база данных, интегрирующая эмпирические данные, полученные в ходе исследований первой и второй волн мониторинга; разработана схема статистической обработки данных.
На этапе анализа данных были выполнены описательный статистический и неформальный содержательный анализ полученных данных, предложена интерпретация результатов волн исследования, проведен сравнительный анализ результатов пилотного исследования, исследований первой и второй волн мониторинга.
В ходе камеральных работ была выявлена и проанализирована система потребительских оценок услуг Росгидромета по показателям и индикаторам, которые были приняты как стандартные для данного мониторинга.
Каковы, в кратком обзоре, итоги проделанной работы? В ходе реализации проекта осуществлено создание и внедрение системы мониторинга оценки пользователями услуг Росгидромета, сформирована уникальная база данных, открывающая возможность выявления динамики оценки и спроса на ГМИ широкого спектра потребителей на территории всей страны. Росгидромет вооружен надежной апробированной методологией и инструментарием, которые позволяют получать стандартизированную, репрезентативную и сопоставимую информацию в масштабе всей страны, с учетом уникального разнообразия географических и климатических условий различных территорий.
В настоящий момент на первый план выдвигается задача поддержания мониторинга, его необходимое организационное, кадровое и финансовое обеспечение.
По результатам всех этапов исследования выявлена стабильно положительная оценка удовлетворенности всех групп пользователей качеством ГМИ. Оценка удовлетворенности качеством ГМИ респондентами всех категорий проводилась по пятибалльной шкале, в которой 1 балл соответствовал суждению «совершенно не удовлетворены», а 5 баллов — «полностью удовлетворены». Так, оценки удовлетворенности населения качеством прогнозов погоды варьируют, по различным параметрам, от 3,7 до 4,3 балла в исследовании второй волны, и от 3,7 до 4,4 баллов в исследовании первой волны мониторинга. Наиболее высокую оценку неизменно получают такие качества ГМИ, как ее доступность, открытость и полезность; более низкую, но, тем не менее, устойчиво положительную оценку получают заблаговременность, своевременность прогнозов и их точность, достоверность (рис. 1).
Рис. 1. Оценивая работу гидрометеорологической службы, насколько Вы в целом удовлетворены следующими качествами прогнозов погоды (население): (оценка по пятибалльной шкале)
Общие оценки удовлетворенности адресных клиентов качеством прогнозов погоды варьируют по различным параметрам в пределах 3,8—4,6 балла во второй волне мониторинга и от 3,8 до 4,4 балла в первой волне (рис. 2).
Точность, достоверность прогнозов
Заблаговременность, своевременность
Доступность, открытость информации
Полезность информации
Качество клиентского обслуживания
12 3 4 5
й Пилотное исследование И 1-я волна мониторинга □ 2-я волна мониторинга
Рис. 2. Оценивая работу гидрометеорологической службы, насколько Вы в целом удовлетворены следующими качествами прогнозов погоды (адресные клиенты): (оценка по пятибалльной шкале)
Несмотря на обозначившийся вектор изменений оценки, речь, скорее, может идти лишь о некотором стабильном состоянии, нежели о сформировавшейся позитивной динамике: зафиксированный на различных этапах исследования рост средних оценок качества ГМИ несущественен (и в ряде случаев по величине не превышает ошибку выборки).
Общие оценки удовлетворенности качеством ГМИ различных групп пользователей расходятся незначительно, и все же адресные пользователи на всех этапах исследования дают более высокую оценку (на 0,1—0,4 балла) по различным параметрам качества прогноза погоды по сравнению с населением и демонстрируют более устойчивую позитивную динамику оценки качества ГМИ. Это может означать, что население, в отличие от адресных пользователей, пока не ощутило достаточно явных позитивных изменений в качестве получаемой им ГМИ, реальных улучшений, связанных с перевооружением основных элементов технической и технологической базы Росгидромета в ходе реализации проекта.
Вместе с тем именно на основе полученных в ходе мониторинга данных возможна разработка конкретных — дифференцированных и специализированных — эффективных мер, способных реально обеспечить устойчивое повышение удовлетворенности качеством ГМИ всех групп пользователей. Эта задача в определенной мере поддается решению в рамках уже имеющихся в настоящее время технических возможностей Росгидромета и его территориальных структур путем повышения уровня их клиентоориентированности, более полного учета специфики спроса различных групп пользователей, а также целенаправленного формирования спроса, ибо оценка пользователями качества ГМИ носит субъективный характер и определяется как ее объективными техническими характеристиками, так и ее востребованностью: показатели оценки отражают меру сбалансированности ожиданий потребителей и их фактического удовлетворения.
И все же реальные позитивные изменения в качестве прогнозов, связанные с перевооружением Росгидромета в ходе реализации Проекта, в той или иной степени ощутили все группы пользователей (в большей — адресные клиенты) разных федеральных округов и, в еще большей степени, — пользователи разных УГМС. В этом аспекте полученная в процессе мониторинга информация (дифференцированная по федеральным округам, УГМС и группам пользователей) полезна для разработки организационных и иных механизмов, направленных на выравнивание территориальных эффектов от технического и технологического перевооружения РГМ, и более равномерный рост оценок удовлетворенности качеством ГМИ во всех ФО и территориях ответственности УГМС.
Для более точного и дифференцированного анализа оценок населением прогнозов погоды был разработан сводный показатель, или интегральный индекс, вычисляемый путем аккумулирования частных оценок, полученных на наборе пятибалльных шкал, в которых 1 балл соответствовал суждению «совершенно не удовлетворены», а 5 баллов — «полностью удовлетворены». В выбранной таким образом шкале нейтральной оценке соответствует величина 3,0 балла (точка индифферентности). В зависимости от конкретного вопроса-индикатора по шкале фиксировались следующие оценки прогнозов: точность прогнозов по степени за-благовременности, удовлетворенность отдельными качествами прогнозов, удовлетворенность основными характеристиками прогнозов. Таким образом был рассчитан интегральный индекс для региональной группы УГМС каждого ФО. Упорядоченный по средней величине этого индекса список позволяет получить рейтинг ФО/региональной группы УГМС (табл. 1).
Таблица 1
Рейтинг ФО/региональных групп УГМС по интегральному индексу (баллу) различных качеств прогноза погоды
(население)
Ранг Федеральный округ РФ Региональная группа УГМС Интегральный индекс (средняя сумма баллов)*
1-я волна 2-я волна
1. Приволжский Верхне-Волжское УГМС Приволжское УГМС ГУ «УГМС Республики Татарстан» ГУ «Башкирское УГМС» Уральское УГМС 45,2 1 46,4
2. Уральский Обь-Иртышское УГМС Уральское УГМС 46,2 * 45,0
3. Дальневосточный Дальневосточное УГМС ГУ «Приморское УГМС» ГУ «Сахалинское УГМС» ГУ «Камчатское УГМС» ГУ «Якутское УГМС» 45,8 1 44,7
4. Центральный Центральное УГМС Центрально-Черноземных областей УГМС 44,0 t 44,6
5. Северо-Кавказский Северо-Кавказское УГМС 42,9 44,3
6. Южный Северо-Кавказское УГМС 46,3 * 44,2
Окончание
Ранг Федеральный округ РФ Региональная группа УГМС Интегральный индекс (средняя сумма баллов)*
1-я волна 2-я волна
7. Северо-Западный Северо-Западное УГМС Северное УГМС ГУ «Мурманское УГМС» 44,3 * 44,1
8. Сибирский Западно-Сибирское УГМС Среднесибирское УГМС Иркутское УГМС Забайкальское УГМС Обь-Иртышское УГМС 45,1 1 43,6
* Максимальная сумма баллов по 12 параметрам качества прогноза погоды, оцениваемым населением по пятибалльной шкале, составляет 60 баллов.
Чтобы сделать ранжирование более удобным и наглядным, данный рейтинг целесообразно представить с точки зрения средней оценки, получаемой по пятибалльной шкале совокупно по ряду указанных параметров, используемых для построения интегрального индекса (табл. 2).
Таблица 2
Рейтинг ФО/региональных групп УГМС по среднему баллу интегральной оценки различных качеств прогноза погоды
(вторая волна мониторинга, население)
Ранг Федеральный округ РФ Региональная группа УГМС Средний балл
1. Приволжский Верхне-Волжское УГМС Приволжское УГМС ГУ «УГМС Республики Татарстан» ГУ «Башкирское УГМС» Уральское УГМС 3,9
2. Уральский Обь-Иртышское УГМС Уральское УГМС 3,8
3. Дальневосточный Дальневосточное УГМС ГУ «Приморское УГМС» ГУ «Сахалинское УГМС» ГУ «Камчатское УГМС» ГУ «Якутское УГМС» 3,8
4. Центральный Центральное УГМС Центрально-Черноземных областей УГМС 3,7
5. Северо-Кавказский Северо-Кавказское УГМС 3,7
6. Южный Северо-Кавказское УГМС 3,7
7. Северо-Западный Северо-Западное УГМС Северное УГМС ГУ «Мурманское УГМС» 3,7
8. Сибирский Западно-Сибирское УГМС Среднесибирское УГМС Иркутское УГМС Забайкальское УГМС Обь-Иртышское УГМС 3,6
Полученный рейтинг свидетельствует, что все ФО находятся в зоне положительных оценок: от умеренной (3,6 балла, при нейтральной оценке 3 балла) до хорошей (3,9 баллов).
Таким образом, поддержание системы мониторинга в функциональном состоянии, содержательная переработка и учет получаемых с его помощью регулярных, серийных данных позволит целенаправленно, оперативно и эффективно решать одну из важнейших задач Росгидромета: обеспечивать (1) устойчивую, (2) долговременную, (3) комплексную позитивную динамику оценки качества услуг Росгидромета, и, кроме того, будет способствовать лучшему пониманию населением возможностей Росгидромета и путей наилучшего использования предоставляемого им обслуживания.
Такая постановка вопроса с необходимостью требует решения сопряженной задачи: создания действенного механизма, способного обеспечить квалифицированное оперирование поступающими данными мониторинга, их конвертирование в конкретные эффективные технологии повышения клиентоориентированности деятельности всех структур Росгидромета. Такое оперирование данными мониторинга, дифференцированными по социально-демографическим, отраслевым, поселенческим и иным показателям, позволяет энергично и целенаправленно формировать осознанный спрос у различных групп пользователей ГМИ, эксплицируя важнейшие параметры погодозависимости отдельных социально-демографических групп населения и деятельности конкретных организаций; формировать и активно продвигать новые информационные продукты. Данные мониторинга позволяют динамически оценивать текущий перспективный ресурс рынка СГМИ, совершенствовать стратегию развития платного гидрометеорологического обслуживания населения, выделяя различные группы потребителей ГМИ среди населения (в том числе по конкретным регионам, половозрастным и образовательным группам и т.д.) и целенаправленно генерируя специализированные продукты с востребованными свойствами/качествами. При этом необходимо также учитывать дополнительные факторы пользования информацией: каналы получения ГМИ, уровень доверия к ним, предпочтительные формы подачи ГМИ и т.п.
В качестве предварительного вывода (полученного на основе данных мониторинга) можно отметить, что взаимодействие Росгидромета со СМИ требует дополнительного специального исследования, практическим результатом которого могли бы стать рекомендации по выстраиванию «информационной вертикали» по линии «Росгидромет ^ СМИ», по формированию определенной культуры и дисциплины метеоинформирования, ибо качество метеоуслуг РГМ в сознании потребителей ГМИ, как правило, опосредуется СМИ и неизбежно ассоциируется с качеством работы именно средств массовой информации в этом секторе информационных услуг (оборот ГМИ, возможные произвольные манипуляции с метеоинформацией и т.п.).
Наконец, поддержание и развитие системы мониторинга оценки качества услуг Росгидромета может стать добротной технологической, информационной, методологической и интеллектуальной базой для инициирования и проведения более обширных, сложных и социально значимых исследований по смежной тематике. Речь, в частности, может идти об одной из глобальных проблем XXI в. — масштабном изменении климата и нарастании климатических угроз современной ци-
вилизации. Исследовательский комплекс мониторинга услуг Росгидромета может стать российской стартовой площадкой для межрегиональных и глобальных проектов, направленных на изучение формирующихся стереотипов и форм восприятия климатических угроз, адаптации населения к планетарному изменению климата; на разработку конкретных мер, способных обеспечить безопасность и благосостояние населения в меняющейся климатической ситуации, мониторинг действенности этих все более и более неотложных мер.
PRACTICAL ASPECTS OF RESEARCH MONITORING: METHODOLOGICAL AND FUNCTIONAL SOLUTIONS
A.A. Onosov1, L.G. Sudas2
!Chair of Sociology Peoples' Friendship University of Russia Miklukho-Maklaya str., 10/2, Moscow, Russia, 117198
2Chair of Sociology of Management M.V. Lomonosov Moscow State University Lomonosov ave., 27-4, Moscow, Russia, 119991
The article describes the experience of designing, testing and implementing the National system of monitoring the quality of meteorological services in Russia. Within the framework of this project a large-scale research program was carried out aimed to develop the conception, methodology, research tools and design of customer assessment of the Roshydromet services.
Key words: sociological monitoring, methodology of monitoring, Roshydromet, hydro-meteorological weather forecast, meteorological services.
