Оценка деятельности контрольно-надзорных органов исполнительной власти Текст научной статьи по специальности «Экономика и бизнес»

Берездивина Е.В.

ОЦЕНКА ДЕЯТЕЛЬНОСТИ КОНТРОЛЬНО-НАДЗОРНЫХ ОРГАНОВ ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ

Аннотация

В статье представлен методический подход к организации системы оценки деятельности ведомства типа «служба», осуществляющего часть функций через территориальные органы. Рассмотрены предмет, задачи, технология и использование результатов оценки. Особое внимание уделено сравнительной оценке территориальных органов. Представленный подход разработан и апробирован при выполнении работы по теме «Создание системы оценки эффективности деятельности Роскомнадзора».

Ключевые слова: оценка деятельности; оптимизация деятельности; результаты оценки; критерии оценки; сравнительные оценки; полномочия; контроль; контрольно-надзорные органы; территориальные органы федеральных органов исполнительной власти.

Входе работы по формированию системы оценки деятельности Роском-

надзора1, имевшей выраженный прикладной характер, было сделано несколько теоретических выводов относительно применимости сложившихся в мировой практике подходов к оценке деятельности организации для контрольно-надзорных органов исполнительной власти. В обобщенном виде можно сформулировать несколько утверждений.

Во-первых, недостаточно говорить об особенностях государственного управления. Оценка деятельности ведомства существенно отличается не только от оценки деятельности коммерческой организации, но и ведомств разных типов (министерство, агентство и служба), и требует принципиально разных подходов.

Во-вторых, оправдавшее себя в бизнесе и распространенное в государственном управлении построение системы оценки «сверхувниз» может не найти практического применения для ведомства типа «служба».

В-третьих, задача оценки как информационной базы для оптимизации деятельности в государственном управлении имеет существенные ограничения, причем в зависимости от типа ведомства степень ограничения различается.

Далее в настоящей статье представлены основные решения, принятые в ходе работы по формированию системы оценки деятельности Роскомнадзо-ра и позволившие с течением времени обобщить полученный опыт в сформулированные выше выводы.

Формирование системы оценки деятельности Роскомнадзора предполагало определение перечня показателей и их формализацию, определение порядка мониторинга значений показателей и методики обработки данных мониторинга для получения ограниченного набора сведений о результатах деятельности Службы.

Нужно отметить, что в Роскомнадзоре создана и функционирует информационная система, обеспечивающая сбор большого объема данных о деятельности всех территориальных органов, причем сбор данных осуществляется не периодически, а постоянно: например, закончив проверку, государственный инспектор сразу делает соответствующую отметку в информационной системе и прикрепляет файл с протоколом. Это дало возможность, во-первых, провести апробацию разработанных материалов, в том числе проверить доступность первичных данных и провести сравнительную оценку деятельности территориальных органов, а во-вторых, предположить, что при соответствующем развитии аналитического модуля информационной системы Роскомнадзор может использовать панели индикаторов2.

Одним из требований к системе оценки деятельности, изначально заданных Службой, было определение показателей для оценки на основе полномочий Роскомнадзора. Анализ полномочий проводился по параметрам «исполнитель полномочия (структурное, территориальное подразделение)», «нормативное и (или) методическое обеспечение полномочия» и «принадлежность полномочия к типовой функции или обеспечивающему полномочию»; на основе анализа были определены типовые функции (не путать с государственными функциями) в составе профильных полномочий и вспомогательные полномочия.

Принадлежность полномочия к типовой функции является обобщением, позволяющим использовать унифицированные показатели для разных структурных подразделений. В целях оценки были выделены три типовые функции:

- контроль соблюдения установленных требований (условий);

- разрешительная и регистрационная деятельность;

- ведение реестров.

В состав типовой функции включается как непосредственное исполнение процедур в отношении поднадзорных организаций, так и предварительные и последующие действия. Например, в состав типовой функции

«контроль соблюдения установленных требований (условий)» вошли: регламентация; методическое обеспечение; профилактика нарушений; формирование плана проведения плановых проверок; проведение проверок; контроль выполнения результата проверки; мониторинг. В состав административной процедуры «проведение проверок» вошли: рассмотрение обращения (информации); проверка отчетов об устранении нарушений; решение и уведомление о проведении проверки; проведение проверки и т.д., причем действия выделены унифицированно для плановой или внеплановой выездной либо документальной проверки.

Вспомогательные полномочия разделены на обеспечивающие (планирование деятельности, отчетность, бюджет, кадры, делопроизводство, правовое обеспечение) и инициативные (организационное развитие, разъяснения и профилактика нарушений в поднадзорной сфере, анализ). Это позволило не только учесть обязательную «накладную» составляющую профильных полномочий, но и легализовать и стимулировать необязательную деятельность, которая может оказаться существенным фактором улучшения результатов деятельности.

Для описания типовых функций в терминах результатов использовались технологические карты, где для каждого выделенного действия указаны ответственные за его исполнение подразделения, результат его исполнения и показатели, отражающие заявленные результаты, документальные, количественные и (или) качественные характеристики его исполнения. Например, результат действия «регламентация процедур» описан следующим образом: «административный регламент утвержден, административные процедуры выполняются в соответствии с регламентом, порядок проведения межтерриториальных проверок определен, исполнители не обращаются за разъяснениями норм регламента, проверки исполнения регламента не выявляют случаев административного усмотрения». Такому результату соответствуют показатели «доля регламентированных государственных функций», «актуализация административных регламентов», «частота и концентрация запросов исполнителей о разъяснении норм административных регламентов», «распределение тем обращений поднадзорных организаций».

Таким образом, показатели для оценки деятельности определены исключительно на основе полномочий, без какой-либо связи с целеполагани-ем. Такой подход принципиально отличается как от получившей признание сбалансированной системы показателей (Нортон и Каплан, 19923), так и от отечественных методических материалов в области государственного управления - рекомендаций по разработке Докладов о результатах и основных направлений деятельности субъектов бюджетного планирования, по формированию карт проектов по реализации Основных направлений деятельности Правительства Российской Федерации. Как правило, и в государственном управлении, и в бизнесе рекомендуется в первую очередь определять миссию, цели и задачи деятельности и далее формировать соответствующий набор показателей. Не возражая против данного подхода в принципе, для оценки деятельности ведомства типа «служба» выбранный обратный путь оправдывает себя по целому ряду причин, из которых рассмотрим две основные.

Во-первых, сфера деятельности службы задана нормативным правовым актом Правительства Российской Федерации, и федеральный орган исполнительной власти не может отказаться от выявленных в ходе оценки неэффективных видов деятельности. Здесь нужно подчеркнуть отличие службы от министерства и агентства. Если министерство может (и должно) формировать политику в сфере ведения, а агентство может выбирать оптимальные способы оказания государственных услуг, то контрольно-надзорные полномочия службы существенно ограничивают возможности оптимизации на основе оценки. Таким образом, возникает вопрос о понимании эффективности и предмете оценки, которым может являться сама деятельность, ее результаты, результативность или эффективность.

Для исполнительного органа власти типа «служба» имеет смысл рассматривать в качестве предмета оценки в основном деятельность, т.е. процедуры, исполняемые сотрудниками и подразделениями ведомства. Этот выбор не является оптимальным, он сделан скорее от обратного, поскольку аргументы против результатов или эффективности как предмета оценки сильнее. Выбор деятельности в качестве предмета оценки порождает угрозы «деятельности ради деятельности» и ориентированного на контроль поведения чиновников, но эти угрозы можно в значительной степени нивелировать введением в систему оценки элементов обратной связи и бенчмаркинга. Результаты как таковые не могут быть самостоятельным предметом оценки, поскольку если они окажутся неудовлетворительными, то для анализа причин нужно будет, в том числе, рассмотреть и процедуры. Также следует учитывать, что именно при оценке результатов возникают проблемы временных лагов, определения зависимости результатов от действий службы и т.д.

Кроме того, результаты выполнения контрольно-надзорных полномочий поддаются манипулированию, и поэтому результат лучше описывать как признак выполнения процедур, т.е. не в виде «нарушение не выявлено» или «нарушение выявлено», а в виде «при плановых или внеплановых мероприятиях выявлены такие-то нарушения либо их отсутствие». Эффективность как соотношение между достигнутым результатом и использованными ресурсами4 также, по сути, выводит в предметы оценки процедуры, поскольку, как правило, бюджеты инерционны и управлять эффективностью можно в основном за счет оптимизации деятельности. Более того, буквальное понимание эффективности как соотношение суммы наложенных (взысканных) штрафов и объема финансирования службы может спровоцировать агрессивность службы по отношению к поднадзорным организациям.

Понятие результативности как степени достижения запланированных результатов (определено тем же ГОСТ Р ИСО 9000-2001) может рассматриваться как второстепенное по отношению к вопросу о предмете оценки, т.е. запланированным результатом может являться и исполнение процедуры, и результат в виде документа, и некий уровень эффективности, и поэтому результативность может использоваться в оценке деятельности органа исполнительной власти любого типа.

Таким образом, определив, исходя из специфики контрольно-надзорных полномочий (в отличие от полномочий регулятивных и по оказанию услуг), в качестве предмета оценки процедуры и учитывая нормативно установленные требования к проведению контрольных и надзорных мероприятий, следует задать требования к самим процедурам. В общем виде в отношении деятельности ведомства типа «служба» в целях ее оценки могут быть установлены два условия: она должна быть определена (регламентирована и методически обеспечена) и исполняться в соответствии с установленными правилами. В этом случае можно проводить оценку деятельности на основе оценки (1) наличия и (2) качества описания административных процедур и (3) степени их исполнения.

Во-вторых, при формировании оценки «сверхувниз» велика вероятность расплывчатого описания результатов, вытеснения «неудобных» показателей, неуправляемого роста числа показателей5. Примеры расплывчатого описания результатов приводить не требуется, а как пример вытеснения «неудобных» показателей можно привести перечень показателей оценки эффективности работы территориальных органов Федеральной налоговой службы6 по критерию «Увеличение доли налогоплательщиков, удовлетворительно оценивающих качество работы налоговых органов»: «Удельный вес налоговых деклараций (расчетов), введенных в установленные сроки, к общему количеству принятых налоговых деклараций», «Удельный вес налоговых деклараций, введенных с превышением срока ввода более чем на 1 месяц», «Динамика удельного веса невыясненных платежей к общему поступлению администри-руемых доходов по сравнению с предыдущим отчетным периодом». Перечисленные показатели не отражают мнение налогоплательщиков о работе налоговых органов, хотя в Докладе ФНС России о результатах и основных направлениях деятельности на 2007-2009 гг. (перечень показателей разрабатывался в 2007 г.) сказано об упорядочении и упрощении налоговых процедур для выполнения налогоплательщиками конституционной обязанности по уплате законно установленных налогов и сборов.

В системе оценки деятельности Роскомнадзора результаты определены не в целом для Службы, а для каждого действия, оценочные показатели (их порядка 100 штук) соотнесены не только с качественным описанием результата, но и с отдельными действиями (выше приведен пример для действия «регламентация процедур»). Такие методические решения являются мерой предупреждения перечисленных распространенных недостатков оценочных систем, причем эти решения возможны только при подходе «снизувверх».

Традиционные проблемы целеполагания в государственном управлении (цели плохо поддаются количественной формализации, имеют долгосрочный характер, на их достижение влияют не только органы исполнительной власти, ответственность за их достижение размыта) в данном случае не решаются, а выводятся за пределы оценки. Но именно для ведомства типа «служба» это не имеет принципиального значения, поскольку показатели контрольно-надзорной деятельности (не показатели результатов деятельности поднадзорной сферы) являются инвариантными относительно формулировки цели.

Дополнительным преимуществом определения перечня показателей оценки на основе полномочий ведомства является получение информации о составляющих результата или об определяющих его факторах. Динамический и сравнительный анализ показателей, совмещенных с административными процедурами (а именно такая информация содержится в технологических картах типовых функций), позволяет, например, оценить соответствие «узких мест» при исполнении административных процедур организационно-штатной структуре или выявить различия в выполнении однотипных действий разными профильными и территориальными подразделениями.

При этом в ходе мониторинга и оценки выявляются не только нарушения, но и возможности совершенствования административных процедур, оптимизации организационной структуры и повышения результативности расходов, т.е. оценка является инструментом предупреждающего контроля.

Вопрос постановки задач оценки является принципиальным. Если рассматривать оценку как форму предупреждающего, а не наказывающего контроля и как источник информации для принятия управленческих решений, то задачу оценки можно определить как выявление возможностей совершенствования административных процедур исполнения государственных функций, организационной структуры, штатного расписания или структуры расходов службы. Такая постановка задачи выводит на первый план вопросы оперативности сбора и обработки информации, возможности выборочного анализа «узких мест» на ограниченном объеме данных, проведения сводных и сравнительных оценок.

Можно сформулировать более детальные задачи, сгруппировав их по трем направлениям:

- присутствие службы в поднадзорной сфере;

- организация контрольно-надзорной деятельности;

- восприятие деятельности службы поднадзорными субъектами.

При оценке присутствия контрольного органа в поднадзорной сфере задачами являются:

- определение масштаба контрольно-надзорной деятельности;

- оперативный мониторинг уровня исполнительской дисциплины при осуществлении контрольно-надзорной деятельности;

- определение относительной стоимости контрольно-надзорной деятельности для сравнительного анализа деятельности различных территориальных подразделений;

- формализация потенциально сравнимых характеристик контрольно-надзорной деятельности в разных сферах для оценки со стороны внешнего контролера.

В этом случае оцениваются такие параметры, как охват поднадзорных организаций контрольными мероприятиями, объем контрольно-надзорной деятельности, сложность контрольно-надзорной деятельности (средняя трудоемкость и размах трудоемкости контрольных мероприятий, квалификация инспекторов), соотношение контрольных мероприятий разных видов (плановые и внеплановые проверки, систематическое наблюдение),

исполнительские характеристики контрольно-надзорной деятельности (например, доля проверок, проведенных в установленные сроки) и качественные характеристики (например, доля результатов проверок, отмененных в судебном порядке).

При оценке организации контрольно-надзорной деятельности задачами являются:

- проверка обоснованности действий государственных инспекторов и легитимности используемых ими методов работы;

- выявление «лучших практик» исполнения отдельных полномочий и процедур;

- формирование информационной базы для обоснования значений показателей деятельности и объема расходов на их достижение.

В этом случае оцениваются такие параметры, как степень регламентации контрольно-надзорных функций и наличие методического обеспечения, открытость деятельности службы и наличие в свободном доступе нормативных требований к деятельности поднадзорных лиц, межведомственное взаимодействие, работа с экспертными и общественными организациями, использование современных технологий, соотношение нагрузки, результатов и расходов территориальных органов.

При оценке восприятия контрольно-надзорной деятельности поднадзорными организациями задачами являются:

- получение внешних по отношению к службе данных о практике и результатах исполнения контрольных процедур;

- выявление типичных проблем и возможностей оптимизации взаимодействия с подконтрольными организациями;

- определение влияния деятельности службы на деятельность поднадзорных организаций и на состояние поднадзорной сферы.

В этом случае оцениваются такие параметры, как удовлетворенность поднадзорных организаций взаимодействием с контрольным органом, склонность поднадзорных организаций к нарушениям (отражает вероятность выявления нарушения и значимость наказания), относительная результативность различных форм контроля (как оценка возможности замещения дорогостоящих выездных проверок мероприятиями систематического наблюдения), конечный эффект исполнения контрольно-надзорных функций (например, размер предотвращенного ущерба).

В соответствии с задачами оценки определен состав показателей. Показатели, используемые для оценки деятельности Службы, разделены на первичные, обобщающие и оценочные.

Первичные показатели формируются по мере исполнения процедур и представляют собой отметки вида «наличие», «выполнено», «дата», «реквизиты документа» и т.д. в контрольных точках формирования результата в информационной системе.

Обобщающие показатели представляют собой результат обработки первичных показателей. Обобщающий показатель может быть показателем объема (например, количество проверок), показателем результата (например, выданные и исполненные предписания и предупреждения), показате-

лем процесса (например, выполнение процедуры в установленные сроки). В ходе создания системы оценки Роскомнадзора для каждого обобщающего показателя сформирован паспорт, где указаны: номер в соответствии со сквозной нумерацией, наименование, единица измерения, определение (интерпретация и связь с другими показателями), алгоритм формирования, наименования первичных показателей, источники информации.

Оценочные показатели формируются в результате обработки обобщающих показателей путем формирования сводных и сравнительных оценок. Оценочные показатели могут отражать, например, место или изменение места отдельного подразделения относительно других подразделений по данному показателю либо отклонение значения показателя данного подразделения от среднего значения данного показателя по совокупности или группе подразделений.

Формирование сводных оценок позволяет сократить объем информации, рассматриваемой при принятии решения. Самым простым является свод значений одного показателя по совокупности подразделений. Расчет сводного значения проводится по заданному в паспорте показателя алгоритму для любой выборки, например для всех территориальных органов или отобранных по какому-либо критерию (например, численность инспекторов или значение по другому показателю). Сводная оценка по группе показателей как оценка значения одного показателя при условии соблюдения предельных значений для остальных показателей используется для отдельного подразделения или их совокупности в случаях, когда установлены требования к значению показателей (норматив, целевое значение) или когда значения основной массы показателей изменяются незначительно на протяжении больших периодов наблюдения. Сводная оценка по группе показателей как оценка совокупности (сумма, произведение, среднее) взвешенных по критерию значимости или объема значений включенных в группу показателей является наиболее трудоемкой и наименее достоверной формой сводной оценки. Технически расчет интегрального значения нескольких показателей может потребовать предварительной корректировки показателей для обеспечения их сопоставимости - нормирование, обеспечение единого направления изменений значений (например, рост значений всегда свидетельствует об улучшении ситуации) и т.п. Сводная оценка по группе показателей как оценка изменений значений включенных в группу показателей по сравнению с прошлым периодом используется в случаях, когда важно определить факторы изменений, в том числе нулевых (незначительных) изменений. Оценка может учитывать только направление (знак) или направление и объем изменения. В группу включаются показатели, отражающие разные факторы формирования одного результата или связанные причинно-следственной связью, например: «доля обжалованных предписаний об устранении нарушений», «доля обжалованных по причине низкого качества документов предписаний», «доля актов проверок в составе базы для анализа и обобщений», «частота и концентрация запросов исполнителей о разъяснении норм административных регламентов», «доля запросов исполнителей о разъяснении норм административных регламентов, рас-

смотренных в ходе повышения квалификации», «доля поднадзорных организаций, не удовлетворенных взаимодействием со Службой».

Сравнительные оценки используются в основном в отношении территориальных органов, т.е. сравниваются разные исполнители одинаковых полномочий, но могут использоваться и для сравнения профильных управлений центрального аппарата или территориального органа.

Сравнительная оценка может проводиться по отдельному показателю или набору показателей. Если оценка проводится по набору показателей, т.е. проводится и сравнительная и сводная оценка, то устанавливается приоритет сравнительной оценки: сначала проводится оценка раздельно по каждому показателю для совокупности территориальных органов, затем сводятся ее результаты, технически или с содержательной интерпретацией. Также для предупреждения искажений, вызываемых присваиванием весов и другими техническими действиями, при сводной оценке можно использовать балльный метод. Например, в случае если большее значение показателя означает содержательно лучшее положение, территориальным органам, фактические значения показателей которых отклоняются от среднего не более чем на установленный процент, присваивается балл «2»; если значение больше среднего на установленный процент, присваивается балл «3»; если значение меньше среднего на установленный процент, присваивается балл «1».

Сравнительная оценка территориальных органов позволяет выявить вариацию результатов их деятельности, отслеживать абсолютные и относительные изменения состояния отдельного территориального органа, определить ограниченный перечень территориальных органов, результаты деятельности которых требуют дополнительного анализа.

Выявление вариации результатов деятельности территориальных органов ставит вопрос о норме или желательном результате деятельности. В качестве нормы может рассматриваться сложившаяся типичная административная практика - можно предположить, что она отражает добросовестное и рациональное исполнение территориальными органами своих полномочий. Такое решение, во-первых, является сигналом о доверии для территориальных органов. Во-вторых, если при этом сосредоточить оценку на отстающих, то каждый территориальный орган будет стремиться оказаться в массиве с «нормальными» характеристиками деятельности, тем самым улучшая «норму», а стимулом такого стремления является невмешательство в деятельность «нормальных» территориальных органов. В-третьих, анализ случаев превышения нормы позволит выявить как лучшие практики, которые можно поощрять и распространять, так и неоптимальное распределение ресурсов (например, несоответствие организационно-штатной структуры характеристикам поднадзорной сферы) или халатное исполнение полномочий.

В ходе сравнительной оценки деятельность территориальных органов анализируется по двум критериям: (1) направление и значимость отклонения значения показателя данного территориального органа от среднего значения по всем территориальным органам и (2) направление и значимость изменения значения показателя данного территориального органа по срав-

нению с предыдущим периодом. В результате формируется четыре группы: «лучше себя в прошлом периоде и выше среднего», «лучше себя в прошлом периоде, но ниже среднего», «хуже себя в прошлом периоде и выше среднего» и «хуже себя в прошлом периоде и ниже среднего». По сравнению с построением рейтинга такая группировка, во-первых, менее конфликтна, поскольку использование показателей всегда искажает действительность7, причем достоверность по мере дробления снижается. Во-вторых, для принятия решений не важно, на каком именно месте находится конкретный территориальный орган, важны изменения в его положении.

При оценке важно обеспечить сопоставимость данных, например, математически результат «ни одного нарушения при десяти проверках» лучше результата «некоторое число нарушений при тысяче проверок», однако по сути это неверно. Если в составе показателей, по которым проводится сравнение, имеется хотя бы один показатель, значение которого зависит от объемных параметров сферы регулирования (а, как правило, это так), сравнительные оценки лучше формировать по группам территориальных органов.

При сравнительной оценке территориальных органов Роскомнадзо-ра группировка была проведена по параметрам нагрузки содержательной и организационной сложности, выраженным соответственно показателями: «число предметов надзора относительно фактической численности сотрудников»; «доля многотерриториальных проверок, в которых территориальный орган выполняет функции головной организации»; «густота автомобильных дорог общего пользования с твердым покрытием» (выбран как распространенный при проведении региональных сравнительных исследований). Выбор параметров и соответствующих показателей лучше сделать предметом договоренности между территориальными органами, чтобы за счет эффекта участия снизить угрозу отторжения неоптимального решения8. При сортировке территориальных органов по выбранным показателям можно в зависимости от характеристик рядов значений использовать равноинтервальные или равночастотные ряды. Каждому показателю присваивается характеристика (высокое, среднее или низкое значение), по большинству характеристик территориальный орган относится к группе, формализованное решение корректируется по предложениям территориальных органов.

Для сортировки территориальных органов по критерию «направление и значимость отклонения значения показателя данного территориального органа от среднего значения по всем территориальным органам» отклонение определяется в зависимости от состава показателей как линейное отклонение, возможно с учетом размаха вариации и среднего абсолютного линейного отклонения. Вместо среднего значения может использоваться модальное значение, что, с одной стороны, существенно упростит расчеты, нивелирует незначительные различия между территориальными органами, исключит смещение ряда при отличающемся от нормального распределении значений, но, с другой стороны, на больших массивах данных вероятно искажение результата оценки.

Для сортировки территориальных органов по критерию «направление и значимость изменения значения показателя данного территориального

органа по сравнению с предыдущим периодом» рассчитывается абсолютный прирост или коэффициент прироста в зависимости от однородности значений (единица измерения и порядок значения) показателей в рассматриваемой группе.

Сортировка или ранжирование территориальных органов по каждому критерию по каждому показателю проводится по убывающей или по возрастающей в зависимости от содержания показателя, в любом случае содержательно лучшее значение должно стоять первым. Каждому территориальному органу присваивается порядковый номер по каждому критерию по каждому показателю, при совпадениях присваиваются равные номера. Сводная оценка формируется как среднее арифметическое значение из порядковых номеров по каждому критерию по каждому показателю. Расчет рекомендуется проводить последовательно как свод по критериям для показателя и далее свод по показателям, что за счет присвоения равных порядковых номеров при совпадении значений создает дополнительные возможности унификации и устраняет из итоговой оценки ненужные подробности. При сводной оценке данные по показателям могут сводиться в содержательные блоки, например, при оценке территориальных органов Роскомнадзора показатели «доля признанных судом незаконными предписаний» и «соотношение числа жалоб и численности населения (число жалоб на тысячу населения)» были объединены в характеристику качества работы Службы.

Для итоговой сравнительной оценки сопоставляются порядковые номера данного территориального органа за два периода оценки между собой и со средним по соответствующей группе территориальных органов, и территориальный орган относится к одной из четырех групп. Отметим, что итоговую оценку можно провести по данным не менее чем за три года, т.е. при, как минимум, двух итерациях сравнительной оценки.

Четыре перечня территориальных органов («лучше себя в прошлом периоде и выше среднего», «лучше себя в прошлом периоде, но ниже среднего», «хуже себя в прошлом периоде и выше среднего» и «хуже себя в прошлом периоде и ниже среднего») являются оптимальным объемом информации для представления руководству ведомства. При необходимости может быть оперативно сформирована справка о факторах, определивших принадлежность конкретного территориального органа к той или иной группе, поскольку итоговая оценка является результатом обработки первичной информации, а не полученными в ходе самостоятельного мониторинга данными.

По итогам мониторинга и сравнительной оценки территориальных органов могут быть приняты решения:

- о нормативах нагрузки на сотрудников, занятых в исполнении профильных и обеспечивающих полномочий;

- о типовой структуре территориального органа, в том числе в виде нормативного соотношения численности сотрудников разных категорий (государственные инспекторы, руководители, обеспечивающие);

- о перераспределения численности территориальных органов или корректировке их состава путем укрупнения, формирования межрегиональных управлений;

- о формировании территориальных отделов с выделением централизованных обеспечивающих подразделений;

- об оптимизации и (или) дополнительном методическом обеспечении административных процедур;

- о системе мотивации сотрудников и подразделений к улучшению результатов деятельности;

- о разовом поощрении структурных подразделений со стабильно высокими значениями оценочных и обобщающих показателей.

При апробации разработанного Порядка формирования сравнительных оценок территориальных органов Роскомнадзора была проверена доступность данных и проведен предварительный расчет. Провести полною оценку не получилось по причине «молодости» информационной системы Роском-надзора - оценка проведена без итогового отнесения территориальных органов к группам «лучше себя в прошлом периоде и выше среднего», «лучше себя в прошлом периоде, но ниже среднего», «хуже себя в прошлом периоде и выше среднего» и «хуже себя в прошлом периоде и ниже среднего».

Проверка доступности данных показала, что в явном виде в информационной системе имеются или могут быть рассчитаны около 75 части предложенных обобщающих показателей. Кроме того, значительная часть показателей содержится в информационной системе в неявном виде (в прикрепленных файлах), т.е. данные имеются, но требуют предварительной технической обработки.

Для проведения сравнительной оценки территориальных органов из доступных в явном виде в информационной системе были отобраны и сгруппированы в четыре блока (состояние поднадзорной сферы, присутствие Службы в поднадзорной сфере, исполнительская дисциплина, качество деятельности) следующие показатели:

- доля не исполненных после истечения срока предписаний и предупреждений - отражает состояние поднадзорной сферы по критерию восприятия надзорного органа - предполагается, что поднадзорная организация не исполняет предписание об устранении выявленного нарушения (предупреждение о приостановлении лицензии, о нарушении статьи 4 Федерального закона «О средствах массовой информации»), если оценивает риск проверки исполнения ниже затрат на исполнение;

- число выявленных нарушений на одного сотрудника (по фактической численности) и число выявленных нарушений на поднадзорную организацию (использованы два показателя из-за сильных колебаний значений в 2008-2009 гг.) - отражают состояние поднадзорной сферы по критерию соблюдения установленных правил деятельности, хотя являются искажающими и в предложенном перечне показателей для оценки не используются, при апробации использованы как паллиатив по причине наличия только этих данных;

- охват субъектов надзора мероприятиями по контролю - отражает количественное присутствие Службы в поднадзорной сфере, характеризует долю поднадзорных организаций, в отношении которых проведены мероприятия по контролю любого вида;

- доля плановых проверок в общем числе проверок - отражает качественное присутствие Службы в поднадзорной сфере, характеризует оперативную составляющую контроля, хотя в данном виде является искажающим, для корректного расчета нужна информация об основаниях внеплановых проверок (важно различать проверку исполнения предписания и реагирование на жалобы и информацию);

- доля проверок с нарушением регламента;

- доля регистраций РЭС и ВЧУ с нарушением срока - этот и предыдущий показатель отражают исполнительскую дисциплину при исполнении полномочий, охватывают не всю базу для расчета, но ограничения вызваны наличием данных;

- доля признанных судом незаконными предписаний - отражает качество работы Службы в части проведения мероприятий по контролю (рассмотрен по одному направлению деятельности - по доступным данным);

- соотношение числа жалоб и численности населения (число жалоб на тысячу населения) - отражает качество работы Службы в общем виде, характеризует удовлетворенность потребителей услугами и их мнение о самой Службе (имеет ли смысл жаловаться), может рассматриваться и как характеристика профилактической работы.

Для обеспечения сопоставимости территориальных органов расчет проведен по группам территориальных органов, сформированным с учетом нагрузки, содержательной и организационной сложности.

Каждый территориальный орган оценен по каждому показателю по двум параметрам (отклонение от среднего по группе значения и динамика по сравнению с предыдущим периодом). Среднее по группе определялось как среднее арифметическое. Отклонение от среднего значения определялось как линейное отклонение. Динамика определялась как абсолютный прирост.

Сравнительные оценки определялись сортировкой в возрастающем порядке средних арифметических из мест территориальных органов по каждому из показателей, такая же сравнительная оценка проведена раздельно по блокам показателей.

При расчете были допущены следующие искажения:

- для части показателей прирост не рассчитывался по причине отсутствия данных за 2008 г.;

- при отсутствии данных территориальный орган получал высший ранг;

- нивелировались несопоставимые данные по отдельным показателям при различии на порядки, которое может быть признаком разных учетных подходов и не характеризовать разницу в деятельности территориальных органов.

Несмотря на ограничение числа и замену показателей, другие искажения, проведенная апробация подтвердила методическую состоятельность и техническую возможность проведения сравнительной оценки территориальных органов.

Ответ на вопрос о возможности применения разработанной системы оценки в других контрольно-надзорных органах исполнительной власти будет безусловно положительным на методическом уровне и скорее от-

рицательным на практическом - перечень показателей жестко привязан к полномочиям Роскомнадзора, а Порядок формирования сравнительных оценок территориальных органов формировался с расчетом на широкие возможности информационной системы.

ЛИТЕРАТУРА

1. Берездивина Е.В. Обоснование расходов органа исполнительной власти на выполнение задач в соответствии с Докладом о результатах и основных направлениях деятельности. - Москва, ГУ-ВШЭ, 2007.

2. Берездивина Е.В., Елисеенко В.Ф., Жулин А.Б., Сивашева Н.М. Оценка эффективности использования бюджетных средств в части расходов на оказание бюджетных услуг. М., Издательский дом ГУ-ВШЭ, 2004 (или указ Губернатора Пермской области от 30 июня 2004 года № 93 «Об утверждении Методики определения эффективности оказания бюджетных услуг и мерах по ее внедрению в практику бюджетного планирования и исполнения бюджета Пермской области»).

3. Каплан Р., Нортон Д. Награда за блестящую реализацию стратегии. Связь стратегии и операционной деятельности - гарантия конкурентного преимущества. М.: Олимп-Бизнес, 2010.

4. Каплан Р., Нортон Д. Сбалансированная система показателей. От стратегии к действию. М.: Олимп-Бизнес, 2010.

5. Парментер Д. Ключевые показатели эффективности. М.: Олимп-Бизнес, 2009.

6. Рамперсанд Х. Универсальная система показателей деятельности. Как достигать результатов, сохраняя целостность. М.: Альпина Бизнес Букс, 2006.

7. Рэйни Хэл Дж. Анализ и управление в государственных организациях. М.: Инфра-М, 2002.

8. Фелпс Б. Умные бизнес-показатели. Система измерений эффективности как важный элемент менеджмента. М.: Баланс Бизнес Букс, 2004.

9. Ханс де Брюйн. Управление по результатам в государственном секторе. М.: Институт комплексных стратегических исследований, 2005.

10. Эккерсон Уэйн У. Панели индикаторов как инструмент управления. Ключевые показатели эффективности, мониторинг деятельности, оценка результатов. М.: Альпина Бизнес Букс, 2007.

ПРИМЕЧАНИЯ

1

5

Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций, далее в статье также Служба.

См.: Эккерсон Уэйн У. Панели индикаторов как инструмент управления. Ключевые показатели эффективности, мониторинг деятельности, оценка результатов. М.: Альпина Бизнес Букс, 2007.

В более поздней работе («Награда за блестящую реализацию стратегии», 2010) Р. Каплан и Д. Нортон рассматривают примеры применения не только в бизнесе, но и в государственном управлении, в том числе стратегию развития экономики Бразилии со стратегической картой и ССП.

ГОСТ Р ИСО 9000-2001, постановление Госстандарта России от 15.08.2001 № 332-ст.

Казначейство Великобритании (www.hm-treasury.gov.uk/performance) отмечает проблему «каскадирования» - увеличения количества данных при системной иерархической оценке: органы местного самоуправления оперируют тысячами индикаторов.

С.А. Агапцов. Отчет о результатах контрольного мероприятия «Аудит эффективности деятельности Федеральной налоговой службы и ее территориальных органов в части администрирования доходов федерального бюджета и использования средств, выделенных из федерального бюджета на обеспечение деятельности налоговых органов, в соответствии с установленными Правительством Российской Федерации критериями за 2007 год и истекший период 2008 года». Бюллетень Счетной палаты Российской Федераци № 10 (142) / 2009 г., стр. 10-12.

Кроме того, при публикации конкретных показателей вероятны сложности их интерпретации; например, Ханс де Брюйн в книге «Управление по результатам в государственном секторе» приводит восемь разных, в том числе противоположных, трактовок одной таблицы.

При обсуждении результатов апробации Порядка формирования сравнительных оценок на Секции руководителей территориальных органов расширенного совещания-семинара Роскомнадзора на вопрос об обоснованности состава групп заместитель руководителя Службы напомнил об опыте коллективного отбора критериев при пересмотре организационно-штатной структуры территориальных органов.

2

3

4

5

7

8