Научная статья на тему 'Об эффективности электронных платформ участия граждан в государственном управлении'

Об эффективности электронных платформ участия граждан в государственном управлении Текст научной статьи по специальности «Политологические науки»

CC BY-NC-ND
1254
227
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОБЩЕСТВЕННОЕ УЧАСТИЕ / ЭЛЕКТРОННОЕ УЧАСТИЕ ГРАЖДАН В ГОСУДАРСТВЕННОМ УПРАВЛЕНИИ / ЭЛЕКТРОННЫЕ ПЛАТФОРМЫ / ОЦЕНКА ЭФФЕКТИВНОСТИ

Аннотация научной статьи по политологическим наукам, автор научной работы — Ревякин Сергей Анатольевич

В статье рассматриваются теоретические подходы к оценке эффективности проектов электронного участия, предлагаются критерии и методика такой оценки, а также представлены результаты исследования общественной значимости выносимых на обсуждение вопросов платформы «Активный гражданин». Анализ проводился на основе опубликованных отчетов платформы «Активный гражданин» за 2014-2016 гг. Данное исследование представляет собой попытку, с одной стороны, отреагировать на вызовы российской реальности рост числа электронных платформ (и, соответственно, затрат) при недостаточной, по мнению граждан, общественной значимости обсуждаемых вопросов, а с другой развить современный методический аппарат оценки эффективности проектов общественного участия, проводимых с помощью электронных технологий. По итогам проведенного анализа делается вывод о том, что для обеспечения эффективности электронных платформ участия граждан в государственном управлении следует обращать внимание не только на их технические параметры и применяемые виды общественного участия (информирование, консультирование, диалог), но и на общественную значимость обсуждаемых вопросов. Сочетание этих трех факторов является необходимым условием обеспечения эффективности платформ. Показатели технических возможностей, степени общественного участия, а также общественной значимости обсуждаемых вопросов помогут оценить эффективность платформ электронного участия и могут использоваться в практике их оценки и сравнительного анализа на государственном уровне.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

On the Effectiveness of Electronic Platforms of Citizen Participation in Public Administration

Information and communication technologies have been increasingly used to involve citizens in the government decision-making process. Given high costs associated with the development and maintenance of the electronic platforms, the effectiveness of such projects has not been frequently assessed. The article discusses theoretical approaches to evaluating the effectiveness of e-participation projects, suggests criteria and methodology for conducting such evaluations, and provides the results of “Activniy grazhdanin” [Active Citizen] platform evaluation based on the analysis of the reports published in 2014-2016. On the one hand the study attempts to respond to the public administration changes in Russia where the number of electronic platforms (and costs respectively) is increasing given the insufficient public importance of the topics under discussion (according to public interests). On the other hand, the study aims to develop a methodology for evaluating the effectiveness of the new form of public participation projects. The article concludes that in order for e-platforms to be an effective tool for government decision-making process the platforms not only have to consider advanced technical parameters and high level of public involvement, but also sufficient public interest of the topics under discussion. Perhaps, at a minimum, consideration of these three factors is required to ensure e-platforms’ effectiveness. This conclusion may provide the basis for developing an evaluation methodology applicable by the government. In this way the present research provides basis for local governments benchmarking, since there is no similar study concerning Russia.

Текст научной работы на тему «Об эффективности электронных платформ участия граждан в государственном управлении»

ОБ ЭФФЕКТИВНОСТИ ЭЛЕКТРОННЫХ ПЛАТФОРМ УЧАСТИЯ ГРАЖДАН В ГОСУДАРСТВЕННОМ УПРАВЛЕНИИ

Ревякин С.А.1

Аннотация

В статье рассматриваются теоретические подходы к оценке эффективности проектов электронного участия, предлагаются критерии и методика такой оценки, а также представлены результаты исследования общественной значимости выносимых на обсуждение вопросов платформы «Активный гражданин». Анализ проводился на основе опубликованных отчетов платформы «Активный гражданин» за 2014-2016 гг. Данное исследование представляет собой попытку, с одной стороны, отреагировать на вызовы российской реальности - рост числа электронных платформ (и, соответственно, затрат) при недостаточной, по мнению граждан, общественной значимости обсуждаемых вопросов, а с другой - развить современный методический аппарат оценки эффективности проектов общественного участия, проводимых с помощью электронных технологий. По итогам проведенного анализа делается вывод о том, что для обеспечения эффективности электронных платформ участия граждан в государственном управлении следует обращать внимание не только на их технические параметры и применяемые виды общественного участия (информирование, консультирование, диалог), но и на общественную значимость обсуждаемых вопросов. Сочетание этих трех факторов является необходимым условием обеспечения эффективности платформ. Показатели технических возможностей, степени общественного участия, а также общественной значимости обсуждаемых вопросов помогут оценить эффективность платформ электронного участия и могут использоваться в практике их оценки и сравнительного анализа на государственном уровне.

Ключевые слова: общественное участие; электронное участие граждан в государственном управлении; электронные платформы; оценка эффективности.

Электронные платформы как современная форма общественного участия

С развитием информационно-коммуникационных технологий в России, как и в мире, для увеличения доступности, удобства и качества результатов общественного участия в принятии государственных решений (за счет предоставле-

1 Ревякин Сергей Анатольевич - аспирант НИУ ВШЭ. Адрес: Национальный исследовательский университет «Высшая школа экономики», 10100, г. Москва, ул. Мясницкая, д. 20. E-mail: sergey-revyakin@mail.ru

ния своевременного доступа к нужной информации) активно используются электронные платформы (Pina, Torres, Royo, 2017). Однако наряду с тем, что расходы на создание таких платформ нередко высоки (к примеру, расходы на создание электронной платформы «Активный гражданин» в России составили, по разным оценкам, от 20 млн. до 185. млн. руб. (Фонд борьбы с коррупцией, 2015)), практики оценки эффективности подобных платформ встречаются редко (см., например: Laurian, Shaw, 2009)2. При этом, они зачастую сводятся к анализу технических возможностей платформ, что может также стоить достаточно дорого, поскольку связано с привлечением авторитетных внешних консультантов.

Так, 6,8 млн. руб. было потрачено мэрией Москвы на оплату услуг компании «PwC» по аудиту платформы «Активный гражданин» на предмет «достоверности, полноты и целостности» результатов опроса, а также наличия уязвимостей, позволяющих влиять на ход голосования извне (РБК, 2016). С учетом того, что только в России насчитывается более 35 подобных платформ государственного управления, проводить такого рода техническую оценку повсеместно будет высокозатратно для бюджетов всех уровней. Именно поэтому, как отмечает ряд исследователей (Sewell, Philips, 1979), при неочевидной пользе расходы на оценку электронных платформ общественного участия обычно не являются приоритетными для правительств.

При этом даже при положительных результатах технической оценки (отсутствие уязвимостей для внешнего вмешательства) содержательные аспекты эффективности могут вызывать критику участвующей в голосованиях общественности.

Так, на электронной платформе «Российская общественная инициатива» (URL: https://www.roi.ru/), которая позволяет гражданам предлагать повестку для голосований, размещена инициатива 77Р16985. В ней предлагается «выносить общественно значимые инициативы законодателей Москвы на голосование посредством платформы "Активный гражданин" для того, чтобы жители города могли влиять не только на дизайнерское оформление новых или реставрируемых станций метрополитена и принятие других "косметических" решений, но и на серьезные вопросы жизни города, с которыми жители сталкиваются ежедневно» (РОИ, 2016).

Таким образом, можно выделить два условных аспекта эффективности электронных платформ общественного участия в государственном управлении - технический и содержательный (к последнему можно отнести оценку общественной значимости вопросов, выносимых на обсуждение).

Наряду с достаточно развитыми методами технической оценки электронных платформ исследователями отмечается недостаточная развитость методов содержательных аспектов оценки ((Rowe, Frewer, 2000), (Kubicek, Aichholzer, 2016)). Остановимся на них более детально.

2 Необходимо отметить, что в рамках данного исследования мы придерживались известной нам из неоинституциональной экономики теоремы Эрроу о невозможности создания такого правила голосования, которое отвечало бы одновременно пяти аксиомам - универсальности, единогласия, независимости, полноты и транзитивности. В этом смысле в данном случае при оценке эффективности речь идет не об абсолютной эффективности, а о достижении ее парето-оптимального уровня.

Вероятно, для оценки содержательных аспектов эффективности электронных платформ можно было бы использовать иерархическую модель уровней общественного участия, предложенную Ш.Р. Арнштейн (Arnstein, 1969), согласно которой сам факт общественного участия не гарантирует передачу гражданам полномочий по принятию решений.

В ее модели обозначены восемь уровней общественного участия в зависимости от степени передачи полномочий от правительства гражданам. Идеи Арнштейн легли в основу ряда современных моделей, из которых следует выделить модели Д. Уилкокса (Wilcox, 1994), ОЭСР (OECD, 2001) и IAP2 (IAP2, 2017), результаты сравнительного анализа которых представлены ниже в Таблице 1.

Таблица 1

Иерархические модели уровней общественного участия в государственном управлении

Арнштейн Уилкокс ОЭСР IAP2

Уровни реального влияния граждан Поддержка Совместная деятельность Совместные решения Активное участие Право решать Сотрудничество Вовлечение

Уровни символического участия Консультации Информирование

Уровни имитации (отсутствия) участия - - -

Источник: Составлена автором.

Для электронных проектов общественного участия в современной литературе разработаны интерпретации вышеуказанных моделей - модель А. Макинтош (Macintosh, 2004), а также Е. Панопоулоу с соавторами (Panopoulou, Tambouris, Tarabanis, 2014).

Таблица 2

Сравнительный анализ иерархических моделей уровней общественного участия в государственном управлении для электронных платформ

Макинтош (OECD) Панапоулоу и соавторы (IAP2) Схема вовлечения

- Э-право решать Правительство граждане

Э-наделение полномочиями Э-сотрудничество Э-вовлечение Правительство ^^ граждане

Э-вовлечение Э-стимулирование Э-консультирование Э-информирование Правительство ^^ граждане

Источник: (Fedotova, Teixeira, Alvelos, 2012).

Однако, на наш взгляд, несмотря на развитость теоретических аспектов иерархических моделей, использовать иерархические модели для оценки содер-

жательных аспектов эффективности электронных платформ смысла не имеет, так как мы получим заранее известный результат с заранее известными рекомендациями по необходимости повышения уровня общественного участия. Ведь, как показывают современные исследования, даже в развитых демократических странах проекты электронного вовлечения не приносят тех результатов, для которых они проектировались, и зачастую находятся на уровне символического участия или стимулирования к участию (уровни символического общественного участия по модели Арнштейн, э-вовлечения и э-стимулирования в модели Макинтош, а также э-консультирования и э-информирования в модели Панапоулоу с соавторами (Panopoulou et al., 2014). Практики делегирования встречаются крайне редко (Thiel & Lehner, 2015). Другими словами, на современном этапе большинство инициатив электронного правительства по вовлечению граждан в процесс государственного управления сводятся лишь к информационному потоку от органов власти к гражданам (G2C, G2B, G2G) (Kushchu, Kuscu, 2003), при слабом (проекты совместного создания общественных благ (Jakobsen & Andersen, 2013)) или отсутствующем обратном потоке (C2G), при котором полномочия делегируются и граждане получают возможность определять принимаемое решение (Thiel & Lehner, 2015). В этом смысле революция электронной демократии или электронной трансформации пока только прогнозируется (Brown & Chin, 2013; Scherer & Wimmer, 2014).

С одной стороны, вероятно, это связано со сравнительно небольшой историей этих проектов - активное использование новых электронных технологий в государственном управлении началось не более 20 лет назад, и стоит ожидать поэтапного, эволюционного развития (Norris & Reddick, 2013). С другой стороны, на сегодняшний день все еще не преодолены организационные, культурологические и административные барьеры традиционных институтов государственного управления, препятствующие активному применению новых электронных технологий в проектах общественного участия (McNutt, 2014).

На наш взгляд, вид (уровень - в терминах модели Арнштейн) общественного участия, реализованный на электронной платформе, влияет на показатели эффективности платформы, однако существуют и другие важные аспекты эффективности. Наша гипотеза заключается в том, что достижение (1) технического совершенства электронной платформы и (2) взаимодействия с гражданами даже на уровне, когда граждане оказывают реальное влияние на принимаемые решения, не обеспечивают эффективности электронной платформы, если инициативы, выносимые (предлагаемые) на обсуждение, не являются общественно значимыми. Другими словами, пусть процесс общественного участия на электронной платформе организован сколь угодно хорошо (технически совершенен, взаимодействие реализовано на высоких уровнях участия), но при малозначимом для граждан предмете обсуждения эффективность электронной платформы будет низкая.

Идея важности формулировки предмета обсуждения для достижения эффективности проекта общественного участия встречается не только в отзывах участников реальных проектов (как в упомянутом выше примере на платформе «Российская общественная инициатива»). Ш. Арнштейн (Arnstein,

1969) на примере обсуждения вопроса о строительстве городского медицинского центра стоимостью 2 млн. долл. вместо локальных центров, расположенных в отдельных районах, показала, что хотя процедура общественного участия и состоялась, однако предметом обсуждения была не необходимость строительства специализированного центра, а некие косвенные вопросы, не влияющие на заранее задуманное властями решение о строительстве (поскольку подрядчиком заранее была выбрана аффилированная строительная компания, а будущим директором центра должен был стать прежний чиновник из службы модернизации городского жилого фонда).

С учетом принятой гипотезы, предлагаем следующую методику оценки общественной значимости выносимых на обсуждение вопросов электронной платформы.

Методика оценки значимости вопросов электронной платформы общественного участия

Электронная платформа г. Москвы «Активный гражданин» является одной из лучших электронных платформ в России, она отмечена несколькими престижными наградами, в том числе Smart Cities Awards-2015, поэтому и была выбрана для проведения оценки эффективности. Платформа создана в рамках реализации принципов Открытого правительства РФ «Вовлечение граждан в процессы государственного и муниципального управления в субъекте РФ» по инициативе Правительства Москвы в 2014 г. в качестве площадки для проведения открытых референдумов в электронной форме. Она позволяет проводить общегородские и локальные голосования по широкому спектру тем. По состоянию на январь 2018 г., в проекте зарегистрировано более 2 млн. пользователей, проведено 2,9 тыс. голосований и принято более 90 млн. мнений.

На платформе «Активный гражданин» предусмотрена возможность обсуждения вопросов государственного управления с широкой аудиторией, однако граждане не имеют возможности формировать итоговое решение, участие ограничено голосованием. Отсюда следует, что, по классификации модели IAP2, на платформе «Активный гражданин» достигнут достаточно развитый (средний) уровень общественного участия - «э-сотрудничество/ э-вовлечение».

Как было упомянуто выше, по результатам технологического анализа, проведенного PWC (URL: https://ag.mos.ru/news/936), принципиальных уяз-вимостей платформы выявлено не было, она представляет собой современную электронную платформу с развитыми техническими возможностями для проведения референдумов.

При сравнительно высоких показателях технической развитости и наличии элементов сотрудничества и вовлечения граждан, оценим общественную значимость выносимых на обсуждение вопросов электронной платформы «Активный гражданин» как важный фактор, влияющий на эффективность. Оценку проведем на основе анализа опубликованных отчетов о проведенных обсуждениях в 2014-2016 гг. (URL: https://ag.mos.ru). Оценку общественной значимости

вопросов, выставляемых на обсуждение на электронной платформе, предлагаем определять через два параметра. Первый и главный показатель - степень общественной значимости обсуждаемых на платформе вопросов, т.е. насколько эти вопросы способствуют выявлению и учету интересов групп общества, выявлению и решению тех важных проблем, с которыми сталкивается большинство жителей. Второй показатель - насколько тематика обсуждаемых вопросов совпадает с тематикой проблем жителей. Если выяснится, что вопросы общественно значимы, это будет означать, что верно и то, что тематики вопросов и проблем совпали. Однако обратное неверно, поскольку тематики вопросов для голосования могут совпадать с тематиками заявленных жителями проблем. При этом формулировка вопросов и очередность постановки альтернатив на голосование (парадокс Кондорсэ) не обязательно могут быть направлены на решение существующих проблем, касаясь вопросов, не столь актуальных для жителей (как в примере Арнштейн про медицинские центры).

Параметр значимости №1 (S2). Соответствие тематики инициатив (вопросов), выносимых на обсуждение на платформе «Активный гражданин», тематике проблем благосостояния граждан. Перечень проблем граждан (в том числе их иерархии по значимости) можно составить на основе:

- результатов социологических опросов;

- агрегированных данных жалоб граждан на сайты госорганов (Big DATA электронных платформ онлайн-приемных для жалоб), данных общественных приемных государственных органов, в том числе законодательной ветви власти (жители не всегда могут правильно определить адресата своей проблемы).

Начнем с того, что сгруппируем вопросы платформы по общим темам, используя классификатор 14 госпрограмм г. Москвы (Проект Закона о бюджете города Москвы на 2018 г. и плановый период 2019 и 2020 гг.). Эту же классификацию используем для распределения выявленных проблем жителей города.

Соответствие тематики инициатив (вопросов), выносимых на обсуждение на платформе «Активный гражданин», тематике проблем благосостояния граждан будем измерять показателем соответствия:

M.

Si = ^ (1)

где S1 - показатель соответствия тематики вопросов, выносимых на обсуждение, тематике обращений граждан о проблемах благосостояния; M1 -количество совпавших тематик; T1 - общее количество тематик опроса.

Для интерпретации значения показателя соответствия S1 используем шкалу:

• 0,75-1 - подавляющее большинство вопросов платформы по тематике совпадает с тематикой проблем, с которыми стакиваются жители;

• 0,5-075 - чуть больше половины вопросов платформы по тематике совпадает с тематикой проблем, с которыми стакиваются жители;

• 0-0,5 - меньше половины вопросов платформы «Активный гражданин» по тематике совпадает с тематикой проблем, с которыми стакиваются жители.

Параметр значимости № 2 (52) (основной) - направленность предлагаемых к обсуждению инициатив (вопросов) на решение актуальных проблем благосостояния граждан. Этот показатель будет измеряться как отношение инициатив (вопросов), которые оказались направленными на решение значимых проблем граждан, к общему количеству обсужденных инициатив. Если данный показатель будет высоким, это будет означать, что выносимые на обсуждение властями инициативы (вопросы) являются общественно значимыми и гражданам представляется возможность влиять на серьезные вопросы жизни города.

Для определения параметра значимости № 2 выполним следующие действия:

1. Составим список главных проблем, обозначенных жителями в 20132016 гг. (рейтинги «Левада-центра» и «РИА-новости»).

2. Проанализируем вопросы проекта «Активный гражданин» за 20142016 гг. (всего 300 вопросов). Если вопрос соответствует хотя бы одной из заявленных проблем (безотносительно места в рейтинге), значит, вопросу присваивается 1 балл, если не соответствует - 0, если частично соответствует - 0,5 балла.

3. Посчитаем консолидированную оценку значимости как сумму баллов. Максимальное значение показателя 32 составляет 300 баллов, минимальное - 0.

Для интерпретации значения показателя соответствия Б2 используем шкалу:

- 225-300 баллов (0,75-1) - подавляющее большинство вопросов ставит на обсуждение способы решения наиболее важных проблем благосостояния граждан;

- 165-225 баллов (0,5-0,75) - большая часть вопросов ставит на обсуждение способы решения наиболее важных проблем благосостояния граждан;

- 0-165 баллов (0-0,5) - меньшая часть вопросов ставит на обсуждение способы решения наиболее важных проблем благосостояния граждан. Следует отметить, что предложенные оценки общественной значимости проекта являются приблизительными.

Для интерпретации результатов введем интегральный параметр эффективности учета мнений граждан в проекте «Активный гражданин» как функцию от вышеобозначенных критериев:

В//=/(Т; LP; 82) (2)

где Вff- интегральный параметр эффективности учета мнений граждан в проекте «Активный гражданин»;

Т - показатель технической оценки платформы (допустим, что в нашем случае он высокий);

LP - показатель уровня общественного участия по модели 1АР2 (допустим, что в нашем случае он тоже высокий);

32 - общественная значимость вопроса, выносимого на обсуждение (оценка показателя 32 включает в себя оценку поэтому оценка 32 явля-

ется необходимым и достаточным показателем значимости для включения в функцию эффективности).

Таким образом, вероятно, электронную платформу общественного участия следует считать эффективной, если, при высоких технических показателях и показателях уровня участия, соблюдается условие - на рассмотрение выносятся общественно значимые вопросы. И даже если технические показатели и показатели уровня участия высоки, но на рассмотрение выносятся не общественно значимые вопросы, то, на наш взгляд, эффективность такой электронной платформы будет низкой, потому что не происходит обсуждения и решения вопросов по проблемам благосостояния, с которыми граждане сталкиваются ежедневно, и тогда принцип общественного участия не реализуется в полной мере. Если мнения собираются некачественно (технический аспект процедур), не систематически и без обратной связи (уровни участия), а обсуждаемые вопросы далеки от реальных проблем и интересов граждан, то такая электронная платформа будет неэффективной (табл. 3).

Таблица 3

Комбинации показателей эффективности электронной платформы общественного участия

Уровень технической реализации Уровень общественного участия по модели Панапоулу и соавторов Общественная значимость вопросов Эффективность электронной платформы общественного участия

Высокий Высокий (э-право решать) Низкая Низкая

Высокий Средний (э-сотрудничество/э-вовлечение) Низкая Низкая

Высокий Низкий (э-консультирование/э-информирование) Низкая Низкая

Высокий Высокий (э-право решать) Высокая Высокая

Высокий Средний (э-сотрудничество/э-вовлечение) Высокая Средняя

Высокий Низкий (э-консультирование/э-информирование) Высокая Низкая

Источник: Составлена автором.

Рассмотрим каждый из вариантов.

Если технические показатели платформы низки, то при высоких показателях остальных параметров эффективность платформы будет низкой, поскольку инструмент диалога будет неработоспособен. Поэтому высокие технические показатели являются необходимым, но не достаточным условием эффективности платформы.

Если при высоких технических показателях граждане наделены правом и механизмами самостоятельного принятия решений по обсуждаемым вопросам (высокий уровень общественного участия по модели IAP2), но формируемая повестка не учитывает общественно значимых вопросов (к примеру, формируется органами власти самостоятельно), то даже широкие полномочия граждан по принятию решений не смогут компенсировать отсутствия возможности вынести на обсуждение наиболее болезненные и важные вопросы, и поэтому эффективность платформы будет низкой.

Если при высоких технических показателях граждане привлекаются для обсуждения при принятии некоторых государственных решений (средний уровень общественного участия по модели IAP2), а общественно значимые вопросы повестка по-прежнему не учитывает, то у граждан отсутствует возможность повлиять на решение своих актуальных проблем, и поэтому эффективность электронной платформы также будет низкой.

Если при высоких технических показателях граждане иногда привлекаются для обсуждения при принятии государственных решений (средний уровень общественного участия по модели IAP2), общественно значимые вопросы выносятся на обсуждение и у граждан есть возможность повлиять на решение наиболее актуальных проблем благосостояния, то эффективность платформы также будет ниже максимального уровня (при делегировании права решать), но в целом выше минимального уровня.

Если при высоких технических показателях граждане преимущественно информируются о принятых решениях и изредка привлекаются для точечных обсуждений (низкий уровень общественного участия по модели IAP2), при любом качестве повестки (общественно значимой или незначимой) у граждан отсутствует возможность системно влиять на решение общественно значимых вопросов, то эффективность платформы также будет низкой.

Таким образом, максимальная эффективность электронной платформы, по нашему мнению, достигается при обеспечении высоких значений технических показателей (способность собирать и агрегировать большое количество мнений), высоких показателей уровня участия (регулярный диалог с гражданами, сопровождающийся предоставлением инструментов влияния на принимаемые решения) и качества (общественной значимости) выносимых на обсуждение вопросов. В таком случае можно говорить о том, что затраты на платформу приносят общественно значимый результат и демонстрируют соблюдение одного из важнейших принципов «good governance» - «общественное участие».

Оценка значимости вопросов электронной платформы «Активный гражданин»

Как было упомянуто выше, электронная платформа «Активный гражданин» технически достаточно развита и на ней реализованы механизмы

сотрудничества и вовлечения граждан в процессы обсуждения государственных решений посредством голосования (в терминах иерархических моделей).

Оценим общественную значимость выносимых на обсуждение вопросов электронной платформы «Активный гражданин» как важный фактор, влияющий на эффективность.

Параметр значимости № 1 (S^. Соответствие тематики инициатив (вопросов), выносимых на обсуждение на платформе «Активный гражданин», тематике проблем благосостояния граждан: (1) тематике проблем, которые граждане заявили приоритетными (результаты социологических опросов и др.) или (2) тематике вопросов, поднимаемых гражданами в обращениях граждан к городской Думе.

Сопоставление произведем в следующем порядке: тематику заявленных проблем 2013 г. (обращения в городскую Думу и результаты социологических опросов) с тематикой вопросов, выносимых на обсуждение в проекте «Активный гражданин» 2014 г., предполагая, что государственные власти, выслушав обращения граждан о наиболее актуальных проблемах предыдущего периода, учли их мнения при формировании приоритетов будущих периодов (опросы, бюджет, законы).

Для этого сначала определим рейтинг проблем благосостояния, заявленных гражданами (горожанами Москвы). Примером таких рейтингов могут служить результаты опросов, проведенных «Левада-центром» (URL: http:// www.levada.ru) (табл. 4) и «РИА-новости» (URL: https://ria.ru/) (табл. 5).

Таблица 4

Главные проблемы Москвы по мнению горожан в 2013 и 2015 гг.

(«Левада-центр»)*

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рейтинг Опрос 2013 г. Опрос 2015 г.

Актуальные проблемы по мнению москвичей % опрошенных Актуальные проблемы по мнению москвичей % опрошенных

1 Мигранты из бывших южных республик СССР и с Северного Кавказа 55 Уличные пробки 53

2 Рост коммунальных платежей 43 Высокие цены на товары первой необходимости 42

3 Уличные пробки 38 Мигранты из бывших южных республик СССР и с Северного Кавказа 35

4 Высокие цены на товары первой необходимости 35 Шум и вредные выбросы транспорта 30

5 Низкие заработки 29 Рост коммунальных платежей 29

6 Рост наркомании и алкоголизма 22 Грязь, мусор на улицах 24

Рейтинг Опрос 2013 г. Опрос 2015 г.

Актуальные проблемы по мнению москвичей % опрошенных Актуальные проблемы по мнению москвичей % опрошенных

7 Нехватка и реорганизация поликлиник, плохое медицинское обслуживание 21 Нехватка и реорганизация поликлиник, плохое медицинское обслуживание 21

8 Некачественное дорожное покрытие 18 Некачественное дорожное покрытие 18

9 Нехватка жилья 17 Низкие заработки 16

10 Резкое расслоение на богатых и бедных 17 Работа предприятий, загрязняющих воздух и воду; плохое состояние окружающей среды 16

11 Шум и вредные выбросы транспорта 16 Рост наркомании и алкоголизма 15

12 Коррупция в местных органах власти 13 Неблагоустроенность дворов 14

13 Грязь и мусор на улицах 11 Нехватка жилья 10

14 Нехватка, закрытие и реорганизация школ, плохое качество школьного образования 9 Коррупция в местных органах власти 9

15 «Точечная застройка», строительство в исторических районах города 8 Резкое расслоение на богатых и бедных 6

16 Закрытие или остановка деятельности промышленных предприятий 8 Нехватка, закрытие и реорганизация школ, плохое качество школьного образования 5

17 Работа предприятий, загрязняющих воздух и воду; плохое состояние окружающей среды 6 «Точечная застройка», строительство в исторических районах города 4

18 Неблагоустроенность дворов 6 Закрытие или остановка деятельности промышленных предприятий 4

19 Квартирные кражи и автоугоны 6 Квартирные кражи и автоугоны 2

20 Задержки выплаты заработной платы, пенсий, пособий 3 Задержки выплаты заработной платы, пенсий, пособий 9

* Опрос проводился в период с 30 по 6 июля 2015 г. среди 875 жителей Москвы старше 18 лет. Горожане должны были перечислить пять-шесть проблем города, беспокоящих их больше всего. / URL: http://www.vedomosti.ru/politics/news/2015/08/06/603756-probki-i-dorogoviznu-moskvi

Источник: По данным «Левада-центр»: http://www.vedomosti.ru/politics/news/2015/08/06/603756-probki-i-dorogoviznu-moskvi; http://www.the-village.ru/viUage/city/city/219563-problemy-v-gorode

В качестве альтернативы рассмотрим результаты опроса граждан, проведенного другой организацией - «РИА-Новости» (табл. 5).

Таблица 5

Топ-10 проблем Москвы по мнению горожан в 2013 г. («РИА-Новости»)

Место в рейтинге Актуальные проблемы по мнению москвичей Количество голосов

1 Мигранты 191

2 Пробки 165

3 Дороги 106

4 Общественный транспорт 52

5 Дворы 42

6 ЖКХ 39

7 Коррупция 34

8 Очереди в детские сады 23

9 Тротуары 21

10 Стоимость жилья 16

Источник: Составлена автором по данным «РИА-Новости»: https://ria.ru/Moscow_election_comment/ 20130906Z961263387.html; https://ria.ru/Moscow_elections_mm/20130812/955752223.html

Также среди прочих были отмечены следующие проблемы: в сфере культуры и образования, связанные с метро, безопасностью, зарплатами бюджетников, жильем, экологией и переработкой мусора, здравоохранением (поликлиниками), парковками, детскими площадками, преступностью, уровнем обслуживания при получении государственных услуг.

Наиболее актуальные вопросы, встречающиеся в обращениях граждан в Московскую городскую Думу VI созыва в 2014-2016 гг., представлены в Таблице 6.

Таблица 6

Наиболее актуальные вопросы, встречающиеся в обращениях граждан в Московскую городскую Думу VI созыва в 2014-2016 гг.

Место в рейтинге Актуальные проблемы по мнению москвичей ИТОГО за 2014-2015 гг. ИТОГО за 2016 г.

1 Жилищно-коммунальное хозяйство и благоустройство 4187 2617

2 Транспорт, дорожное хозяйство 1120 2274

3 Защита прав граждан, вопрос законности и правопорядка 3320 1757

4 Жилищные вопросы и приватизация 2673 1617

5 Вопросы законотворчества и деятельность Московской городской Думы 5249 1460

Место в рейтинге Актуальные проблемы по мнению москвичей ИТОГО за 2014-2015 гг. ИТОГО за 2016 г.

6 Градостроительство, строительный комплекс и землепользование 5826 1216

7 Социальное и пенсионное обеспечение 1305 951

8 Образование, молодежная политика 999 692

9 Здравоохранение 815 521

10 Вопросы экологии, природопользования и содержания животных 247 505

11 Деятельность органов государственной власти и органов местного самоуправления 1204 494

12 Культура и искусство 698 468

13 Труд и занятость населения 617 399

14 Другие темы 1575 297

15 Потребительский рынок 383 210

16 Финансирование, вопросы экономики 927 195

Всего обращений* 31 145 13 612

* Указанная сумма не равна сумме по столбцу - сумма по столбцу ее превышает; вероятно, в одном обращении могли затрагиваться две и более темы.

Источник: По данным Московской городской Думы: https://www.duma.mos.ru/uploads/shared_docs/ otdel_operativnoy_informatsii/itogi/2015-2016_VI.pdf; https://www.duma.mos.ru/uploads/shared_docs/ otdel_operativnoy_informatsii/itogi/Itogi_VI_2016_1.pdf; https://www.duma.mos.ru/uploads/shared_ docs/otdel_operativnoy_informatsii/itogi/itogi_aut_2016.pdf

Распределим названные проблемы благосостояния по тематикам государственных программ (14) и проверим соответствие тематики вопросов, выносимых на обсуждение в проекте «Активный гражданин», тематике обращений граждан относительно проблем благосостояния. Для этого сначала сопоставим тематику проблем, заявленных горожанами в 2013 г. (рейтинг «Левада-центра» и «РИА-новости»), с тематикой вопросов проекта «Активный гражданин» в 2014 г.

По результатам анализа было установлено, что в проблемах граждан, заявленных в 2013 г., упоминается девять тем (в терминах направлений госпрограмм), семь из них также затронуты в вопросах «Активного гражданина» 2014 г. Таким образом, показатель соответствия тематики инициатив (вопросов), выносимых на обсуждение на платформе «Активный гражданин», тематике проблем благосостояния, заявленной гражданами, составляет:

Б = "7 ~ 0,77 (3)

где БЦ - показатель соответствия тематики вопросов проекта «Активный гражданин» тематике проблем благосостояния, заявленной горожанами. Верхний индекс означает принадлежность показателя к группе параметров значимости (всего две группы), нижний - порядковый номер показателя внутри заданной группы.

В проблемах, заявленных гражданами в 2014-2016 гг., упоминаются десять (в терминах направлений госпрограмм), восемь из них также затронуты в вопросах «Активного гражданина» 2015-2016 гг. Таким образом, показатель оценки соответствия тематики вопросов проекта «Активный гражданин» тематике проблем благосостояния, заявленной горожанами, составляет:

= 10 = 0,8 (4)

Итак, сводный показатель оценки соответствия тематики вопросов проекта «Активный гражданин» тематике проблем благосостояния, заявленной горожанами в 2013-2016 гг., составляет:

5 ^ - . 0,79 (5)

Согласно ранее приведенной шкале интерпретации, этот показатель означает, что подавляющее большинство вопросов платформы «Активный гражданин» по тематике совпадают с тематикой проблем, с которыми стакиваются жители. То есть на платформе «Активный гражданин» практически всегда обсуждаются вопросы на общественно значимые темы.

Стоит сделать оговорку, что показатель значимости, рассчитанный выше, может иметь погрешность, связанную с экспертным соотнесением проблем благосостояния по направлениям госпрограмм. В этом смысле ожидается, что погрешность второго параметра значимости (направленность выносимых на обсуждение вопросов на решение названных жителями проблем) будет ниже, поскольку он основан на более конкретных значениях оцениваемых категорий.

Параметр значимости № 2. Показатель направленности предлагаемых к обсуждению инициатив (вопросов) на решение проблем благосостояния граждан будет измеряться как отношение инициатив (вопросов), которые оказались направленными на решение значимых проблем граждан, к общему количеству обсужденных инициатив.

Список главных проблем, обозначенных жителями в 2013-2016 гг. (согласно рейтингам «Левада-центра» и «РИА-Новости»), представлен в Таблице 7.

Таблица 7

Главные проблемы благосостояния по мнению горожан, 2013-2016 гг.

№ Группы (по направлениям госпрограмм) Актуальные проблемы по мнению москвичей

1 Развитие транспортной системы Уличные пробки Некачественное дорожное покрытие Общественный транспорт (в том числе метро) Отсутствие парковок

2 Безопасный город Мигранты из бывших южных республик СССР и с Северного Кавказа Квартирные кражи и угоны автомобилей Преступность Безопасность

№ Группы (по направлениям госпрограмм) Актуальные проблемы по мнению москвичей

3 Развитие коммунально-инженерной инфраструктуры и энергосбережение. Экология* Плохое состояние окружающей среды Переработка мусора Работа предприятий, загрязняющих воздух и воду Шум и вредные выбросы транспорта Грязь, мусор на улицах

4 Здравоохранение Нехватка и реорганизация поликлиник, плохое медицинское обслуживание

5 Социальная поддержка жителей г. Москвы Низкие заработки Высокие цены на товары первой необходимости Рост наркомании и алкоголизма Резкое расслоение на богатых и бедных Зарплаты бюджетников Задержки выплаты заработной платы, пенсий, пособий

6 Жилище Неблагоустроенность дворов Отсутствие детских площадок Нехватка жилья и его высокая стоимость Рост коммунальных платежей Проблемы ЖКХ

7 Образование Нехватка, закрытие и реорганизация школ, плохое качество школьного образования Очереди в детские сады

8 Градостроительство «Точечная застройка», строительство в исторических районах города Тротуары

9 Экономическое развитие и инвестиционная привлекательность г. Москвы Закрытие или остановка деятельности промышленных предприятий

10 Открытое правительство Коррупция Хамство в госструктурах

11 Культура г. Москвы В сфере культуры

* Следует отметить, что госпрограммы по экологии в Москве нет, притом что жителями проблемы экологии Москвы называются.

Источник: Составлена автором.

Рассчитаем консолидируемую оценку значимости вопросов проекта «Активный гражданин» за 2014-2016 гг. и дадим ей интерпретацию согласно ранее предложенной шкале:

Б3 = 10 (2014) + 25 (2015) + 18,5 (2016) = 53,5 (6)

Полученная оценка находится в первом интервале, что говорит о том, что важным проблемам благосостояния граждан в 2014-2016 гг. посвящена меньшая часть из всех заданных вопросов на платформе «Активный гражданин».

Заключительные положения и дискуссия

С конца ХХ в. общественное участие стало неотъемлемым атрибутом государственного управления демократических стран мира. Позже, с активным развитием информационно-коммуникационных технологий появилась новая форма общественного участия, расширившая возможности граждан активно участвовать в государственном управлении и влиять на принимаемые решения, - электронное участие. Усложнение внедряемых электронных инструментов общественного участия (для выполнения требований интерактивности, безопасности, пропускной способности и пр.) сопровождается увеличением роста издержек правительств на этот канал взаимодействия государства и граждан. Эти изменения в реалиях государственного управления требуют соответствующего развития методического аппарата оценки эффективности подобных проектов общественного участия, проводимых с помощью электронных технологий.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В данном исследовании мы рассмотрели теоретические подходы к оценке эффективности проектов электронного участия и предприняли попытку предложить методический подход к оценке эффективности проектов общественного участия, проводимых посредством современных Интернет-платформ.

Оценка эффективности проектов общественного участия, проводимых на Интернет-платформе «Активный гражданин» в 2014-2016 гг., показала, что платформа характеризуется высоким техническим уровнем и позволяет широким слоям общественности участвовать в голосованиях по вопросам социально-экономического управления г. Москвой. Однако, как показал анализ, проблемам, которые горожане считают наиболее актуальными и важными, посвящена меньшая часть из всех поставленных на голосование вопросов.

Поскольку использование электронных платформ призвано расширить возможности граждан активно участвовать в государственном управлении и влиять на принимаемые решения, затрагивающие их приоритетные интересы, в результате анализа мы пришли к следующему выводу. Для того чтобы проекты электронного общественного участия имели высокую эффективность, (1) технические параметры платформы должны быть на высоком уровне, (2) взаимодействие с гражданами должно выстраиваться посредством диалога и сопровождаться механизмами реального влияния на принимаемые решения и (3) вопросы повестки, выносимые на голосование, должны иметь общественную значимость (т.е. отражать, по мнению участников, наиболее актуальные социально-экономические проблемы города).

Рассмотренный в статье подход к оценке эффективности не претендует на полноту и универсальность, он является лишь попыткой автора определить, какие требования к эффективности электронной платформы следует предъявлять исходя из известных исследований, чтобы можно было оценить, насколько полно в ней реализована идея «общественного участия» как характеристика управленческого воздействия («good governance»).

Данное исследование, посвященное эффективности электронных платформ общественного участия, используемых в государственном управлении, не является законченным. В качестве основы для анализа было пред-

ложено использовать опубликованные отчеты о ранее проведенных обсуждениях, однако следует изучить также конфигурацию платформы, правила и процедуры ее работы, проанализировать поведенческую модель пользователей, чтобы оценить справедливость, надежность и прозрачность правил и процедур, влияющих на стимулы к участию в обсуждениях. Кроме того, имеет смысл провести анализ «встроенности» платформы «Активный гражданин» в систему государственного управления в целом, чтобы оценить степень автономности принимаемых решений. Интерес представляет сопоставительный анализ структуры бюджета г. Москвы и тематик вопросов, предлагаемых жителям на голосование. А качественный анализ вопросов повестки даст нам представление о том, на какой стадии жизненного цикла проблемы привлекаются граждане - на этапе формулировки гипотезы проблемы либо на этапе выбора из предложенных решений.

ЛИТЕРАТУРА

1. Исследование «Фонда борьбы с коррупцией» «Обманутый гражданин». 2015. URL: https://fbk.info/investigations/post/122/ (дата обращения: 08.06.2018).

2. Исследование газеты «РБК» «Честность опросов "Активного гражданина" проверит PwC». 2016. URL: https://www.rbc.ru/politics/13/01/2016/569616649a7947041e16c698 (дата обращения: 08.06.2018).

3. Arnstein S. A Ladder of Citizen Participation // JAIP. 1969. N4 (35). P. 216-224.

4. Brown G., Chin S.Y.W. Assessing the Effectiveness of Public Participation in Neighbourhood Planning // Planning Practice and Research. 2013. No. 5 (28). P. 563-588.

5. Citizens as partners (OECD handbook on Information, consultation and public participation in policy-making). 2001. URL: http://www.internationalbudget.org/wp-content/uploads/ Citizens-as-Partners-OECD-Handbook.pdf (дата обращения: 08.06.2018).

6. Fedotova O., Teixeira L., Alvelos H. E-participation in Portugal: evaluation of government electronic platforms // Procedia Technology. 2012. No. 5. P. 152-161.

7. IAP2 Spectrum of Public Participation. 2017. URL: https://sustainingcommunity.wordpress. com/2017/02/14/spectrum-of-public-participation/ (дата обращения: 08.06.2018).

8. Jakobsen M., Andersen S.C. Coproduction and Equity in Public Service Delivery // Public Administration Review. 2013. No. 5 (73). P. 704-713.

9. Kubicek H., Aichholzer G. Closing the evaluation gap in e-participation research and practice // Evaluating e-participation: Frameworks, practice, evidence. 2016. P. 11-45.

10. Kushchu I., Kuscu H. From E-government to M- government: Facing the Inevitable // The 3rd European Conference on e-Government. 2003. P. 253-260.

11. Laurian L., Shaw M. Evaluation of public participation: The practices of certified planners // Journal of Planning Education and Research. 2009. No. 3 (Vol. 28). P. 293-309.

12. Macintosh, A. Characterizing e-participation in policy-making // 37th Hawaii International Conference on System Sciences (IEEE). 2004. P. 1-10.

13. McNutt K. Public engagement in the Web 2.0 era: Social collaborative technologies in a public sector context // Canadian Public Administration. 2014. No. 1(57). P 49-70.

14. Norris D.F., Reddick C.G. Local E-Government in the United States: Transformation or Incremental Change? // Public Administration Review. 2013. No. 1 (73). P. 165-175.

15. Panopoulou E., Tambouris E., Tarabanis K. EParticipation initiatives in Europe: Learning from practitioners // 2nd IFIP WG 8.5 International Conference on Electronic Participation. 2010. P. 54-65.

16. Pina V., Torres, L., Royo, S. Comparing online with offline citizen engagement for climate change: Findings from Austria, Germany and Spain // Government Information Quarterly. 2017. No. 1(34). P. 26-36.

17. Promises and problems on e-democracy: challenges of online citizen engagement (OECD). 2003. URL: http://www.oecd.org/gov/digital-government/35176328.pdf (дата обращения: 08.06.2018).

18. Rowe G., Frewer L. Evaluating public-participation exercises: A research agenda // Journal of Science, Technology & Human Values. 2004. No. 29(4). P. 512-556.

19. Scherer S., Wimmer M. A. Conceptualising Trust in E-Participation Contexts // Electronic Participation. 6th IFIP WG 8.5 International Conference. 2014. P. 64-77.

20. Sewell W. R., Phillips, S. D. Models for the evaluation of public participation programmes / W. R. Sewell, S. D. Phillips // Natural Resources Journal. 1979. Vol. 19. P. 337-358.

21. Thiel S.-K., Lehner U. Exploring the effects of game elements in m-participation // Proceedings of the 2015 British HCI Conference (British HCI '15). 2015. No. 1 (January). P. 65-73.

22. Wilcox D. The Guide to Effective Participation. 1994. URL: http://partnerships.org.uk/ guide/Partguide.zip (дата обращения: 08.06.2018).

ON THE EFFECTIVENESS OF ELECTRONIC PLATFORMS OF CITIZEN PARTICIPATION IN PUBLIC ADMINISTRATION

Sergey A. Revyakin

Postgraduate student of the National Research University Higher School of Economics.

Address: HSE, 20 Myasnitskaya Str., 101000 Moscow, Russian Federation. E-mail: sergey-revyakin@mail.ru

Abstract

Information and communication technologies have been increasingly used to involve citizens in the government decision-making process. Given high costs associated with the development and maintenance of the electronic platforms, the effectiveness of such projects has not been frequently assessed. The article discusses theoretical ap-

proaches to evaluating the effectiveness of e-participation projects, suggests criteria and methodology for conducting such evaluations, and provides the results of "Ac-tivniy grazhdanin" [Active Citizen] platform evaluation based on the analysis of the reports published in 2014-2016. On the one hand the study attempts to respond to the public administration changes in Russia where the number of electronic platforms (and costs respectively) is increasing given the insufficient public importance of the topics under discussion (according to public interests). On the other hand, the study aims to develop a methodology for evaluating the effectiveness of the new form of public participation projects. The article concludes that in order for e-platforms to be an effective tool for government decision-making process the platforms not only have to consider advanced technical parameters and high level of public involvement, but also sufficient public interest of the topics under discussion. Perhaps, at a minimum, consideration of these three factors is required to ensure e-platforms' effectiveness. This conclusion may provide the basis for developing an evaluation methodology applicable by the government. In this way the present research provides basis for local governments benchmarking, since there is no similar study concerning Russia.

Keywords: public participation; e-participation; electronic platforms; effectiveness evaluation.

Citation: Revyakin, S.A. (2018). Ob effektivnosti elektronnykh platform uchas-tiya grazhdan v gosudarstvennom upravlenii [On the Effectiveness of Electronic Platforms of Citizen Participation in Public Administration]. Public Administration Issue, no 2, pp. 94-113 (in Russian).

REFERENCES

1. Anti-Corruption Foundation, Reviews. "Obmanutyj grazhdanin" [Deceived Citizen], 2015. Available: https://fbk.info/investigations/post/122/ (accessed: 3 June, 2018).

2. Arnstein, S. (1969). A Ladder of Citizen Participation. JAIP, no 4, vol. 35, pp. 216-224.

3. Brown, G. & Chin, S.Y.W. (2013). Assessing the Effectiveness of Public Participation in Neighbourhood Planning. Planning Practice and Research, no 5, vol. 28, pp. 563-588.

4. Fedotova, O., Teixeira, L. & Alvelos, H. (2012). E-Participation in Portugal: Evaluation of Government Electronic Platforms. Procedia Technology, no 5, pp. 152-161.

5. IAP2 "Spectrum of Public Participation" (2017). Available at: https://sustainingcommunity. wordpress.com/2017/02/14/spectrum-of-public-participation/ (accessed: 03 June 2018).

6. Jakobsen, M. & Andersen, S.C. (2013). Coproduction and Equity in Public Service Delivery. Public Administration Review, no 5, vol. 73, pp. 704-713.

7. Kubicek, H. & Aichholzer, G. (2016). Closing the Evaluation Gap in E-Participation Research and Practice. In: G. Aichholzer, H. Kubicek, L. Torres (eds). Evaluating e-Participation: Frameworks, Practice, Evidence, pp. 11-45.

8. Kushchu, I. & Kuscu, H. (2003). From E-Government to M- Government: Facing the Inevitable. The 3rd European conference on E-Government (ECEG03), Trinity College, Dublin, p. 253-260.

9. Laurian, L. & Shaw, M. (2009). Evaluation of Public Participation: The Practices of Certified Planners. Journal of Planning Education and Research, no 3, vol. 28, pp. 293-309.

10. Macintosh, A. (2004). Characterizing E-Participation in Policy-Making. In: Proceedings of 37th Hawaii International Conference on System Sciences, IEEE, pp. 1-10.

11. McNutt, K. (2014). Public Engagement in the Web 2.0 Era: Social Collaborative Technologies in a Public Sector Context. Canadian Public Administration, no 1, vol. 57, pp. 49-70.

12. Norris, D.F. & Reddick, C.G. (2013). Local E-Government in the United States: Transformation or Incremental Change? Public Administration Review, no 1, vol. 73, pp. 165-175.

13. OECD (2001). OECD Handbook on Information, Consultation and Public Participation in Policy-Making "Citizens as partners". France: OECD Publications Service.

14. OECD (2003). Promises and Problems on E-Democracy: Challenges of Online Citizen Engagement. France: OECD Publications Service

15. Panopoulou, E., Tambouris, E. & Tarabanis, K. (2010). E-Participation Initiatives in Europe: Learning from Practitioners. In: Proceedings of 2nd IFIP WG 8.5 International Conference on Electronic Participation, pp. 54-65.

16. Pina, V., Torres, L., & Royo, S. (2017). Comparing Online with Offline Citizen Engagement for Climate Change: Findings from Austria, Germany and Spain. Government Information Quarterly, no 1, vol. 34, pp. 26-36.

17. RBK newspaper, Reviews. «Chestnost' oprosov «Aktivnogo grazhdanina» proverit PwC» [The Surveys of the "Active Citizen" Fairness Will Be Checked by PwC], 2016. Available: https:// www.rbc.ru/politics/13/01/2016/569616649a7947041e16c698 (accessed: 3 June, 2018).

18. Rowe, G. & Frewer, L. (2004). Evaluating Public-Participation Exercises: A Research Agenda. Journal of Science, Technology & Human Values, no 29, vol. 4, pp. 512-556.

19. Scherer, S. & Wimmer, M. A. (2014). Conceptualising Trust in E-Participation Contexts. Electronic Participation. In: Proceedings of 6th IFIP WG 8.5 International Conference, pp. 64-77.

20. Sewell, W. R. & Phillips, S. D. (1979). Models for the Evaluation of Public Participation Programmes. Natural Resources Journal, no 19, pp. 337-358.

21. Thiel, S. & Lehner, U. (2015). Exploring the Effects of Game Elements in M-Participation. In: Proceedings of 2015 British HCI Conference (British HCI '15), no 1 (January), pp. 65-73.

22. Wilcox, D. (1994). The Guide to Effective Participation. Brighton: Partnership Books.

i Надоели баннеры? Вы всегда можете отключить рекламу.