CC BY
73Научная статья Original article
Цифровые правительственные платформы: этапы институционализации и технологии оценивания (на примере
платформы «Госуслуги»)
Александров М., Меньшикова Г.А., Пруель НА.*
Санкт-Петербургский государственный университет, Санкт-Петербург, Россия * Автор-корреспондент: pruijel@inbox.ru
Аннотация: Тема актуальна по двум моментам. Первый - платформизация стала распространенным
процессом, но описана в России недостаточно, особенно ракурс правительственных платформ. Второй - в декабре 2021 года Правительство Мишустина М.В. озвучило начало нового курса «Клиентоцентричность», суть которого сводилась к превращению платформы «Госуслуги» в основной, привычный для всех, хорошо работающий коммуникационный канал связи между населением и властью. Цель исследования -показать процесс платформизиции страны на примере платформы «Госуслуги» РФ. Задачи: первая, описать ход институционализации платформы Госуслуги и курса на клиентоцентричность; вторая -назвать предложенные аналитиками показатели оценивания платформы, выявить первые результаты, включая итоги проведения фокус-групп со студентами ф-та социологии как формы оценивания их субъективного восприятия качества платформы. В работе были выявлены 3 исследовательских поля, изучение которых стало основой теоретического анализа, применены три метода исследования: «evidence based approach» (подход, основанный на использовании очевидных доказательств, имея в виду документы, статистические данные и др.), институциональный и фокус группы. Полученные результаты: нашей стране следует активизировать усилия по цифровизации государственного управления, поскольку рейтинг ООН не соответствуют ее потенциалу, причем он не растет, а падает. Анализ документов, которые лежат в основе идентификации платформы «Госуслуги» как нового курса правительства, выявил наличие продуманного механизма контроля за его реализацией, однако, изменение политической ситуации заставило перенести начало реализации курса на год. Обобщение результатов фокус-групп показало положительную оценку его студентами. Их оценка была в среднем - 4 балла из 5 возможных.
Ключевые слова: онлайн платформы, российская государственная платформа «Госуслуги», оценка качества платформы.
Для цитирования: Александров М., Меньшикова Г.А., Пруель Н.А. Цифровые правительственные платформы: этапы институционализации и технологии оценивания (на примере платформы «Госуслуги»). Умная цифровая экономика. 2022. Т.2, №4, с. 100-110
Том
№4
2022
УМНАЯ ЦИФРОВАЯ ЭКОНОМИКА SMART DIGITAL ECONOMY
научный электронный журнал
Vol 2 №4, 2022
2
Digital Government Platforms: Stages of Institutionalization and Assessment Technologies (on the Example of the Public Services
Platform)
Aleksandrov M., Menshikova G.A., Pruel N.A.*.
St. Petersburg State University, St. Petersburg, Russia *Corresponding author: pruijel@inbox.ru
Abstract: The topic is relevant for two reasons. The first is that platformization has become a widespread
process, but it is not described enough in Russia, especially the perspective of government platforms. The second - in December 2021, the Government of Mishustin M. V. announced the beginning of a new course "Customer-centricity", the essence of which was to turn the platform "Gosuslugi" into the main, familiar to everyone, well-functioning communication channel between the population and the authorities. The purpose of the study is to show the process of platformization of the country on the example of the platform "Gosuslugi" of the Russian Federation. Objectives: first, to describe the progress of the institutionalization of the State Service platform and the course towards client centricity; the second is to name the indicators for evaluating the platform proposed by analysts, to identify the first results, including the results of focus groups with students from the Department of Sociology as a form of evaluating their subjective perception of the quality of the platform. The work identified 3 research fields, the study of which became the basis of theoretical analysis, applied three research methods: "evidence based approach" (an approach based on the use of obvious evidence, meaning documents, statistics, etc.), institutional and focus groups . The results obtained: our country should intensify its efforts to digitalize public administration, since the UN rating does not correspond to its potential, and it does not grow, but falls. An analysis of the documents that underlie the identification of the "Gosuslugi" platform as a new course of the government revealed the existence of a well-thought-out mechanism for monitoring its implementation, however, a change in the political situation forced the start of the course to be postponed for a year. Summarizing the results of the focus groups showed a positive assessment of his students. Their assessment was on average - 4 points out of 5 possible.
Keywords: online platforms, Russian state platform "Gosuslugi", platform quality assessment.
For citation: Aleksandrov A., Menshikova G.A., Pruel N.A. Digital Government Platforms: Stages of
Institutionalization and Evaluation Technologies (on the example of the "Gosuslugi" platform). Smart Digital Economy. 2022. T.2, №4, pp. 100-110.
Актуальность проблемного поля
В настоящее время цифровые платформы (шеринговые платформы, поисковые системы, социальные сети, правительственные платформы и др.) и формируемые ими платформенные экосистемы трансформируют мир, меняя различные виды социально экономической активности, формируя новые рыночные площадки. Они становятся драйверами экономического роста, социальных инноваций, включая демократизацию. Не случайно, за рубежом в большей мере, в России - в меньшей, стали использовать термин «платформизация», выделяя им новый тренд в развитии общества. Экономисты, учитывая, что на сегодняшний день платформы достигли своей критической массы и сопоставимы с размерами ВВП отдельных стран, предлагают использовать термин платформовая экономика.
Предметом нашего исследования стали правительственные on-line платформы. Укажем, что они (по крайней мере в РФ) изучены хуже, хотя их развитие и рассматривается как направление правительственных реформ [6]. Достаточно активно и с привлечением
авторитетных ученых изучены рыночные платформы [1, 7, 9, 19] и др. Многократно описано влияние на общество социальных платформ/сетей; ограничимся указанием на детальный обзор литературы по теме [20].
Правительственные сайты получили огромное распространение в мире, особенно Азии (Южной Корее, Сингапуре и Китае), став основой коммуникации между населением и правительством и, как указывают аналитики этих стран, способом преодоления коррупции чиновников. Приведем итоги рейтинга ООН по оценке электронного правительства. Проанализировав информацию от 193 стран, эксперты ООН назвали следующие страны (за 2022) - лидеры: Дания, Финляндия, Республика Корея, Новая Зеландия, Исландия, Швеция, Австралия, Эстония, Нидерланды, США, Великобритания, Сингапур, Объединенные Арабские Эмираты, Япония, Мальта. Россия занимает 42 место, Китай - 43. Укажем, параллельно, что в 2014 году наша страна находилась на 27 месте, а в 2020 -на 42. Отметим также, что этот рейтинг оценивает ситуацию более широко, правительственные платформы - лишь одна их его составляющих.
В завершение дадим определение. Б. М. Глазков, вице-президент ПАО «Ростелеком» предлагает следующее: «Цифровая платформа - это система алгоритмизированных взаимовыгодных взаимоотношений значимого количества независимых участников отрасли экономики (или сферы деятельности), осуществляемых в единой информационной среде, приводящая к снижению транзакционных издержек за счёт применения пакета цифровых технологий работы с данными и изменения системы разделения труда»
Теоретическое обоснование тематики правительственных платформ
Методологическую основу публикации составляют три исследовательских зоны: теории цифровизации, раскрывающие новые возможности для развития демократии, crowdsourcing как основа социальных платформ, ракурсы оценивания. Кратко представим каждый, назвав его основные идеи и некоторых сторонников.
Бесспорно, цифровизация создает новые возможности для развития демократизации, на что указывали многие зарубежные и российские исследователи: [2, 8, 17, 18, 21] и другие. Они же указали и на возрастание неравенства, вызванного неравным доступом к информации. Приведем обобщенную оценку преимуществ, создаваемых платформами:
• их позитивная роль заключается в углублении каналов взаимодействия населения и власти;
• они расширяют поля оказываемых услуг, включив в них мониторинг оценки качества работы организаций, обслуживающих население,
• они повышают уровень цифровой грамотности населения, став самой распространенной практикой его взаимодействия с органами власти и управления,
• способствуют укреплению авторитета власти, показывая ее открытость.
• По мнению, экспертов обезличив канал коммуникацию, платформы призваны противодействовать коррупции.
Второй подход в большей мере помогает понять активность пользователей платформами, в частности теми, кто высказывает замечания и предложения. Идеи краудсорсинга изложены в работах многих исследователей [4, 16, 5] и др. Эти авторы
102
Том 2 №4 2022
УМНАЯ ЦИФРОВАЯ ЭКОНОМИКА SMART DIGITAL ECONOMY
научный электронный журнал
Vol 2 №4, 2022
справедливо выделяют два противоположных взгляда исследователей: тех, кто видит в online участии новые формы, т.е. развитие активизма населения и тех, кто, наоборот, подчеркивает пассивный характер такого участия - так называемые «слактивисты» [22]. Думается, что общий вывод обеих групп исследователей о том, что платформы «втягивают» людей в управление, но не делают их политически активными, нельзя не признать справедливым. Признаем убедительным опасение населения, а соответственно и исследователей, что аккумуляция персональных данных может способствовать усилению социального контроля за гражданами со стороны государства, как это имеет место в Китае.
Третьи направление - оценивание уровня платформ, скорости их совершенствования. Очевидно, что первыми исследователями, оценивающими качество on-line ресурсов, стали сами их разработчики. Обладая нужной квалификацией, они стали проводить оценочные сравнения, но ориентируясь на технические параметры: внешнюю привлекательность и удобство пользования. Позднее, что стало рассматриваться учеными как второй уровень оценивания, создалось направление по оцениванию контента, имея в виду либо его соответствие официальным требованиям (законодательным актам), либо потребностям пользователей. В настоящее время речь идет о переходе к следующему (третьему) этапу, учитывающему самоналаживание ресурсов на востребованную и актуальную по запросам информацию [10, 11, 13, 15]. Подробный обзор их предложен в публикации Добролюбовой Е [12], а российские публикации описаны Ержениным Р.В. [3].
Применительно к нашему предмету исследования, актуальным стал так называемый подход на клиентоцентричность, оценивающий качество обслуживания или удовлетворенность населения полученными государственными услугами. Примером таких разработок стали рекомендации для ЕС [14], а также показатели предложенные для оценки платформы «Госуслуги», см табл. 2. Укажем, что этот ракурс нужно оценивать как с помощью технических параметров, так и по оценке суждения пользователей.
Институционализация платформы «Госуслуги»: этап создания
Думается, что, описывая становление портала, нужно выделить два его этапа. Первый собственно становление его как информационного канала, второй - как особого правительственного курса, т.е. периода, когда его развитие стало направлением совершенствования деятельности органов власти и управления, т.е. с 2021 года.
Запуск портала Госуслуги состоялся в 2009 году (тестовый запуск прошел 25 ноября, а дата официальной регистрации - 15 декабря). Первоначально канал создавался для распространения внутриведомственной информации Ростелекома. Разработку и апробацию осуществило предприятие НИИ «Восход»; канал назывался «ogic.ru». Финансирование запуска платформы оценивалось, по официальным данным, на 2009 год в 100 миллионов рублей.
Первоначально на нем можно было получить информацию лишь о различных государственных услугах (110 федеральных и около 200 местных). Личный кабинет с авторизацией через номер личного страхования начал работать с апреля 2010 года. Услуги добавлялись постепенно, например, оформление загранпаспорта было добавлено в апреле этого года, а информацию о штрафах за нарушения ПДД в августе. Проверка налоговой
задолженности стала возможной с мая 2011 года. Количество доступных для граждан госуслуг росло: уже в 2011 году их было 945 федеральных, из которых 511 оказывали в электронной форме. Региональных услуг было 11 739, а муниципальных 21 608 (в реальности их гораздо меньше - каждая услуга учитывается по разным регионам и разным муниципальным образованиям).
В 2014 году начался переход на новый вариант портала. Его разработка была поручена AT Consulting; величина контракта по конкурсу составила 70,5 миллионов рублей. С 2016 года всех пользователей перевели на новый интерфейс. По состоянию на 2018 год пользователям портала было доступно уже 968 федеральных госуслуг, а всего за год было оказано их 60 миллионов. Работу по поддержке портала выполняет дочерняя компания Ростелекома - «РТ Лабс», которая в 2018 году заработала 3,5 миллиарда рублей выручки.
Наряду с центральным порталом возникли и развиваются региональные. Из них лидирует портал государственных услуг Москвы, на нем зарегистрировано около 10 миллионов человек (из 12 миллионов жителей столицы.
В настоящее время на Госуслугах зарегистрировано около 86 миллионов человек, то есть почти все граждане, которые теоретически могут пользоваться интернетом и компьютерами. По данным исследования компании BCG, в среднем каждый второй житель России. Пользуется услугами портала хотя бы 1 раз в неделю 47% населения. Это очень хороший показатель, который выводит страну на 9 месте в мире.
Конечно, не все из почти 1000 видов федеральных услуг и десятков тысяч региональных используются регулярно. Наиболее распространенные виды приведены в табл. 1
Таблица 1. Перечень и частота обращений по наиболее распространенным видам услуг
Вид услуг % Вид услуг %
оплата налогов и штрафов 84,2 заполнение налоговой декларации 43,8
запись на прием к врачу 68,9 запись ребенка в школу/ детский сад 43,6
жалобы на качество проводимых работ 44,9 постановка на учет автомобиля 43,6
Институционализация платформы «Госуслуги»: этап формирования правительственного курса
Для краткости перечислим события, произошедшие за последний год. Их можно считать вехами второго этапа институционализации платформы «Госуслуги».
- 1111 РФ №3878 от 15.12.2021, в котором были названы экспериментальные
Площадки нового Правительственного курса: 6 Министерств (МЭР, Министерство финансов, цифрового развития, труда, ФНС и Росимущество), а также органы исполнительной власти трех областей (Московской, Тульской и Липецкой), которые должны были актуализировать свою активность на региональных платформах «Госуслуги»; были разработаны и утверждены показатели контроля; планировалась помесячная отчетность о проделанной работе.
Том 2 №4 2022 УМНАЯ ЦИФРОВАЯ ЭКОНОМИКА Vol2№4.2022
SMART DIGITAL ECONOMY
научный электронный журнал
- РП РФ №3878 от 27.12.2021 г., в котором указывалось на создание при Аналитическом Центре Правительства проектного офиса по информационно-аналитическому сопровождению проекта.
В его задачи входило:
• обеспечение проекта соответствующей документацией;
• создание лаборатории тестирования, призванной постоянно оценивать качество оказываемых услуг;
• формирование и поддержание «Профиля клиентского сегмента»;
• формирование реестра жизненных ситуаций;
• формирование организацию мониторинга данных;
• обобщение обратной связи.
Названные документы обозначили контрольные действия по реализации внедрения нового курса Правительства, но изменение политической ситуации в стране этому помешало. Тем не менее внедрение платформы продолжалось, о чем свидетельствую два новых распоряжения: РП - 951 (25.05.2022) «О мониторинге качества государственных услуг» и РП-1353 (28.05.2022) «О расширении перечня услуг, оказываемых в электронной форме».
22 сентября 2022 года была проведена стратегическая сессия по внедрению принципов клиентоцентричности. Она официально перенесла начало внедрения на 2023 год, а также озвучило новое название правительственного курса «Государство для человека».
Оценивание показателей эффективности платформы
Внедрение курса на клиентоцентричность перенесено, но механизм контроля не отменен. Ниже перечислена система показателей, которые планируется использовать для оценивания (системы в целом и экспериментальных площадок). Это:
• доступность платформ (посещаемость, место в поиске),
• прохождение заявлений по воронке, что предполагает оценку отправленных, полученных, зарегистрированных, успешно оплаченных, с подтвержденной записью на прием, обработанных и получивших положительный отзыв заявлений
• количество уведомлений: доля доставленных, врученных и прочитанных уведомлений, а также среднее время на ознакомление
• качество исполнения сервиса: доля заявлений с нарушением сроков регистрации, доля просроченных заявлений;
• оценка восприятия: удовлетворенность пользователей (Customer satisfaction Index - CSI), среднее время заполнения формы, среднее время получения результатов, доля отказов;
• качество коммуникаций: доля обращений в поддержку, доля обращений по каналам линии поддержки, среднее время ожидания ответа, оценка консультаций;
• реакция службы поддержки: соглашение об уровне предоставления услуг, решения на 1 -ой и 2-ой линиях поддержки, доля обращений, переведенных на третью линию поддержки и ее решения;
контроль активности сотрудников в поддержке мониторинга.
Эти данные собираются и темпы внедрения оцениваются экспертами Аналитического Центра при Правительства РФ. Ниже приведена таблица плановых заданий по цифровизации управления страной на 2021 год, см. табл.2.
В ходе подведения итогов, первые 4 показателя признаны достигнутыми, данные по 5 и 6 отсутствуют. Успешность внедрения практики использования платформы «Госуслуги» за 2021 год иллюстрирует табл.3
Таблица 2. Показатели плана цифровизации государственного управления на 2021 год
Наименование показателя Цифровое значение
1.Доля взаимодействий граждан и коммерческих организаций с государственными (муниципальными) органами и бюджетными учреждениями, осуществляемых в цифровом виде, в % Не менее 80%
2. Доля отказов при предоставлении приоритетных государственных услуг и сервисов от числа отказов в 2018 году, в %, в % Не более 10
3. Время, необходимое для заполнения в электронном виде формы заявления и формирования необходимого комплекта документов для получения государственных и муниципальных услуг Менее 10 мин
4.Доля заявлений на получение государственных и муниципальных услуг, рассмотренных ведомствами с нарушением срока регламента, в % Не более4-х
5.Регламентное время оказания государственных и муниципальных услуг (от регистрации заявления до принятия решения) разы, по сравнению с 2018 г. Сокращение в 2 раза
б.Бюджетные расходы на фонд оплаты труда сотрудников ведомства, участвующих в предоставлении государственных и муниципальных услуг, % по сравнению с 2018 г. Сократить на 30%
Таблица 3. Динамика некоторых показателей до и после внедрения оценок
экспериментальными акторами (на 2021 год)
Показатель До После Показатель До после
Доля отказов 30 28 CSI (индекс удовлетворенности) 4,3 4,4
Среднее время 9,2 7,7 Доля незаконченных 70,7 67,3
заполнения, мин. заявлений,%
Просрочка ведомством, % 10,2 10,0 Средняя доля обращений, % 1,5 1,6
Том 2 №4 2022
УМНАЯ ЦИФРОВАЯ ЭКОНОМИКА SMART DIGITAL ECONOMY
научный электронный журнал
Vol 2 №4, 2022
Субъективные оценки качества обслуживания по платформе «Госуслуги»
Для полноты оценки качества нами были выявлены также субъективные показатели удовлетворенности населения. Их основу составили фокус группы среди студентов, а также контент анализ критических сайтов на портале «Госуслуги». Приведем кратко результаты обоих исследований.
Всего было проведено 4 фокус группы со студентами социологического факультета: две в ноябре 2021 года и две в феврале 2022. Всего в них участвовало 35 человек. На них ставились последовательно 5 вопросов:
• пользовались ли вы порталом (распространенность практики е-коммуникаций),
• с какой целью (выявление наиболее популярных опций),
• анализ конкретных практик (сторителлинг),
• выявление преимуществ (степень удовлетворенности пользователей),
• выявление трудностей и недостатков (оценка неудовлетворенности),
• выработка предложений по совершенствованию портала.
Все студенты пользовались порталом: при этом для 7 - основной канал коммуникации с властью, который они оценивают как привычную практику, 6 - обращаются по мере необходимости (не часто), но решают с его помощью свои и «соседские проблемы: родственников, друзей, 5 - обращались более двух раз, при этом сравнивают старую и более новую модель организации сервиса Госуслуги; остальные - пользовались, но либо единожды, либо точно не помнят результат, поскольку были не очень удовлетворены. В целом, даже те, кто пользовался один-два раза ставили оценку 4 балла (по пятибалльной системе), отмечая наличие робота Макса, вежливо помогающего неопытным пользователям. При этом активные пользователи обращали внимание на улучшение платформы в марте 2021 года, когда была запущена новая версия. Оценку 5 поставил только один пользователь, остальные все-так указывали на «зависание» интернета, сложности отправки и т.д.
В отличие от оценок распространенности услуг, предоставленных разработчиками самого портала, студенты чаще всего обращались по бытовым вопросам: запись к врачу (себя или родственников), оформление ОЯ -кода и/или запись на прививки, получение загранпаспорта, запись на сдачу водительских прав. Общая тенденция - до марта проблемы возникли, при новой версии практически все вопросы решались.
В целом студенты довольны новыми возможностями: они экономят свое время и реализуют свой потенциал и компьютерные навыки, повышая собственную самооценку. Социальные работники высказывались положительно в пользу группировки услуг по группам пользователей, что существенно упрощает работы с порталом.
Главные недостатки студентам видятся в сложностях коммуникации с ведомствами, что выражается, например, в трудностях записи к врачу или на прививку в поликлинике близко к дому. Они выявили сложности с работой на портале в период с 13 до 14 и после 19 часов. Многие указывали на неприятность процедуры регистрации на сайте и открытия личного кабинета.
В качестве рекомендаций ими были предложены: введение версии для слабовидящих, улучшение коммуникации с другими региональными/ведомственными порталами,
расширение диапазона предлагаемых услуг: получение справочной информации по проблемам, введение конкурсов на лучших/худших организаций (управленцев) города или региона и другие.
Принципиально другие отзывы были получены в ходе анализа сопутствующих порталу госуслуг приложениям. Например, в play.google - Госуслуги «Решаем вместе» информанты высказывались в целом негативно. Отмечая положительно саму идею и качество приложения как программного продукта, они указывали на низкий уровень реагирования на высказанные замечания со стороны исполнительной власти. Только семь информантов из 70 (за период с ноября 2021 по январи 2022 г.), оставивших на сайте свой отзыв, были удовлетворены/частично удовлетворены реакцией на свою жалобу. Большинство -фиксировало факт отписок. Предметом жалоб были: снег на тротуарах, лед на дорогах, ямы, неремонтируемые дороги, отсутствие тепла в угловых квартирах, необходимость спила веток, угрожающих электрическим проводам, уничтожение зеленых зон в городах, самозахват территорий... Респонденты отмечали:
а) зря потраченное время и силы,
б) ранее действовал сайты Рос ЖКХ и «сердитый гражданин», которые, по их мнению, действительно реагировали на замечания, но их отменили,
в) отсутствие технической возможности прикрепления фотографии для аргументации своей жалобы.
Некоторые пользователи давали советы: входить через сайт ЕСИА, поскольку тогда фиксируется факт жалобы, затрудняя возможность отписки. Пользователи даже выявили, что решаются быстрее проблемы в центральных городах, где власть более жестко контролируется, и также - «более дешевые». В сети были разумные предложения: группировать отказы и посылать их вместе, усиливая тем самым роль проблемы; было предложено создать особую опцию - «запрос на изменение законодательства».
Подводя итог этим жалобам, можно выявить системную проблему российского государственного управления: в то время как обслуживанием населения занимаются низшие звенья, основные финансовые потоки остаются наверху. Как указал один чиновник -представитель муниципальной власти: «Мы и сами видим разбитые дороги, но сделать мало что можем, не хватает финансовых средств».
В любом случае оба проведенных мини исследования показывают необходимость использования социологических методов, включая наблюдение (имея в виду наблюдение за типичными обращениями», формирование баз сторителлинга - реальных кейс-стади, не говоря уже об опросах населения, равно как и других стейкхолдеров платформы: представителей бизнеса, НКО, чиновников. Пока, то, что делается, можно оценить как начальный этап, чего, учитывая ту роль, которая отводится платформе госуслуги, явно недостаточно.
Заключение
Видя относительное отставание России в области цифровизации работы правительства и желая улучшить качество обслуживания населения, Правительство разработало программу,
Том
№4
2022
А
УМНАЯ ЦИФРОВАЯ ЭКОНОМИКА SMART DIGITAL ECONOMY
научный электронный журнал
Vol 2 №4, 2022
совершенствующую платформу «Госуслуги». Этим направлению придается первостепенное роль, но и особое внимание как к полю административного и общественного контроля.
Несмотря на изменение политической ситуации, которая отразилась в переносе сроков начала внедрения на 2023 год, система развивается: население ее все активнее использует, о чем свидетельствует уменьшение доли обращений в МФЦ, новые услуги на платформе появляются, регионы активизируют свою активность, мониторится качество обслуживания.
Высокие оценки, выявленные в ходе фокус групп со студентами, нельзя переоценивать, поскольку молодежь всегда более позитивна. Опять же не стоит доверять оценкам, обозначенным пользователями портала «Госуслуги», поскольку в других сетях они более критичны. Тем не менее платформа развивается, нужно надеяться, что контроль за ее качеством, хотя бы на экспериментальных площадках, будет с 2023 года организован и публичен.
2
Список литературы
1. Аузан А.А. Институциональная экономика: новая институциональная экономическая теория М., ИНФРА, 2011, 445 с.
2. Василенко И.А. Особенности формирования концепции «цифрового правительства» в политической науке и перспективы ее реализации в России, Государственное управление. Электронный вестник Выпуск № 82. Октябрь 2020 г. с. 218-244.
3. Ерженин П.В. Электронное правительство России: обзор научных публикаций и исследований, Вопросы государственного и муниципального управления. 2018. № 3, с. 205229.
4. Каминченко Д. И. Современное политическое участие онлайн vs офлайн: новые возможности —прежняя активность? // Управленческое консультирование. № 8 . 2020, с. 19 -34.
5. Осипова Ю.М., Юдина Т.Н., Гелиссханов И.З. Цифровая платформа как институт эпохи технологического прорыва, Экономические стратегии, 2018, №5, с.2018,
6. Стырин Е.М., Дмитриева Н.Е., Синятуллина Л.Х .Государственные цифровые платформы: от концепта к реализации, см. Вопросы государственного и муниципального управления. 2019. № 4, с.31- 43.
7. Шаститко А.Е., Паршина Е.Н. Рынки с двусторонними сетевыми эффектами: спецификация предметной области // Современная конкуренция.2016. Т. 10.С.5-18.
8. Штерн Н. Информация, власть и знание, М., 2019.
9. Яблонский С.А. Многосторонние платформы и рынки: основные подходы, концепции и практики, Росс. Журнал менеджмента, 2013, №4, стр. 57-78
10. Christie, C. A. and M. C. Alkin. 2008. Evaluation Theory Tree Re-Examined, Studies in Educational Evaluation 34(3), 131 - 135.
11. Chung, C. S. 2019. Analysis on the 2018 UN E-Government Survey." Journal of Advanced Research in Dynamical and Control Systems 11(7 Special Issue), 1242 - 1252.
12. Dobrolyubova E Measuring Outcomes of Digital Transformation in Public Administration: Literature Review and Possible Steps Forward, The NISPAcee Journal of Public Administration and Policy, Vol. XIV, No. 1, Summer 2021 p.61-86
13. Durkiewicz, J. and T. Janowski. 2018. Is Digitalization Improving Governance Quality? Correlating Analog and Digital Benchmarks." In R. Bouzas-Loren-zo and A. C. Ramos (eds.). Proceedings of the 18th European Conference on Digital Government ECDG 2018. Reading: Academic Conferences and Publishing International Limited, 48 - 56.
14. E-PUBLIC ADMINISTRATION 2010 STRATEGY// eGovStrategy EN 080908 (europa.eu)
15. Giannone, D. and M. Santaniello. 2018. "Governance by Indicators: The Case of the Digital Agenda for Europe." Information Communication and Society 22(13), pp.1889 - 1902. doi:10.1080 / 1369118X.2018.1469655.
16. Goncalves, Jorge Denzil Ferreira, Simo Hosio, Jakob Rogstadius, Hannu Kukka, Vassilis Kostakos Crowdsourcing on the spot: altruistic use of public displays, feasibility, performance, and behaviours. Proceedings of the 2013 ACM international joint conference on Pervasive and ubiquitous computing
17. Hacker K., van Dijk J., eds. Digital Democracy: Issues of Theory and Practice, 2000,
18. Mulgan, Geoff. 2015. 'Designing Digital Democracy: A Short Guide.' Nesta [blog], 15 May. As of 9 June 2017: https://www nesta.org.uk/blog/designing-digital-democracy-a-short-guide/
19. Parker G.G., Van Alstyne M.W., Choudary S.P. 2016. Platform revolution: How networked markets are transforming the economy and how to make them work for you. N.Y.: W.W. Norton & Company, Inc.
20. Rhee Lee, Joseph B. Bayer, David S. Lee., Ozan Kuru, Social by definition: How users define social platforms and why it matters, Telematics and Informatics 59 (2021) 101538
21. Simon, Julie, Theo Bass, Victoria Boelman & Geoff Mulgan. 2017. Digital Democracy: The Tools Transforming Political Engagement. London: Nesta. As of 14 June 2017: https://www nesta.org.uk/report/digital-democracy-the-tools-transforming-political-engagement/
22. Tormey S. Politicising digital space: Theory, the internet and renewing democracy. Contemporary political theory. 2018.110
© Александров М., Меньшикова Г.А., Пруель Н.А. 2022. Умная цифровая экономика.2022. Т.2, №4=
