ИНТЕЛЛЕКТУАЛЬНЫЕ ДЕЛОВЫЕ УСЛУГИ И КООПЕРАЦИЯ В СОЗДАНИИ ИННОВАЦИЙ В ОБЩЕСТВЕННОМ СЕКТОРЕ Текст научной статьи по специальности «Экономика и бизнес»

Интеллектуальные деловые услуги и кооперация в создании инноваций в общественном секторе

Фернандо Феликс

Аспирант, fernando.felix@edu.uah.es

Луис Рубалкаба

Профессор, luis.rubalcaba@uah.es Университет Алькалы (University of Alcalá), Испания, Pl. de San Diego, s/n, 28801 Alcalá de Henares, Madrid, Spain

Аннотация

Одним из направлений совершенствования государственных услуг может служить интеграция в них механизмов предоставления интеллектуальных бизнес-услуг в рамках модели, ориентированной на конечных пользователей. Оценить эффект применения таких методов, как совместные с потребителями создание и дизайн (в рамках лабораторий), для разработки инновационных государственных услуг позволят новые эмпирические данные, собранные в ходе обследования инновационной деятельности в общественном секторе Испании Со-УАЬ 2020. С помощью этих данных были проверены три гипотезы о значении для рассматриваемых процессов бизнес-услуг и методов вовлечения пользователей.

Полученные результаты свидетельствуют о том, что бизнес-услуги играют более важную роль в разработке инновационных государственных услуг, когда в этом процессе участвуют пользователи в форме совместного создания (co-creation) и дизайна (co-design), чем когда государственные ведомства прибегают к услугам бизнес-консультантов на традиционной двусторонней основе. Совокупный положительный эффект, впрочем, не означает продуктивности внедрения механизмов бизнес-услуг любой ценой. В некоторых случаях привлечение таких поставщиков дает неоднозначный результат, тогда как ориентированные на пользователей мультиагентные структуры помогают оптимизировать конечный эффект.

Ключевые слова: инновационные государственные услуги; совместное создание; совместный дизайн; интеллектуальные услуги; ИКТ-консалтинг; дизайн-лаборатории

Цитирование: Felix F., Rubalcaba L. (2022) Combining KIBS and Co-Creation Methods for Public Innovation. Foresight and STI Governance, 16(1), 42-53. DOI: 10.17323/2500-2597.2022.1.42.53

Combining KIBS and Co-Creation Methods for

Public Innovation

Fernando Felix

PhD Student, fernando.felix@edu.uah.es

Luis Rubalcaba

Professor, luis.rubalcaba@uah.es University of Alcalá, Pl. de San Diego, s/n, 28801 Alcalá de Henares, Madrid, Spain

Abstract

The goal of this paper is twofold: i) it provides a framework for the relationship between KIBS and public services, putting the role of service users at the center, and ii) new empirical evidence from a survey for which we test the impact that business services consultancies (KIBS) associated with the co-creation processes have upon the innovation of public services with methodologies such as co-creation (users' participation) and co-design (design laboratories) processes. The empirical evidence focuses upon the two aforementioned core business service methodologies to improve the quality of the public services provision. In this context, we test three main hypotheses regarding whether KIBS have a positive impact upon the

innovation of public services and to what extent user-based methodologies are important. Data comes from the 2020 Co-VAL survey on public service innovation for Spain.

The main conclusion is that KIBS have a higher impact upon public service innovation when users are taken into account through co-creation and co-design methods, acting as facilitators for co-innovation and network processes, than when KIBS is just acting on their own in bilateral relationships with the public sector. The overall positive effects do not mean that all uses of KIBS are always positive, for example, some KIBS consultancies subcontracting may have mixed results, but user-focused multiagent frameworks help promote positive impacts.

Keywords: public innovation services; co-creation; co-design; KIBS & ICT consulting; design labs

Цитирование: Felix F., Rubalcaba L. (2022) Combining KIBS and Co-Creation Methods for Public Innovation. Foresight and STI Governance, 16(1), 42-53. DOI: 10.17323/2500-2597.2022.1.42.53

Поставщики интеллектуальных деловых услуг (ИДУ) (knowledge-intensive business service, KIBS) способны повысить качество государственных услуг, выступая консультантами при их разработке (Adebajo, 2018, p. 575). Клиентоориентированный подход позволяет создавать новые или совершенствовать существующие процессы, обеспечивая получение оригинальных результатов (если это предусмотрено контрактом ведомства с консалтинговой фирмой) и стоимости в ходе предоставления услуг. Описываемый интеграционный механизм предполагает, что «новая стоимость создается за счет разработки новых методов и ресурсов или новых способов интеграции этих методов и ресурсов» (Adebajo, 2018, p. 575) с применением информационных и коммуникационных технологий (ИКТ).

В настоящей статье оценивается вклад новых продуктов, разрабатываемых поставщиками ИДУ и ИКТ-консалтинга для официальных ведомств, в совершенствование существующих или порождающих оригинальные способы предоставления услуг, повышение их качества и конечной ценности для пользователей. Проверяется гипотеза о том, что ИДУ и ИКТ-консалтинг существенно и положительно влияют на процессы создания инноваций в общественном секторе благодаря интеграции знаний от потребителей, т. е. на основе пользовательского подхода (Lapuente, Van de Valle, 2020, p. 463). С привлечением данных обследования Co-VAL 2020 анализируются различные каналы и процессы генерации стоимости поставщиками ИДУ и ИКТ-услуг (например, инструменты творческого мышления или совершенствования процессов совместно с пользователями) для оценки краткосрочного и долгосрочного эффекта государственной инновационной деятельности (Amara et al., 2008, p. 1541). Сходная гипотеза проверялась в работе (Desmarchelier et al., 2020, р. 2). Ее авторы отмечают, что стабильные организации создают инновации в ходе взаимодействия с внешними агентами, преимущественно поставщиками ИДУ, и специализируются на сборе и обработке клиентских знаний (в случае обследования Co-VAL — от органов власти Испании и их подразделений). При этом упомянутая гипотеза противоречит выводам Директората государственного и территориального управления ОЭСР (Public Governance and Territorial Directorate of the OECD) (OECD, 2017, р. 3), согласно которым для создания инноваций правительствам следует, в частности, оптимизировать потоки информации, данных и знаний в рамках государственного сектора и использовать творческие методы работы с новыми вызовами и возможностями. В настоящем исследовании проверяется, обеспечили ли поставщики ИДУ и ИКТ-консалтинга, использующие различные инструменты управления знаниями и интерактивные творческие решения, прогресс в создании инновационных государственных услуг испанскими ведомствами, в первую очередь повышение качества процессов (Gupta et al., 2008, p. 146).

Анализ взаимодействия поставщиков ИДУ с потребителями государственных услуг позволяет оценить эффект направленных на их совершенствование инновационных методов и дизайн-процессов, которые

применяют бизнес-консультанты во исполнение контрактов, заключенных с соответствующим ведомством (Whicher, Crick, 2019, p. 292). Результаты обследования Co-VAL 2020 свидетельствуют о том, что совместные создание (co-creation) и дизайн (co-design) играют ключевую роль в повышении качества государственных услуг, обеспечивая основные преимущества внедрения принципов бизнес-услуг в органах власти.

Обзор литературы и концептуальная основа

Процесс разработки бизнес-услуг совместно с клиентами может быть эффективен лишь при нацеленности последних на долгосрочные положительные изменения (Zi^ba, Koñczyñski, 2017, р. 1075), воплощенные в новых знаниях и письменно оформленных стратегиях. К другим факторам, предопределяющим успех коллабо-ративной инновационной деятельности и создания (наращивания) стоимости, относятся командная работа, доверие, контакты и обмен знаниями. Именно взаимодействие пользователей с поставщиками бизнес-услуг лежит в основе разработки новых или совершенствования существующих государственных услуг в целях обновления государственных ведомств и их переориентации на бизнес (den Hertog et. al., 2010, p. 493).

В статье (Misaruca, Viscusi, 2015, р. 311) роль пользователей в совершенствовании государственных услуг проанализирована с двух точек зрения: качества предоставляемых гражданам услуг электронного, или «умного», правительства и комплексной оптимизации системы госуправления. Предметом нашей статьи выступает первая, внутренняя перспектива — насколько ИДУ и ИКТ-консалтинг повышают качество предоставляемых населению услуг с помощью пользовательски ориентированной методологии. Под «умным» правительством в данном контексте понимается многомерная система, различные элементы которой обеспечивают создание общественной стоимости (Criado, Gil-Garcia, 2019, р. 445).

Совместное создание стоимости позволяет преобразовать многие проблемы, с которыми сталкиваются государственные ведомства, в решения (Alves, 2012, р. 678). Тем самым имидж общественного сектора и удовлетворенность граждан можно повысить путем вовлечения пользователей в процессы, связанные с преодолением вызовов и разработкой инноваций, что порождает чувство сопричастности и личной ответственности (Fuglsang, Nordli, 2018, p. 5). Такой коллабо-ративный принцип характеризуется в работе (Osborne et al., 2018, р. 23) применительно к совместным созданию инноваций и дизайну как «сознательное и добровольное участие пользователей услуг в их совместном проектировании, в совершенствовании существующих государственных услуг и в совместной разработке инновационных форматов их предоставления». Авторы подчеркивают, что большинство инноваций в сфере услуг создаются при непосредственном участии пользователей.

Предпринятый в исследовании (Sanders, Stappers, 2008, р. 5) анализ, посвященный эволюции процесса

разработки услуг от пользовательски ориентированного к совместному дизайну, в котором дизайнер, исследователь и пользователь могут интерактивно меняться местами, показал постепенное смешение этих ролей. Однако даже если лицо, в конечном счете ставшее потребителем услуги, активно обеспечивало получение знаний, генерацию идей и разработку концепций, сохраняется потребность в формальном дизайнере, занятом их практическим воплощением.

Именно на этом этапе в процесс включаются поставщики ИДУ и ИКТ-консалтинга, чья прежняя роль состояла в структурировании процесса, а новая — в реализации идей совместного дизайна при условии, что пользователи государственных услуг способны внести значимый вклад в создание стоимости (Chew, 2015, p. 485). В настоящее время от бизнес-консультантов скорее ожидают выявления возможностей, чем применения инноваций, даже если они выступают менеджерами проектов (Pinto et al., 2019, р. 59). Приобретение ИДУ из одного источника служит важным индикатором эффективности их поставщиков, выступающих ключевым ресурсом повышения удовлетворенности пользователей и уровня потребления услуг (Vinogradov et al., 2018, р. 470). Сетевая кооперация положительно влияет на внутреннюю оценку инновационного потенциала, реализацию факторов инновационной деятельности и внедрение инноваций государственными ведомствами (Lewis et al., 2017, р. 303).

Цель настоящей статьи состоит в проверке гипотезы о положительном эффекте внедрения ИДУ для благосостояния жителей Европейского Союза (ЕС) за счет применения методов совместных создания и дизайна инновационных процессов в органах власти (Windrum et al., 2016, p. 153; OECD, 2020, p. 19). К числу указанных эффектов относятся: (1) совершенствование системы государственного управления; (2) повышение удовлетворенности граждан; (3) улучшение имиджа официальных властей; (4) рост эффективности правительственных закупок; (5) внутренней оценки инновационного потенциала; (6) резкое укрепление факторов инновационной активности.

Изменение роли правительства по мере распространения бизнес- и ИКТ-методов при предоставлении государственных услуг было проанализировано через прямое и косвенное влияние поставщиков таких услуг на инновационные процессы в органах власти Испании (Yuan, 2019, p. 125).

Определение и масштабы инноваций в общественном секторе

Одним из способов реализации инноваций в общественном секторе служит совершенствование услуг, предоставляемых гражданам либо предприятиям, с точки зрения времени, которое потребители тратят на их получение, сокращения срока реализации их прав (что, по сути, является услугой, которую орган власти предоставляет членам «клуба») или просто оптимизации предоставления государственных услуг. В последнем случае речь идет о формировании среди пользователей

представления о том, что правительство стремится обеспечить высокое качество и устойчивость услуг, благодаря чему повышается общая оценка органов госуправления (мнение, что налоги используются во благо), а те в свою очередь получают стимул лучше работать и снижать издержки для граждан (Sangiorgi, 2015, p. 334).

Организации общественного сектора характеризуются в исследовании (Rubalcaba et al., 2011, р. 21) как учреждения, которые реагируют на потребности и предпочтения пользователей в ходе повседневного взаимодействия с ними в процессе их обслуживания «снизу вверх» (bottom-up), в отличие от реализации политики «сверху вниз» (top-down). В подобной перспективе государственные ведомства предстают производственными единицами, рабочие процессы в которых различаются в части как регулирования и распределения ресурсов, так и методов оказания услуг и повышения благосостояния.

В докладе Обсерватории инноваций в общественном секторе (Observatory of Pubilc Sector Innovation, OPSI) (OECD, 2017, р. 3) приводятся некоторые общие меры активизации инновационной деятельности в рассматриваемой сфере, а именно: 1) инвестиции в повышение квалификации служащих как субъектов инновационной активности; 2) стимулирование потоков информации, данных и знаний; 3) внедрение новых организационных подходов для совершенствования процессов и инструментов; 4) снижение рисков за счет внутренних правил и процессов.

OPSI структурирует деятельность инновационных организаций по пяти основным направлениям: поддержка и координация инновационных решений, экспериментирование, поддержка предоставления услуг, инвестиции и финансирование государственных проектов, поддержка сетей (OECD, 2017, р. 146). К инструментам стимулирования инноваций в общественном секторе относятся совместные с пользователями создание и дизайн-лаборатории, обеспечивающие удовлетворение потребностей пользователей за счет чувства личной сопричастности, повышения качества результатов и терпимости к потенциальным неудачам. В докладе отмечается также, что инновационные подразделения и лаборатории позволяют преодолеть некоторые барьеры для инновационных инициатив в общественном секторе благодаря разработке новых рабочих процедур (OECD, 2018, р. 52-53).

Описанный подход получил дальнейшее развитие в исследовании (Windrum et al., 2016, р. 162) в форме мультиагентной структуры. Оказалось, что взаимосвязь инновационных услуг и социальных инноваций в значительной мере обеспечивается участием в этом процессе граждан, социальных предпринимателей или организаций третьего сектора (неправительственных и благотворительных).

Очерченный круг вопросов будет рассмотрен с помощью общей линейной модели на основе пробит-ре-грессий и анализа путей — моделирования структурными уравнениями (structural equation modelling, SEM), что позволит проверить наличие прямой и косвенной причинно-следственной связи между ковариантами ИДУ и ИКТ-услуг (и переменных совместных создания

и дизайна) и разработкой инновационных государственных услуг. Регрессии были построены для оценки биномиальных распределений, поскольку основные зависимые переменные обычно демонстрируют сходную с этими функциями динамику (на основе общей статистики). Ключевым результатом исследования стали согласованные, асимптотически приближающиеся к нормальным, и в некоторых случаях эффективные коэффициенты, полученные методом оценки максимального правдоподобия.

Проверка гипотезы о влиянии ИДУ на создание инноваций в сфере государственных услуг опиралась на выводы более ранних исследований (А(!еЬа|о, 2018; 7^Ьа, КопсгушЫ, 2017), согласно которым бизнес-консультанты, приглашенные для помощи в предоставлении государственных услуг, могут применять клиенто-ориентированный подход для разработки новых или совершенствования существующих процессов в ходе совместного создания. В свою очередь совместный дизайн способствует взаимному обучению участников этой деятельности, в которой консультанты по дизайну услуг выступают важным источником новой стоимости в общественном секторе.

Помощь специалистов по ИДУ и ИКТ-услугам органам власти ведется по двум направлениям. Во-первых, они напрямую консультируют государственные ведомства по вопросам оказания услуг предпринимателям или корпоративным сообществам, а во-вторых, осуществляют сопровождение инновационной деятельности пользователей, обспечивая государственные ведомства соответствующими ноу-хау и технологиями для более эффективного создания инноваций в формате дизайн-лабораторий.

Этот консультационный процесс представлен на графике ниже (рис. 1).

Оба направления связаны с вовлечением пользователей в инновационные процессы ИДУ и ИКТ-консалтинга для совершенствования государственных услуг в форматах совместных создания и дизайна. Будучи важным элементом инновационной деятельности в общественном секторе, эти партисипативные процессы обеспечивают повышение качества государственных услуг (Yu, Sangiorgi, 2017, p. 82). Тем самым в создании последних активно участвуют поставщики ИДУ и ИКТ-услуг, которые в свою очередь вовлекают пользователей в эти процессы (Schmidthuber et. al. 2019, p. 345).

Описательная статистика базы данных Co-VAL и обоснование методов оценки

Описание обследования Co-VAL и использованной базы данных

В обследовании Horizon 2020 EU (H2020 Co-VAL), посвященном картированию инновационной инфраструктуры в общественном секторе стран ЕС в 2020 г., анализировалось применение методологии бизнес-услуг и вовлечения пользователей. Объектом обследования выступала основная сфера ответственности сотрудников государственных ведомств (включая их непосредственных подчиненных) — агентств, министерств и департаментов муниципального, регионального или национального уровней, а также обслуживающих их аналитических центров.

Вопросы обследования касались основных характеристик государственных ведомств, главных пользователей новых или оптимизированных услуг и базовых параметров инновационных процессов, реализуемых с помощью методов дизайн-лабораторий и совместного (с потребителями) создания. Под инновациями в данном контексте понимаются новые или существенно усовершенствованные в сравнении с ранее используемыми услуги или процессы, определяемые следующими критериями: 1) новизна или значимое улучшенние только для организационных единиц респондентов, 2) частичная или полная реализуемость и 3) вариативность характеристик (новые услуги могли предоставляться с помощью улучшенных процессов).

В обследовании учитывались следующие сегменты ИДУ:

• менеджмент, научный и технологический консалтинг (NACE 70.22 и 72.20);

• проектирование компьютерных систем и сопутствующие услуги (NACE 62.01, 62.02 и 62.09);

• другие профессиональные ИДУ, включая юридические (NACE 69.10) и бухгалтерские (NACE 69.20);

• другие творческие бизнес-услуги, включая специализированный дизайн (NACE 74.10 и 74.90), рекламу, PR и сопутствующие услуги (NACE 73.11, 73.12 и 73.20).

Основной статистически репрезентативный сегмент обследования охватывает 1036 руководителей государственных ведомств из шести стран (Испании, Франции, Венгрии, Нидерландов, Норвегии и Великобритании)1. В Испании, находящейся в фокусе нашего исследования, доля ответивших составила 37.7%. О создании ин-

Рис. 1. Два направления применения бизнес-услуг и дизайн-лабораторий для совершенствования государственных услуг

1 https://www.co-val.eu/public-deliverables/, дата обращения 16.09.2021.

новаций здесь сообщили 79.5% из 264 опрошенных организационных единиц — меньше, чем в Нидерландах, Норвегии и Великобритании (около 90%). Примерно 87% руководителей органов власти из шести обследованных стран заявили, что участие пользователей в создании «важнейших инноваций» является обычной практикой, а 14.5% сообщили, что при создании таких инноваций прибегают к услугам дизайн-бюро, инновационных или «живых» лабораторий, которые также привлекают к работе самих клиентов. Хотя о непосредственном участии пользователей в инновационной деятельности сообщили лишь немногие руководители, имеющиеся данные (по крайней мере, на материале Испании) подтверждают, что эти механизмы достаточно важны, чтобы ими не пренебрегали государственные ведомства, предоставляющие услуги предприятиям и ассоциациям.

Переменные, гипотеза и модель

На основе результатов обследования были выбраны переменные, характеризующие ИДУ, для проверки наличия прямой положительной связи между применением методов совместного создания и дизайна и повышением качества государственных услуг, а также переменные, характеризующие эффективность этих методов для повышения качества предоставления таких услуг. Все переменные использовались в сочетании с теми, которые характеризуют создание инновационных государственных услуг.

Табл. 1. Описательная статистика основных переменных

Переменная е V Я Н е р О тз (Л > о е н V э е м о и и е а о а т а 13

Р1пп2В (ВЫ) 0.137 0.34 2.51 2.114 2.47 1109 0

Р1пп8иррЛ (В1е) 0.330 0.47 1.40 0.740 1.50 1109 0

(Вш 0.220 0.42 1.90 1.300 2.80 1109 0

КШв (С7ад) 0.039 0.19 4.98 4.785 20.93 1109 0

В2Р1пп (СШ) 0.177 0.38 2.16 1.696 0.88 627 482

с11ппЬаЬ8 (С11е) 0.341 0.47 1.39 0.672 -1.55 645 464

1СТ (С1Ш 0.631 0.48 0.77 -0.544 -1.71 710 399

т2Р1пп (С12) 4.158 2.26 0.54 -0.06 -0.84 785 324

т2СоСгеа (С13) 1.818 1.54 0.85 0.485 -0.72 736 373

СоСгеаБА' (С15) 12.599 5.41 0.43 -0.089 -0.55 613 496

1ппЕАг (С16) 27.227 8.42 0.31 -0.97 0.39 789 320

Источник: составлено авторами на основе данных проекта Н2020 Со-УЛЬ.

К переменным, связанным с ИДУ, относятся: 1) С7а§ (инновации, созданные предприятиями, включая поставщиков услуг консалтинга); 2) С1Ы (помощь внешних предприятий, включая консультантов); 3) С11е (дизайн-бюро или инновационные лаборатории); 4) СПШ (помощь поставщиков специализированного программного обеспечения или ИКТ-оборудования). Уровень участия пользователей и методы дизайна инноваций характеризуются следующими переменными: а) С12 (методы создания инноваций); Ь) С13 (методы получения информации от пользователей); с) С15 (эффект от участия пользователей для результатов) и ф С16 (эффект инноваций).

Наконец, для характеристики инновационных государственных услуг применялись следующие переменные: 1) ВЫ (инновационные государственные услуги для предприятий или ассоциаций); 2) В1е (инновационные услуги поддержки организаций — ИКТ, техническое обслуживание, закупки, отчетность, человеческие ресурсы и т. д.); 3) В1Ш (инновационные государственные услуги или процессы).

Описательная статистика

Основная статистика указанных переменных приведена в табл. 1. Большинство переменных демонстрируют значительные стандартные отклонения, что свидетельствует о широких границах достоверности. Полная информация представлена в базе данных лишь по двум переменным; для остальных существенная доля данных (> 30%) отсутствует, поэтому степень свободы для них быстро сокращается. Переменная ИДУ (С7а§) имеет высокие коэффициенты эксцесса и смещения, причем оба показателя характеризуются всплеском значений вокруг точки «ноль» и смещены влево, что указывает на биномиальное распределение с высокой долей нулей. Переменная инновационных государственных услуг для бизнеса (Р1пп2В) имеет такое же биномиальное распределение, как переменная ИДУ, но с меньшим коэффициентом эксцесса.

Переменные инновационных процессов, предполагающие использование ИДУ, ИКТ-услуг и дизайн-лабораторий (С1Ы, С11е и С11Ш), характеризуются биномиальными распределениями.

Значения переменных, характеризующих применение методов разработки ИДУ (С12-С16) и совместное с пользователями создание услуг, демонстрируют разное распределение. Переменная методологии выявления и использования вклада пользователей и переменная, отражающая их вклад в инновационные процессы (С12 и С15), имеют нормальное распределение. Распределение значений переменной, описывающей процесс совместного создания (С13), близко к нормальному. Одна переменная имеет отрицательное биномиальное распределение (С16).

Распределение значений двух главных анализируемых переменных — инновационные государственные услуги для бизнеса (Ртп2В (ВЫ)) и использование ИДУ органами власти (С7а§) ближе к биномиальному, чем к нормальному (табл. 2). Биномиальные распреде-

Табл. 2. Ковариационная матрица

Переменная Р1пп2В (ВЫ) К1В8 (С7ад) В2Р1пп (Сна) ШппЬа^ (С11е) 1СТ (С11£) ш2Р1пп (С12) ш2СсСгеа (С13) СсСгеаБА' (С15) 1ппЕАг (С16)

Р1пп2В (ВЫ) 0.1184 0.0100 0.0200 0.0053 0.0093 0.0803 0.0285 -0.0331 0.3079

К1В8 (С7ад) 0.0373 0.0181 0.0130 0.0069 0.0668 0.0444 0.0243 0.0514

В2Р1пп (С1Ы) 0.1459 0.0018 0.0232 0.1627 0.0823 -0.3332 0.2749

ШппЬа^ (С11е) 0.2251 0.0479 0.1958 0.0864 0.6130 0.3060

1СТ (СШ) 0.2332 0.2472 0.1305 0.4241 0.0889

т2Р1пп (С12) 5.1000 1.5700 4.3181 3.3074

ш2СсСгеа (С13) 2.3641 2.3390 1.7439

СсСгеаЕй' (С15) 29.2374 12.6696

ТппБй' (С16) 70.9370

Источник: составлено авторами на основе базы данных проекта И2020 Сс-УАЬ.

ления также имеют переменные, которые характеризуют инновации, созданные с помощью методологий ИДУ (Б2Р1пп (С1Ы)), в дизайн-лабораториях (аШпЬаЫ (С11е)) и консультантами по ИКТ и аппаратному обеспечению (С110.

Статистика свидетельствует также, что аналогичное распределение имеют переменные, описывающие сервисные инновации в области поддержки организационных единиц (ИКТ, техническое обслуживание, закупки, отчетность и ИВ.) (В1е) или процессов создания и предоставления услуг (В10.

Как показывает ковариационная матрица (табл. 2), три переменные первого уравнения, наиболее важные для создания инноваций в сфере государственных услуг, связаны с бизнесом или организацией предприятия (ВЫ), применением ИДУ (С7а§) и соответствующих методологий (С1Ы) и характеризующие эффект инноваций (С16). Сходная картина наблюдается и в случае второго и третьего уравнений, где услуги ИКТ- и бизнес-консультантов, поддержка дизайн-лабораторий и совместное создание услуг положительно влияют на переменные инновационных государственных услуг, отражающие общее совершенствование процессов их создания и предоставления (Рргс^егу (В10) или описывающие услуги поддержки (Р1пп8цррА (В1е)).

С помощью аналогичных таблиц можно показать, что инновационные дизайн-лаборатории (С11е), ИКТ-консалтинг (в области программного и аппаратного обеспечения, С110 и методологии совместного создания (С13) наиболее важны для разработки и предоставления услуг поддержки административных единиц (ИКТ, техническое обслуживание, закупки, отчетность, человеческие ресурсы, ОВ1е), которые классифицируются как ИДУ. Наконец, анализ ковариационной матрицы показывает, что наибольший эффект в отношении процессов создания или предоставления услуг (В10 оказывают переменные, характеризующие применение методологий ИДУ, инновационных лабораторий (С11е) и бизнес-методологий (С12).

Выявленные взаимосвязи позволяют заключить, что рассматриваемые переменные находятся на разных уровнях интеграции, т. е. чтобы подтвердить сформули-

рованные выше гипотезы, необходимо проверить следующие три простых уравнения:

У1 = а1 + Ь1*Х1, (1)

У2 = а2 + Ь2*Х2, (2)

У3 = а3 + Ь3*Х3. (3)

где У1, У2, У3 — зависимые переменные инновационных государственных услуг, а Х1, Х2 и Х3 — независимые переменные ИДУ.

Оценить взаимодействие ИДУ и клиентоориенти-рованных методологий как основных источников добавленной стоимости, создаваемой внешними консультантами, позволят три несколько более сложных, чем предыдущие, уравнения:

У1 = а1 + Ь1*Х1 + с1* 71, (1А)

У2 = а2 + Ь2*Х2 + с2*Ъ2, (2А)

У3 = а3 + Ь3*Х3 + с3*Ъ3. (3а)

где У1, У2, У3 — зависимые переменные инновационных государственных услуг, Х1, Х2 и Х3 — независимые переменные ИДУ, а 71, 72 и 73 — переменные, характеризующие применение клиентоориентированных методов в ходе создания инновационных государственных услуг при помощи бизнес-консультантов.

Далее будет показано, что эффект применения ИДУ для создания инновационных государственных услуг, вопреки сложившимся представлениям о его линейной природе, напротив, имеет нелинейный характер, согласно следующей логике: переменные Ъ прямо связаны с переменными инновационных государственных услуг и линейно влияют на ИДУ, а значит, косвенно — и на создание инновационных государственных услуг.

Эту нелинейную связь можно проследить на приведенных диаграммах, объясняющих косвенный эффект применения пользовательски ориентированных методологий.

Логит-, пробит- и SEM-модели

В ходе обследования Сс-УАЬ собранные сведения о факторах инновационной активности в сфере государственных услуг легли в основу базы данных с бинар-

ными ответами на вопрос о положительном влиянии этих факторов на деятельность организационных единиц. Объяснить взаимодействие ковариантов, определяющих положительный или отрицательный результат этих процессов, позволят логит- или пробит-модели.

Логит-оценки, как правило, применяются в эконо-метрических тестах при моделировании вероятностей того, что ответ относится к определенному эталонному классу (в данном случае «положительно влияет на инновационный процесс»). Речь идет о логистическом преобразовании предложенного уравнения нашей ди-хотомной модели зависимых переменных для учета нелинейности в ходе оценки и сведения диапазона вероятности до значений «0» или «1», как и в обследовании Co-VAL. Соответственно для оценки параметров логистической регрессии был использован алгоритм максимального правдоподобия для определения вероятности принадлежности к эталонной (инновационной) группе. Вычисление логарифма вероятности для предложенного оценочного уравнения позволит корректно сформулировать оценочное уравнение для ставших линейными ковариантов и для зависимой переменной (Davidson, 2018).

В отличие от моделей логистической регрессии, про-бит-регрессии базируются на допущении о нормальном распределении ошибок. Наше рабочее предположение состоит в том, что кумулятивная функция распределения является стандартной нормальной, будучи производной от статистики значений основных переменных. Кроме того, эконометрические результаты логит- и пробит-моделей с использованием этих данных очень похожи, а главное преимущество модели нормального распределения по Гауссу заключается в том, что она непосредственно генерирует предельные эффекты ко-вариаций на зависимую переменную. Соответственно для генерации предельных эффектов ковариантов на бинарную переменную инновационного процесса применялись пробит-модели; результаты, приведенные в сводной таблице, оказались аналогичны результатам параллельно использованных логит-регрессий.

Как и в работе (Hanck et al., 2020), математическое ожидание зависимой переменной на основе ковариант-ных переменных можно описать следующим уравнением:

E(Y|X) = P(Y = 1|X) = Фф0 + P1X),

где ^0 + в1Х играет роль квантиля z, Ф (z) = P (Z<z), а Z~N (0,1) ведет себя как нормальное распределение по Гауссу, так что пробит-коэффициент отражает изменение значения z, связанное с изменением значения X на одну единицу (т. е. предельный эффект в экономике). Хотя эффект изменения X в отношении z является линейным, связь между z и зависимой переменной Y нелинейна, поскольку Ф является нелинейной функцией X.

Помимо оценки предельных эффектов с помощью логит- и пробит-моделей был применен метод моделирования структурных уравнений, чтобы выявить

ключевые стимулы инновационной деятельности государственных ведомств. Благодаря этому удалось установить взаимосвязь между различными подходами, наиболее эффективные из которых, по-видимому, не всегда включают одни и те же процессы создания инновационных государственных услуг. Подобные гипотезы были проверены с помощью инструментов анализа пути и SEM для установления взаимодействия переменных, которые стимулируют инновационные процессы в участвовавших в обследовании государственных структурах и характеризуют востребованность консультационных услуг и результатов инновационных процессов без прогнозирования распределения данных. С помощью метода частичных наименьших квадратов (partial least squares, PLS) SEM позволяет определить не установленную априори причинно-следственную связь между переменными на основе теоретических предпосылок, ранее использованных в логит- и пробит-моде-лях. Таким образом, SEM в сочетании с анализом пути обнаруживает сходство с двухэтапной регрессией или системой уравнений для общей двухэтапной оценки методом наименьших квадратов.

Анализ пути как подмножество SEM-моделей также называют анализом ковариационных структур, в которых экзогенные переменные, как правило, коррелируют друг с другом и оказывают прямое или косвенное влияние на зависимую переменную через другую, экзогенную. Такие переменные, связанные с совместным созданием инноваций и использованием дизайн-лабораторий, косвенно влияют на зависимую переменную — инновационный процесс, реализуемый государственным ведомством. В основе анализа пути лежит замкнутая система взаимосвязей между переменными, статистически представленными серией структурированных уравнений линейной регрессии2, что предполагает одновременное тестирование моделей уравнений на экономически релевантной структуре.

Для применения SEM в сочетании с анализом пути при оценке на первом этапе были использованы результаты логит- и пробит-моделей с высокой ковариа-цией зависимых переменных. На втором этапе анализ пути был загружен в программное приложение SEM (статистический пакет Lavaan for R) вместе с уравнениями, полученными на предыдущем этапе регрессии. Результаты представлены на приведенных далее диаграммах.

Основные эконометрические результаты

Эффект применения пользовательски ориентированных методологий разработки ИДУ и бизнес-консалтинга для совершенствования государственных услуг рассчитывается по формуле (1А) (рис. 2)3.

PInn2B = al + b11*KIBS + b12*B2PInn + c11*m2PInn

+ c12*m2CoCrea + c13*InnEff (1A)

2 https://www.puЬlichealth.columЬia.edu/гeseaгch/population-health-methods/path-analysis#гeadings, дата обращения 14.08.2021.

3 Указанные ковариации между совместным с пользователями созданием и эффектом ИДУ при разработке инновационных государственных услуг подробно описаны в работе (Adebajo, 2018).

Рис. 2. Схема уравнения 1A

Вход:

С12 — использованные методы создания инноваций (т2Р1пп) С13 — метод получения обратной связи от пользователей (т2СоСгеа)

С16 — эффект в отношении инновационной деятельности (¡ппЕАТ)

C7ag — инновации, созданные внешними предприятиями,

включая консультантов (бизнес-услуги)

С11а — помощь внешних предприятий, включая

консультантов (В2Р1пп)

Выход:

В1а — инновационные государственные услуги для предприятий или их ассоциаций (Р1пп2В)

Источник: составлено авторами на основе данных проекта Н2020 Со-УЛЬ с использованием регрессионного анализа пути.

Рис. 3. Схема уравнения 2A

Вход:

С12 — использованные методы создания инноваций (т2Р1пп) С15 — эффект вовлечения пользователей в отношении полученных результатов (СоСгеаЕАТ)

С16 — эффект в отношении инновационной деятельности (1ппЕй)

С11е — дизайн-бюро или инновационные лаборатории (а1ппЬаЫ)

С1Ц — помощь поставщиков специального программного

обеспечения или оборудования ИКТ (1СТ)

Выход:

В1е = инновационные услуги поддержки работы организаций: ИКТ, техническое обслуживание, закупки, отчетность, человеческие ресурсы и т. д. (Р!пп8иррЛ)

Источник: составлено авторами на основе данных проекта Н2020 Со-УЛЬ с применением регрессионного анализа пути.

Эффект применения пользовательски ориентированных методологий, совместного создания инноваций и ИКТ-консалтинга для совершенствования услуг поддержки организационных единиц (ИКТ, техническое обслуживание, закупки, отчетность, человеческие ресурсы и т. д.) описывается формулой (2А) (рис. 3)4.

Р1пп8цррЛ = а2 + Ь21*а1ппЬаЬ8 + Ь22*1СТ + с21*т2Р1пп + с22*СоСгеаЕЙ' + с23*1ппЕАГ. (2Л)

Влияние ИДУ, совместного дизайна и консалтинга на совершенствование процессов создания или предоставления государственных услуг рассчитывается по формуле (3А) (рис. 4)5.

Рргоа8егу = а3 + Ь31*В2Р1пп + Ь32*а1ппЬаЬз + с31*т2Р1пп + с32*т2СоСгеа. (3Л)

Результаты многомерного анализа

Результаты аппроксимирования биномиальных распределений с применением логит-оценок после выявления основных коррелятов зависимых переменных представлены далее.

Как показывает табл. 3, роль ИДУ, ИКТ-консалтинга и дизайн-лабораторий для инновационных государ-

ственных услуг оказывается двунаправленной. С одной стороны, заметно положительный эффект дают традиционные услуги, особенно предоставляемые предприятиям или ассоциациям, а также поддержка организационных единиц, занимающихся разработкой и предоставлением государственных услуг. Все органы власти, вовлеченные в инновационные процессы, отметили эффективность бизнес-консультантов и совместного дизайна. С другой стороны, интеграция методов совместного создания, дизайна и бизнес-ориентированных подходов усиливает действенность ИДУ с точки зрения оптимизации оказания государственных услуг. Таким образом, положительная импульсная ковариационная функция применительно к ИДУ и ИКТ-услугам и затем их позитивный эффект в рамках обследования Со-УЛЬ выразились в совершенствовании работы государственных ведомств.

Выполненный эконометрический анализ позволяет сделать вывод, что динамичная интеграция ИДУ и ИКТ-консультантов с методологиями совместного создания и дизайн-лабораторий обеспечивает существенное улучшение инновационных процессов создания государственных услуг. Такой вывод подтверждает данные обследования инновационной активности в сфере государственных услуг Испании Со-УЛЬ 2020.

4 В развитие исследования (Sanders, Stappers, 2008) о влиянии дизайн-лабораторий на эффективность создания инновационных государственных услуг.

5 Участие пользователей государственных услуг в процессе совместной разработки новых форм предоставления услуг описано, в частности, в работе (Osborne et al., 2018).

в анализе модель, основанная на работах (Adebajo, 2018; Zi^ba, Konczynski, 2017), учитывала значение взаимодействия с клиентами (в данном случае государственными ведомствами или организационными единицами) и консалтинговыми компаниями в ходе инновационного процесса создания новых или совершенствования существующих государственных услуг (и услуг поддержки), предоставляемых предприятиям и ассоциациям. Рассматриваемые способы создания и предоставления инновационных услуг предполагают более эффективную эксплуатацию государственными ведомствами программного и аппаратного обеспечения, персонала и других ключевых ресурсов.

Проверке были подвергнуты три основные гипотезы о положительном эффекте ИДУ для инновационной деятельности в сфере государственных услуг и о высокой значимости клиентоориентированных методов. Полученные данные позволили подтвердить все три гипотезы: применение методологий совместных создания и дизайна услуг дает существенный положительный косвенный эффект в случае услуг ИДУ и, следовательно, в отношении качества инновационных процессов в государственном секторе. В силу положительного характера и значимости этих эффектов при использовании регрессий обоих типов (пробит-анализа и анализа пути на основе SEM) инновационная государственная политика должна быть направлена на развитие и повышение качества ИКТ-консалтинга для увеличения добавленной стоимости государственных услуг.

К ограничениям примененной методологии эмпирической оценки относятся, во-первых, лежащее в основе логит- и пробит-тестов допущение о наличии нормального распределения по Гауссу (пробит) и независимого распределения ошибок (оба метода). Полученные результаты позволяют говорить о соответствии базы дан-

Табл. 3. Основные эконометрические результаты применения пробит-регрессий

Зависимая переменная

GLM PInn2B PInnSuppA PprodServ

Регрессоры Eq. 1 Eq. 1A Eq. 2 Eq. 2A Eq. 3 Eq. 3A

KIBS 0.877*** (4.39) 1.85 *** (2.54)

B2PInn 1.35 ** (2.02) 0.2416 (1.80) 1.27 (1.56)

dInnLabs 1.24 * (1.89) 1.28 ** (2.03)

ICT 0.2251* (2.29) 1.21 * (1.69)

m2PInn 1.04 (0.72) 1.15 ** (2.26) 1.26 *** (3.98)

m2CoCrea 1.08 (1.29)

CoCreaEff.

InnEff 1.11 * (1.74)

Константа -1.142*** (-23.30) 0.40 *** (-13.97) -0.2811*** (-3.58) 0.71 *** (-3.80) -0.5513*** (-9.45) 0.55 *** (-8.50)

Obs. 1107 612 708 583 625 583

X2 19.41 *** 26.74 *** 30.21 ***

Pseudo R2 (Cragg-Uhler) 0.05 0.06 0.07

BIC 635.02 805.12 723.82

Лог-правдоподобие -434 on 1107 d.f. -485 on 708 d.f. -385 on 625 d.f.

Степень свободы 868 708 625

Источник: составлено авторами на основе данных проекта Н2020 Со-УЛЬ с применением регрессионного анализа пути.

Рис. 4. Схема уравнения 3A

Вход:

С12 — использованные методы создания инноваций (т2Р1пп) С13 — методы получения обратной связи от пользователей

С1Ы — помощь внешних предприятий, включая консультантов (В2Р1пп)

С1^ — дизайн-бюро или инновационные лаборатории

^¡ппЬаЬэ)

Выход:

В1Ш = инновационные процессы разработки государственных услуг или инновационные услуги (PprodServ)

Источник: составлено авторами на основе данных проекта Н2020 Со-УЛЬ с применением регрессионного анализа пути.

Обсуждение

Анализ эффекта от применения методологий ИДУ в инновационной деятельности в сфере государственных услуг был, в частности, сосредоточен на роли клиентоо-риентированного подхода, который применяют поставщики в ходе совместных с потребителями создания и дизайна услуг (дизайн-лаборатории). Использованная

ных этим условиям, что можно проверить протестировав другие характеристики распределения. Во-вторых, допущение об идентичном и независимом распределении ошибок может оказаться неверным, поскольку использовалась система уравнений с ковариацией двух или трех переменных, что придает процедуре большую достоверность, чем при оценке отдельных логит- и про-бит-уравнений. В конечном счете оценка через систему уравнений на основе анализа путей оказывается точнее в сравнении с отдельными дихотомическими моделями. Она дает более реалистичные коэффициенты с лучшей ^статистикой и позволяет выявить косвенные эффекты применяемых методов, что помогает поставщикам ИДУ и ИКТ-консалтинга совершенствовать инновационные процессы государственных ведомств.

Заключение

Совместные создание и дизайн услуг как две ключевые методологии разработки ИДУ были рассмотрены с точки зрения эффективности использования ИДУ и ИКТ-консалтинга при совершенствовании государственных услуг. Применение клиентоориентированного подхода в обоих случаях дает заметный положительный косвенный эффект. Вклад ИДУ в инновационную деятельность в сфере государственных услуг оказывается выше, когда с помощью методов совместного создания и дизайна в процесс вовлекаются пользователи (коллаборативная и сетевая разработка инноваций), чем при традиционном формате оказания ИДУ государственным ведомствам на двусторонней основе. Однако общая эффективность

не означает положительного результата от использования ИДУ в каждом конкретном случае. Впрочем, даже при неоднозначных последствиях привлечения поставщиков ИДУ ориентированные на пользователей мультиагентные структуры помогают оптимизировать конечный эффект.

Один из ключевых выводов нашего исследования состоит в том, что инновационные процессы в государственных ведомствах можно переориентировать на более глубокое сотрудничество с консультантами, на публичную оценку результатов на основе сбора внутренней информации. Показано, что методы совместной разработки инноваций и дизайн-лаборатории стимулируют инновационный процесс, помогая производить новую стоимость для граждан и предприятий (8ка1еп еЕ а1. 2015, р. 139). Кроме того, установлено, что привлечение поставщиков ИДУ и ИКТ-услуг само по себе не гарантирует положительного эффекта для инновационной деятельности. Даже если профильные консультанты участвуют в создании неких инноваций конкретными организационными единицами, это не всегда порождает добавленную стоимость для общества. Более того, если совместное создание организовано неоптимально, ценность услуг может даже снизиться.

Политическая рекомендация для руководителей государственных ведомств может быть сформулирована следующим образом: использование комплексного подхода к совместному созданию инноваций окажется полезным в том случае, если будет нацелено на достижение общего блага, согласование общественных и частных интересов и создание новой стоимости для всех.

Библиография

Adebajo A. (2018) The role of service design consultancy in public sector: Inferences from KIBS and service innovation perspectives. Paper presented at the ServDes2018 — Service Design Proof of Concept, 18-20 June, Milano, Italy. https://servdes.org/wp/wp-content/ uploads/2018/07/47.pdf, дата обращения 17.12.2020.

Alves H. (2013) Co-creation and innovation in public services. The Service Industries Journal, 33(7-8), 671-682. https://doi.org/10.1080/0 2642069.2013.740468

Amara N., Landrya R., Traoréb N. (2008) Managing the protection of innovations in knowledge-intensive business services. Research Policy,

37(9), 1530-1547. https://doi.org/10.1016/j.respol.2008.07.001 Azad B., Faraj S. (2008) Making e-Government systems workable: Exploring the evolution of frames. Journal of Strategic Information Systems, 17, 75-98. https://doi.org/10.1016/j.jsis.2007.12.001 Chew E. (2015) Service Innovation Through an Integrative Design Framework. In: The Handbook of Service Innovation (eds. R. Agarwal, W.

Selen, G. Roos, R. Green), Heidelberg, Dordrecht, London, New York: Springer, pp. 481-500. Criado J., Gil-García J. (2019) Creating public value through smart technologies and strategies. From digital services to artificial intelligence

and beyond. International Journal of Public Sector Management, 32(5), 438-450. https://doi.org/10.1108/IJPSM-07-2019-0178 Davidson J. (2018) An Introduction to Econometric Theory, New York: John Wiley & Sons. https://doi.org/10.1002/9781119484905 den Hertog P., Hertog W., de Jong M. (2010) Capabilities for managing service innovation: Towards a conceptual framework. Journal of

Service Management, 21(4), 490-514. https://doi.org/10.1108/09564231011066123 Desmarchelier B., Djellal F., Gallouj F. (2020). Mapping social innovation networks: Knowledge-intensive social services as systems builders.

Technological Forecasting and Social Change, 157, 120068. https://doi.org/10.1016/j.techfore.2020.120068 Fuglsang L., Nordli A. (2018) On Service Innovation as an Interactive Process: A Case Study of the Engagement with Innovation of a Tourism Service. Social Sciences, 7(12), 258. https://doi.org/10.3390/socsci7120258 Gupta B., Dasgupta S., Gupta A. (2008) Adoption of ICT in a government organization in a developing country: An empirical study. Journal

of Strategic Information Systems, 17, 140-154. https://doi.org/10.1016/j.jsis.2007.12.004 Hanck C., Arnold M., Gerber A., Schmelzer M. (2020) Introduction to Econometrics with R, Duisburg: University of Duisburg-Essen. LapuenteV., van de Walle S. (2020) The effects of new public management on the quality of public services. Governance, 33, 461-475. https:// doi.org/10.1111/gove.12502

Lewis J., Margot L., Hans E. (2018) How innovation drivers, networking and leadership shape public sector innovation capacity. International Review of Administrative Article Sciences, 84(2), 288-307. https://doi.org/10.1177/0020852317694085

Misuraca G., Viscusi G. (2015) Shaping public sector innovation theory: An interpretative framework for ICT-enabled governance innovation. Electronic Commerce Research, 15, 303-322. https://doi.org/10.1007/s10660-015-9184-5

OECD (2017) Fostering Innovation in the Public Sector, Paris: OECD.

OECD (2018) How do we Make it Happen: Implementing Public Sector Innovation, Paris: OECD.

OECD (2020) OECD Digital Economy Outlook 2020, Paris: OECD. https://doi.org/10.1787/bb167041-en

Osborne S., Strokosch K., Radnor Z. (2018) Co-Production and the Co-Creation of Value in Public Services. A Perspective from Service Management. In: Co-Production and Co-Creation. Engaging Citizens in Public Services (eds. T. Brandsen, T. Steen, B. Verschuere), New York: Routledge, pp. 18-26. https://doi.org/10.4324/9781315204956

Pinto M., Saur-Amaral I., Brito C. (2019) Boosting service innovation: The role of consultancies. Journal of Innovation Management, 7(3), 41-68. https://doi.org/10.24840/2183-0606_007.003_0004

Rubalcaba L., Di Meglio G., Gallouj F., Pyka A., Windrum P., Green L., Sundbo J., Weber M., Dachs B. (2011) ServPPIN: A review of scientific findings, Brussels: European Commission. https://hal.archives-ouvertes.fr/hal-01111766, дата обращения 14.06.2021.

Sanders E., Stappers P. (2008) Co-creation and the newlandscapes ofdesign. Co-Design, 4(1), 5-18.https://doi.org/10.1080/15710880701875068

Sangiorgi D. (2015) Designing for public sector innovation in the UK: Design strategies for paradigm shifts. Foresight, 17(4), 332-348. https://doi.org/10.1108/FS-08-2013-0041

Schmidthuber L., Piller F., Bogers M., Hilgers D. (2019) Citizen participation in public administration: Investigating open government for social innovation. R&D Management, 49(3), 343-355. https://doi.org/10.1111/radm.12365

Skâlén P., Gummerus J., von Koskull C., Magnusson P. (2015) Exploring value propositions and service innovation: A service-dominant logic study. Journal of the Academy of Marketing Science, 43, 137-158. https://doi.org/10.1007/s11747-013-0365-2

Vinogradov D., Shadrina E., Doroshenko M. (2018) KIBS for public needs. Economia e Politica Industriale, 45, 443-473. https://doi. org/10.1007/s40812-018-0106-0

Whicher A., Crick T. (2019) Co-design, evaluation, and the Northern Ireland Innovation Lab. Public Money & Management, 39(4), 290-299. https://doi.org/10.1080/09540962.2019.1592920

Windrum P., Schartinger D., Rubalcaba L., Gallouj F., Toivonen M. (2016) The co-creation of multi-agent social innovations: A bridge between service and social innovation research. European Journal of Innovation Management, 19(2), 150-166. https://doi.org/10.1108/ EJIM-05-2015-0033

Windrum P., Schartinger D., Rubalcaba L., Gallouj F., Toivonen M. (2016) The co-creation of multi-agent social innovations. European Journal of Innovation Management, 19(2), 150-166. https://doi.org/10.1108/EJIM-05-2015-0033

Yu E., Sangiorgi D. (2017) Exploring the transformative impacts of service design: The role of designer-client relationships in the service development process. Design Studies, 55, 79-111. https://doi.org/10.1016/j.destud.2017.09.001

Yuan Q. (2019) Co-production of Public Service and Information Technology: A Literature Review. In: Proceedings of the 20th Annual International Conference on Digital Government Research (eds. Y.C. Chen, F. Salem, A. Zuiderwijk), New York: Association for Computing Machinery, pp. 123-132. https://doi.org/10.1145/3325112.3325232

Ziçba M., Konczynski P. (2017) Client co-production in knowledge-intensive business services (KIBS) — Case study analysis. https://most-wiedzy.pl, дата обращения 23.07.2021.