Научная статья на тему 'Критерии отбора ИТ-проектов с опорой на концепцию общественных ценностей'

Критерии отбора ИТ-проектов с опорой на концепцию общественных ценностей Текст научной статьи по специальности «Экономика и бизнес»

CC BY
352
39
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
УМНЫЙ ГОРОД / SMART CITY / ГОСУДАРСТВЕННЫЙ ИТ-ПРОЕКТ / ЭФФЕКТИВНОСТЬ / ОБЩЕСТВЕННАЯ ЦЕННОСТЬ / ИНФОРМАЦИОННОЕ ОБЩЕСТВО / ЦИФРОВАЯ ЭКОНОМИКА / КОГНИТИВНЫЕ КАРТЫ / НЕЧЕТКАЯ ЛОГИКА

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Трутнев Дмитрий Родиславович

В статье представлен обзор подходов, применяемых в мировой практике для оценки результатов государственных ИТ-проектов с точки зрения создаваемой ими общественной ценности и предложен метод предварительной оценки и отбора ИТ-проектов на основе описанных подходов и анализа ключевых факторов. Обзор публикаций, посвященных тематике оценки создаваемой общественной ценности, свидетельствует о том, что, данное направление является перспективными и активно разрабатываемым множеством исследовательских коллективов во всем мире. В то время как большинство исследований в описываемой области посвящено оценке общественной ценности, создаваемой ИТ-проектами на основе анализа мнений заинтересованных сторон, автор предлагает адаптацию имеющихся теоретических разработок для целей предварительной оценки и прогнозирования создаваемой общественной ценности на основе анализа ключевых факторов, влияющих на ожидаемый результат. В статье приведены концепция и основные источники общественной ценности, создаваемой государственными ИТ-проектами, обоснование и предлагаемая модель когнитивной карты оценки комплексной прогнозной оценки эффективности ИТ-проектов и результаты ее экспериментальной проверки. Представляется, что данная модель может служить основой для предварительной оценки и осуществления отбора ИТ-проектов, предлагаемых к реализации в рамках программ «Умного города».

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Трутнев Дмитрий Родиславович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Criteria for the Selection of IT Projects Based on the Public Value Concept

The paper provides an overview of the approaches used in world practice to assess the results of state IT projects from the point of view of the public value they create. A method of preliminary assessment and selection of IT projects based on the described approaches and analysis of key factors is proposed. A review of publications devoted to the assessment of the created public value indicates that this direction of research is promising and actively developed by a large number of research teams around the world. While most of the research in the described area is dedicated to assessing the public value created by IT projects based on the opinions of interested party’s analysis, the author proposes an adaptation of existing theoretical developments for the purpose of preliminary assessment and prediction of the created public value based on an analysis of key factors affecting the expected IT project results. The paper presents the concept and the main sources of public value created by state IT projects, the rationale and the proposed model of an cognitive map for integrated predictive effectiveness assessment of IT projects and the results of its experimental verification. It seems that this model can serve as a basis for a preliminary assessment and selection of IT projects proposed for implementation in the framework of the Smart City programs.

Текст научной работы на тему «Критерии отбора ИТ-проектов с опорой на концепцию общественных ценностей»

Критерии отбора ИТ-проектов с опорой на концепцию общественных ценностей

Д.Р. Трутнев

Аннотация — В статье представлен обзор подходов, применяемых в мировой практике для оценки результатов государственных ИТ-проектов с точки зрения создаваемой ими общественной ценности и предложен метод предварительной оценки и отбора ИТ-проектов на основе описанных подходов и анализа ключевых факторов.

Обзор публикаций, посвященных тематике оценки создаваемой общественной ценности, свидетельствует о том, что, данное направление является перспективными и активно разрабатываемым множеством исследовательских коллективов во всем мире. В то время как большинство исследований в описываемой области посвящено оценке общественной ценности, создаваемой ИТ-проектами на основе анализа мнений заинтересованных сторон, автор предлагает адаптацию имеющихся теоретических разработок для целей предварительной оценки и прогнозирования создаваемой общественной ценности на основе анализа ключевых факторов, влияющих на ожидаемый результат.

В статье приведены концепция и основные источники общественной ценности, создаваемой государственными ИТ-проектами, обоснование и предлагаемая модель когнитивной карты оценки комплексной прогнозной оценки эффективности ИТ-проектов и результаты ее экспериментальной проверки. Представляется, что данная модель может служить основой для предварительной оценки и осуществления отбора ИТ-проектов, предлагаемых к реализации в рамках программ «Умного города».

Ключевые слова — Умный город, Smart City, государственный ИТ-проект, эффективность,

общественная ценность, информационное общество, Цифровая экономика, когнитивные карты, нечеткая логика

I. Введение

С точки зрения эффективного государственного управления, ИТ-проекты программ регионального развития должны быть направлены на повышение качества жизни горожан и опережающее развитие экономики через создание таких общественные ценностей, как эффективность городского управления и его ориентированность на удовлетворение нужд граждан, вовлечение граждан в управление, справедливость, прозрачность, подотчетность, а не концентрироваться исключительно на росте степени и масштабов использования передовых интеллектуальных технологий [1]. Другими словами, такие ИТ-проекты

Статья получена 22.10.2018.

Трутнев Дмитрий Родиславович. Университет ИТМО. Заместитель директора Центра технологий электронного правительства (e-mail: trutnev@egov-center.ru)

должны приносить результаты, отвечающие запросам жителей, формирующих состав и приоритеты требуемых ими общественных ценностей.

II. Концепция общественной ценности

Концепция общественной ценности была первоначально предложена еще в 1995 году Марком Муром [2], определившим ее основное предназначение: артикулированные обществом ценности должны определять распределение государственных ресурсов и деятельность правительства, основной целью которого является создание этих ценностей. Йоргенсен и Боузмен [3] дополнили это определение перечнем из 72 общественных ценностей, выявленных ими в ходе 230 исследований в США, Великобритании и скандинавских странах. В этом перечне присутствовали такие общественные ценности, связанные с вкладом государственного сектора в жизнь общества, как обеспечение экологической устойчивости,

преобразование интересов граждан в политические решения, открытость, внутренняя эффективность и т.д.

В отличие от традиционной модели государственного управления, концепция общественной ценности подчеркивает, что перечень общественных ценностей формулируется не теми, кто оказывает государственные услуги, а остальными гражданами, которые могут выражать свои предпочтения с помощью различных инструментов взаимодействия. [4] Аналогичным образом, концепция общественной ценности выходит за пределы нового государственного управления, утверждая, что общественные представления о таких ценностях, как доверие и демократия должны играть ведущую роль и дополняться другими ценностям, такими, как экономическая эффективность и результативность пришедшими из частного сектора [5], как показано в табл. 1.

Объединяя подход общественной ценности с развитием ИКТ, компания Gartner в 2003 году предложила концепцию общественной ценности информационных технологий (Public Value of Information Technology - PVIT) делая акцент на том, что государственные ИТ-инвестиции должны вносить свой долгосрочный вклад в повышение качества оказания государственных услуг, улучшение операционной эффективности государственных органов и в достижение заявленных политических целей [6].

Innovative Actions Network for the Information Society Secretariat (IANIS) в 2007 году отметил существенное усиление внимания создателей электронного

правительства к достижению большей эффективности и результативности оказания государственных услуг и, как следствие, более частое достижение позитивных результатов в этой сфере [7]. Как отметили в отчете о своем исследовании Кастелново и Симонетта, «поскольку правительства сконцентрированы на создание общественных благ для граждан,

использование ИКТ становится инструментом решения этой задачи» [8], а Юу продемонстрировал на примерах, как в разных странах граждане выражают свои предпочтения, а правительства, используя ИКТ, улучшает свои способности к их удовлетворению [9].

Таблица 1. Источники создания общественной ценности (на примере общественных ценностей электронного правительства)

Операционные ценности Политические ценности Социальные ценности

Эффективность - Сокращение расходов - Совершенствование ИТ - Снижение рисков - Реинжиниринг процессов Предоставление услуг ориентированных на пользователей - Удовлетворенность качеством электронных услуг - Увеличение количества электронных услуг Прозрачность и подотчетность - Политическая прозрачность - Административная прозрачность - Административная подотчетность - Открытые данные Участие граждан - Электронное участие в общественных делах - Готовность к использованию сервисов электронного правительства - Эффективность электронного государства Доступность и равенство - Языковая доступность - Пользовательская доступность - Региональная доступность Доверие - Политическое доверие - Социальное доверие - Доверие в Интернет - Доверие к электронному правительству Саморазвитие - Образование и обучение - Экономическое развитие - Возможности трудоустройства Качество жизни - Отдых и развлечения - Удовлетворенность жизнью - Онлайн и оффлайн межличностные отношения Экологическая устойчивость - Сбережение энергии, разделение ресурсов и уменьшение вредных выбросов - Поощрение общественно-полезных инициатив по снижению выброса углерода

III. Проблема оценки эффективности ИТ-проектов в государственном управлении

В 2006 году Центр технологий в правительстве (CTG) Университета Олбани (США) предложил структуру для оценки общественной отдачи от инвестиций в государственные ИТ. Эта структура определяет шесть видов эффектов от внедрения государственных ИТ, которые могут представлять интерес для общества: финансовые, политические, социальные, стратегические, идейные и управленческие [10]. Эта концепция к 2009 году стала популярной в США, Европе, Австралии и ряде развивающихся стран, поскольку давала возможность оценивать результативность деятельности государственных органов с точки зрения граждан и способствовать выработке и реализации политик, улучшающих взаимодействие между государством и гражданами.

Начиная с 2006 года, Европейская комиссия предлагает и развивает структуру для оценки общественной ценности электронного правительства в странах-членах Евросоюза, рассматривая три таких типа общественных ценностей, как операционные, политические и социальные. в этом контексте операционная эффективность оценивается путем изучения (а) измеримых финансовых выгод для органов власти, (б) степени повышения эффективности деятельности государственных служащих, (в) уровня

совершенствования государственной ИКТ-

инфраструктуры. Политические ценности оценивается путем изучения (а) степени повышения открытости и прозрачности органов власти за счет внедрения инструментов электронного правительства, и (б) активизации участия граждан в процессах государственного управления. Социальная

результативность оценивается путем анализа (а) сокращения административной нагрузки на граждан, (б) повышения удовлетворенности граждан, и (в) степенью влияния электронного правительства на создание более инклюзивных государственных услуг.

Для максимизации получаемых в результате проектов развития общественных ценностей, необходимо иметь возможность осуществлять предварительную оценку и отбор предлагаемых к реализации ИТ-проектов с точки зрения их потенциала создавать требуемые результаты с учетом имеющихся организационных, политических, социальных и экономических факторов.

Тема оценки общественной ценности, создаваемой ИТ-проектами, обсуждается уже довольно давно. В большинстве случаев эти оценки основывались на модели оценки PVIT и ее дальнейшем развитии - PVAT (Public Value Assessment Tool), разработанной CTG Университета Олбани (США) в 2012 г. как ответ на все возрастающую потребность в раннем анализе достижимости декларируемых целей ИТ-проектов, которые по мнению авторов этой методики могут быть реализованы только в случае, если они явно обозначены

уже в процессе проектирования и отражены в ключевой документации запускаемого проекта [12]. Одно из самых широкомасштабных исследований, создаваемых ИТ-проектами общественных ценностей, было осуществлено в 2012 г. профессором К. Карунасера на примере электронного правительства Шри-Ланки [13], более поздние примеры столь же масштабных оценок, например, в 2016 г. в Южной Африке [14], в 2017 г. в Турции [15] и в Тайване [16] опирались на предложенную им методологию. Суть методологии состоит в проведении широкомасштабных социологических опросов граждан-потребителей государственных услуг с целью исследования их мнения относительно представляющих для них значение результатов проектов внедрения государственных информационных систем. Несмотря на интересные получаемые результаты и растущую популярность методологий оценки, подобных предложенной Карунасерой, они оценивают создаваемые общественные ценности постфактум и не могут быть использованы для прогнозирования результатов, которые еще предстоит создать.

Для решения задачи прогнозирования и отбора ИТ-проектов на основе полученных результатов прогнозирования необходимо понимание взаимозависимостей множества исходных данных предлагаемых ИТ-проектов и ключевых факторов, оказывающих влияние на их реализацию, т.е. необходимо построение и анализ моделей, включающих, например:

- наличие (степень) политической воли к развитию электронного участия как технологии умного города;

- наличие (уровень развития) нормативной базы и практик, определяющих роль и механизмы электронного участия в государственном управлении;

- наличие (уровень по категориям населения) потребности граждан в электронном участии и их готовности к нему;

- направленность предлагаемого ИТ-проекта на создание (способствование созданию) необходимых общественных ценностей в необходимой степени и объеме;

- способность предлагаемого исполнителя ИТ-проекта реализовать предлагаемый проект в условиях доступных ресурсов и ограничений.

- и т.д.

Создавая подобные модели, для выявления значимых факторов и степени их влияния на конечный результат, необходим предварительный анализ ранее реализованных проектов. Среди распространенных методов, позволяющих произвести анализ вклада отдельных факторов в общую эффективность создаваемой ИС, можно упомянуть метамодель Подсистемы индексов глобальной организационной эффективности (Global Organizational Effectiveness Index Subsystem - GOEIS), предложенную Паскоа и Морейра в 2012 г. [17].

Для прогнозирования комплексной эффективности ИТ-проектов электронного участия на основе анализа факторов и степени их влияния необходимо применение математических моделей, описывающих ее элементы и

связи между ними, однако, построение подобных точных математических моделей оказывается практически невозможным ввиду плохой формализуемости оцениваемых характеристик функций и связей между ними. Для решения подобных задач хорошо подходит использование аппарата когнитивных карт и нечеткой логики - математического аппарата описания сложных систем в виде множества концептов (узлов), отображающих ее системные факторы (переменные), и выявленные причинно-следственные отношения между ними с применением лингвистических переменных. Применимость и эффективность использования этих методов обусловлена предоставляемыми ими возможностями наглядного моделирования анализируемых систем в условиях отсутствия однозначной и объективной информации об их состоянии.

На рисунке 1 приведен пример возможной схемы взаимозависимостей факторов эффективности ИТ-проектов электронного участия в виде когнитивной карты, использованной для экспериментальной проверки возможности применения предлагаемого метода для прогнозирования и практической оценки и отбора ИТ-проектов.

Для проверки справедливости предположения о применимости методов прогнозирования основанных на использовании аппарата когнитивных карт и нечеткой логики, использующих в качестве критериев оценки основные общественные ценности, для целей отбора наиболее перспективных ИТ-проектов, в 2017-2018 гг. Центром технологий электронного правительства Университета ИТМО была произведена экспериментальная проверка предложенной методики. В рамках эксперимента была апробирована когнитивная карта оценки комплексной прогнозной эффективности ИТ-проектов (рис. 1), а в качестве основного источника исходных данных о факторах, оказывающих влияние на эффективность ряда ИТ-проектов, реализованных в регионах РФ и о полученных в результате их реализации эффектах, представляющих общественную ценность, была использована информация, опубликованная на порталах заказчиков и исполнителей этих проектов, а также, на портале Всероссийского форума региональной информатизации «ПРОФ-1Т» (http://prof-it.d-russia.ru/), проводимого Экспертным центром электронного государства (http://d-russia.ru/). Преобразование семантических описаний и оценок в цифровую модель, прогнозирующую эффективность ИТ-проекта было осуществлено коллективом экспертов, в качестве инструмента моделирования был использован визуальный конструктор карт нечеткой логики PolcyCompass (https://policycompass.eu/), созданный при участии Центра технологии электронного правительства. Результаты проведенной

экспериментальной проверки показали

удовлетворительную точность соответствия

предсказанных в результате моделирования параметров эффективности создаваемых ИТ-систем их фактически наблюдаемым значениям.

Рис. 1. Пример когнитивной карты оценки комплексной прогнозная оценки эффективности ИТ-проектов (тема: проекты электронного участия в программах «Умного города»)

IV. Заключение и выводы

На новом этапе формирования государственных программ информатизации и создания «Цифровой экономики» важно продолжить изучение позитивного международного и отечественного опыта внедрения и применения методов оценки эффективности государственных информационных систем на основе подходов оценки создаваемых ими общественной ценности и использования результатов такой оценки при принятии решений об инициировании и определении состава программ и проектов ИТ-развития территорий. [18]

Полученные в ходе эксперимента результаты показали, что даже упрощенные модели, основанные на использовании инструментов нечеткой логики и описывающие взаимозависимость ключевых факторов, оказывающих влияние на реализацию предлагаемых ИТ-проектов и их ожидаемых результатов, способны давать удовлетворительные прогнозы создаваемых ими в будущем общественных ценностей, что позволяет сделать вывод о возможности их применения для целей предварительного отбора ИТ-проектов. Для повышения достоверности прогнозов и точности отбора, работы по дальнейшему уточнению состава ключевых факторов и связей между ними и комплексной эффективностью отбираемых ИТ-проектов будут продолжены. Что касается общественных ценностей, используемых в качестве критериев оценки при моделировании и отборе ИТ-проектов, то очевидно, что их состав и целевые значения должны соответствовать декларируемым целям развития конкретного «Умного города», региона, страны.

Работа выполнена при поддержке РНФ в рамках проекта №18-18-00360.

Библиография

[1] Friedland C., Gross T. Measuring the public value of e-government: Methodology of a South African case study // Proceedings of the 1 st Africa 2010 Conference, IIMC International Information Management Corporation. 2010.

[2] Moore M.H. Creating Public Value: Strategic Management, in Government. Boston, M.A.: Harvard University Press, 1995.

[3] Jergensen T.B., Bozeman B. Public values an inventory // Administration & Society. 2007. Vol. 39 (3). P. 354-381.

[4] Alford J., Hughes O. Public value pragmatism as the next phase of public management // American Review of Public Administration. 2008. Vol. 38(2). P. 130-148.

[5] Bryson J., Crosby B., Bloomberg L. Public Value Governance: Moving Beyond Traditional Public Administration and the New Public Management // Public Administration Review. 2014. Vol. 74 (4). P. 445-456.

[6] Di Maio A. Value for Money Is Not Enough in Public Sector IT projects. Stamford, C.T.: Gartner Research, 2003.

[7] Guide to regional good practice e-government. Brussels: Innovative Actions Network for the Information Society Secretariat, 2007.

[8] Castelnovo W., Simonetta M. The public value evaluation of e-government policies // The Electronic Journal of Information Systems Evaluation. 2007. Vol. 11 (2). P. 61-72.

[9] Yu C. Building a value centric e-government service framework based on a business model perspective // Lecture Notes in Computer Science. 2008. Vol. 5184, P. 160-171.

[10] Cresswell A.M., Burke G.B., Pardo T.A. Advancing return on investment analysis for government IT: A public value framework. New York: CTG, University at Albany, SUNY, 2006.

[11] Pardo T. et al. Open government and e-government: Democratic challenges from a public value perspective // Information Polity. 2012. Vol. 17, № 2. P. 83-97.

[12] Beninton J., Moor M. Public Value Theory and Practice. Basinstoke: Palgrave Macmillan, 2011.

[13] Karunasena K. An Investigation of the Public Value of e-Government in Sri Lanka. PhD Dissertation. 2012. URL: https://researchbank.rmit.edu.au/eserv/rmit:160100/Thanthri_Wathth age.pdf

[14] Sigwejo A. A citizen-centric framework for assessing e-government effectivenessK PhD DissertationK 2016. URL: http://datad. aau.org/handle/11189/5854

[15] Hiziroglu A. Measuring The Public Value of E-Government: Evidence From Turkey // Proceedings of The IRES International Conference, Rio de Janeiro, Brazil, 27th -28th January 2017. URL: http://www.worldresearchlibrary.org/up_proc/pdf/684-14879327641-8.pdf

[16] Chu P.Y. et al. A Longitudinal Research of Public Value and Electronic Governance Development in Taiwan // 10th International Conference on Theory and Practice of Electronic Governance (ICEGOV'17, New Delhi, India — March 07 - 09, 2017). Proceedings. 2017. P. 459-464.

[17] Pâscoa C., Moreira V., Tribolet J. Effectiveness index as an organizational cockpit instrument // Procedia Technology. 2012. Vol. 5. P. 244-253. DOI: 10.1016/j.protcy.2012.09.027

[18] Трутнев Д.Р. Оценка эффективности государственных информационных систем: подходы и методы // Информационные ресурсы России. 2017. №3. С. 34-36. URL: https://elibrary.ru/item .asp?id=29305123

Criteria for the Selection of IT Projects Based on the Public Value Concept

Dmitrii R. Trutnev

Abstract — The paper provides an overview of the approaches used in world practice to assess the results of state IT projects from the point of view of the public value they create. A method of preliminary assessment and selection of IT projects based on the described approaches and analysis of key factors is proposed.

A review of publications devoted to the assessment of the created public value indicates that this direction of research is promising and actively developed by a large number of research teams around the world.

While most of the research in the described area is dedicated to assessing the public value created by IT projects based on the opinions of interested party's analysis, the author proposes an adaptation of existing theoretical developments for the purpose of preliminary assessment and prediction of the created public value based on an analysis of key factors affecting the expected IT project results.

The paper presents the concept and the main sources of public value created by state IT projects, the rationale and the proposed model of an cognitive map for integrated predictive effectiveness assessment of IT projects and the results of its experimental verification.

It seems that this model can serve as a basis for a preliminary assessment and selection of IT projects proposed for implementation in the framework of the Smart City programs.

Keywords — Smart City, State IT Project, Efficiency, Public Value, Information Society, Digital Economy, Cognitive Maps, Fuzzy Logic

References

[1] Friedland C., Gross T. Measuring the public value of e-government: Methodology of a South African case study // Proceedings of the 1st Africa 2010 Conference, IIMC International Information Management Corporation. 2010.

[2] Moore M.H. Creating Public Value: Strategic Management, in Government. Boston, M.A.: Harvard University Press, 1995.

[3] Jorgensen T.B., Bozeman B. Public values an inventory // Administration & Society. 2007. Vol. 39 (3). P. 354-381.

[4] Alford J., Hughes O. Public value pragmatism as the next phase of public management // American Review of Public Administration. 2008. Vol. 38(2). P. 130-148.

[5] Bryson J., Crosby B., Bloomberg L. Public Value Governance: Moving Beyond Traditional Public Administration and the New Public Management // Public Administration Review. 2014. Vol. 74 (4). P. 445-456.

[6] Di Maio A. Value for Money Is Not Enough in Public Sector IT projects. Stamford, C.T.: Gartner Research, 2003.

[7] Guide to regional good practice e-government. Brussels: Innovative Actions Network for the Information Society Secretariat, 2007.

[8] Castelnovo W., Simonetta M. The public value evaluation of e-government policies // The Electronic

Journal of Information Systems Evaluation. 2007. Vol. 11 (2). P. 61-72.

[9] Yu C. Building a value centric e-government service framework based on a business model perspective // Lecture Notes in Computer Science. 2008. Vol. 5184, P. 160-171.

[10] Cresswell A.M., Burke G.B., Pardo T.A. Advancing return on investment analysis for government IT: A public value framework. New York: CTG, University at Albany, SUNY, 2006.

[11] Pardo T. et al. Open government and e-government: Democratic challenges from a public value perspective // Information Polity. 2012. Vol. 17, # 2. P. 83-97.

[12] Beninton J., Moor M. Public Value Theory and Practice. Basinstoke: Palgrave Macmillan, 2011.

[13] Karunasena K. An Investigation of the Public Value of e-Government in Sri Lanka. PhD Dissertation. 2012. URL: https://researchbank.rmit.edu.au/eserv/rmit:160100/Thanthri _Waththage.pdf

[14] Sigwejo A. A citizen-centric framework for assessing e-government effectivenessju PhD Dissertationju 2016. URL: http://datad.aau.org/handle/11189/5854

[15] Hiziroglu A. Measuring The Public Value of E-Government: Evidence From Turkey // Proceedings of The IRES International Conference, Rio de Janeiro, Brazil, 27th -28th January 2017. URL: http://www.worldresearchlibrary.org/up_proc/pdf/684-14879327641-8.pdf

[16] Chu P.Y. et al. A Longitudinal Research of Public Value and Electronic Governance Development in Taiwan // 10th International Conference on Theory and Practice of Electronic Governance (ICEGOV'17, New Delhi, India — March 07 - 09, 2017). Proceedings. 2017. P. 459-464.

[17] Pascoa C., Moreira V., Tribolet J. Effectiveness index as an organizational cockpit instrument // Procedia Technology. 2012. Vol. 5. P. 244-253. DOI: 10.1016/j.protcy.2012.09.027

[18] Trutnev D.R. Ocenka jeffektivnosti gosudarstvennyh informacionnyh sistem: podhody i metody // Informacionnye resursy Rossii. 2017. #3. S. 34-36. URL: https://elibrary.ru/item.asp?id=29305123

i Надоели баннеры? Вы всегда можете отключить рекламу.