CC BY
33
УДК 004.9
ОРГАНИЗАЦИЯ РАБОТ ЖИЗНЕННОГО ЦИКЛА ЭКОНОМИЧЕСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ НА ОСНОВЕ РЫНОЧНОЙ СИСТЕМЫ КООРДИНАЦИИ С ИСПОЛЬЗОВАНИЕМ ТЕОРИИ ДЕЦЕНТРАЛИЗОВАННЫХ
ПРИЛОЖЕНИЙ*
Дли М.И., д.т.н., профессор филиала ФГБОУ ВО «Национальный исследовательский университет «МЭИ» в г. Смоленске,
e-mail: midli@mail.ru
Салов Н.А., аспирант, ФГБОУ ВО «Национальный исследовательский университет «МЭИ», e-mail: elluminatte@gmail.com
В статье предлагается подход к организации работ жизненного цикла экономической информационной системы, который, в отличие от известных, обладает синергетическим эффектом, обусловленным объединением теории децентрализованных приложений и рыночной системы координации ресурсов для выполнения работ ЖЦ ЭИС. Это, за счет использования «умных» контрактов, снижения необходимого уровня доверия, нивелирования недостатков иерархических систем координации, а также размещения работ в глобальном информационном пространстве позволяет снизить транзакционные издержки и повысить эффективность использования человеческих ресурсов в процессе управления жизненным циклом экономических информационных систем. Для поддержки применения предлагаемого подхода в статье также описываются методы мобилизации ресурсов для выполнения работ и архитектура СППР процесс управления ЖЦ ЭИС.
Ключевые слова: жизненный цикл экономических информационных систем, ИТ-аутсорсинг, блокчейн, смарт-контракт, децентрализованное приложение, системы поддержки принятия решений.
MARKET COORDINATION BASED ARRANGE OF ECONOMICAL INFORMATION SYSTEM LIFECYCLE OPERATIONS USING DECENTRALIZED APPLICATIONS
THEORY
Dli M., Doctor of Techniques, professor, FSEIHE «National Research University «MPEI» Smolensk branch, e-mail: midli@mail.ru
Salov N., the post-graduate student, FSEI HE «National Research University «MPEI» Smolensk branch, e-mail: elluminatte@gmail.com
Economical information systems lifecycle management is one of the key business process providing the basic value of organization products/ services, along effective business processes are a competitive edge of the organization. The goal of this work is economical information systems management efficiency improving based on market coordination system using decentralized applications theory. This article suggests economical information system lifecycle management model, that has synergistic effect, caused by market coordination system and decentralized applications theory combining, that reduces the transactional costs and improves human resources usage efficiency by using self-executable smart-contracts, eliminating the dependence on the necessity of establishing 'trust' relations and leveling hierarchical coordination systems disadvantages. The practical use of the results is expected in developing information system lifecycle management tools.
Keywords: economical information system lifecycle, IT-outsource, blockchain, smart-contract, decentralized application, decision support systems.
Введение
Сегодня экономические субъекты, в том числе организации, занимающиеся разработкой и сопровождением экономических информационных систем, являются иерархическими - большинство бизнес-процессов реализуется в рамках границ экономических субъектов. Нобелевский лауреат Рональд Коуз, в отличие от представителей «традиционной» экономической школы, утверждавших, что внутри организаций существует внутренний рынок, говорил о том, что наемный работник переходит из отдела А в отдел В не потому, что произошло изменение относительных цен, а потому, что ему было «приказано» так поступить [1]. Это говорит о том, что, в отличие от рынка, где ресурсы мобилизуются за счет механизмов ценообразования, экономические субъекты мобилизуют ресурсы для реализации бизнес-процессов за счет власти и авторитарного управления [2].
В исследованиях нобелевского лауреата Оливера Уильямсона выделяются две основные системы координации. Первая - использование механизма ценообразования для децентрализованной мобилизации ресурсов. Вторая (классическая) - основана на иерархических структурах и использует для мобилизации ресурсов власть [3]. Считается, что такой подход имеет ряд недостатков:
- убивает креативность;
- недооценивает инициативу;
- ограничивает возможности использования человеческого капитала;
- размывает ответственность [2].
Все это ведет к снижению эффективности функционирования субъектов экономической деятельности, а в условиях быстрого изменения внешней среды и роста конкуренции именно эффективные бизнес-процессы становятся конкурентным преимуществом организации и делают ее способной своевременно реагировать на изменения окружения. При этом одним из ключевых бизнес-процессов, обеспечи-
(*работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований, проект № 15-07-02935_а)
вающих основную ценность продуктов (услуг) организации являются исследования и разработки (инновации) [4]. Важной составляющей данного бизнес-процесса является процесс разработки и эксплуатации программного обеспечения, в частности управление жизненным циклом экономических информационных систем, что делает задачу повышения эффективности данного процесса актуальной.
Цель данной работы - повышение эффективности процесса управления жизненным циклом экономической информационной системы на основе рыночной системы координации с использованием теории децентрализованных приложений. Данная цель определила необходимость решения следующих задач:
- разработка модели организации работ ЖЦ ЭИС, реализующей рыночную систему координации;
- обоснование методов мобилизации ресурсов для выполнения работ ЖЦ ЭИС в рамках данной модели;
- разработка архитектуры системы поддержки принятия решений для повышения обоснованности принимаемых в рамках процесса управления ЖЦ ЭИС решений.
Недостатки известных методов организации работ ЖЦ ЭИС
Сегодня известно большое количество методологий разработки и сопровождения программного обеспечения экономических информационных систем. Одной из наиболее популярных в настоящее время является гибкая методология Scrum [5]. Кратко рассмотрим организацию работ при использовании данной методологии, представленную на рисунке 1 [6].
Приоритезированный список имеющихся бизнес-требований и технических требований к системе образует резерв продукта. В процессе планирования спринта члены команды совместно с владельцем продукта формируют резерв спринта - список требований, которые будут реализованы в течение следующего спринта. Список формируется с учетом важности требований, необходимого для реализации времени, наличия достаточных ресурсов. Под спринтом в данном случае понима-
Рис. 1. Процесс ЖЦ ЭИС в соответствии с методологией Scrum
ется ограниченная по времени итерация, результатом которой является готовый продукт (инкрементальный релиз). После старта спринта члены команды (исполнители) приступают к реализации запланированных работ. Для текущего контроля процесса спринта предусмотрен ежедневный митинг, на котором осуществляется сбор информации о уже выполненных работах, о работах, запланированных к выполнению, а также о трудностях, с которыми исполнители столкнулись в процессе реализации требований. После истечения срока спринта формируется инкрементальный релиз, включающий в себя реализованные в процессе спринта требования. По окончанию спринта проводится ретроспектива, целью которой является определения степени выполнения запланированных работ, а также анализ возможных отклонений [6].
Как видно из описания, такая методология (как и другие известные, например, спиральная, RAD-модель, V-модель и другие) основаны на иерархической системе координации и используют для мобилизации ресурсов на выполнение работ ЖЦ ЭИС авторитарное управление и власть, что, как было сказано ранее, приводит снижению эффективности управления ЖЦ ЭИС в виду ограничений возможностей использования человеческого капитала, развития ответственности по уровням иерархии и ряду других причин [2].
Помимо недостатков, обусловленных применением иерархического подхода, известные методологии не учитывают возможности снижения транзакционных издержек за счет применения теории децентрализованных приложений [7]. К таким издержкам относятся:
- издержки поиска (информации, людей, ресурсов для создания стоимости);
- издержки координации (обеспечения эффективной совместной работы ресурсов);
- издержки обслуживания соглашений (заключения и обеспечения их выполнения) [1].
Организация работ ЖЦ ЭИС на основе рыночной системы координации с использованием теории децентрализованных приложений
В работе [7] был предложен подход к управлению жизненным циклом экономической информационной системы на основе теории децентрализованных приложений, который за счет автоматизации и децентрализации процессов, а также использования криптографических методов, позволяет в определенной степени снизить описанные выше транзакционные издержки управления ЖЦ ЭИС, в том числе и при использовании ИТ-аутсорсинга.
Несмотря на это, предложенный подход, как и рассмотренные ранее методологии (в том числе Scrum), не учитывает возможности применения рыночной системы координации для организации работ жизненного цикла экономической информационной системы. В результате проецирования рыночной модели координации для выполнения работ ЖЦ ЭИС, и с учетом всех результатов, полученных в [7], авторами предлагается модель организации работ ЖЦ ЭИС на основе рыночной системы координации с использованием теории децентрализованных приложений, представленная на рисунке 2.
В отличие от «стандартной» схемы, когда после начала спринта соответствующее ИТ-подразделение приступает к выполнению работ, в предлагаемом подходе работы, формирующие резерв спринта, размещаются в «облаке работ», представляющем собой электронную биржу труда (в некотором роде аналогами облака работ являются такие площадки, как Upwork, отечественная площадка Freelansim.ru и другие). Помимо организации, представленной на рисунке и реализующей scrum методологию, подход предполагает наличие на рынке также и других организаций, в том числе реализующих другие методологии, и размещающих работы, требующие выполнения, в том же облаке. Другими
словами, облако работ является глобальным и сосредотачивает в себе совокупность работ от множества различных организаций, заинтересованных в их выполнении.
Помимо пополняющих облако работ организаций, на рисунке представлена совокупность исполнителей, образующих «облако исполнителей». Каждый исполнитель характеризуется тем, что обладает возможностью взять на себя обязательство выполнить любую работу из облака работ за определенную величину вознаграждения К. В некоторых случаях могут возникать ситуации, когда для организации представляется целесообразным ограничивать видимость некоторых работ для участников облака исполнителей. Примерами таких ситуаций являются: связь работы с коммерческой тайной, нежелание вступать в отношения с какой-либо группой исполнителей и другие подобные ситуации. В таком случае целесообразным выглядит выделение сегментов в облаках задач и исполнителей. Пример сегментации облаков на Ср (публичный сегмент) и С, (1 - порядковый номер организации, ) - порядковый номер подсегмента внутри организации) представлен на рисунке 3.
Для организации выполнения работ ЖЦ ЭИС из облака задач авторами предлагается использовать технологию блокчейн. Блокчейн - распределенный журнал транзакций, представляющий собой цепочку данных, объем которой постоянно растет за счет добавления новых блоков с записями о совершении последний операции в линейном последовательно-хронологическом порядке. Копия блокчейна хранится на каждом полном узле сети - в данном случае это устройства исполнителей из облака исполнителей, а также устройства вычислительных сетей организаций, выполняющих размещение работ в облаке. Важная особенность журнала транзакций - неизменность, которая достигается за счет криптографических средств (хэш-функций и электронных подписей), что позволяет организовывать работу даже без доверия к организациям и людям [8]. С глобальной точки зрения, блокчейн представляет собой сеть для обработки транзакций с набором правил, следуя которым участники могут прийти к общему видению журнала транзакций и установить состояние сети в определенный момент времени. При этом за счет децентрализации сеть продолжит корректно функционировать, даже если значительная часть узлов выпадет из работы или будет взломана [8].
Совокупность фактов размещения организацией работы в облаке работ и возложения на себя обязательств за выполнение данной работы со стороны исполнителя предлагается считать необходимым и достаточным условием для формирования смарт-контракта. Смарт-контракт - электронный алгоритм, выполняющийся внутри блокчейна, и описывающий набор условий, выполнение которых влечет за собой некоторые события в реальном мире или цифровых системах. В отличие от «стандартного» программного обеспечения, работающего в база данных, смарт-контракты обладают следующими свойствами:
- алгоритм записан в блокчейн, что делает его иммутабельным;
- данные, хранящиеся внутри блокчейна, не могут быть изменены в обход смарт-контрактов;
- алгоритм выполняется на всех полных узлах сети, что делает результаты его работы объективными [8].
В предлагаемом авторами подходе смарт-контракты предназначены для автоматизации взаимодействия между организацией, заинтересованной в выполнении работы и исполнителем. Каждая работа "" из множества работ "" характеризуется множеством результатов (выходов) О. = Ог. .О.. Для верификации результата О., предусматривается смарт-контракт ВС. (при этом детализация результатов может быть более глубокой, что более подробно рассмотрено в [7]). Смарт-контракты данного уровня в свою очередь запускают на выполнение смарт-контракт ВС.,
который выполняется только в том случае, если все дочерние контракты были выполнены успешно. Смарт-контракт данного уровня выполняет запись о факте выполнения работы " в децентрализованном журнале записей - формирует очередной блок в цепочке, содержащий в себе хэш предыдущего блока, таким образом добавляя еще одно звено в цепочке. Хранение объемных файлов, являющихся результатами выполнения работы (таких как текстовые документы, программный код) внутри блоков распределенного журнала является неэффективным [8], в связи с чем для решения данной задачи целесообразно использование децентрализованных хранилищ (таких, как IPFS, 81ог]'). При таком подходе внутри блока хранится лишь дайджест результатов, а также служебная информация (такая, как привилегии доступа) и указатель на файл результата за пределами блокчейна в децентрализованном хранилище. Совокупность блокчейна (включая смарт-контракты), а также децентрализованного хранилища является в рамках описанного подхода
Рис. 2. Модель организации работ ЖЦ ЭИС
организациями, размещающими работы в облаке, и исполнителями, при их подключении к сети.
Помимо фиксации результатов выполнения работы, одной из важнейших задач смарт-контракта уровня SC. является выплата вознаграждения исполнителю. Вознаграждение в рамках предлагаемого подхода может быть выплачено как с помощью криптовалют, так и посредством фиатных денег (например, цифровых чеков), что более подробно описано в [7]. При этом смарт-контракты в перспективе могут быть использованы также и для обеспечения выполнения дополнительных соглашений - например, для соблюдения режима коммерческой тайны. Хотя сейчас применение смарт-контрактов для таких целей ограничено правовыми аспектами (юридическое поле использования блокчейна находится на стадии формирования [9]) в мировой практике уже существуют инциденты приравниваются контрактов, заключенных посредством цифровых подписей и хранящихся в блокчейне, к контрак-
полной нодой. Такие ноды синхронизируются между участниками - там в «классическом» юридическом толковании [10].
Рис. 3. Сегментация облаков работ и исполнителей
Мобилизация ресурсов в рыночной системе организации работ ЖЦ ЭИС
При реализации предлагаемой авторами модели организации работ единственным способом мобилизации ресурсов является использование механизма ценообразования (так как авторитарные подходы, реализуемые в иерархических моделях, здесь недоступны). Под ресурсами в данном случае понимаются субъекты из облака исполнителей. Целью мобилизации ресурсов в данном случае является успешное выполнение работы
В виду того, что на успешность выполнения влияет большое количество факторов, многие из которых учесть не представляется возможным, целесообразным выглядит переход к оценке успешности выполнения работы в вероятностном выражении. Тогда при мобилизации ресурсов необходимо задать такие значения параметров работы, которые обеспечивали бы приемлемую величину вероятности успешного выполнения работы. Примерами влияющих параметров являются: оценка времени выполнения работы, количество дней до крайнего срока выполнения, количество специалистов в области задачи в облаке (например, разработчиков на том или ином языке программирования). Очевидно, что эти параметры являются константными - некоторые из них являются условием успешного выполнения работы, другие объективно не поддаются модификации. Единственным параметром, поддающимся модификации со стороны организации, является величина вознаграждения за выполнения.
В связи с этим для решения задачи мобилизации ресурсов на выполнение работы необходимо определить оптимальную величину данного параметра. Решение данной проблемы непосредственно путем оптимизации величины вознаграждения представляется неприемлемым: наибольший интерес представляет вероятность успешности выполнения работы при конкретном наиболее параметров в совокупности с ценой, а попытки вычислить «идеальную» величину вознаграждения с большой степенью вероятности приведут к непродуктивному колебанию вокруг «мертвой» точки. Учитывая вышесказанное, предлагается оценивать показатель вероятности успешного выполнения работы на некотором объективном интервале изменения величины вознаграждения. Условием остановки в данном случае примем достижение величиной вероятности некоторое приемлемого значения. Такой подход позволяет свести проблему к решению задачи бинарной классификации работ на классы «успешная» и «неуспешная».
В настоящее время для решения задач бинарной классификации существует большое количество методов. Авторами предлагается использовать логистическую регрессию, так как данный инструмент характеризуется технологической простотой интерпретации функционирования и результатов модели [11]. Логистическая регрессия дает возможность оценивать вероятность принятия выходной переменной одного из двух возможных значений, то есть вероятность исхода. Под исходом в данном случае понимается показатель или признак, служащий объектом исследования - успешность выполнения работы Р .. Регрессорами (факторами модели) в данном случае являются параметры работы хг. ,х(. Достижение вероятностью Р^ некоторого приемлемого значения предлагается считать условием остановки поиска величины вознаграждения, обеспечивающего успешное выполнение работы. Для установления приемлемого значения вероятности успешности работы целесообразно использовать КОС-анализ, применение которого под-
робно описано в [11].
В некоторых ситуациях параметры работы не могут быть описаны достаточно точно. В такой ситуации целесообразным представляется описание таких параметров в виде лингвистических переменных [12]. Примерами таких ситуаций являются сложность задачи, популярность реализуемой технологии. При таком характере параметров решение задачи с использованием логистической регрессии представляется затруднительным, несмотря на все ее преимущества. Поэтому в подобных случаях для решения проблемы предлагается использование нечеткого гибридного классификатора, структура которого представлена на рисунке 4.
Выходами первого слоя являются степени принадлежности параметров задачи определенным для них нечетким множествам. Значения данных параметров корректируются в процессе обучения сети. Каждый нейрон второго слоя является нейроном, реализующим операцию нечеткой нормы. Нейроны третьего слоя являются стандартными нейронами, входами которых являются линейные комбинации выходов нейронов второго слоя, а выходы формируются четвертым слоем - активацион-ными функциями сигмоидального типа. Более подробно принципы построения нечетких гибридных классификаторов описаны в [12].
Поддержка принятия решений при реализации модели организации работ ЖЦ ЭИС на основе рыночной системы координации с использованием теории децентрализованных приложений
При реализации предлагаемой в данной работе модели организации работ ЖЦ ЭИС возникают ситуации, связанные с принятием решений в условиях, сложных для полного и объективного анализа. Это связано с наличием больших объемов информации, а также ее неполнотой и противоречивостью. В связи с этим авторами предлагается использование системы поддержки принятия решений в процессе управления жизненным циклом экономической информационной системы, структура которой представлена на рисунке 1.
Предлагаемая архитектура СППР включает в себя несколько компонентов: ядро СППР, сервис слой и интерфейс взаимодействия, Ядро СППР является «классическим» для такого рода систем. База данных является хранилищем информации об объекте управления (в данном случае - ЖЦ ЭИС, поступающей через подсистему сбора оперативных данных, нормализующей входные сигналы для хранения. Так как подобные базы данных накапливают большие объемы информации, целесообразно пополнять базу знаний за счет анализа данных и выявления закономерностей именно в базе данных, что осуществляется с помощью подсистемы приобретения знаний [13]. Механизм логического вывода предназначен получения новых фактов на основе сопоставления исходных данных и знаний из базы знаний, в том числе при использовании подсистемы моделирования. Подсистема объяснения позволяет не только интерпретировать решение, полученное механизмом логического вывода, но и объясняет путь получения решения, а также отображает знаний, которые были использованы в процессе решения, что повышает доверие пользователей, облегчает отладку и создает условия для вскрытия новых закономерностей функционирования объекта управления.
Непосредственное применение СППР в рамках управления ЖЦ ЭИС связано с использованием сервисного слоя, взаимодействие с которым предлагается организовать в виде API, использование которого позволяет получить ряд преимуществ, подробно описанных в [14]. Для
Рис. 4. Структура нечеткого гибридного классификатора
взаимодействия с пользователями предлагается использовать в качестве прослойки между API и пользователем веб-интерфейс, что является стандартом де-факто при разработке современных информационных систем [15].
В процессе планирования спринта предлагается использовать модуль СППР, главными задачами которого являются оценка времени выполнения работ и оценка успешности с заданными параметры, в том числе величиной вознаграждения. Использование данного модуля нацелено на формирование резерва спринта с таким множеством работ, которое с высокой степенью вероятности будет успешно выполнено. После формирования резерва спринта с помощью модуля поддержки планирования, работы, в соответствии с предлагаемым подходом, должны быть размешены в облаке задач. Для этого необходимо в том числе описание смарт-контрактов для каждой работы. Для решения данной задачи в модуле поддержки планирования используется сервис поддержки описания смарт-контрактов, задачей которого является интеллектуальный подбор сходных с точки зрения условий контракта работ и предложение пользователю шаблонов контрактов на основе уже описанных ранее на одном из специализированных языков программирования (таких как Solidity, Mix, ReMix).
На этапе ежедневного митинга (в соответствии с терминологией Scrum), предлагается производить ежедневный контроль процесса с целью корректировки изменяемых параметров задач и планов спринта при помощи модуля поддержки контроля спринта СППР. Главная задача данного модуля - переоценка вероятности успешности выполнения работ, включенных в резерв спринта, но еще не оконченных к моменту инициации контроля. Это необходимо, так как с течением времени параметры работ и внешние учитываемые факторы могут изменять свои значения, и для достижения цели спринта может понадобится оперативная корректировка параметров работы (например, величины вознаграждения для повышения мотивации исполнителей).
На этапе ретроспективы спринта предлагается производить анализ причин отклонений результатов спринта от запланированных показателей с использованием модуля поддержки ретроспективы спринта СППР. Цель анализа отклонений - выявление причин невыполнения запланированных показателей для определения ошибок в планировании спринта, текущем выполнении работ, обнаружении внутренних и внешних факторов, приведших к появлению отклонений.
С точки зрения СППР «контрольными» точками спринта являются три основных процесса - планирование спринта, ежедневный контроль, а также ретроспектива спринта. В рамках данных процессов предлагается организовывать сбор оперативных данных хода процесса спринта посредством подсистемы сбора оперативных данных. Это позволит обеспечить наличие необходимых актуальных данных в базе данных СППР, а также организовать адаптацию СППР к условиям ее функционирования, что призвано повысить обоснованность и точность генерируемых СППР решений.
Заключение
Авторами был предложен подход к организации работ жизненного цикла экономических информационных систем, обладающий синерге-тическим эффектом, обусловленным объединением теории децентрализованных приложений и рыночной системы координации ресурсов для выполнения работ ЖЦ ЭИС. За счет данного эффекта предложенный подход обладает следующими преимуществами:
- позволяет снизить транзакционные издержки поиска ресурсов для создания стоимости по сравнению с подходами, реализующими иерархическую систему координации, за счет размещения работ в глобальном информационном пространстве;
- подход позволяет снизить транзакционные издержки обслуживания соглашения по сравнению с известными подходами, основанными на рыночной системе координации, за счет использования самовыполняющихся «умных» контрактов и снижения необходимого уровня доверия между сторонами-участниками ЖЦ ЭИС;
- подход позволяет повысить эффективность использования человеческого капитала в рамках процесса управления ЖЦ ЭИС за счет нивелирования недостатков иерархических систем координации, основанных на авторитарном управлении.
Для поддержки применения описанного подхода авторами были предложены методы мобилизации ресурсов для выполнения работ ЖЦ ЭИС для случаев с детерминированными и нечеткими значениями параметров. Была предложена архитектура СППР, предназначенная для повышения обоснованности и точности принимаемых в процессе управления ЖЦ ЭИС решений.
Практическое использования результатов предполагается в направлении совершенствования инструментов управления ЖЦ ЭИС.
Литература:
1. Coase R. H. The Nature of the Firm // Economica. 1937. № 4 (16). C. 386 -405.
2. Tapscott D., Tapscott A. Blockchain Revolution: How the Technology Behind Bitcoin is Changing Money, Business, and the World. Portfolio-Penguin, 2016. 246 с.
3. Williamson E. Markets and Hierarchies: Analysis and Implications. The Free Press, 1983. 286 С.
4. Kirchmer M. High performance through business process management: Strategy Execution in a Digital World. Springer International Publishing, 2017. 221 с.
5. The 11th annual state ofAgile Report. URL: https://explore.versionone. com/state-of-agile/versionone-11th-annual-state-of-agile-report-2.
6. What is Scrum? An Agile Framework for Completing Complex Projects - Scrum Alliance. URL: https://www.scrumalliance.org/why-scrum.
7. Дли М. И., Салов Н. А. Способы интеграции информационных систем субъектов экономической деятельности при использовании аут-сорсинга//Прикладная информатика. 2017. Т. 12. № 3 (69). С. 10-20.
8. Свон М. Блокчейн: схема новой экономики. М.: Олимп-Бизнес, 2017. 240 с.
9. Murphy E. V. Bitcoin: Questions, Answers, and Analysis of Legal Issues. URL: https://fas.org/sgp/crs/misc/R43339.pdf.
10. AZ HB2417 | 2017 | Fifty-third Legislature 1st Regular. URL: https:// apps.azleg.gov/BillStatus/BillOverview/69425.
11. Окунев Б. В., Салов Н. А. Оценка качества бинарных классификаторов, применяемых в информационных системах контроля качества процессов // Современные инновации в науке и технике. Сборник научных трудов 4-ой Международной научно-практической конференции. Курск, 2014. С. 260-263.
12. Круглов В. В., Дли М. И., Голунов Р. Ю. Нечеткая логика и искусственные нейронные сети. М.: Издательство Физико-математической литературы, 2001. 224 с.
13. Нестерова Е. В., Жукова И. Г., Сипливая М. Б. Подсистема приобретения знаний из баз данных // Известия Волгоградского Государственного Технического Университета. 2006. № 4. С. 57-69.
14. Erl T. SOA with REST. Prentice Hall, 2013. 577 с.
15. Исаев И. Актуальность использования веб-интерфейсов в современной информационной среде // Вестник Московского государственного университета печати. 2012. № 9. C. 81-85.
