CC BY
12
УДК 330.44: 338.43
DOI: 10.17586/2310-1172-2021-14-3-47-57 Научная статья
Программно-аналитический система прогнозирования и оценки реализации инновационных процессов в интеграционных формированиях*
Канд. экон. наук Кириллова Е.А. а kirillova.el@yandex.ru Лазарев А.И. anonymous.prodject@gmail.com
Национальный исследовательский университет "МЭИ" (филиал) 214013, Россия, г. Смоленск, Энергетический пр., д.1
Анализ современных изменений внешней и внутренней среды организаций, а также требований к обеспечению устойчивости и конкурентоспособности в долгосрочной перспективе, позволяет говорить о необходимости развития инструментального обеспечения процессов поддержки принятия решений при реализации инновационных проектов кооперационных формирований. Специфика природы инновационных процессов, ставшая еще более острой в кризисный период, потребность рационализации использования временных и финансовых ресурсов позволяют определить приоритетную проблему - нехватка инструментов оценки результативности инновационной деятельности при взаимодействии отдельных субъектов научно-промышленной кооперации, определяющих диспропорции результирующих экономических показателей функционирования инновационной деятельности региона. Разработка инструмента, позволяющего решить указанную проблему, стала целью данного исследования. При его проведении был использован аппарат нечеткой логики, методы анализа и обработки больших, нечетких данных, реализация алгоритмов параллельного анализа в кластерных операционных системах и язык программирования C Sharp. Предлагаемым решением является реализованное мультиплатформенное программное обеспечение нейро-кластерного анализа полиформатных данных, в основе которого используются алгоритмы прогнозирования нечетких данных на основе нелинейной авторегрессивной экзогенной модели. Немаловажной особенностью реализованного программно-аналитического предложения является алгоритм оптимизации обработки прогнозируемых данных, основанный на распределенном анализе больших данных с использованием серверных операционных систем Microsoft Server. Разработанный в результате исследования инструмент оценки реализации инновационных процессов даст возможность повысить эффективность функционирования хозяйствующих субъектов в регионе за счет принятия управленческих решений на принципах оптимальности и сбалансированности информации при реализации инновационных процессов.
Ключевые слова: инструменты поддержки принятия управленческих решений, межорганизационное взаимодействие, интеграционные формирования, научно-промышленная кооперация, нейро-нечеткое прогнозирование, кластеризация больших данных.
*Работа выполнена при финансовой поддержке «Совета по грантам Президента Российской Федерации для государственной поддержки молодых российских ученых - кандидатов наук» по проекту МК-4087.2021.2
Software-analytical tool for forecasting and evaluating the implementation of innovative
processes in integration formations
Ph.D. Kirillova E.A. а kirillova.el@yandex.ru Lazarev A.I. anonymous.prodject@gmail.com National Research University "MEI " (branch) 214013, Russia, Smolensk, Energeticheskiy ave., 1
Scientific article
The analysis of changes in the external and internal environment of organizations, requirements for ensuring long-term sustainability and competitiveness in modern conditions suggests the need to develop instrumental support for
decision-making support processes in the implementation of innovative projects of cooperative formations. Significant expenditures of technical and time resources allow us to determine the priority problem - the insufficient development of systems for reducing uncertainty in interaction with the processes of scientific and industrial cooperation, which determine the disproportions of the resulting economic indicators of the functioning of innovative activity in the region. The purpose of this study was to develop a tool that allows solving this problem. During its implementation, the fuzzy logic apparatus, methods of analyzing and processing large, fuzzy data, the implementation of parallel analysis algorithms in cluster operating systems and the C Sharp programming language were used. The proposed solution is an implemented multiplatform software for neuro-cluster analysis of multiformat data, which is based on fuzzy data prediction algorithms based on a nonlinear autoregressive exogenous model. An important feature of the implemented software is an algorithm for optimizing the processing of predicted data, based on distributed analyzing of big data using Microsoft Server operating systems. The tool developed as a result of the study for evaluating the implementation of innovative processes will make it possible to increase the efficiency of the functioning of economic entities in the region by making management decisions based on the principles of optimality and balance of information in the implementation of innovative processes.
Keywords: tools for supporting decision-making, interorganizational interaction, integration formations, scientific and industrial cooperation, neuro-fuzzy forecasting, clustering of big data.
Необходимость перехода на инновационные принципы развития, определяемая как основная на текущем технологическом укладе и реализуемая ранее лишь на некоторых предприятиях, сейчас уже не вызывает сомнения и применяется достаточно широко на всех предприятиях, которые хотят быть конкурентоспособными и эффективно функционировать. Ориентация на инновации отмечается в отраслевых стратегиях развития промышленности европейских государств, США, Китая и РФ. Особая роль в эффективной реализации инновационных процессов отводится кооперационному взаимодействию хозяйствующих субъектов. Межфирменные отношения рассматриваются в качестве стратегического ресурса современных предприятий и организации, так как их использование содействует получению субъектами экономических выгод и других синергетических эффектов, а также оптимальному достижению поставленных целей. В рамках совместной реализации инновационных процессов предполагается взаимодействие предприятий промышленности, научно-исследовательских и образовательных организаций, малых предприятий и органов государственной власти, что в свою очередь оказывает непосредственное влияние на инновационное развитие всего региона.
Информация, необходимая для принятия обоснованных решений по управлению инновационными процессами, реализуемыми региональными научно-промышленными комплексами на региональном уровне в силу значительных размеров производственного компонента, неоднородности таких формирований, а также особенностей производственно-инновационного и сопутствующих процессов имеет следующие качественные особенности: широкая номенклатура и специфичность единичных показателей, отражающих результаты той или иной деятельности или процесса, неточная интерпретация источников и способов передачи информации; разнородность и релевантность информации.
Данные особенности определяют актуальную потребность в развитии существующих инструментов управления инновационными процессами, реализуемых в рамках сети взаимодействия науки и промышленности в аспекте устойчивого развития территории. В частности, предлагаемая система оценки должна обеспечивать возможность предиктивного определения диспропорций выходных экономических показателей, в связи с этим в реализуемую систему планируется интеграция нелинейной авторегрессивной нейронной сети.
Первичной особенностью предлагаемой системы будет является возможность интерполирования нечетких данных как показателей оценки инновационного развития организации за счёт внедрения аппарата нечеткой логики, что позволит в перспективе использовать универсальность системы при исследовании полиформатных данных. Вторичной особенностью реализуемой системы является возможность распределённой обработки больших данных за счёт реализации алгоритмов параллельного анализа в кластерных операционных системах для вычисления предиктивных межорганизационных факторов. В связи с этим, особое внимание было уделено мультиплатформенности - реализуемые модули системы будут использовать для обработки данных язык Python; для обработки данных со стороны клиента на операционной системе семейства Microsoft Windows предполагается реализация интерфейса на платформе WPF, языка программирования C Sharp.
Введение
Алгоритмическая реализация системы
Современная инновационная система, будь то предприятие, выпускающее наукоемкую продукцию или научно-производственный комплекс целого региона, представляет собой совокупность из значительного числа отдельных субъектов, связанных значительным количеством сложноструктурированных горизонтальных и вертикальных иерархических связей с параметрически неопределенным влиянием различных частей системы как друг на друга, так и на систему в целом. Результатом этого является невозможность количественного описания некоторых взаимосвязей участников инновационного процесса в рамках отдельно выбранной системы. Кроме того, при этом следует учесть типичную для продуцирования интеллектуального капитала интенсивную динамику взаимосвязей и наличие у отдельных хозяйствующих субъектов интересов, зачастую противоречащих друг другу. Это позволяет говорить, что информация, необходимая для принятия обоснованных решений по управлению сетевым взаимодействием при реализации инновационного процесса на стратегическом уровне в силу значительных размеров, неоднородности инновационных кооперационных объединений, а также особенностей производственно-инновационного процесса имеет следующие качественные особенности: неточная интерпретация источников и способов передачи информации; разнородность и слабая релевантность информации, полученной не на основе объективных измерений; неформализуемый, зачастую - вербальный вид информационных сообщений. Указанные особенности препятствуют применению традиционных методов управления экономическими системами, таких как бюджетирование, управление издержками, трендовый анализ и т.п.
В силу этого актуальным становится применение методов управления инновационными структурами, основанных на аппарате нечеткой логики, которая способствует более полному отображению неопределенностей и неточностей управляемых социально-экономических систем, что будет способствовать скорейшей акцепции и реализации управляющих воздействий в экономическом инновационном пространстве. Как правило, целесообразно интегрировать нечеткие алгоритмы в состав информационно-аналитической системы поддержки принятия решений. С другой стороны, прогнозируемость экономических показателей с использованием традиционных методов математического моделирования не является столь точной, и требует значительных затрат при работе с разноструктурированными данными. Исходя из этого можно сказать, что интеграция нейронных сетей обучения с учителем позволит значительно сократить технические и человеческие затраты ресурсов.
На основе отмеченной специфики области исследования были определены основные программные и аппаратные требования к реализуемому программному обеспечению. В качестве аппаратной составляющей используется устройство на базе архитектуры AMD-64 и совместимая видеокарта с поддержкой технологии NVIDIA CUDA . В качестве программно-зависимой составляющей основного модуля обработки данных используется язык программирования Python. Для обработки информации со стороны клиентов используется язык программирования C#.
В основе представленного на рис. 1 алгоритма используется принцип модульного выполнения операций, что позволяет в перспективе выполнять параллельную нейро-кластерную обработку групп факторов, характеризующих межорганизационное взаимодействие при реализации инновационного процесса.
Концепция социально-экономического развития региона
3E
Данные о результатах интеллектуальной деятельности в открытых источниках
~7Z
Цели и задачи развития региона
Модуль 1 «Идентификация первичных условий»
Сбор первичных данных о реализации ИП и всех заинтересованных сторонах
Анализ и оценка структурных факторов взаимодействия
Оценка состоятельности ИП
Оценка потребности в ресурсах
X
Приведение данных в строковый формат
Модуль2 «Фазификация нечетких данных»
Извлечение данных *
Фазификация данных
S
Модуль 4 «Альтернативное прогнозирование»
Вызов модуляЗи подмодуля 3.1 с запросом данных об аналогичных хозяйствующих субъектах
Моделирование вариантов решения исходя из данных об исходах аналогов
Ф
Формирование
вариантов реализации ИП исходя из ресурсных возможностей заинтересованных субъектов
У
Регистрация массива данных как входных экземпляров
нейронной сети *
Структуризация характеристик субъектов по 4м уровням
Формирование ресурсного профиля субъекта
«банк» инновационных идей и предложений
1х\
МодульЗ «Прогностическая ' обработка»
Идентификация возможностей и угроз на каждом
уровне взаимодействия в
Модуль3.2 «Обучение ИНС»
Регистрация экземпляра ИНС как паттерна
Сохранение паттерна с уникальным идентификатором
1
3s
-û m
С 1-
Й с о
ts
л s с га
П п
Запись значения в таблицу благоприятных исходов
Запись значения
в таблицу отрицательных исходов J _ __— \
Структуризация благоприятных исходов
Структуризация отризательных исходов
I
У
Модуль б «Принятие решений»
Анализ возможностей реализации вариантов исходя из параметров среды
Ранжирование вариантов по экономической эффективности
Оценка и отбор вариантов исходя из ситуационных параметров
Аналитическое сравнение
Вывод результатов
Рис. 1. Алгоритм взаимодействия разработанного программного обеспечения
Реализованный алгоритм позволяет осуществлять последовательную и параллельную обработку следующих модулей:
- модуль «идентификация первичных условий» - осуществляет первичный сбор данных о финансово-хозяйственной и патентно-лицензионной деятельности предприятий и организации определённой территории с целью последующего выявления закономерностей влияния признаков-факторов на итоговый результат;
- модуль «фазификация нечетких данных» используется для разбивки, представляемой из модуля слабоструктурированной информации с целью последующей сортировки;
- модуль «прогностическая обработка признаков факторов» - позволяет использовать модель нейросети для выявления оптимальных благоприятных и критичных состояний факторов, а также отдельных направлений развития в данной предметной области;
- подмодуль «прогностическая обработка» используется для определения значений результирующих факторов в вариативных временных промежутках;
- модуль «альтернативное прогнозирование факторов» используется для выявления аналогичных исходов модификации инновационного процесса, реализуемого кооперационной сетью, при выборе и развитии в альтернативном направлении признаков-факторов;
- модуль «принятие решений» позволяет выводить структурированные результаты анализа вариантов совместимости различных ресурсов взаимодействующих субъектов, их комбинации, рекомбинации и эффектах от такого взаимодействия.
Среди прочего, модули прогностической обработки данных отвечают за идентификацию входных параметров нейронной сети, а также методики обработки данных, определяемые модулем «интеллектуальная идентификация организационной единицы». Данный модуль позволяет определить тип рассматриваемой организации на основе первичных данных.
В результате построения алгоритмической составляющей можно сказать, что процесс модулей прогностической обработки и альтернативного прогнозирования осуществляется с использованием метода параллельных вычислений, так как процесс последовательной проверки качества каждого признака-фактора позволяет установить необходимые приоритеты для принятия управленческих решений по развитию кооперационного формирования.
Модуль идентификации первичных параметров и обработки данных в локальном сегменте
На основе проведенного анализа основных факторов межорганизационного взаимодействия [1-7] была определена иерархическая система оценки результатов инновационной деятельности в рамках ее совместной реализации. Среди основных групп факторов представляется выделить следующие:
- характеристики членов взаимодействия,
- структурные факторы,
- ситуационные факторы.
С учетом того, что помимо рассматриваемых факторов существуют дополнительные важные параметры, их общая структура была приведена в отдельную структуру БД [8]. Как можно увидеть из рис. 2, каждая группа факторов принадлежит соответствующей таблице БД. Помимо прочего, ЕЯ--диаграмма включает в себя отдельные таблицы о благоприятных и отрицательных исходах с разделением в различных временных промежутках и таблицы об аналогичных хозяйствующих субъектах с идентичным набором данных.
Рис. 2. Структура базы данных реализуемого программного обеспечения
Тот факт, что приведённая выше структура полностью соответствует реализации обработки одного экземпляра приложения, подход развертки всех данных на одном накопителе не является актуальным. В связи с этим структура базы данных была усовершенствована до возможности взаимодействия на основе технологий кластерной обработки данных.
Внедрение процесса кластерной обработки осуществляется на основе использования операционной системы Windows Server 2021 [9]. Распределение мощностей обработки данных осуществляется с использованием нескольких узлов и одного сетевого ресурса. Помимо прочего, данный подход обеспечивает функциональность
ПО при отказе в работе одного или более аппаратных устройств. Для реализации описываемого подхода была выполнена развертка оснастки «диспетчер отказоустойчивости кластеров». В качестве основных параметров были заданы следующие:
- iSCSI Storage - статический локальный IP-адрес (iSCSI);
- PC-WDC1 - PC-WDC3 - статические локальные IP-адреса: iSCSI, IP-адрес кластера; статический внешний IP-адрес;
- Failover cluster access point (кластерный ресурс) - внешний статический IP адрес.
Обособленность использования трех машин, связанных в кластер, выражается количеством используемых групп факторов. Для реализации описываемого алгоритма, устройства ЭВМ WDC No.1 - WDC No.3 были включены в одну доменную группу пользователей Active Directory (рис. 3) [10].
"•t^V»» I
171.17.2.»
WDC 5
т
А
Coenmvr trrvttn Application
Рис. 3. Взаимодействие реализованных системных сервисов и служб
Как можно увидеть на рис. 3, соединение устройств осуществляется при помощи двух сетевых интерфейсов в агрегированном канале для трансфера производственного и кластерного трафика. При этом в качестве основного кворума используется конфигурация ресурса-свидетеля - дискового накопителя как точки монтирования директории для обеспечения доступа к файловой системе [11].
Для реализации системы управления кластерной сетью, в операционную систему Windows Server был интегрирован модуль SSH сервера, на основе которого реализуется метод инкапсуляции активного соединения через SS^-туннель. Для организации туннелирования был создан виртуальный интерфейс при помощи компонента <NIC Teaming», входящего в состав менеджера серверов. В последующем организация туннелирования сегмента сети определяется командой «ssh -R 127.0.0.1:5900:163.221.245.26:5900 root@localhost».
В результате разработки данной системы, сервер баз данных был помещён в раздел отказоустойчивого хранилища, что позволило в дальнейшем задействовать все доступные ресурсы для обработки больших данных. Помимо прочего, структура, представленная на рисунке 3 позволяет на основе служб Remote App получить доступ к системе через внешний шлюз [12].
Прогнозирование факторов в вариативных временных промежутках
Предлагаемый инструмент оценки реализации инновационного процесса в рамках межорганизационного взаимодействия позволяет конечному пользователю не только использовать различный прогнозный функционал, но и за счет технологий нейросетевой обработки данных дает возможность повысить точность на этапе прогнозирования значений факторов в долгосрочных временных промежутках [13-14].
Для реализации рассматриваемой системы в модуль интеллектуального прогнозирования был интегрирован процесс нейронной сети глубокого обучения, основанный на использовании динамической сети с обратной нейронной связью - Nonlinear autoregressive exogenous model (NARX) [15-17]. В качестве основного преимущества, выделенного в NARX, является возможность взаимодействия с замкнутыми и разомкнутыми контурами, влияющая на работоспособность модуля в случае отсутствия обратной связи. Алгоритмическая реализация выходных слоёв NARX представляется вектором o/ формулы 1, определяемым на основе задания входных векторов как признаков-факторов, получаемых вследствие анализа входных параметров из ER-диаграммы на рис. 2. Рассматриваемый вектор o/ в NARX сети проходит этап регрессии, независимо от входного вектора. Прогнозирование параметров в рассматриваемой нейронной сети осуществляется по формуле 2, и напрямую зависит от используемого временного промежутка.
О/ = f(y(t -1)),y(t -2),..y(t-ny),u(t-1),..u(t -nu), (1)
3
4hd = ßhi 1 Qm-1,d + ßd + ßK3^-3, d + ßKSd-1,mrn + ßh,5Zq + S ßK+ 8d,h , (2)
i=1
где: qd-i, min = minm=i,..i2{qm-i, d} - ссылка на минимальное значение рассматриваемого фактора, связанная с предыдущими значениями фактора за предыдущие месяцы; Zt - логарифм прогнозируемых значений на определенный временной промежуток (экзогенная переменная); di - учет изменения коэффициента за выбранный период; £d,h - распределенные нормальные переменные.
При программной реализации искусственной нейронной сети была использована библиотека Numpy [1820]. В качестве тестовых обучающих образцов выступали паттерны основных и прогнозируемых показателей как массивов x[i] - x[7]. На этапе реализации были задействованы классы «neuralnet», «nodes», входящие в состав авторегрессионной нейросети NARX - pyneurogen. Количество входных nod равно 8, количество входных слоев является идентичным количеством скрытых слоев в количестве 4. Немаловажной особенностью является использование сигмоды в качестве функции активации для первого слоя, описываемая формулой 3.
z) = 1
\ + e-z' (3)
z = S m=\ + bias'
где, o(z) - функция активации; m - индекс входного слоя; w, - вес функции; Xi - входной вектор; bias - смещение функции активации.
В результате, при обучении нейросети была получена выходная выборка градационного спуска потерь, которая свидетельствует об успешном прогнозировании нейронной сети: Epoch 94/200
586/586 [=======] - 80s 143ms/step - loss: 0.0783
Epoch 117/200
586/586 [=======] - 65s 143ms/step - loss: 0.0623
Epoch 155/200
586/586 [=======] - 43s 143ms/step - loss: 0.0538
Для обработки рассматриваемых данных и представления общего решения в модуле принятия решений в процесс работы ПО был внедрен модуль нечеткой логики, основанный на использовании библиотеки FuzzyWuzzy. Данный модуль позволяет на основе некоторых функций нечеткого сравнения выводить процентное совпадение, на основе которого осуществляется работа модуля принятия решений. В качестве выходных параметров представляются значения текущих и прогнозируемых показателях реализации инновационного проекта.
Таким образом, внедрение нелинейной авторегрессивной экзогенной нейронной сети и модуля нечеткой обработки паттернов позволит получить спрогнозированные состояния рассматриваемых признаков-факторов.
Интерфейс взаимодействия с конечным пользователем
Разработанный интерфейс взаимодействия основан на использовании фреймворка .NET приложений -cSharp и платформы Windows Presentation Foundation (WPF) [21-22]. Выбор языка программирования C# обособлен возможностью последующего представления приложения как функциональности удалённых приложений Remote App (Remote Desktop Protocol). В качестве основных подключаемых ссылок используется библиотеки управления реляционной базой данных MySQL, интегрированного запуска Python скриптов.
На рис. 4 представлена основная форма реализованного приложения [23]. В качестве основного функционала пользователю предоставляется следующий спектр услуг:
внесение дополнительных данных о реализации инновационных процессов и значимых, по мнению лица принимающего решения, признаков-факторов предметной области;
- выбор списка открытых и готовых к сотрудничеству организаций и предприятий;
- изменение групп факторов, описывающих условия реализации инновационного процесса;
- прогнозируемый анализ данных в вариативных временных промежутках.
Рис. 4. Интерфейс взаимодействия с конечным пользователем
Результаты и обсуждения
В этой статье основное внимание было уделено описанию основных принципов работы предлагаемого аппаратно-программного инструмента по оценке результатов инновационного деятельности, реализуемой кооперационным формированием в рамках определенного региона. Несмотря на то, что на концептуальном уровне исследование содержит все необходимое обоснование, а также существует разработанное программное
его представление необходимо отметить потребность в его апробации на примере реализации конкретных инновационных проектов, что будет являться направлением дальнейшего исследования.
С развитием технологических, производственных и социально-хозяйственных условий трансформируются и сами социально-экономические субъекты, формы их организации и управления. Возникают новые, усложненные способы организации развития, к которым относятся формы интеграции и межорганизационного взаимодействия при реализации, в том числе инновационных, процессов. Такая форма учитывает значительный спектр слабоструктурированных факторов и трендов изменений внешней и внутренней среды ее обусловивших: формирование технологически и социально новых потребностей, рост запроса на максимизацию совокупной общественной, социальной и экологической выгоды от такого взаимодействия, повышение роли социальных ценностей в производстве товаров и услуг и т.д. Эти аспекты, а также высокий динамизм и неопределенность современных изменений среды в совокупности с преимущественно качественными описательными и субъективными параметрами при оценки интеграционных формирований имеют значение при прогнозировании и оценки результатов инновационной деятельности, создании корпоративной стоимости, взаимодействии с партнерами, клиентами и внешней средой.
Таким образом, предложенный инструмент оценки реализации инновационных процессов даст возможность повысить эффективность функционирования хозяйствующих субъектов в регионе за счет принятия управленческих решений на принципах оптимальности и сбалансированности информации при реализации инновационных процессов. Предлагаемая система обладает рядом преимуществ, выражающихся в простоте и наглядности представления информации, возможности объединения совершенно разных показателей, с различных аспектов характеризующих инновационный процесс в один интегральный, универсальности применения.
Описанный разработанный подход кластерной обработки данных с использованием Microsoft Windows Server 2021 позволит не только разместить сервер базы данных в iSCSI хранилище, но и задействовать функционал Remote Desktop Protocol - RemoteApp, что в будущем даст возможность инициализировать запуск приложения на стороне клиента через внешний шлюз, при этом осуществлять обработку прогнозируемых данных на кластере. Использование языка программирования C# на базе платформы .NET позволило создать универсальное приложение для взаимодействия с клиентами через удобный пользовательский интерфейс.
1. Ivanova I. A., Leydesdorff L. Rotational symmetry and the transformation of innovation systems in a Triple Helix of university-industry-government relations // Technological Forecasting and Social Change. 2014. №86. Pp.143-156.
2. Oliver C. Determinants of interorganizational relationships: integration and directions // Academy of Management Review. 1990. №15. Pp. 241-265.
3. Doherty M. Factors of Successful Collaboration: Oregon's Watershed Councils as Collaborative Systems. Resident Hatfield Fellow, National Policy Consensus Center, Portland State University. 2015. p. 67.
4. Pimentel Claro D., Borin de Oliviera Claro P., Hagelaar G. Coordinating collaborative joint efforts with suppliers: the effects of trust, transaction specific investment and information network in the Dutch flower industry // Supply Chain Management: An International Journal. 2006. №11(3). Pp. 216-224.
5. Жаркова Е.С. Сетевые формы интеграции хозяйствующих субъектов: институциональный анализ: автореф. дис. ... канд. экон. наук: 08.00.01. С.-Петерб., 2013. 28 с.
6. Смородинская Н.В. Инновационная экономика: от иерархий к сетевому укладу // Вестник Института экономики Российской академии наук. 2013. №2. С. 87-111.
7. Шерешева М.Ю. Формы сетевого взаимодействия компаний: курс лекций. Москва, Россия: Изд. дом ГУ-ВШЭ. 2010. 339с.
8. Mehta C., Bhavsar A. K., Oza H., Shah S. MySQL 8 Administrator's Guide: Effective guide to administering highperformance MySQL 8 solutions. England: Packt Publishing. 2018. 185p.
9. Mali L. Mastering in Windows 10 Operating System Volume II: Window 10 Apps, Control Panel, Registry, Services, Tips & Tricks & Group Policy. Chennai: Notion Press, 2017. 488p.
10. Krause J. Mastering Windows Server 2019: The complete guide for IT professionals to install and manage Windows Server 2019 and deploy new capabilities. England: Packt Publishing, 2019. 524p.
Заключение
Литература
11. Dauti B. Windows Server 2019 Administration Fundamentals: A beginner's guide to managing and administering Windows Server environments. England: Packt Publishing, 2019. 682p.
12. Henderson M., Krause J. Windows Server 2019 Cookbook: Over 100 recipes to effectively configure networks, manage security, and administer workloads. England: Packt Publishing, 2020. 488p.
13. Goldberg Y. Neural network methods for natural language processing. CA: Morgan and Claypool Life Sciences, 2017.310p.
14. Kultygin O.P., Lokhtina I. V. Business intelligence as a decision support system tool // Journal of Applied Informatics. 2021. T. 16. № 1 (91). C. 52-58.
15. Atienza R. Advanced Deep Learning with TensorFlow 2 and Keras: Apply DL, GANs, VAEs, deep RL, unsupervised learning, object detection and segmentation and more. England: Packt Publishing, 2020. 105p.
16. Loy J. Neural Network Projects with Python: The ultimate guide to using Python to explore the true power of neural networks through six projects. England: Packt Publishing, 2019. 200 p.
17. Warr K. Strengthening deep neural networks: Making AI less susceptible to adversarial trickery. CA: O'Reilly Media, 2019. 247 p.
18. Raschka S., Mirjalili V. Python machine learning: Machine learning and deep learning with python, scikit-learn, and TensorFlow 2. England: Packt Publishing, 2019. 622p.
19. Sarang P. Artificial neural networks with TensorFlow 2: ANN architecture machine learning projects. Germany: APress, 2020. 714p.
20. Letiagina E., Perovа V. Neural network modelling of regional innovation ecosystems // Journal of New Economy. 2021. Vol. 22, № 1. Pp. 71-89.
21. Akella R., Kumar A., Kunani S. K., Guptha B. Enterprise Application Development with C# 9 and .NET 5: Upgrade your C# and .NET skills by mastering the process of developing web applications. England: Packt Publishing, 2021. 404p.
22. Price M. J. C# 9 and .NET 5 - modern cross-platform development: Build intelligent apps, websites, and services with Blazor, ASP.NET Core, and Entity Framework Core using Visual Studio Code. England: Packt Publishing, 2020. 822p.
23. Bancila M., Rialdi R., Sharma A. Learn C# Programming: A guide to building a solid foundation in C# language for writing efficient programs. England: Packt Publishing, 2020. 636p.
References
1. Ivanova I. A., Leydesdorff L. Rotational symmetry and the transformation of innovation systems in a Triple Helix of university-industry-government relations // Technological Forecasting and Social Change. 2014. №86. Pp. 143-156.
2. Oliver C. Determinants of interorganizational relationships: integration and directions // Academy of Management Review. 1990. №15. Pp. 241-265.
3. Doherty M. Factors of Successful Collaboration: Oregon's Watershed Councils as Collaborative Systems. Resident Hatfield Fellow, National Policy Consensus Center, Portland State University. 2015. p. 67.
4. Pimentel Claro D., Borin de Oliviera Claro P., Hagelaar G. Coordinating collaborative joint efforts with suppliers: the effects of trust, transaction specific investment and information network in the Dutch flower industry // Supply Chain Management: An International Journal. 2006. №11(3). Pp. 216-224.
5. Zharkova E.S. Setevye formy integratsii khozyaistvuyushchikh sub"ektov: institutsional'nyi analiz: avtoref. dis. ... kand. ekon. nauk: 08.00.01. S.-Peterb., 2013. 28 s.
6. Smorodinskaya N.V. Innovatsionnaya ekonomika: ot ierarkhii k setevomu ukladu // Vestnik Instituta ekonomiki Rossiiskoi akademii nauk. 2013. №2. S. 87-111.
7. Sheresheva M.Yu. Formy setevogo vzaimodeistviya kompanii: kurs lektsii. Moskva, Rossiya: Izd. dom GU-VShE. 2010. 339s.
8. Mehta C., Bhavsar A. K., Oza H., Shah S. MySQL 8 Administrator's Guide: Effective guide to administering high -performance MySQL 8 solutions. England: Packt Publishing. 2018. 185p.
9. Mali L. Mastering in Windows 10 Operating System Volume II: Window 10 Apps, Control Panel, Registry, Services, Tips & Tricks & Group Policy. Chennai: Notion Press, 2017. 488p.
10. Krause J. Mastering Windows Server 2019: The complete guide for IT professionals to install and manage Windows Server 2019 and deploy new capabilities. England: Packt Publishing, 2019. 524p.
11. Dauti B. Windows Server 2019 Administration Fundamentals: A beginner's guide to managing and administering Windows Server environments. England: Packt Publishing, 2019. 682p.
12. Henderson M., Krause J. Windows Server 2019 Cookbook: Over 100 recipes to effectively configure networks, manage security, and administer workloads. England: Packt Publishing, 2020. 488p.
13. Goldberg Y. Neural network methods for natural language processing. CA: Morgan and Claypool Life Sciences, 2017.310p.
14. Kultygin O.P., Lokhtina I.V. Business intelligence as a decision support system tool // Journal of Applied Informatics. 2021. T. 16. № 1 (91). S. 52-58.
15. Atienza R. Advanced Deep Learning with TensorFlow 2 and Keras: Apply DL, GANs, VAEs, deep RL, unsupervised learning, object detection and segmentation and more. England: Packt Publishing, 2020. 105p.
16. Loy J. Neural Network Projects with Python: The ultimate guide to using Python to explore the true power of neural networks through six projects. England: Packt Publishing, 2019. 200 p.
17. Warr K. Strengthening deep neural networks: Making AI less susceptible to adversarial trickery. CA: O'Reilly Media, 2019. 247 p.
18. Raschka S., Mirjalili V. Python machine learning: Machine learning and deep learning with python, scikit-learn, and TensorFlow 2. England: Packt Publishing, 2019. 622p.
19. Sarang P. Artificial neural networks with TensorFlow 2: ANN architecture machine learning projects. Germany: APress, 2020. 714p.
20. Letiagina E., Perova V. Neural network modelling of regional innovation ecosystems // Journal of New Economy. 2021. Vol. 22, № 1. Pp. 71-89.
21. Akella R., Kumar A., Kunani S. K., Guptha B. Enterprise Application Development with C# 9 and .NET 5: Upgrade your C# and .NET skills by mastering the process of developing web applications. England: Packt Publishing, 2021. 404p.
22. Price M. J. C# 9 and .NET 5 - modern cross-platform development: Build intelligent apps, websites, and services with Blazor, ASP.NET Core, and Entity Framework Core using Visual Studio Code. England: Packt Publishing, 2020. 822p.
23. Bancila M., Rialdi R., Sharma A. Learn C# Programming: A guide to building a solid foundation in C# language for writing efficient programs. England: Packt Publishing, 2020. 636p.
Статья поступила в редакцию 23.08.2021 г Received 23.08.2021
