МАШИННОЕ ОБУЧЕНИЕ В ЗАДАЧАХ ИССЛЕДОВАНИЯ ИННОВАЦИОННЫХ ПРОЦЕССОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

шшмшташшшЕЖвшш

Doi 10.475776/2712-7516 2020 4 1 6

уДК 330.47

МАШИННОЕ ОБУЧЕНИЕ В ЗАДАЧАХ ИССЛЕДОВАНИЯ ИННОВАЦИОННЫХ ПРОЦЕССОВ

Митяков Сергей Николаевич,

доктор физико-математических наук, профессор, заведующий кафедрой цифровой экономики, директор института экономики и управления, Нижегородский государственный технический университет им. Р. Е. Алексеева, РФ, г. Нижний Новгород, e-mail: snmit@mail.ru

Митяков Евгений Сергеевич,

доктор экономических наук, доцент, профессор кафедры информатики, МИРЭА - Российский технологический университет, РФ, Москва, e-mail: emityakov@gmail. com

Реферат. Статья посвящена обзору методов машинного обучения и анализу их применимости в задачах исследования инновационных процессов. Дан анализ публикаций по использованию методов машинного обучения в экономических исследованиях. Показано, что задачи, решаемые методами машинного обучения, как правило, можно свести к одному из следующих типов: классификация, регрессия, уменьшение размерности, кластеризация и поиск аномалий. Представлены основные алгоритмы моделей машинного обучения и возможные варианты их использования в задачах исследования инновационной деятельности. Делается вывод о том, что использование инструментария машинного обучения при исследовании инновационных процессов в различных экономических системах в совокупности с традиционными методами позволит дать более комплексную оценку происходящим явлениям.

Ключевые слова: инновационные процессы; инновационное развитие; машинное обучение; искусственный интеллект; задачи машинного обучения; виды машинного обучения; алгоритмы машинного обучения.

udc 330.47

MACHiNE LEARNING iN RESEARCH TASKS iNNOVATiVE PROCESSES MAcHiNE LEARNiNG iN THE TASKS oF RESEARcHiNG

innovative processes

Mityakov Sergey Nikolaevich,

Doctor of Physical and Mathematical Sciences, Professor, Head of the Department of Digital Economy, Director of the Institute of Economics and Management, Nizhny Novgorod State Technical University. R. E. Alekseeva, RF, Nizhny Novgorod, e-mail: snmit@mail.ru

Mityakov Evgenii Sergeevich,

Doctor of Economics, Associate Professor, Professor of the Department of Informatics, MIREA - Russian Technological University, Russian Federation, Moscow, e-mail: emityakov@gmail.com

Abstract. The article is devoted to a review of machine learning methods and an analysis of their applicability in the problems of researching innovative processes. The analysis of publications on the use of machine learning methods in economic research is given. It is shown that problems solved by machine learning methods, as a rule, can be reduced to one of the following types: classification, regression, dimensionality reduction, clustering, and anomaly search. The main algorithms of machine learning models and possible options for their use in the tasks of researching innovation are presented. It is concluded that the use of machine learning tools in the study of innovative processes in various economic systems in conjunction with traditional methods will allow for a more comprehensive assessment of the phenomena-taking place.

Keywords: innovative processes; innovative development; machine learning; Artificial Intelligence; machine learning tasks; types of machine learning; machine learning algorithms.

Искусственный интеллект с каждым днем занимает все большее место в народном хозяйстве ввиду широкого спектра его применения. Методы машинного обучения как составляющая часть технологий искусственного интеллекта позволяют не просто использовать существующие алгоритмы анализа, прогнозирования и принятия решений, но и обучаться со временем решению поставленных задач в условиях изменяющихся параметров. Идея машинного обучения базируется на поиске закономерностей и принятии эффективных решений с минимальным антропогенным воздействием.

На сегодняшний день инновационные технологии искусственного интеллекта и машинного обучения выступают ключевым инструментом решения управленческих задач в разнообразных сферах народного хозяйства [10]. На наш взгляд, задача управления инновационными процессами различной иерархии здесь не является исключением. Появление новых технологических возможностей диктует имплементацию соответствующих инструментов для решения задач управления инновационной деятельностью. Наряду с традиционными методами анализа, прогнозирования и принятия решений одним из дополнительных инструментов решения названных задач выступает использование методов машинного обучения [7; 8; 15]. Ключевой проблемой их использования является непонимание лицами, принимающими реше-

ния прикладного характера, методов искусственного интеллекта и возможностей их применения в экзогенных и эндогенных инновационных процессах социоэкономической системы. Кроме того, существует проблема роста и накопления неструктурированных данных и невозможности их использования в задачах исследования инновационной деятельности. Поэтому целью данной работы является обзор применяемых на сегодняшний день базовых методов машинного обучения, которые могут быть имплементированы в задачи исследования инновационной деятельности социально-экономических систем различной иерархии.

В последние годы наблюдается рост количества научных исследований, посвященных проблемам использования технологий машинного обучения в анализе социально-экономических процессов. В работах [12; 17] приведены некоторые аспекты использования инструментария машинного обучения и оценка его воздействия на развитие экономики в целом. В работах [13; 19; 22] даны практические примеры использования методов машинного обучения в решении конкретных задач экономики, описывается связь больших данных и экономики. В статьях [14; 18; 21] показаны возможности использования инструментария машинного обучения в задачах кредитования, банковской деятельности и налогообложения. В задачах управления инновационной деятельностью техноло-

гии машинного интеллекта представлены в меньшем объеме. В научной литературе, посвященной инновационной тематике, методы машинного обучения в основном рассматриваются через призму технологических инноваций [1; 11]. В данной статье предлагается рассмотреть машинное обучение в контексте организационных инноваций, инструментов, позволяющих автоматизировать и интеллек-туализировать процесс решения задач исследования инновационных процессов.

К основным преградам внедрения инструментария машинного обучения в исследование инновационной деятельности следует отнести не только финансовые издержки на инфраструктуру или отсутствие больших

данных, но и отсутствие у лиц, принимающих решения, знаний о назначении и функциональности существующих алгоритмов [6; 16].

Обратимся к классификации задач машинного обучения и возможности их использования в исследовании инновационных процессов.

Задачи, решаемые методами машинного обучения, как правило, можно свести к одной из следующих задач: классификация, регрессия, уменьшение размерности, кластеризация и поиск аномалий [7]. В таблице 1 приведен перечень задач машинного обучения с информацией о возможности их применения в контексте исследования инновационных процессов.

Таблица 1 - Задачи машинного обучения и возможность их применения в исследованиях

инновационных процессов

Задача машинного обучения Назначение Возможность использования в исследовании инновационных процессов

Регрессия Предсказание числовых значений признаков - Поиск зависимостей и закономерностей у показателей инно -вационной деятельности; - расчет прогнозных значений у показателей инновационной деятельности; - моделирование и анализ отношений между параметрами инновационной деятельности; - оценка влияния различных параметров на результативность инновационной деятельности и др.

Классификация Предсказание того, к какому из известных классов относится объект - Разделение различных параметров инновационной деятельности на группы по известным признакам; - предсказание того, к какому из известных классов относится объект инновационной деятельности; - создание иерархической структуры инновационного процесса и др.

Кластеризация Разделение большого множества объектов на кластеры - классы, внутри которых объекты похожи между собой разделение рассматриваемых объектов на группы схожих объектов; применение к каждому кластеру своего метода анализа инно -вационной деятельности; выявление нетипичных объектов инновационной деятельности, которые невозможно присоединить ни к одному из кластеров и др.

Уменьшение размерности Сведение большого числа признаков к меньшему для удобства их последующего анализа - Построение системы показателей оценки инновационной деятельности; - исключение мультиколлинеарности, увеличение скорости анализа данных; - наглядная визуализация данных об инновационной деятельности

Поиск аномалий Поиск редких и необычных объектов, существенно отличающихся от основной массы - Поиск ошибок в данных об инновационной деятельности (неточности измерения и т. п.); - поиск наличия шумовых объектов инновационной деятельности (неверно классифицированных объектов); - идентификация присутствия объектов «других» выборок

Машинное обучение можно подразде- supervised learning), обучение с подкреплени-лить на следующие виды: обучение с учи- ем (reinforcement learning), глубинное обуче-телем (supervised learning), обучение без ние (deep learning) [9]. учителя (unsupervised learning), обучение с частичным привлечением учителя (semi-

Таблица 2 - Виды машинного обучения и возможность их применения в исследованиях

инновационных процессов

Вид машинного обучения Принцип построения модели Возможность использования в исследовании инновационных процессов

Обучение с учителем (supervised learning) Модель строится на основе обучающей выборки, содержащей пары «известный вход - известный выход» - Принятие решений в области инновационной деятельности на основе априорной информации; - построение регрессионных моделей на базе ретроспективных данных; - классификация объектов инновационной деятельности на основе известных данных и др.

Обучение без учителя (unsupervised learning) Модель строится только на известных описаниях множества объектов (обучающей выборке). Требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами - Кластеризация объектов инновационной деятельности; - задача поиска ассоциативных правил (признаков, и такие значения этих признаков, которые особенно часто (неслучайно часто) встречаются в признаковых описаниях объектов) объектов инновационной деятельности и др.

Обучение с частичным привлечением учителя (semi-supervised learning) Модель представляет из себя сочетание элементов машинного обучения без учителя и с учителем - Задача классификации объектов инновационной деятельности; - задача кластеризации объектов инновационной деятельности; - задача построения регрессионных моделей и др.

Обучение с подкреплением (reinforcement learning) Откликом среды на принятые решения выступают сигналы подкрепления, что позволяет назвать такую методологию частным случаем обучения с учителем, однако в роли последнего выступает среда или ее модель - Принятие решений в области инновационной деятельности; - разработка мероприятий по оздоровлению инновационной деятельности и др.

Глубинное обучение (deep learning) Модель может сочетать алгоритмы обучения с учителем и без учителя. Глубинное обучение предназначено для работы с большими объемами данных (Big Data) Решение задач исследования инновационных процессов с использованием больших объемов данных (Big Data).

В терминах машинного обучения «учитель» - вмешательство человека в процесс обработки информации. В любом из рассмотренных случаев основной задачей обучения выступает анализ данных и поиск закономерностей. Ключевое отличие названных видов машинного обучения заключается в том, что при обучении с учителем существует ряд гипотез и априорной информации, которые требуется подтвердить или опровергнуть.

В таблице 2 приведены основные виды машинного обучения, а также перечень задач инновационной деятельности, которые можно решать, используя их.

В научной литературе существует множество алгоритмов машинного обучения, отличающихся по своей сложности и производительности: от линейной регрессии до глубоких нейронных сетей и ансамблей.

В общем случае процедура машинного обучения заключается в обучении целевой функции ^ которая наилучшим образом соотносит входной сигнал X и выходной сигнал ^ Y = ^Х).

Перед непосредственным рассмотрением алгоритмов необходимо дать понятие модели машинного обучения, а также упомянуть об инструментальных проблемах, возникающих в ходе ее обучения. Модель в рамках исследуемой области можно определить как описание вероятностной и/или математической взаимосвязи, существующей между рассматриваемыми величинами [20]. К ключевым инструментальным проблемам методов машинного обучения обычно относят недообучение и переобучение моделей. В первом случае модель не работает на заданной обучающей выборке, во втором, даже при наличии хорошей точности модели, процесс плохо обобща -ет новые данные. Приведем наиболее популярные алгоритмы машинного обучения [15].

Линейная регрессия. Изначально метод широко использовался в статистических исследованиях для поиска взаимосвязей между факторами. Затем он был адаптирован для решения задачи прогнозирования на основе линейной линии тренда. В математической постановке линейная регрессия - это

линейное уравнение, объединяющее заданный набор входных параметров х1, х2, ..., хп для поиска прогнозных значений выходного параметра у:

У=а0+а1Х1 + а2Х2+апХп, где х1, х2, ..., хп - набор входных параметров,

у - выходные данные модели, а0, а0, ..., ап -

коэффициенты линейного уравнения.

Используя модель линейной регрессии, можно выявлять общие тенденции динамики инновационных показателей за определенный временной интервал. Например, можно узнать, является ли динамика инновационного процесса положительной или отрицательной в линейном приближении.

Логистическая регрессия. Данный алгоритм применяется для оценки вероятности некоторого события по значениям множества признаков. При этом вводят зависимую переменную у, которая может принимать только значения 0 или 1, и множество независимых переменных (признаков) х1, х2, ..., хп, на основе которых вычисляется вероятность значения зависимой переменной. В математической постановке логистическая регрессия может быть представлена следующим образом:

(Р(у=0 | х)=ад, р(у=0 | х) = 1 - ад, где т = , х1, х2, ..., хп - вектор независимых пе -ременных, а0, ..., ап - коэффициенты регрессии, ад - логистическая функция (сигмойда):

ад= 1

1 - е-2

График логистической функции представлен на рис. 1.

— 0,9 0,8 0,7 0,6 0 5

а,/

^ П -1

и, ± —е--

■6 -4 -2 0 2 4 6

Рис. 1 - График логистической функции

В контексте исследования инновационных процессов метод логистической регрессии может быть полезен при оценке инноваци-онности рассматриваемого объекта, то есть,

используя логистическую регрессию, по входным параметрам объекта можно с определенной вероятностью определить, является он инновационно активным или нет.

Метод к-ближайших соседей. Основная цель метода - классифицировать объекты на основе схожих характеристик (например, функции расстояния). Метод обучается в процессе и не нуждается в предварительной фазе обучения. Рассматриваемый объект относят к тому классу, к которому принадлежит большинство из его соседей - к-ближайших к нему объектов обучающей выборки. Несмотря на свою относительную алгоритмическую простоту, метод достаточно универсален и зачастую показывает хорошие результаты.

В задачах исследования инновационной деятельности метод может быть задействован при разработке ключевых направлений кластерной политики государства, а также методов симулирования развития инновационных кластеров и мониторинге результатов их деятельности, оценке эффективности кластера, оценке социально-экономической эффективности кластера в контексте инновационной деятельности.

Метод опорных векторов. Данный метод содержит целый набор алгоритмов, необходимых для решения задач классификации и регрессионного анализа. Алгоритм метода опорных векторов создает гиперплоскость, которая разделяет данные на классы. Когда на вход алгоритму поступают новые данные, они классифицируются в зависимости от того, с какой стороны гиперплоскости находятся. В задачах исследования инноваций метод может быть использован при построении прогнозных моделей с небольшим набором исходных данных.

Деревья решений. Деревья решений - это инструмент, который можно имплементи-ровать для представления причинно-следственных связей. Так как одна причина может иметь несколько следствий, используется дерево для построения иерархии. В случае исследования инновационных процессов использование деревьев решений может дать, например, ответ, является предприятие инновационно активным или нет. Можно построить дерево решений, организовав входные данные и переменные этой модели в соответствии с некоторыми показателями инновационной деятельности. В качестве

недостатков модели следует отметить ее склонность к переобучению.

Случайный лес. Случайный лес состоит из ансамбля деревьев решений и позволяет обойти ограничения деревьев решений. В случае задачи классификации алгоритм заключается в подсчете результатов предсказания всех деревьев ансамбля и выборе класса, который набрал наибольшее количество голосов. В рамках решения задачи регрессии результаты предсказаний всех деревьев усредняются и данное значение выступает результатом прогнозирования всей модели случайного леса. В контексте исследования инноваций модель случайного леса может быть задействована в поиске зависимостей и закономерностей у показателей инновационной деятельности и разделении различных параметров инновационной деятельности на группы по известному признаку.

Искусственная нейронная сеть. Нейронные сети являются одним из самых популярных и эффективных инструментов анализа данных, который развивается благодаря исследованиям в области теории искусственного интеллекта [5]. Нейронные сети играют особое значение при исследовании закономерностей процессов, которые недоступны для прямого мониторинга и не поддаются эмпирическому исследованию [2]. Главным образом это относится к социоэкономическим процессам, закономерности которых развиваются под влиянием множества взаимозависимых параметров. При этом применение аппарата нейронных сетей оправдано не только в процессе моделирования и прогнозирования макроэкономических показателей и явлений, но и применятся на уровне отдельных организаций и экономических субъектов [3].

Таким образом, в задачах исследования инновационной деятельности аппарат искусственного нейросетевого моделирования может быть эффективно задействован для анализа и прогнозирования инновационных процессов и явлений на различных иерархических уровнях народного хозяйства.

Метод к-средних. Цель алгоритма - маркировать входные данные в соответствии с их сходством. Процедура кластеризации происходит по мере работы алгоритма. Он стремится минимизировать суммарное квадратичное отклонение точек кластеров от их центров:

к

V= I I (X - ц)2^тлп,

1=1 Хев.

где к - количество кластеров, в: - полученные кластеры 0,к), ц - центры масс векторов х из кластера в:.

Метод к-средних относится к алгоритмам кластеризации и может быть использован в задачах разделения рассматриваемых объектов инновационной деятельности на группы схожих объектов и выявления нетипичных объектов инновационной деятельности, которые невозможно присоединить ни к одному из кластеров и др.

Наивный байесовский алгоритм. Наивные байесовские классификаторы - это простые вероятностные классификаторы. Алгоритм предполагает, что рассматриваемые события являются независимыми, что в значительной степени упрощает вычисления. В задачах исследования инновационной деятельности классификаторы могут быть задействованы при принятии решений в условиях неопределенности. Кроме этого, наивный байесовский алгоритм можно использовать для поиска простых взаимосвязей между различными признаками объектов, когда данных мало.

Завершая краткий обзор видов, методов и задач машинного обучения, а также анализ их имплементации в вопросах исследования инновационной деятельности, можно сделать следующие выводы.

В современных реалиях цифровизации общества инструментарий машинного обучения в задачах анализа инновационной деятельности пока не получил обширного применения. Тем не менее, на наш взгляд, инкорпорирование подобного рода инструментария в решение названных задач в ближайшее время неизбежно. Это прежде всего связано со значительным ростом информации и необходимости анализа больших данных.

Целью данной работы был обзор применяемых на сегодняшний день базовых методов машинного обучения, которые могут быть имплементированы в задачи исследования инновационной деятельности социально-экономических систем различной иерархии. В рамках статьи не рассматривалось все множество алгоритмов машинного обучения по причине обширности исследуемой

области. Необходимо подчеркнуть высокий потенциал глубинного обучения (композиция нейронных сетей) и обучения с подкреплением (Reinforcement Learning). Данные технологии сегодня активно задействованы в реализации программ умных городов в ряде развитых и развивающихся стран.

В целом охарактеризованные выше алгоритмы машинного обучения наряду с традиционными методами выступают надежными прикладными инструментами исследования инновационных процессов, так как анализ актуальной информации составляет фундамент для принятия обоснованных решений.

Список литературы:

1. Иванов, А. А. Искусственный интеллект как основа инновационных преобразований в технике, экономике, бизнесе / А. А. Иванов, Л. И. Рожкова // Известия СПбГЭУ. - 2018. - № 3 (111). - С. 112-115.

2. Кульневич, А. Д. Введение в нейронные сети / А. Д. Кульневич // Молодой ученый. - 2017. - № 8. - С. 31-36.

3. Курников, Д. С. Использование нейронных сетей в экономике / Д. С. Курников, С. А. Петров // Технические науки. - 2017. - № 6. - C. 10-12.

4. Сейдаметова, з. С. Экономика и машинное обучение / З. С. Сейдаметова // Ученые записки Крымского инженерно-педагогического университета. - 2019. - № 1 (63). - С. 167-171.

5. терехов, В. И. Методика подготовки данных для обработки импульсными нейронными сетями / В. И. Тере -хов, Р. В. Жуков // Нейрокомпьютеры: разработка, применение. - 2017. - № 2. - С. 31-36.

6. тищенко, С. А. Методы машинного обучения в малом бизнесе: содержание и управление / С. А. Тищенко, М. А. Шахмурадян // Вестник Российского экономического университета имени Г В. Плеханова. - 2019. - № 6. -С. 83-95.

7. флах, П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах. - Москва : ДМК Пресс, 2015. - 400 с.

8. Чио, К. Машинное обучение и безопасность / К. Чио, Д. Фримэн; пер. с англ. А. В. Сиастина. - Москва : ДМК Пресс, 2020. - 388 с.

9. Что такое машинное обучение? Методы, типы, задачи и примеры машинного обучения. - URL: https:// mining-cryptocurrency.ru/mashinnoe-obuchenie-metody-tipy/ (дата обращения: 01.09.2020).

10. шамин, Р. В. Машинное обучение в задачах экономики / Р. В. Шамин. - Москва : Грин Принт, 2019. -140 с.

11. Щурина, С. В. Искусственный интеллект как технологическая инновация для ускорения развития экономики / С. В. Щурина, А. С. Данилов // Экономика. Налоги. Право. - 2019. - № 12(3). - С. 125-133.

12. Athey, S. The impact of machine learning on economics / S. Athey // The Economics of Artificial Intelligence: An Agenda, 2018. University of Chicago Press. - URL: https://www.nber.org/chapters/c14009.pdf (дата обращения: 01.09.2020).

13. Athey, S. Lectures on Machine Learning / S. Athey, G. Imbens. - 2015. - URL: https://goo.gl/VJvafM (дата обращения: 01.09.2020).

14. chakraborty c. Machine learning at central banks / C. Chakraborty, A. Joseph // Bank of England. Working Paper. - 2017. - № 674, September 1. - 89 p.

15. Hastie, T. The Elements of Statistical Learning: Data Mining, Inference, and Prediction / T. Hastie, R. Tibshirani, J. Friedman. - 2nd ed. - Springer-Verlag, 2009.

16. Leaders look to embrace AI, and high-growth companies are seeing the benefits. - URL: https://news.microsoft. com/europe/features/leaders-look-to-embrace-ai-and-high-growthcompanies-are-seeing-the-benefits/ (дата обращения: 10.03.2019).

17. Machine learning and economics. - URL: https://goo.gl/n7uYVV (дата обращения: 01.09.2020).

18. Machine learning in the service of policy targeting: the case of public credit guarantees / M. Andini, M. Boldrini, E. Ciani, G. de Blasio, A. D'Ignazio, A. Paladini // Bank of Italy, Economic Research and International Relations Area. Research paper. - 2019. - № 1206. - 83 p.

19. Mullainathan S. Machine learning: an applied econometric approach / S. Mullainathan, J. Spiess // Journal of Economic Perspectives. - 2017. - № 31 (2). - Р. 87-106.

20. Provost F. Data Science for Business / F. Provost, T. Fawcett. - Sebastopol: O'Reilly Media, Inc., 2013.

21. Targeting with machine learning: An application to a tax rebate program in Italy / M. Andini, E. Ciani, G. de Blasio, A. D'Ignazio, V. Salvestrini // Journal of Economic Behavior & Organization. - 2018. - № 156. - Р. 86-102.

22. webb, G. i. Machine learning for user modeling / G. I. Webb, M. J. Pazzani, D. Billsus // User modeling and user-adapted interaction. - 2001. - № 11 (1-2). - Р. 19-29.

References:_

1. Ivanov, A. A. Iskusstvennyj intellekt kak osnova innovacionnyh preobrazovanij v tekhnike, ekonomike, biznese / A. A. Ivanov, L. I. Rozhkova // Izvestiya SPbGEU. - 2018. - №3 (111). - S. 112-115.

2. Kul'nevich, A. D. Vvedenie v nejronnye seti / A. D. Kul'nevich // Molodoj uchenyj. - 2017. - № 8. - S. 31-36.

3. Kurnikov, D. S. Ispol'zovanie nejronnyh setej v ekonomike / D. S. Kurnikov, S. A. Petrov // Tekhnicheskie nauki. -2017. - № 6. - C. 10-12.

4. Sejdametova, Z. S. Ekonomika i mashinnoe obuchenie / Z. S. Sejdametova // Uchenye zapiski Krymskogo inzhenerno-pedagogicheskogo universiteta. - 2019. - № 1 (63). - S. 167-171.

5. Terekhov, V. I. Metodika podgotovki dannyh dlya obrabotki impul'snymi nejronnymi setyami / V. I. Terekhov, R. V. ZHukov // Nejrokomp'yutery: razra-botka, primenenie. - 2017. - № 2. - S. 31-36.

6. Tishchenko, S. A. Metody mashinnogo obucheniya v malom biznese: soderzhanie i upravlenie / S. A. Tishchenko, M. A. SHahmuradyan // Vestnik Rossijskogo ekonomicheskogo universiteta imeni G. V. Plekhanova. - 2019. - № 6. -S. 83-95.

7. Flah, P. Mashinnoe obuchenie. Nauka i iskusstvo postroeniya algoritmov, kotorye izvlekayut znaniya iz dannyh / P. Flah. - Moskva : DMK Press, 2015. - 400 s.

8. CHio, K. Mashinnoe obuchenie i bezopasnost' / K. CHio, D. Frimen; per. s angl. A. V. Siastina. - Moskva : DMK Press, 2020. - 388 s.

9. CHto takoe mashinnoe obuchenie? Metody, tipy, zadachi i primery mashinnogo obucheniya. - URL: https://mining-cryptocurrency.ru/mashinnoe-obuchenie-metody-tipy/ (data obrashcheniya: 01.09.2020).

10. SHamin, R. V. Mashinnoe obuchenie v zadachah ekonomiki / R. V. SHamin. - Moskva : Grin Print, 2019. -140 s.

11. SHCHurina, S. V. Iskusstvennyj intellekt kak tekhnologicheskaya innovaciya dlya uskoreniya razvitiya ekonomiki / S. V. SHCHurina, A. S. Danilov // Ekonomika. Nalogi. Pravo. - 2019. - № 12(3). - S. 125-133.

12. Athey, S. The impact of machine learning on economics / S. Athey // The Economics of Artificial Intelligence: An Agenda, 2018. University of Chicago Press. - URL: https://www.nber.org/chapters/c14009.pdf (дата обращения: 01.09.2020).

13. Athey, S. Lectures on Machine Learning / S. Athey, G. Imbens. - 2015. - URL: https://goo.gl/VJvafM (дата обращения: 01.09.2020).

14. Chakraborty C. Machine learning at central banks / C. Chakraborty, A. Joseph // Bank of England. Working Paper. - 2017. - № 674, September 1. - 89 p.

15. Hastie, T. The Elements of Statistical Learning: Data Mining, Inference, and Prediction / T. Hastie, R. Tibshirani, J. Friedman. - 2nd ed. - Springer-Verlag, 2009.

16. Leaders look to embrace AI, and high-growth companies are seeing the benefits. - URL: https://news.microsoft. com/europe/features/leaders-look-to-embrace-ai-and-high-growthcompanies-are-seeing-the-benefits/ (дата обращения: 10.03.2019).

17. Machine learning and economics. - URL: https://goo.gl/n7uYVV (дата обращения: 01.09.2020).

18. Machine learning in the service of policy targeting: the case of public credit guarantees / M. Andini, M. Boldrini, E. Ciani, G. de Blasio, A. D'Ignazio, A. Paladini // Bank of Italy, Economic Research and International Relations Area. Research paper. - 2019. - № 1206. - 83 p.

19. Mullainathan S. Machine learning: an applied econometric approach / S. Mullainathan, J. Spiess // Journal of Economic Perspectives. - 2017. - № 31 (2). - Р. 87-106.

20. Provost F., Fawcett T. Data Science for Business / F. Provost, T. Fawcett. - Sebastopol: O'Reilly Media, Inc., 2013.

21. Targeting with machine learning: An application to a tax rebate program in Italy / M. Andini, E. Ciani, G. de Blasio, A. D'Ignazio, V. Salvestrini // Journal of Economic Behavior & Organization. - 2018. - № 156. - Р. 86-102.

22. Webb, G. I. Machine learning for user modeling / G. I. Webb, M. J. Pazzani, D. Billsus // User modeling and user-adapted interaction. - 2001. - № 11 (1-2). - Р. 19-29.