CC BY
20
Сведения об авторах
Information about authors
С.Г. Аронов
техн. дир., рук. произв. пред. ЗАО «НПО «Авиатехнология» Россия, Москва
Эл. почта: [email protected] Л.И. Бернер
Д-р техн. наук, профессор генеральный директор АО «АтлантикТрансгазСистема» Россия, Москва Эл. почта: [email protected]
Юрий Маркович Зельдин
канд. техн. наук
заведующий отделом ИУС
АО «АтлантикТрансгазСистема»
Россия, Москва
Эл. почта: [email protected]
В.В. Котов
зам. ген. дир.
АО «Нефтегазавтоматика»
Россия, Москва
Эл. почта: [email protected]
А.В. Рощин
канд. техн. наук
первый зам. Ген. дир. по произв.
АО «АтлантикТрансгазСистема»
Россия, Москва
Эл. почта: [email protected]
Д.В. Щукин
зав. отделом РРКПАО АО «АтлантикТрансгазСистема» Россия, Москва Эл. почта: [email protected]
Sergey Aronov
Technical Director, Manager of a manufacturing company
Aviatechnology
Russian Federation, Moscow
E-mail: [email protected]
Leonid Berner
Dr. Sci., Prof., General Director AtlanticTransgasSystem Russian Federation, Moscow E-mail: [email protected]
Yury Zeldin
Candidate of Engineering Sciences Head of SCADA and HMI AtlanticTransgasSystem Russian Federation, Moscow E-mail: [email protected]
Victor Kotov
Deputy Director General Neftegazavtomatika Russian Federation, Moscow E-mail: [email protected]
Alexey Roshchin
Candidate of Engineering Sciences First Deputy Director General AtlanticTransgasSystem Russian Federation, Moscow E-mail: [email protected]
Dmitry Schukin
Head of Complex Project Development and Delivery Department
AtlanticTransgasSystem
Russian Federation, Moscow
E-mail: [email protected]
УДК 004.023 А.А. Борзяк
ГРНТИ 28.23.19, 28.23.37 ПАО «Совкомбанк»
ПСЕВДО-ОПТИМАЛЬНЫЙ ВЫБОР МЕТА-ПАРАМЕТРОВ РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТИ
Целью работы является близкий к оптимальному выбор мета-параметров рекуррентной нейронной сети. Предложен способ генерации значений мета-параметров для достижения указанной цели. На его основе разработана программа на языке C++. На примере показана эффективность предложенного подхода.
Ключевые слова: выбор мета-параметров, рекуррентная нейронная сеть
A.A. Borziak
PJSC "Sovcombank"
PSEUDO-OPTIMAL SELECTION OF NEURAL NETWORK META-PARAMETERS
The aim of the work is the close to optimal choice of the meta-parameters of the recurrent neural network. A method for generating meta-parameter values to achieve this goal is proposed. On its basis, a program was developed in the C ++ language. The example shows the effectiveness of the proposed approach.
Keywords: meta-parameter selection, recurrent neural network Введение
Нейронные сети - популярный способ решения многих прикладных задач. В финансовой
области для регрессии или предсказания данных используется особый тип - рекуррентные нейронные сети (Recurrent neural network; RNN) [1]. Чтобы использовать RNN, ее надо обучить на некотором тренировочном наборе данных. Обучение - оптимизационный процесс (подбор параметров или весов), который зависит от мета-параметров обучения, таких как объем памяти сети, коэффициент скорости обучения (Learning rate) и т.п. Удачный выбор мета-параметров обеспечивает быстрое завершение процесса оптимизации, при неудачном выборе получается RNN низкого качества. Для краткости будем называть мета-параметры просто параметрами.
Алгоритм перебора
Предположим, имеется M параметров. Количество значений у параметров (размерности): n1, n2, .., nM. Общее количество комбинаций - произведение размерностей: ni *n2 * ..* nM. Упорядочим значения параметров таким образом, чтобы первым значением было самое типовое. Для типовых значений имеем вершину дерева. Изменим индекс у первого параметра, получим новую комбинацию значений (новая вершина дерева). Затем у второго, третьего и т.д., пока не дойдем до последнего параметра. Максимальный путь от вершины до листа дерева есть M. Далее подымаемся в предыдущую вершину. Если размерность параметра больше двух, то строим новую вершину, иначе снова подъем в предыдущую вершину. Там пытаемся поменять индекс у следующего параметра. Процесс повторяется, пока все дерево не будет построено. На рис.1 приведено дерево для размерностей [2, 2, 3]. Общее количество комбинаций - 12 (они представлены в круглых скобках). Ребра помечены числами, соответствующими индексу параметра.
Зачем нужен такой алгоритм перебора? Предположим, мы для каждой вершины вычисляем некоторую функцию качества (ФК) (чем ее значение меньше, тем лучше). Тогда в ход вступает эвристика - если для данной вершины ФК выросло, то движение вниз останавливается. Здравый смысл - модификация параметра в сочетании с предыдущей комбинацией не приносит пользы. Таким образом, мы имеем сокращение числа рассматриваемых комбинаций.
Применение к RNN
(i о о)° В случае RNN можно выделить такие пара-
. , \ , (о, о, i) метры:
(0 0 2)
- тип RNN (простая RNN с двумя матрицами ве-
(1, О, 1) (0, 1, 1) „ ^ \
(i, о, 2) (о, i, 2) сов и LblM с пятью матрицами весов);
- размер пакета при развертывании (batch) (10, 16, 20);
Рис.1. Дерево значений параметров „ ЛААпП i/:nnn\
^ r ~ г„ ™ - объем тренировочных данных (10000, 16000);
для размерностей [2, 2, 3] _ г к„ oriri4
- объем памяти (100, 150, 200);
- коэффициент скорости обучения (0.1, 0.03, 0.001);
- градиентный алгоритм (стандартный градиентный спуск и алгоритм Adagrad [2]).
При желании число параметров и/или их размерности можно увеличить.
Разработана программа на языке С++ для поиска значений параметров. В качестве ФК выступала ошибка после одного этапа обучения предсказания валютного курса, приведенная к объему тренировочных данных. В качестве оптимальных получены следующие значения параметров:
- тип RNN - простая RNN с двумя матрицами весов;
- размер пакета при развертывании (batch) - 10;
- объем тренировочных данных - 10000;
- объем памяти - 150;
- коэффициент скорости обучения - 0.1;
- градиентный алгоритм - Adagrad.
Использование эвристики позволило снизить вдвое количество анализируемых комбинаций.
Заключение
Автор считает, что в данной работе новыми являются следующие положения и результаты: разработан метод выбора близких к оптимальным значениям мета-параметров рекуррентной нейронной сети. Метод позволяет на систематической основе проверить большое количество комбинаций параметров. Указанный метод можно использовать для выбора параметров более широкого круга систем.
Литература
1. Fernández Santiago, Graves Alex, Schmidhuber Jürgen "An Application of Recurrent Neural
14
ИТНОУ. 2019. №2.
Networks to Discriminative Keyword Spotting". Proceedings of the 17th International Conference on Artificial Neural Networks. ICANN'07. Berlin, Heidelberg: Springer-Verlag: 220-229. ISBN 978-3540-74693-5.
2. JDuchi, E Hazan, Y Singer. "Adaptive subgradient methods for online learning and stochastic optimization", Journal of Machine Learning Research 12 (Jul), pp. 2121-2159.
Сведения об авторе
Андрей Александрович Борзяк
канд. тех. наук Ведущий программист ПАО «Совкомбанк» Россия, Москва
Эл. почта: [email protected]
Information about author
Andrey Aleksandrovich Borzyak
Candidate of technical Sciences Lead programmer
Public Joint stock company "Sovcombank»Russian Federation, Moscow E-mail: [email protected]
УДК 654 И.В. Гурлев1, В.А. Бородин2, В.В. Цыганов3
ГРНТИ 50.43.19 1ООО «Газпром телеком»
Экспериментальный завод научного приборостроения РАН 3Институт проблем транспорта им. Н.С. Соломенко РАН
УПРАВЛЕНИЕ РАЗВИТИЕМ ИНФОРМАЦИОННО-ТЕЛЕКОММУНИКАЦИОННОЙ ИНФРАСТРУКТУРЫ СИБИРИ, ДАЛЬНЕГО ВОСТОКА И АРКТИКИ
Рассмотрены проблемы создания информационно-телекоммуникационной инфраструктуры малоосвоенных регионов страны, вдоль внутренних транспортных магистралей и международных транспортных коридоров, на основе радиорелейной, спутниковой и волоконно-оптической систем связи.
Ключевые слова: информация, телекоммуникация, инфраструктура, радиорелейная связь, спутниковая связь, волоконно-оптическая связь.
I.V. Gurlev1, V.A. Borodin2, V.V. Tsyganov3 1Gazprom Telecom Group Experimental plant of scientific instrumentation of the RAS 3Moscow Department of N.S. Solomenko Institute of Transport Problems of RAS
MANAGING THE DEVELOPMENT OF INFORMATION AND TELECOMMUNICATIONS INFRASTRUCTURE IN SIBERIA, THE FAR EAST AND THE ARCTIC
The issues of creating information and telecommunication infrastructure on the basis of radio-relay, satellite and fiber-optic communication lines in underdeveloped regions of the country, along domestic highways and international transport corridors are considered.
Keywords: information, telecommunications, infrastructure, radio relay communication, satellite communication, fiber-optic communication.
В основных стратегических документах РФ особое место занимает совершенствование коммуникационных пространственных систем РФ - транспортной, энергетической, информационной [14]. Построение информационно-телекоммуникационной инфраструктуры (ИИ) является важнейшей проблемой управления развитием Сибири, Дальнего Востока и Арктической зоны Российской Федерации (кратко - Мегарегиона). Особенность ИИ Мегарегиона - существенное различие в экономическом и социальном развитии входящих в его состав федеральных округов и территорий, и, соответственно, в уровне состояния ИИ. ИИ должна обеспечивать надежный, качественный и бесперебойный обмен информацией на всей территории Мегарегиона. Пространственное развитие ИИ надо рассматривать в качестве фактора, предопределяющего перспективы формирования новых производственных специализаций территорий Мегарегиона [5]. От совершенствования ИИ зависит развитие высокотехнологичных отраслей и наукоемких видов экономической деятельности, поскольку для них обеспечение надежного и высокоскоростного доступа к ИИ чрезвычайно значимо. Это обстоятельство следует учитывать при определении территориальных приоритетов при размещени магистральных и локальных сетей, а также узлов (хабов) разного назначения и масштаба, определяя цели и задачи пространственного развития ИИ.
Развитие ИИ направлено на глубокое комплексное освоение Мегарегиона, и основано на
