CC BY
0
2024 Электротехника, информационные технологии, системы управления № 49 Научная статья
DOI: 10.15593/2224-9397/2024.1.04 УДК 004.8
А.К. Крутиков
Вятский государственный университет, Киров, Российская Федерация
ПАРАЛЛЕЛЬНЫЙ АЛГОРИТМ ФОРМИРОВАНИЯ ФРАГМЕНТИРОВАННОЙ ОБУЧАЮЩЕЙ ВЫБОРКИ ДЛЯ СПЕЦИАЛИЗИРОВАННОЙ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ АССЕМБЛИРОВАНИЯ НЕЙРОСЕТЕВЫХ МОДУЛЕЙ
Стандартные инструменты статистического прогнозирования, такие как экстраполяция и аппроксимация, как правило, не позволяют достичь достаточной точности результатов в критически важных областях науки и техники. Это связано, кроме прочего, с тем, что в процессе обработки данных не учитываются связи и взаимные зависимости между анализируемыми исходными параметрами. Одним из современных средств решения данной проблемы являются искусственные нейронные сети. Целью исследования является повышение точности численных прогнозов. Для этого авторы предлагают использовать не отдельную нейронную сеть, а целый ансамбль нейросетевых модулей. Структура специализированной каскадной многомодульной вычислительной системы определяется в строгом соответствии с выявленными на предварительном этапе зависимостями между анализируемыми факторами. Методы: авторами разработан параллельный алгоритм, позволяющий формировать из исходных данных специальную фрагмен-тированную обучающую выборку, учитывающую все выявленные логические зависимости. Каскад модулей синтезируется с использованием параллельного метода ассемблирования нейросе-тевых модулей. Для проверки корректности работы специализированной системы и оценки основных метрик была выполнена её программная реализация в среде MatLab. Результаты экспериментов показали увеличение точности прогнозов почти на 15 %. Поскольку особой и крайне важной задачей является повышение качества краткосрочного прогнозирования в системах реального времени, авторами было спроектировано и аппаратно реализовано операционное устройство на базе ПЛИС Cyclone IV. Нейроны и базовые фрагменты каскада реализованы в САПР Quartus II как отдельные элементы библиотеки. Эксперименты на аппаратном прототипе операционного устройства показали ускорение обработки исходных выборок в 30-50 раз по сравнению с программной версией. Сокращение времени формирования наиболее вероятного прогнозируемого решения (значения) при сохранении высокой точности результата крайне важно для использования подобных операционных устройств в системах реального времени и критически важных программных приложениях.
Ключевые слова: прогнозирование, специализированная система, искусственная нейронная сеть, нейросетевой модуль, обучающая выборка, фрагментирование, алгоритм обучения, каскадирование, САПР, ПЛИС.
A.K. Krutikov
Vyatka State University, Kirov, Russian Federation
PARALLEL ALGORITHM TO FORMING A FRAGMENTED TRAINING SAMPLE FOR A SPECIALIZED FORECASTING SYSTEM BASED ON ASSEMBLY OF NEURAL NETWORK MODULES
Standard statistical forecasting tools, such as extrapolation and approximation, generally do not achieve sufficient accuracy of science and technology results in critical areas. This is due, among other things, to the fact that in the procedure of data processing the connections and mutual dependencies between the analyzed initial parameters are not taken into account. One of the modern means of solving this problem is artificial neural networks. The goal of the study is to improve the accuracy of numerical forecasts. To do this, the authors propose to use not a separate neural network, but an entire ensemble of neural network modules. The structure of a specialized cascade multi-module computing system is determined in strict accordance with the dependencies between the analyzed factors identified at the preliminary stage. Methods. The authors have developed a parallel algorithm that makes it possible to form a special fragmented training sample from the source data, taking into account all identified logical dependencies. The cascade of modules is synthesized using the parallel method of assembling neural network modules. To check the correct operation of the specialized system and evaluate the main metrics, its software implementation was carried out in the MatLab environment. The experimental results showed an increase in forecast accuracy by almost 15 %. Since a special and extremely important task is to improve the quality of short-term forecasting in real-time systems, the authors designed and implemented in hardware an operating device based on the Cyclone IV FPGA. Neurons and basic cascade fragments are implemented in the Quartus II CAD system as separate library elements. Experiments on a hardware prototype of the operating device showed an acceleration of processing initial samples by 30-50 times compared to the software version. Reducing the time to generate the most likely predicted solution (value) while maintaining high accuracy of the result is extremely important for the use of such operating devices in real-time systems and mission-critical software applications.
Keywords: forecasting, specialized system, artificial neural network, neural network module, training sample, fragmentation, learning algorithm, cascading, CAD, FPGA.
Введение
Важность решения задачи прогнозирования в современном мире сложно переоценить. Она затрагивает все сферы жизнедеятельности человека, от определения погоды на завтра до оценки надёжности сложных киберфизических систем [1-3]. В направлении «Информатика и вычислительная техника» прогнозирование широко используется при проектировании высоконадёжных вычислительных систем для определения вероятности сбоев и отказов аппаратных и программных компонентов [4]. В здравоохранении прогнозирование необходимо для определения опасности распространения инфекционных заболеваний
[5, 6], способов их лечения и профилактики. В целом, известные подходы к определению траекторий развития ситуаций и основанные на них автоматизированные информационные системы предназначены для обеспечения лиц, принимающих решения, необходимой информацией и помощи им в нахождении оптимальных решений.
Одной из областей, где проблема прогнозирования в последнее время требует быстрого и эффективного решения, являются сфера подготовки спортсменов высокого уровня и соответствующая область спортивного менеджмента. Прогнозирование в индивидуальных видах спорта - это процесс планирования тренировочной деятельности и предсказания итоговых соревновательных результатов на крупных мероприятиях [7-9]. Методы прогнозирования обычно базируются на методах математической статистики, включая регрессионный и корреляционный анализ, методы экспоненциального сглаживания, непараметрические методы наименьших квадратов, адаптивные методы, методы авторегрессии и т.п. [10]. Однако стоит отметить, что указанные подходы не всегда могут обеспечить достаточно точные числовые значения прогнозов в спорте. Решить эту и некоторые другие проблемы можно с использованием методов прикладного искусственного интеллекта и современных информационных технологий [11-13].
Применение специализированных вычислительных систем в качестве инструмента прогнозирования включает в себя несколько этапов:
1. Первый этап - один из самых значимых: сбор данных из различных источников информации.
2. После сбора данных необходимо их обработать и привести к единому формату.
3. Далее необходимо выбрать математический аппарат, который будет реализован программно или аппаратно-программно на вычислительной системе. Большинство систем прогнозирования, обнаруженных и проанализированных авторами в научно-технической литературе, в широком смысле опираются на три основных технологии [14, 15]: методы математической статистики, перечисленные выше, методы интеллектуального анализа данных (например, деревья принятия решений) и методы нейросетевого моделирования.
4. В случае выбора нейросетевого подхода определяется подходящая модель, и эта модель обучается на подготовленных ранее данных в соответствии с известным алгоритмом обучения.
5. После обучения нейросеть проверяется на тестовых выборках и производится её валидация (или кросс-валидация).
6. Система готова к прогнозированию на основе имеющихся у пользователя исходных данных.
Искусственные нейронные сети (ИНС) являются одним из самых универсальных инструментов прогнозирования [16-19], который активно используется во всех вышеперечисленных областях. Пожалуй, главным преимуществом нейронных сетей является их способность обрабатывать большие объемы данных и выявлять сложные неявные взаимосвязи между различными факторами.
1. Подготовка обучающей выборки
В более ранних публикациях [20, 21] научным коллективом авторов была предложена структура специализированной вычислительной системы для выполнения среднесрочных и долгосрочных прогнозов. Основной компонент системы - нейросетевое операционное устройство (решатель), которое может быть реализовано как аппаратно, так и программно. В работах [22, 23] описаны результаты применения отдельных моделей искусственных нейронных сетей (GRNN, БМК, нейронных сетей векторного квантования сигнала и т.д.), в том числе для прогнозирования результатов в индивидуальных видах спорта. В целом в этих исследованиях решалась задача аппроксимации, то есть необходимо было определить зависимость между различными тестовыми и медико-биологическими параметрами, снятыми в подготовительный период, и конечным профильным численным результатом атлета на соревнованиях. Методика и вычислительный комплекс показали свою эффективность по сравнению с традиционными статистическими методами. Однако у подобных систем был выявлен существенный недостаток -сложность обработки и анализа разнотипных исходных данных, обладающих скрытыми логическими зависимостями между группами.
Для решения этой проблемы предлагается усложнить архитектуру операционного устройства, включив в его состав набор блоков, в основе каждого из которых лежит некоторая «отдельная» модель ИНС. Таким образом, получается многоярусная каскадная структура вычислительного комплекса. Конечно, при этом усложняется и алгоритм выполнения первого этапа всей процедуры прогнозирования с использованием искусственных нейронных сетей - этапа формирова-
ния обучающей выборки. Качество (точность) прогнозов в этом случае напрямую зависит от объёма и репрезентативности исходных данных и соблюдения методики подготовки обучающей выборки. Для формирования качественной обучающей выборки в индивидуальных видах спорта должны быть проанализированы все специализированные тестовые результаты, показанные участником на протяжении всего тренировочного периода. Сюда обычно входят силовые, скоростные, ско-ростно-силовые, психологические и другие метрики. Кроме того, необходимо учесть антропометрические данные атлета, особенности его фармакологической программы, время восстановления после перелётов к местам проведения турниров, а также данные, полученные на основе экспертного мнения тренерского штаба. Все значения разделяются по типу и по специальным временным интервалам, и для каждого интервала формируется свой вектор обучающих параметров. Точное количество анализируемых метрик определяется с учётом компромисса между временем подготовки обучающей выборки, имеющегося времени для обучения ИНС и требуемой точностью выполняемого прогноза. Все параметры в выборке разделены на логические группы. Итоговым результатом прогнозирования на обученной ИНС должен стать наиболее вероятный результат спортсмена в указанной дисциплине на конкретном спортивном турнире.
Таким образом, основной особенностью выборок для обучения, тестирования и использования каскадных нейросетевых вычислительных систем является их сложноструктурированная природа. Фрагмен-тированная обучающая выборка формируется по разработанному автором параллельному алгоритму [22]. На основе достоверного экспертного мнения в стандартной прямоугольной обучающей выборке устанавливаются логические зависимости между исследуемыми параметрами и выделяются соответствующие фрагменты - двумерные массивы данных. Количество выявленных фрагментов и специфика содержащихся в них параметров и будут определять архитектурно-структурное решение каскада из отдельных нейросетевых модулей. Для каждого модуля выбирается нейронная модель, наиболее эффективно решающая соответствующую часть вычислительного процесса системы прогнозирования. Пример выявленных зависимостей во фрагментирован-ной обучающей выборке для прогнозирования соревновательного результата атлета в толкании ядра представлен на рис. 1.
Груг
I скоростных
Группа силовых
параметров (паурлифтинг)
105 170 160 120
параметров (спринт)
11,2 7,8
V......
I 4,5 ;
Группа технических параметров
(результаты различных Группа с ко р о ст н о - с ил о в ы х
бросков снарядов) параметров
17,63 14,62 15,111 ['¡00 320Т|0 '"
......I.........х?*'
\ 15,05 ; : 130 1...
Контрольно те сто вы й силовой параметр
6,7 8:
Скоростной контрольно-тестовый показатель
Профильный результат (результат прогноза)
Скоростно силовой контрольно-тестовый результа
Технический
контрольно-тестовый
показатель (профильный результат
в ином техническом варианте "с места1' }
Рис. 1. Логические зависимости фрагментированной обучающей выборки
2. Каскадирование модулей в нейросетевой системе
Определение зависимостей между контрольно-тестовыми параметрами и соответствующими модулями первого и второго яруса вычислительной системы осуществляются экспертами в выбранной предметной области. Составление такой выборки предшествует дальнейшему ассемблированию нейросетевых блоков путем формирования каскада. Каскад собирается в строгом соответствии с разработанной ранее структурой выборки и имеющимися логическими зависимостями между фрагментами данных.
Другой особенностью каскадной нейросетевой системы является то, что модули каждого яруса обучаются заранее, на основе разных выборок, сформированных специалистами по методике подготовки спортсменов высшей квалификации. Для представленного на рис. 1 примера необходимо подготовить пять выборок. Четыре выборки (в соответствии с выделенными четырьмя группами исходных параметров) используются для обучения модулей первого яруса операционного устройства системы. Для обучения модуля (модулей) второго яруса каскада создается обучающая выборка, состоящая только из ключевых показателей контрольно-тестовых испытаний, таких как результаты бега на 30 метров, взятие штанги на грудь и толкание снаряда без разгона. После обучения модули включаются в состав вычислительной системы строго в указанном порядке. Фактическая и логическая связь между контрольно-тестовыми показателями и выбранными группами параметров должна строго соблюдаться.
При функционировании вычислительной системы результирующие векторы модулей первого слоя будут состоять из консолидированных контрольно-тестовых метрик. Эти результирующие метрики и составят необходимые фрагменты единой выборки для модулей второго каскада. Структура каскадной вычислительной системы для прогнозирования спортивных результатов в толкании ядра представлена на рис. 2. При изменении структуры фрагментированной выборки, изменении количества выявленных групп параметров или обучающих векторных элементов можно исключать имеющиеся модули и/или включать новые модули в структуру системы.
Рис. 2. Каскад нейросетевых блоков
Предлагаемый каскад (см. рис. 2) использует модель GRNN-сети в качестве базовой для всех модулей системы. Архитектура модуля на основе GRNN-сети приведена на рис. 3.
При запуске системы входные данные поступают на модули первого яруса и после их срабатывания формируют промежуточные прогнозы ключевых контрольно-тестовых параметров, которые, в свою очередь, поступают на входы элементов второго яруса. На основе этих промежуточных прогнозов конечная GRNN-сеть «вычисляет» наибо-
лее вероятный результат в профильной дисциплине - толкание ядра. Результат является действительным числом, представленным в виде десятичной дроби.
mi
-1 Vo
Рис. 3. Архитектура модуля на основе GRNN-сети
3. Программная реализация и проведение экспериментов
Программный прототип каскадной вычислительной системы прогнозирования на базе каскада нейросетевых модулей был реализован в среде MatLab с помощью пакета Neural Network Toolbox [24]. Программа занимает около 4 Мбайт на жестком диске. Поскольку в качестве основной модели выступает обобщенно-регрессионная сеть с настраиваемым параметром, в данной работе является целевая ошибка. В ходе экспериментов по повышению эффективности работы системы изменялось количества векторов в обучающей выборке и, соответственно, изменялась структура операционного устройства. Во всех случаях для улучшения репрезентативности исходных выборок было сформировано более 300 векторов с результатами тестирования спортсмена в наблюдаемые периоды. Поскольку система содержит пять однотипных GRNN-модулей, то и количество нейронов по сравнению с одномодуль-ным вариантом системы увеличивается в пять раз. С целью облегчения анализа основных характеристик вычислительной системы при различных архитектурно-структурных решениях количество векторов в выборках было взято одинаковым для всех модулей. Конечно, время обу-
чения каскадной системы обычно превышает время обучения одномо-дульной сети, но для конфигурации, показанной на рис. 2 возможно параллельное обучение всех элементов устройства. Кроме того, при среднесрочном и долгосрочном прогнозировании время обучения нейросе-тевой системы не играет какой-либо существенной роли.
Для оценки качества (точности) выполненного прогнозирования использовалась ошибка обобщения. Сама метрика представляет собой среднюю абсолютную ошибку (MAE) и рассчитывается как сумма модулей разностей эталона и фактического значения, поделенная на количество наблюдений:
MAE = g=llyi-Xil, (1)
п v у
где n - количество наблюдений; yt - прогнозное значение; xt - фактическое значение.
Расчёт ошибки обобщения производится на основе тестовой выборки. По своей структуре она должна полностью соответствовать обучающей выборке. Программная система на базе каскада нейросете-вых модулей тестировалась на различных обучающих наборах данных. Результаты экспериментов показали повышение точности выполнения прогнозов на каскадной архитектуре (табл. 1).
Таблица 1
Результаты экспериментов. Оценка точности
Кол-во фрагментов ОВ/количество нейронов MAE (GRNN-сеть) MAE (Каскад) Повышение точности, %
2/12 1,563 1,341 14,20
3/12 1,587 1,358 14,42
3/28 1,573 1,344 14,55
3/38 1,683 1,444 14,20
4/38 1,573 1,332 15,32
4/48 1,685 1,435 14,83
4/54 1,672 1,431 14,41
Незначительное увеличение точности (14-15 %) можно объяснить достаточно хорошими показателями одномодульной GRNN-сети и наличием всего двух ярусов из пяти блоков в тестируемом варианте. Также эксперименты подтвердили снижение ошибки обобщения (табл. 2).
Таблица 2
Результаты экспериментов. Ошибка обобщения
Целевая ошибка MAE (GRNN-сеть) MAE (Каскад) Снижение ошибки, %
0,0001 0,43 0,31 - 28
0,001 0,44 0,31 - 30
0,01 0,45 0,32 - 29
0,1 0,47 0,33 - 30
1 0,69 0,45 - 35
10 1,15 1,07 - 7
100 2,66 2,56 - 4
Таким образом, даже простейшее каскадирование модулей из обобщённо-регрессионных нейронных сетей повышает точность прогнозирования в индивидуальных видах спорта и снижает ошибку обобщения по метрике MAE.
4. Краткосрочные прогнозы и аппаратная реализация
В последнее время с учётом резкого повышения производительности вычислительных систем и развитием информационных технологий особую важность приобретают задачи краткосрочного и сверхкраткосрочного прогнозирования [25]. Прежде всего это касается интеллектуальных бортовых систем, например, систем поддержки принятия решений боевым лётчиком. Число анализируемых и динамически изменяющихся параметров как от датчиков летательного аппарата, так и от наземных служб значительно, а интервал времени на выбор оптимального решения - доли секунды. Также подобные системы необходимы в некоторых областях экономики и финансов. Зачастую эффективность покупки или продажи акций на фондовых биржах определяется очень кратким промежутком [13, 26]. В области спортивного прогнозирования примером сверхкраткосрочных прогнозов могут служить быстро изменяющиеся коэффициенты на итоговые результаты уже «запущенных» спортивных событий (например, футбольный матч уже идёт). Обычно до окончания ставок остаются считанные секунды.
Для значительного повышения производительности каскадной нейросетевой вычислительной системы необходимо предусмотреть аппаратную реализацию её операционного устройства. После анализа возможных решений в качестве аппаратной платформы была выбрана
линейка программируемых логических интегральных схем (ПЛИС) Cyclone [27]. Основными факторами, повлиявшими на такой выбор, являются экономическая доступность FPGA данной линейки и возможность проектирования требуемого цифрового устройства в бесплатной версии САПР Quartus II. Авторами была разработана библиотека, состоящая из базовых элементов и узлов нейросетевых модулей для сборки различных вариантов ярусов и каскадов специализированных вычислительных систем. В принципе, в дальнейшем можно воспользоваться готовым модулем на основе GRNN-сети. Укрупненная структурная схема фрагмента одного яруса рассмотренной ранее многомодульной системы прогнозирования представлена на рис. 4.
Рис. 4. Укрупненная структурная схема элемента «Ярус каскада»
На данной схеме: USB - блок сопряжения с персональным компьютером по интерфейсу USB; NN - нейросетевой блок, содержащий нейронную сеть прямого распространения; УУ Яруса - управляющее устройство элемента «Ярус каскада»; БФО - блок формирования ответа.
В работе [20] выполнен расчет количества вентилей, необходимых для реализации нейронов и базовых элементов на ПЛИС Cyclone IV. В качестве модели для нейросетевого блока была взята нейронная сеть прямого распространения с простой ступенчатой функцией активации. Для синтеза подобного блока потребовалось, примерно, 7580 логических элементов на FPGA. Очевидно, что при дальнейшей разработке компонентов операционного устройства системы, содержащих более
сложные модели ИНС, а также нелинейные функции активации, потребуется значительно большее количество вентилей. Данную проблему можно решить применением современных высокопроизводительных СБИС ПЛ Stratix или СБИС из нового семейства FPGA Cyclone V.
В представленной работе в качестве базовой модели для нейросе-тевого модуля используется нейронная сеть с общей регрессией (GRNN), которую можно отнести к моделям средней сложности. Фрагмент принципиальной схемы яруса на основе обобщённо-регрессионной сети в САПР Quartus II приведен на рис. 5.
Рис. 5. Укрупненная структурная схема элемента «Ярус каскада»
Данный модуль был реализован на базе кристалла Cyclone IV. Эта СБИС способна работать на частоте свыше 400 МГц и содержит около 150 000 логических элементов, что позволяет реализовать модуль с 19 нейронами. Однако при проектировании на ПЛИС нейросе-тевых устройств обнаружилась серьёзная проблема - увеличение размерности входного вектора, а соответственно, и нейронов во входном слое модуля, что приводит к резкому увеличению числа требуемых вентилей. Так, увеличение числа нейронов вдвое (до 32) приводит к увеличению числа вентилей почти в 4 раза. Это связано с тем, что
увеличение числа нейронов ведёт к значительному росту числа нейронных связей. Таким образом, входные мультиплексоры усложняются, требуются новые вентили для регистров весов и их сопоставления. Соответственно, при необходимости увеличения точности формирования прогнозов наиболее эффективным решением будет переход на более мощные ПЛИС.
В ходе выполнения фундаментальной НИР «Высокопроизводительная интеллектуальная система прогнозирования и поддержки принятия решения» авторами была разработана и аппаратная версия двухъярусного каскадного операционного устройства на основе модулей из GRNN-сетей.
Среднее время выполнения прогноза исполнительной системой на основе ПЛИС, с учётом типа микросхемы и количества реализованных в ней ярусов, можно аналитически определить следующим образом:
Т = ГР=1 МАХ|3=1 .....хы))), (2)
где Т - время выполнения прогноза с использованием ПЛИС; МАХ -максимальное время работы модуля у'-го яруса; - время работы /-го модуля; х/1 - первый входной параметр /-го модуля.
В табл. 3 приведены результаты сравнительных экспериментов программной и аппаратной реализаций данного устройства.
Таблица 3
Результаты экспериментов. Аппаратная реализация
Количество нейронов, шт. Время работы, с Ускорение, раз
Программная Аппаратная
4 0,0230 0,000448 52,832
6 0,0231 0,000889 26,483
12 0,0285 0,000891 31,952
24 0,0299 0,000916 32,640
Как видим, аппаратная реализация операционного устройства системы прогнозирования позволяет значительно сократить время на формирование итогового результата, что крайне важно для систем управления объектами в режиме реального времени и специализированных аппаратно-программных комплексов различного назначения.
Заключение
Специализированные нейросетевые вычислительные системы обеспечивают высокую эффективность и точность прогнозирования благодаря своей способности обрабатывать большие объемы данных, в том числе в режиме реального времени. Предлагаемая каскадная архитектура нейросетевой системы позволяет выполнять частичную нормализацию данных там, где это требуется, разбивая их на фрагменты и обрабатывая каждый фрагмент отдельно на «собственном» вычислительном модуле. Такой подход позволяет повысить точность прогнозирования и снизить ошибку обобщения.
В статье рассмотрен упрощённый вариант двухярусной системы, когда для активации модулей второго каскада достаточно результатов срабатывания нейронных моделей первого уровня. В дальнейшем предполагается возможность модификация способов формирования выборок для последующих ярусов за счёт добавления фрагментов, содержащих результаты специализированных тестов, необходимых только для нейросетевых модулей соответствующего яруса. Если потребуется, то данные, поступающие на первый ярус, могут передаваться напрямую и на второй ярус в дополнение к выходным параметрам первого яруса.
Важно отметить, что повышение качества прогнозов требуется во всех областях деятельности человека, где решаются задачи планирования, прогнозирования и оптимизации ресурсов. В области спортивного менеджмента потребность в повышении точности может возникнуть при появлении близких итоговых показателей соревнующихся спортсменов. Например, в беге на 100 метров зачастую разница у первых четырёх участников составляет сотые доли секунды, а результаты в прыжках в длину - один или два сантиметра.
Кроме того, проблему значительного сокращения времени выполнения вычислений при сохранении требуемой точности можно решить с использованием аппаратной реализации операционного устройства системы. Наиболее эффективным подходом для этого авторы считают использование современных ПЛИС. К сожалению, наиболее подходящие для задач прогнозирования модели нейронов и искусственных нейронных сетей сложно реализовать в рамках недорогих серийных СБИС из-за ограниченного набора логических элементов. Кроме очевидного варианта с выбором более мощных FPGA, авторы планируют
рассматривать и другой вариант - использовать решающее поле из нескольких бюджетных ПЛИС. Наиболее эффективно проектировать подобное многокаскадное устройство на FPGA Cyclone IV GX, так как она содержит встроенные трансиверы с максимальной скоростью передачи данных 3.125 Гбит/с и аппаратный контроллер PCI Express. Суммарной логической ёмкости нескольких FPGA хватит для размещение всех элементов многокаскадной специализированной системы. В зависимости от «вместительности» микросхемы оптимально, чтобы на каждой СБИС разместились все компоненты отдельного высокопроизводительного модуля или даже небольшого яруса с простейшими нейронными моделями. Тогда передача данных между нейронами будет осуществляться в рамках одной ПЛИС. Также на плате с каскадным операционным устройством необходимо предусмотреть каналы передачи информации между ярусами.
Сокращение времени формирования наиболее вероятного прогнозируемого решения (значения) при сохранении высокой точности результата крайне важно для использования подобных операционных устройств в системах реального времени и критически важных программных приложениях.
Перспективными направлениями дальнейших исследований являются: создание блока предобработки для автоматического фрагмен-тирования обучающих выборок и разработка исполнительного процессора специализированной вычислительной системы прогнозирования на базе решающего поля из нескольких СБИС (ПЛИС).
Библиографический список
1. Chakraborty, S. Introduction to the special issue on transportation cyber-physical systems / S. Chakraborty, T. He // ACM Transactions on Cyber-Physical Systems. - 2020. - Vol. 4. - P. 1-3.
2. Learning-oriented reliability improvement of computing systems from transistor to application leve / B. Ranjbar, F. Klemme, P.R. Genssler, H. Amrouch, J. Jung, S. Dave, H. So // Design, Automation & Test in Europe Conference & Exhibition (DATE). - 2023. - P. 1-10.
3. Simulation approach to reliability analysis of WAMPAC system / Y. Zhang, M. Larsson, B. Pal, N.F. Thornhill // IEEE Power & Energy Society Innovative Smart Grid Technologies Conference (ISGT). - 2015. -P. 43-52.
4. Басыров, А.Г. Прогнозирование полного отказа специализированной вычислительной системы / А.Г. Басыров, В.В. Кузнецов, В.Г. Трехов // Вестник Российского нового университета. Сер. Сложные системы: модели, анализ и управление. - 2020. - № 4. - С. 97-103. DOI: 10.25586/RNU.V9187.20.04.P.097
5. Covid-caps: a capsule network-based framework for identifcation of COVID-19 cases from x-ray images / P. Afshar, S. Heidarian, F. Naderkhani,
A. Oikonomou, K. Plataniotis, A. Mohammadi // Pattern Recogn Lett. -
2020. - Vol. 138. - P. 638-643.
6. Development and validation of a deep-learning algorithm for the detection of polyps during colonoscopy / P. Wang, X. Xiao, J.R.G. Brown [et al.] // Nature Biomedical Engineering. - 2018. - Vol. 2. - P. 741-748.
7. Юшкин, В.Н. Проблемы спортивного прогнозирования /
B.Н. Юшкин // Ученые записки Университета им. П.Ф, Лесгафта. -
2021. - №4 (194). - C. 473-478.
8. Жуков, С.В. Использование нейронных сетей в построении оптимальной тренировочной траектории в биатлоне / С.В. Жуков, А.В. Зеленский // Учёные записки университета им. П.Ф. Лесгафта. - 2017. -№ 5 (147). - С. 81-88.
9. Реуцкая, Е.А. Комплексная система диагностики лыжников-гонщиков с целью определения перспективности и прогнозирования предраположенности к высоким спортивным результатам / Е.А. Реуцкая // Наука и спорт: современные тенденции. - 2022. - Т. 10, № 4. - С. 79-87.
10. Использование методов гребневой регрессии при объединении прогнозов / А.А. Френкель, Н.Н. Волкова, А.А. Сурков, Э.И. Рома-нюк // Финансы: теория и практика. - 2018. - 22 (4). - С. 6-17.
11. Murphy, K.P. Probabilistic machine learning [Электронный ресурс] / K.P. Murphy. - URL: https://probml.github.io/pml-book/ (дата обращения: 12.02.2024).
12. Glazunova, A.M. Forecasting power system state variables on the basis of dynamic state estimation and artificial neural networks / A.M. Glazunova // SIBIRC0N-2010. International Conference on Computational Technologies in Electrical and Electronics Engineering. Irkutsk. -2010. - Vol. 2. - P. 482-487.
13. Дегтярёв, К.Ю. Применение специализированных компьютерных программ и методов, основанных на нечетких временных рядах, для краткосрочного прогнозирования USD/RUB котировок [Элек-
тронный ресурс] / К.Ю. Дегтярёв. - URL: https://www.researchgate.net/ publication/326977706 (дата обращения: 08.02.2024).
14. Кенаффик, М. Введение в научное прогнозирование / М. Ке-наффик, Ш. Чаттерджи. - Кембридж, Великобритания: Кембриджский университет, 2013. - 216 c.
15. Neural network application for predictive modeling / K. Tokarev, Yu. Orlova, A. Rogachev, Yu. Rudenko // IOP Conference Series Materials Science and Engineering. - 2020. - Vol. 905 (1). - P. 1-8.
16. Шагалова, П.А. Нейросетевые технологии в решении задач прогнозирования / П.А. Шагалова, Д.А. Ляхманов // Современные проблемы науки и образования. - 2014. - № 6.
17. Li, B. Sports risk prediction model based on automatic encoder and convolutional neural network / B. Li, L. Wang, Q. Jiang // Applied Sciences. - 2013. - Vol. 13 (13). DOI: 10.3390/app13137839
18. Time series prediction method based on variant lstm recurrent neural network / J. Hu, X. Wang, Y. Zhang, D. Zhang, M. Zhang, J. Xue // Neural Processing Letters. - 2020. - Vol. 52, № 2. - P. 1485-1500. DOI: 10.1007/s11063-020-10319-3
19. Probabilistic forecasting with temporal convolutional neural network / Y. Chen, Y. Kang, Y. Chen, Z. Wang // Neurocomputing. - 2020. -Vol. 399 (1). - P. 491-501.
20. Krutikov, A.K. Evaluation the Efficienty of Forecasting Sports Events Using a Cascade of Artificial Neural Networks Based on FPGA / A.K. Krutikov, V.Y. Meltsov, D.A. Strabykin // Proceedings of ElConRus-2022. - St. Petersburg, ETU LETI. - 2022. - P. 355-360.
21. FPGA-implementation of a prediction module based on a generalized regression neural network / A.K. Krutikov, V.Yu. Meltsov, A.A. Lapit-sky, V.S. Rostovtsev // Proceedings of EIConRus-2020. - St. Petersburg, ETU LETI. - 2020. - P. 147-150.
22. Крутиков, А.К. Каскадная структура системы прогнозирования на основе различных моделей искусственных нейронных сетей / А.К. Крутиков // Южно-Сибирский научный вестник. - 2021. - № 1. -С. 46-52.
23. Ассемблирование искусственных нейронных сетей для прогнозирования результатов XXIV зимних Олимпийских Игр 2022 / А.К. Крутиков, В.Ю. Мельцов, Д.А. Страбыкин, В.Д. Подковырин // Современные наукоемкие технологии. - 2021. - № 12-1. - С. 45-51.
24. Deep Learning Toolbox [Электронный ресурс]. - URL: https://exponenta.ru/neural-network-toolbox (дата обращения: 01.02.2024).
25. Лосев, Д.Ю. Прогнозирование параметров режима для про-тивоаварийного управления электроэнергетическими системами / Д.Ю. Лосев // Энергия-2022: материалы Семнадцатой Всерос. (девятой междунар.) науч.-техн. конф. студ., аспир. и молодых ученых. - 2022. -Т. 3. - С. 8.
26. Nigamrutha, V. Stock market value prediction using machine learning concept / V. Nigamrutha, S. Anusuya // International Journal of Innovative Technology and Exploring Engineering. - 2020. - Vol. 9 (6). -P. 2063-2066. DOI: 10.35940/ijitee.F3908.049620
27. FPGA [Электронный ресурс]. - URL: https://alt.ru/Mikroshemi.html (дата обращения: 01.02.2024).
References
1. Chakraborty S. Introduction to the special issue on transportation cyber-physical systems. ACM Transactions on Cyber-Physical Systems, 2020, vol. 4, pp. 1-3.
2. Ranjbar B., Klemme F., Genssler P.R., Amrouch H., Jung J., Dave S., So H. Learning-oriented reliability improvement of computing systems from transistor to application leve. Design, Automation & Test in Europe Conference & Exhibition (DATE), 2023, pp. 1-10.
3. Zhang Y., Larsson M., Pal B., Thornhill N.F. Simulation approach to reliability analysis of WAMPAC system. IEEE Power & Energy Society Innovative Smart Grid Technologies Conference (ISGT), 2015, pp. 43-52.
4. Basyrov A.G., Kuznetsov V.V., Trekhov V.G. Prognozirovanie polnogo otkaza spetsializirovannoi vychislitel'noi sistemy [Predicting the complete failure of a specialized computer system]. Vestnik Rossiiskogo no-vogo universiteta. Ser. Slozhnye sistemy: modeli, analiz i upravlenie, 2020, no. 4, pp. 97-103. DOI: 10.25586/RNU.V9187.20.04.P.097
5. Afshar P., Heidarian S., Naderkhani F., Oikonomou A., Plataniotis K., Mohammadi A. Covid-caps: a capsule network-based framework for identi-fcation of COVID-19 cases from x-ray images. Pattern Recogn Lett., 2020, vol. 138, pp. 638-643.
6. Wang P., Xiao X., Brown J.R.G. et al. Development and validation of a deep-learning algorithm for the detection of polyps during colonoscopy. Nature Biomedical Engineering, 2018, vol. 2, pp. 741-748.
7. Iushkin V.N. Problemy sportivnogo prognozirovaniia [Problems of sports forecasting]. Uchenye zapiski Universiteta imeni P.F, Lesgafta, 2021, no. 4 (194), pp. 473-478.
8. Zhukov S.V., Zelenskii A.V. Ispol'zovanie neironnykh setei v postroenii optimal'noi trenirovochnoi traektorii v biatlone [The use of neural networks in building an optimal training trajectory in biathlon]. Uchenye zapiski universiteta imeni P.F. Lesgafta, 2017, no. 5 (147), pp. 81-88.
9. Reutskaia E.A. Kompleksnaia sistema diagnostiki lyzhnikov-gonshchikov s tsel'iu opredeleniia perspektivnosti i prognozirovaniia pre-drapolozhennosti k vysokim sportivnym rezul'tatam [A comprehensive diagnostic system for ski racers in order to determine the prospects and predict predisposition to high sports results]. Nauka i sport: sovremennye tendentsii, 2022, vol. 10, no. 4, pp. 79-87.
10. Frenkel' A.A., Volkova N.N., Surkov A.A., Romaniuk E.I. Ispol'zovanie metodov grebnevoi regressii pri ob"edinenii prognozov [Using ridge regression methods when combining forecasts]. Finansy: teoriia i praktika, 2018, 22 (4), pp. 6-17.
11. Murphy K.P. Probabilistic machine learning, available at: https://probml.github.io/pml-book/ (accessed 12 February 2024).
12. Glazunova A.M. Forecasting power system state variables on the basis of dynamic state estimation and artificial neural networks. SIBIRCON-2010. International Conference on Computational Technologies in Electrical and Electronics Engineering. Irkutsk, 2010, vol. 2, pp. 482-487.
13. Degtiarev K.Iu. Primenenie spetsializirovannykh komp'iuternykh programm i metodov, osnovannykh na nechetkikh vremennykh riadakh, dlia kratkosrochnogo prognozirovaniia USD/RUB kotirovok [The use of specialized computer programs and methods based on fuzzy time series for short-term forecasting of USD/RUB quotes], available at: https://www.researchgate.net/ publication/326977706 (accessed 08 February 2024).
14. Kenaffik M., Chatterdzhi Sh. Vvedenie v nauchnoe prognoziro-vanie [Introduction to scientific forecasting]. Velikobritaniia: Kembridzhskii universitet, 2013, 216 p.
15. Tokarev K., Orlova Yu., Rogachev A., Rudenko Yu. Neural network application for predictive modeling. IOP Conference Series Materials Science and Engineering, 2020, vol. 905 (1), pp. 1-8.
16. Shagalova P.A., Liakhmanov D.A. Neirosetevye tekhnologii v reshenii zadach prognozirovaniia [Neural network technologies in solv-
ing forecasting problems]. Sovremennye problemy nauki i obrazovaniia, 2014, no. 6.
17. Li B., Wang L., Jiang Q. Sports risk prediction model based on automatic encoder and convolutional neural network. Applied Sciences, 2013, vol. 13 (13). DOI: 10.3390/app13137839
18. Hu J., Wang X., Zhang Y., Zhang D., Zhang M., Xue J. Time series prediction method based on variant lstm recurrent neural network. Neural Processing Letters, 2020, vol. 52, no. 2, pp. 1485-1500. DOI: 10.1007/s11063-020-10319-3
19. Chen Y., Kang Y., Chen Y., Wang Z. Probabilistic forecasting with temporal convolutional neural network. Neurocomputing, 2020, vol. 399 (1), pp. 491-501.
20. Krutikov A.K., Meltsov V.Y., Strabykin DA. Evaluation the Ef-ficienty of Forecasting Sports Events Using a Cascade of Artificial Neural Networks Based on FPGA. Proceedings of ElConRus-2022. St. Petersburg, ETU LETI, 2022, pp. 355-360.
21. Krutikov A.K., Meltsov V.Yu., A.A. Lapitsky, Rostovtsev V.S. FPGA-implementation of a prediction module based on a generalized regression neural network. Proceedings of EIConRus-2020. St. Petersburg, ETU LETI, 2020, pp. 147-150.
22. Krutikov A.K. Kaskadnaia struktura sistemy prognozirovaniia na osnove razlichnykh modelei iskusstvennykh neironnykh setei [Cascade structure of the forecasting system based on various models of artificial neural networks]. Iuzhno-Sibirskii nauchnyi vestnik, 2021, no. 1, pp. 46-52.
23. Krutikov A.K., Mel'tsov V.Iu., Strabykin D.A., Podkovyrin V.D. Assemblirovanie iskusstvennykh neironnykh setei dlia prognozirovaniia re-zul'tatov XXIV zimnikh Olimpiiskikh Igr 2022 [Assembling artificial neural networks to predict the results of the XXIV Olympic Winter Games 2022]. Sovremennye naukoemkie tekhnologii, 2021, no. 12-1, pp. 45-51.
24. Deep Learning Toolbox, available at: https://exponenta.ru/neural-network-toolbox (accessed 01 February 2024).
25. Losev D.Iu. Prognozirovanie parametrov rezhima dlia pro-tivoavariinogo upravleniia elektroenergeticheskimi sistemami [Forecasting of the regime parameters for emergency management of power plants]. Semnadtsataia vserossiiskaia (deviataia mezhdunarodnaia) nauchno-tekhnicheskaia konferentsiia studentov, aspirantov i molodykh uchenykh "Energiia-2022", 2022, vol. 3, 8 p.
26. Nigamrutha V., Anusuya S. Stock market value prediction using machine learning concept. International Journal of Innovative Technology and Exploring Engineering, 2020, vol. 9 (6), pp. 2063-2066. DOI: 10.35940/ijitee.F3908.049620
27. FPGA, available at: https://alt.ru/Mikroshemi.html (accessed 01 February 2024).
Сведения об авторе
Крутиков Александр Константинович (Киров, Российская Федерация) - старший преподаватель кафедры «Электронные вычислительные машины» Вятского государственного университета (610000, Киров, ул. Московская, 36, e-mail: yadrodisk@yandex.ru).
About the author
Alexander K. Krutikov (Kirov, Russian Federation) - Senior Lecturer at the Department of Electronic Computing at Vyatka State University (610000, Kirov, Moskovskaya str., 36, e-mail: yadrodisk@yandex.ru).
Поступила: 26.02.2024. Одобрена: 28.02.2024. Принята к публикации: 20.04.2024.
Финансирование. Исследование не имело спонсорской поддержки.
Конфликт интересов. Автор заявляет об отсутствии конфликта интересов по отношению к статье.
Вклад автора. 100 %.
Просьба ссылаться на эту статью в русскоязычных источниках следующим образом:
Крутиков, А.К. Параллельный алгоритм формирования фрагментированной обучающей выборки для специализированной системы прогнозирования на основе ассемблирования нейросетевых модулей / А.К. Крутиков // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. - 2024. - № 49. - С. 61-81. DOI: 10.15593/2224-9397/2024.1.04
Please cite this article in English as:
Krutikov A.K. Parallel algorithm to forming a fragmented training sample for a specialized forecasting system based on assembly of neural network modules. Perm National Research Polytechnic University Bulletin. Electrotechnics, information technologies, control systems, 2024, no. 49, pp. 61-81. DOI: 10.15593/2224-9397/2024.1.04
