CC BY
15
7. Bielecki T.R., Jakubowski J., Niew^glowski M. Conditional Markov chains: Properties, construction and structured dependence // Stochastic Processes and their Applications. V. 127, N. 4. 2017. P. 1125-1170.
8. Markov A.A. Extension of the law of large numbers to dependent quantities // Izvestiia Fiz.-Matem. Obsch. Kazan Univ., (2-nd Ser.), 1906. P. 135-156.
9. Janssen J., Manca R. Applied Semi-Markov processes. Springer US, 2006. 310 p.
10. Larkin E., Bogomolov A., Privalov A. Discrete model of mobile robot assemble fault-tolerance // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2019. Volume 11659 LNAI. P. 204 - 215
11. Larkin E.V., Kotov V.V., Kotova N.A. About One Approach to Fault-Tolerant System Modeling. Proceedings of 2019 International Russian Automation Conference, RusAutoCon Art. N 88676802019. 2019; Code 152757.
12. Dubrova E. Fault-Tolerant Design. Springer-Verlag New York. Springer Science+Business Media New York. 2013. XV, 185 p.
13. Larkin E., Akimenko T., Bogomolov A., Krestovnikov K. Mathematical model for evaluating fault tolerance of on-board equipment of mobile robot // Smart Innovation, Systems and Technologies. 2021. 187. P. 383 - 393.
Привалов Александр Николаевич, д-р техн. наук, профессор, privalov. 61 @mail. ru, Россия, Тула, Тульский государственный педагогический университет им. Л.Н. Толстого,
Шаров Вадим Арнольдович, аспирант, [email protected], Россия, Шуя, Шуйский филиал Ивановского государственного университета
INFORMATION-MANAGING FA ULT-TOLERANT SYSTEMS DIGITAL SIMULATION
A.N. Privalov, V.A. Sharov
The problem of digital simulation of information-managing system reliability is investigated. It is shown, that digital abstractions offailure/recovery are a special case of models, based on semi-Markov processes theory. On the Z-transform base the dependence for single element time to failure is obtained. It is shown, that on practice the dependence may be represented as data array. The method of formation from initial set the array of time to failure of one element from M is worked out.
Key words: information-managing system, reliability, fault-tolerance, time to failure.
Privalov Aleksandr Nicolaevich, doctor of technical science, professor, [email protected], Russia, Tula, Tula State Pedagogical University,
Sharov Vadim Arnoldovich, postgraduate, [email protected], Russia, Shuya, Shuya branch of Ivanovo State University
УДК 004.032.26
DOI: 10.24412/2071-6168-2023-2-117-124
СРАВНЕНИЕ МАШИНЫ ЭКСТРЕМАЛЬНОГО ОБУЧЕНИЯ И МЕТОДА ОБРАТНОГО РАСПРОСТРАНЕНИЯ ОШИБКИ ПРИ РЕШЕНИИ ЗАДАЧИ РАСПОЗНАВАНИЯ ФИЗИЧЕСКОЙ АКТИВНОСТИ ЧЕЛОВЕКА
Е.С. Абрамова
Данная работа посвящена сравнению машины экстремального обучения и метода обратного распространения ошибки по эффективности распознавания и времени обучения нейронной сети. В данной работе представлены теоретические сведения о машине экстремального обучения и методе обратного распространения ошибки. Также приведены алгоритмы обучения нейронной сети с помощью данных методов. Для проведения эксперимента использовался открытый набор данных, который включает сведения о семи видах физической активности. Проведя экспериментальные исследования, были получены результаты о метриках качества и скорости обучения, на основе которых были сделаны выводы.
Ключевые слова: машина экстремального обучения, метод обратного распространения ошибки, распознавание активности человека, искусственные нейронные сети, акселерометр, гироскоп.
Распознавание активности человека относится к числу задач со многими областями применения: от приложений для спорта и фитнеса до систем контроля действий сотрудников на предприятиях [18]. С постоянно меняющимися вариантами использования и устройствами для распознавания, также
117
возникает потребность в применении лучших методов распознавания активности человека. Одними из главных свойств, которыми должны обладать системы распознавания физической активности человека, заключаются в способности к быстрой обработке динамично поступающих данных в реальном времени и высокой точности распознавания.
Долгое время для распознавания активности человека использовались классические методы машинного обучения. С появлением искусственных нейронных сетей, исследователи начали их использовать для распознавания активности человека с целью повышения точности и скорости распознавания.
Цель работы заключается в проведении сравнения двух методов обучения искусственной нейронной сети: машины экстремального обучения и метода обратного распространения ошибки при решении задачи распознавания активности человека.
Подобные исследования по сравнению эффективности использования машины экстремального обучения и метода обратного распространения ошибки проводились в таких областях как риск-менеджмент [9], обработка изображений [10], биоинформатика [11], идентификация голоса [12]. Однако в настоящее время есть необходимость оценить скорость и точность этих методов, используя разное число нейронов скрытого слоя, при решении задачи распознавания активности человека с помощью датчиков смартфонов, закрепленных в разных положениях на теле человека.
В 2004 году Гуан-Бинь Хуанг показал эффективность метода обучения нейронной сети прямого распространения с одним скрытым слоем, которому дал название машина экстремального обучения (extreme learning machine, ELM) [13]. Преимущество машины экстремального обучения заключается в том, что веса между скрытыми и выходными слоями вычисляются за один шаг, что приводит к повышению скорости обучения, по сравнению с традиционными методами обучения сетей прямого распространения.
Метод обратного распространения ошибки (backpropagation, BP) - это метод обучения нейронных сетей прямого распространения, который впервые был описан в 1974 г. А.И. Галушкиным и Полом Дж. Вербосом и впоследствии существенно развит в 1986 г. Дэвидом И. Румельхартом, Джеффри Э. Хинтоном, Рональдом Дж. Вильямсом и независимо и одновременно красноярскими математиками С.И. Барцевым и В.А. Охониным. Метод обратного распространения ошибки определяет стратегию подбора весов многослойной сети с применением градиентных методов оптимизации. Обучение сети с помощью метода обратного распространения ошибки может длиться достаточно долго, но при этом уже обученная сеть способна быстро вычислять результаты по полученным данным. В настоящее время считается одним из наиболее эффективных методов обучения нейронной сети [14].
В этой статье будет проведено сравнение машины экстремального обучения и метода обратного распространения ошибки при решении задачи распознавания физической активности человека. В первом разделе будут представлены теоретические сведения о машине экстремального обучения и методе обратного распространения ошибки. Во втором разделе будут описываться методика проведения экспериментальных исследований и набор данных для распознавания активности человека. Также второй раздел будет содержать результаты проведенных экспериментов и их оценку. Работа завершается заключением и списком литературы.
Теоретический анализ. Машина экстремального обучения является одним из новых алгоритмов обучения нейронной сети с одним скрытым слоем. Данный метод был предложен как вариант преодоления недостатков традиционных методов обучения нейронных сетей, связанных со скоростью обучения, так как классические методы используют алгоритм обучения на основе градиента, и параметры нейронной сети (веса и смещения) определяются итеративно.
В машине экстремального обучения веса между входным и скрытым слоем задаются случайным образом. Также этот метод создает независимость между входными и выходными весами нейронной сети и позволяет вычислить веса между скрытым и выходным слоем за один шаг с помощью решения уравнения методом наименьших квадратов. Таким образом, машина экстремального обучения разработана как линейная по параметрам модель, которая в конечном итоге связана с решением линейной системы.
Машина экстремального обучения привлекает внимание все большего числа исследователей. Первоначально машина экстремального обучения была разработана для однослойных нейронных сетей с прямой связью, а затем расширена до «обобщенных» нейронных сетей с прямой связью [15].
f x11 " x1mЛ
Пусть изначально известны все образы, тогда х =
- матрица значений на
V
xn1 " xnm J
входе.
Алгоритм обучения нейронной сети машиной экстремального обучения можно представить следующим образом:
Шаг 1. Задать случайным образом значения матрицы у =
*11
Vт1 """ ^тк
соединяющих
входной и скрытый слои.
(
Шаг 2. Вычислить значения матрицы у =
и11 ••• и1к
Л
нейронов скрытого слоя по формуле (1):
V ип1
и=/ (X-V),
ипк
- матрицы выходных значений
(1)
где У - это функция активации.
В работе [16] в качестве функции активации предлагается использовать любые из непрерывных функций, например, радиальные базисные функции (гауссова, мультиквадратичная), обратные тригонометрические функции, гиперболические функции, обратные гиперболические функции.
(
Шаг 3. Обучить нейронную сеть путем вычисления ^ =
ходных весов нейронов скрытого слоя, используя формулу (2):
ж = ит - и)-1 - ит = и+,
w11
™1Ь
\
™к1 •••
- матрицы вы-
(2)
где и+ = (иТ
\-1 т
и - и1 представляет собой псевдообратную матрицу (обобщенную обратную матрицу Мура-Пенроуза) для и .
Для случаев, когда количество обучающих данных очень велико или мало, в работе [15] предлагают использовать регуляризованную версию машины экстремального обучения. Тогда формула для вычисления значений матрицы выходных весов нейронов скрытого слоя будет иметь вид (3):
-1
ж = | |+ити
■ и
т
(3)
где I - единичная матрица; 5 - коэффициент регуляризации.
Шаг 4. Вычислить значения матрицы выходного слоя У по формуле (4):
У = и - Ж . (4)
Стоит отметить, что в случае большой размерности входных образов определение псевдообратной матрицы потребует значительных вычислительных затрат. Также обучение не является итеративным, и возникает необходимость хранить в памяти всю обучающую выборку, что в некоторых случаях может быть невозможно. Поэтому методы, основанные на градиентном спуске, имеют преимущество по сравнению с машиной экстремального обучения.
Одним из таких методов, в котором осуществляется вычисление градиента при обучении многослойной нейронной сети является метод обратного распространения ошибки. Метод является итеративным и использует принцип обучения «по шагам», когда веса нейронов сети корректируются после подачи на ее вход одного обучающего примера.
Основной целью метода обратного распространения ошибки применительно к нейронным сетям является оптимизация весов связей между нейронами для того, чтобы проектируемая нейронная сеть смогла обучиться правильно отображать произвольные входные данные в нужные значения выходов.
Метод обратного распространения ошибки имеет два потока обработки данных: прямой и обратный. В прямом потоке сигналы распространяются от входного слоя к выходному, рассчитываются выходные значения. В обратном потоке сигналы распространяются от выходов ко входам, распространяя при этом значения полученных ошибок обучения. В результате этого рассчитываются величины, в соответствии с которыми следует корректировать весовые коэффициенты.
Алгоритм обучения нейронной сети методом обратного распространения ошибки можно представить следующим образом:
Шаг 1. Задать значения весовых коэффициентов нейронной сети, скорость обучения, число итераций, погрешность вычисления величины ошибки.
Шаг 2. Подавать входные образы из обучающей выборки и в режиме прямого распространения входного образа вычислить выходные значения скрытых слоев и выходного слоя, используя формулу (5):
(5)
У] = I(X - х),
где индекс j характеризует нейроны следующего слоя по отношению к слою i.
Функция активации при обучении нейронной сети методом обратного распространения ошибки должна быть нелинейна и дифференцируема, например, можно использовать сигмоидальную функцию активации, показанную в формуле (6):
f ( * ) =-• (6)
1 + e "x
Шаг 3. В режиме обратного распространения сигнала рассчитать ошибку для выходного слоя по формуле (7):
j = f'(s) -(yj - dj ). (7)
Шаг 4. В режиме обратного распространения сигнала скорректировать значения веса для выходного слоя, используя формулу (8):
Awy = -^-5(q+1) - y(q), (8)
где q - текущий слой сети, отправляющий ошибку в обратном направлении; п - скорость обучения.
Шаг 5. В режиме обратного распространения сигнала рассчитать ошибки для всех остальных слоев по формуле (9):
j = f'(s) - s +1Mq+1). (9)
Шаг 6. В режиме обратного распространения сигнала скорректировать остальные веса нейронной сети, используя формулу (8).
Шаг 7. Вычислить ошибку сети по формуле (10): если значение ошибки сети больше допустимого, то перейти на шаг 2, иначе завершить обучение.
E = 1 S(yi - di)2. (10)
Несмотря на высокую вычислительную производительность и простоту реализации, к недостаткам метода обратного распространения ошибки стоит отнести неопределенно долгий процесс обучения и возможность попадания в локальные минимумы функции ошибки.
Экспериментальная часть. Для проведения эксперимента используется открытый набор данных, который содержит показания по трем осям датчиков смартфона: акселерометра, гироскопа, магнитометра и датчика линейного ускорения [17].
Набор данных включает сведения о семи видах физической активности, таких как ходьба, сидение, стояние, бег трусцой, езда на велосипеде, подъем и спуск по лестнице. Данные виды активности являются простыми и используются людьми в повседневной деятельности. Также было принято решение объединить виды активности подъем и спуск по лестнице в один класс - ходьба по лестнице. Каждую активность выполняли десять человек в течение 3-4 минут.
Данные с датчиков собирались с пяти смартфонов, закрепленных в пяти положениях на теле человека: в правом кармане джинсов, в левом кармане джинсов, на поясе, на правом плече, на правом запястье.
Набор данных разделим на обучающую и тестовую выборки в соотношении 80:20. При обучении нейронной сети машиной экстремального обучения используем регуляризованную версию, и значения матрицы выходных весов нейронов скрытого слоя будем рассчитывать по формуле (3). Величина нейронного смещения равна единице. Весовые коэффициенты между входным и скрытым слоем зададим случайным образом в диапазоне от -0,5 до 0,5. Число нейронов скрытого слоя будем изменять в диапазоне от 100 до 900. Режим распространения - пакетный. В качестве функции активации используется гиперболический тангенс, вычисляемый по формуле (11):
ex - е-x
f ( x) = tahn( x) =-— • (11)
ex + е x
При обучении нейронной сети методом обратного распространения ошибки весовые коэффициенты зададим также случайным образом в диапазоне от -0,5 до 0,5. Величина нейронного смещения равна единице. Число нейронов скрытого слоя будем изменять в диапазоне от 100 до 900. Режим распространения - пакетный. Скорость обучения - 0,1. Число итераций - 1000. В качестве функции активации используем сигмоидальную функцию, вычисляемую по формуле (6).
Для оценки качества распознавания активности человека машиной экстремального обучения и методом обратного распространения ошибки используются следующие метрики:
TP + TN TP б
- аккуратность - доля правильных ответов: accuracy =-, где IP - объ-
TP + TN + FP + FN
екты, которые были классифицированы как положительные и действительно являются положительными (принадлежащими к данному классу); TN - объекты, которые были классифицированы как отрицатель-
ные и действительно отрицательные (не принадлежат к данному классу); FP - объекты, которые были классифицированы как положительные, но фактически отрицательные; FN - объекты, которые были классифицированы как отрицательные, но фактически положительные;
- точность - доля объектов, названных классификатором положительными и при этом дей-
TP
ствительно являющиеся положительными: precision =-;
TP + FP
- полнота - доля объектов, положительного класса из всех объектов положительного класса: TP
recall =
TP + FN
т-. precision • recall
- F-мера - среднее гармоническое точности и полноты: fi _ score = 2 •
precision + recall
Проведя экспериментальные исследования, были получены результаты, которые представлены в табл. 1-7. Все результаты усреднены по 10 повторениям эксперимента. Прошедшее время показано для обучения сетей ELM и BP на компьютере с процессором AMD Ryzen 5 3600 6-Core Processor 3.59 ГГц и 16 ГБ ОЗУ.
Таблица 1
Доля правильных ответов (в %) машины экстремального обучения и метода обратного
_распространения ошибки при разном числе нейронов скрытого слоя_
Методы Число нейронов скрытого слоя
100 200 300 400 500 600 700 800 900
ELM 70 75,8 78 79,9 81,49 82,01 83,31 83,85 84,94
BP 83,2 84,89 84,95 85,2 85,24 85,31 86,57 86,82 86,95
Как можно увидеть по табл. 1, по мере увеличения нейронов скрытого слоя, доля правильных ответов у обоих методов также увеличивалась.
Для машины экстремального обучения наибольшая доля правильных ответов достигнута при максимальном рассмотренном числе нейронов скрытого слоя равное 900 и составила 84,33%, а наименьшая - при числе нейронов скрытого слоя равное 100 и составила 70%. Таким образом, продолжая увеличение числа нейронов скрытого слоя можно получить большую долю правильных ответов.
Для метода обратного распространения ошибки наибольшая доля правильных ответов достигнута при числе нейронов скрытого слоя равное 900 и составила 86,95%, а наименьшая - при числе нейронов скрытого слоя равное 100 и составила 83,2%.
Стоит отметить, что метод обратного распространения ошибки не так сильно зависит от числа нейронов скрытого слоя при выдаче результата, как машина экстремального обучения. Даже при 100 нейронах скрытого слоя метод обратного распространения ошибки дает большую долю правильных ответов, чем машина экстремального обучения при 600 нейронах скрытого слоя. Таким образом, для получения высокой точности машине экстремального обучения требуется большее количество нейронов скрытого слоя, чем методу обратного распространения ошибки.
Таблица 2
Время вычисления (в секундах) машины экстремального обучения и метода обратного _распространения ошибки при разном числе нейронов скрытого слоя_
Методы Число нейронов скрытого слоя
100 200 300 400 500 600 700 800 900
ELM 5,53 8,28 12,87 15,25 21,93 28,28 36,15 57,5 62,42
BP 1800 3367 5125 6506 8131 9587 11155 12544 14164
В табл. 2 приведено время обучения нейронной сети машиной экстремального обучения и методом обратного распространения ошибки при разном числе нейронов скрытого слоя. Исходя из полученных результатов, можно увидеть, что обучение нейронной сети с помощью машины экстремального обучения для задачи распознавания активности человека в среднем быстрее на 99,7% времени обучения нейронной сети методом обратного распространения ошибки.
Таблица3
Результаты распознавания для места крепления смартфона - левый карман брюк_
Класс активности Точность Полнота F-мера
ELM BP ELM BP ELM BP
1 2 3 4 5 6 7
ходьба 0,7 0,8 0,66 0,70 0,68 0,70
стояние 0,92 0,95 0,99 1 0,95 0,98
бег трусцой 0,80 0,83 0,74 0,78 0,77 0,80
сидение 1 1 1 1 1 1
Продолжение табл. 3
1 2 3 4 5 6 7
езда на велосипеде 0,92 0,93 0,93 0,96 0,92 0,93
ходьба по лестнице 0,80 0,83 0,81 0,84 0,8 0,81
Таблица 4
Результаты распознавания для места крепления смартфона - правый карман брюк
Класс активности Точность Полнота F-мера
ELM ВР ELM ВР ELM ВР
ходьба 0,68 0,70 0,58 0,63 0,63 0,65
стояние 0,89 0,90 0,99 1 0,94 0,95
бег трусцой 0,81 0,83 0,74 0,79 0,77 0,79
сидение 0,99 1 1 1 1 1
езда на велосипеде 0,91 0,93 0,92 0,93 0,91 0,93
ходьба по лестнице 0,78 0,81 0,81 0,83 0,79 0,80
Таблица 5
Результаты распознавания для места крепления смартфона - запястье
Класс активности Точность Полнота F-мера
ELM ВР ELM ВР ELM ВР
ходьба 0,77 0,77 0,75 0,76 0,76 0,77
стояние 0,90 0,91 0,98 0,99 0,94 0,96
бег трусцой 0,93 0,94 0,89 0,90 0,91 0,92
сидение 0,96 1 0,99 1 0,97 1
езда на велосипеде 0,94 0,93 0,93 0,93 0,94 0,94
ходьба по лестнице 0,85 0,88 0,83 0,82 0,84 0,85
Таблица 6
Результаты распознавания для места крепления смартфона - плечо
Класс активности Точность Полнота F-мера
ELM ВР ELM ВР ELM ВР
ходьба 0,74 0,77 0,75 0,77 0,74 0,75
стояние 0,89 0,90 0,96 0,97 0,92 0,92
бег трусцой 0,95 0,96 0,88 0,90 0,92 0,94
сидение 0,96 1 0,96 0,99 0,96 1
езда на велосипеде 0,92 0,93 0,92 0,93 0,92 0,93
ходьба по лестнице 0,86 0,87 0,84 0,85 0,85 0,86
Таблица 7
Результаты распознавания для места крепления смартфона - пояс
Класс активности Точность Полнота F-мера
ELM ВР ELM ВР ELM ВР
ходьба 0,81 0,82 0,80 0,80 0,80 0,80
стояние 0,90 0,90 0,99 1 0,94 0,95
бег трусцой 0,85 0,90 0,80 0,83 0,82 0,86
сидение 1 1 1 1 1 1
езда на велосипеде 0,88 0,91 0,88 0,92 0,88 0,90
ходьба по лестнице 0,89 0,88 0,88 0,88 0,88 0,88
В табл. 3-7 приведены метрики качества обучения нейронной сети машиной экстремального обучения и методом обратного распространения ошибки при 900 нейронах скрытого слоя для каждого класса активности и пяти мест крепления смартфона. По полученным метрикам качества можно заметить, что наилучшие результаты были получены для места крепления смартфона - левый карман брюк. Класс «сидение» для мест крепления смартфона левый карман брюк и пояс распознается со 100% точностью. Для остальных мест крепления смартфона класс «сидение» также распознается с наибольшей точностью от 96 до 100%. Наименьшая точность получена для класса «ходьба» и составляет от 68% (для правого кармана брюк) до 81% (для пояса). Такие результаты могут быть связаны с тем, что в наборе данных используются два похожих класса активности - ходьба и ходьба по лестнице. Также существующие значения метрик качества обучения нейронной сети можно улучшить, если использовать не показания по осям датчиков смартфона, а вычисленные статистические признаки по полученным показаниям датчиков.
Заключение. Это исследование показало, что нейронные сети прямого распространения с одним скрытым слоем, обученные машиной экстремального обучения и методом обратного распространения ошибки, могут с высокой точностью распознавать повседневную физическую активность человека. Самые высокие результаты распознавания были получены для места крепления смартфона в левом кармане брюк. Машина экстремального обучения является эффективным методом для решения данной задачи при большом числе нейронов скрытого слоя. Метод обратного распространения ошибки показывает высокую точность и при малом числе нейронов скрытого слоя, однако время обучения очень велико. Будущие исследования будут направлены на создание гибридного алгоритма обучения нейронной сети,
основанного на поочередном применении машины экстремального обучения и метода обратного распространения ошибки с целью получения высокоточного и быстродействующего метода.
Список литературы
1. Bachlin M. et al. Ski jump analysis of an Olympic champion with wearable acceleration sensors // Proceedings - International Symposium on Wearable Computers, ISWC. 2010.
2. Du K. et al. Handling activity conflicts in reminding system for elders with dementia // Proceedings of the 2008 2nd International Conference on Future Generation Communication and Networking, FGCN 2008. 2008.
3. Hua S. et al. A context-aware reminding system for daily activities of dementia patients // Proceedings - International Conference on Distributed Computing Systems. 2007.
4. Tao W. et al. Worker Activity Recognition in Smart Manufacturing Using IMU and sEMG Signals with Convolutional Neural Networks // Procedia Manufacturing. Elsevier, 2018. Vol. 26. P. 1159-1166.
5. Favela J. et al. Activity recognition for context-aware hospital applications: Issues and opportunities for the deployment of pervasive networks // Mob. Networks Appl. 2007.
6. Minnen D. et al. Recognizing Soldier Activities in the Field // 4th International Workshop on Wearable and Implantable Body Sensor Networks (BSN 2007). Berlin, Heidelberg: Springer Berlin Heidelberg. P. 236-241.
7. Putra I.P.E.S. et al. An event-triggered machine learning approach for accelerometer-based fall detection // Sensors (Switzerland). 2018. Vol. 18, № 1. P. 1-18.
8. Bremond F., Thonnat M., Z6niga M. Video-understanding framework for automatic behavior recognition // Behavior Research Methods. 2006. Vol. 38, № 3. P. 416-426.
9. Zhong H. et al. Comparing the learning effectiveness of BP, ELM, I-ELM, and SVM for corporate credit ratings // Neurocomputing. 2014. Vol. 128. P. 285-295.
10. De Chazal P., Tapson J., Van Schaik A. A comparison of extreme learning machines and back-propagation trained feed-forward networks processing the mnist database // ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings. Institute of Electrical and Electronics Engineers Inc., 2015. Vol. 2015-Augus. P. 2165-2168.
11. Mahdiyah U. et al. Study Comparison Backpropogation, Support Vector Machine, and Extreme Learning Machine for Bioinformatics Data // J. Ilmu Komput. dan Inf. (Journal of Computer Science and Information) 2015. P. 53-59.
12. Al-Kaltakchi M.T.S., Al-Nima R.R.O., Abdullah M.A.M. Comparisons of extreme learning machine and backpropagation-based i-vector approach for speaker identification // Turkish J. Electr. Eng. Comput. Sci. Turkiye Klinikleri, 2020. Vol. 28, № 3. P. 1236-1245.
13. Huang G. Bin, Zhu Q.Y., Siew C.K. Extreme learning machine: A new learning scheme of feedforward neural networks // IEEE International Conference on Neural Networks - Conference Proceedings. 2004. Vol. 2. P. 985-990.
14. Kuninti S., Rooban S. Backpropagation Algorithm and its Hardware Implementations: A Review // Journal of Physics: Conference Series. IOP Publishing Ltd, 2021. Vol. 1804, № 1.
15. Huang G. Bin et al. Extreme learning machine for regression and multiclass classification // IEEE Trans. Syst. Man, Cybern. Part B Cybern. 2012. Vol. 42, № 2. P. 513-529.
16. Huang G. Bin, Zhu Q.Y., Siew C.K. Extreme learning machine: Theory and applications // Neurocomputing. Elsevier, 2006. Vol. 70, № 1-3. P. 489-501.
17. Shoaib M., Scholten H., Havinga P.J.M. Towards physical activity recognition using smartphone sensors // Proceedings - IEEE 10th International Conference on Ubiquitous Intelligence and Computing, UIC 2013 and IEEE 10th International Conference on Autonomic and Trusted Computing, ATC 2013. 2013. P. 8087.
Абрамова Елена Сергеевна, аспирант, [email protected], Россия, Владимир, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых,
Научный руководитель: Орлов Алексей Александрович, д-р техн. наук, доцент, заведующий кафедрой, [email protected], Россия, Владимир, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых
COMPARISON OF EXTREME LEARNING MACHINE AND BACKPROPAGATION METHOD IN THE
HUMAN ACTIVITY RECOGNITION
E.S. Abramova
This paper is devoted to comparing the extreme learning machine and the backpropagation method in terms of recognition performance and training times of a neural network. In this paper, theoretical information
123
about the extreme learning machine and the backpropagation method are presented. Also, algorithms for training a neural network using these methods are given. For the experiment, an open dataset, which includes information about seven types of physical activity, was used. After conducting experimental studies, the results on quality metrics and learning speed were obtained, on the basis of which conclusions were drawn.
Key words: extreme learning machine, backpropagation method, human activity recognition, artificial neural networks, accelerometer, gyroscope.
Abramova Elena Sergeevna, postgraduate, elena. [email protected], Russia, Vladimir, Vladimir State University named after Alexader Grigoryevich and Nickolay Grigoryevich Stoletovs,
Supervisor: Orlov Alexey Alexandrovich, doctor of technical sciences, associate professor, head of the department, [email protected], Russia, Vladimir, Vladimir State University named after Alexader Grigoryevich and Nickolay Grigoryevich Stoletovs
УДК 004.451.25
DOI: 10.24412/2071-6168-2023-2-124-128
ТРЕБОВАНИЯ К ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ ПОДДЕРЖКЕ ПРОЦЕССА
ПЛАНИРОВАНИЯ
А.В. Мякотин, А.А. Бурлаков, А.Я. Моргунов, В.А. Питенко, А.И. Муравьев
В статье обоснованы существенные свойства процесса планирования (как процесса, в целях обеспечения которого осуществляется информационная поддержка), информационно-вычислительной поддержки процесса планирования и системы информационной поддержки (как системы, реализующей информационно-вычислительную поддержку процесса планирования), приведены количественные и качественные критерии.
Ключевые слова: процесс планирования, информационно-вычислительная поддержка, система информационной поддержки.
В теории организационного управления планирование рассматривается как важнейшая функция руководства сложными организационно-техническими системами. Информационная поддержка процесса планирования осуществляется на всем его протяжении. Она позволяет реализовывать процессы сбора, обобщения и анализа всех данных, необходимых для реализации процесса планирования, решения информационных задач планирования, отображения решений, их документирования
Так как информационная поддержка является составной частью процессов информационно-вычислительной поддержки процесса планирования (ИВППП), то анализ требований к ней невозможен без анализа требований к процессу планирования со стороны системы управления.
В соответствии с общей теорией систем цели функционирования любой системы позволяют предопределять ее качество, как совокупность существенных свойств, оказывающих наибольшее влияние на достижение этих целей.
Под качеством процесса планирования будем понимать способность органов управления своевременно, скрытно и обоснованно принимать решения, разрабатывать и доводить до подчиненных соответствующие документы, базируясь на имеющиеся ресурсы планирования. В процессе выработки и принятия решений по планированию в современных условиях должностным лицам органов управления приходится вести обработку больших объемов информации в сжатые сроки, обуславливаемые размерностью системы и динамичностью изменения обстановки.
Поэтому в качестве одного из основных свойств процесса планирования выступает оперативность, рассматриваемая как способность органов управления своевременно выполнять процесс планирования [1, 2, 3, 4]. В качестве показателя оперативности выбирается длительность цикла планирования, которая не должна превышать отведенный ресурс времени: Тцп < Тдоп, где Тщ - время цикла планирования, Тдоп - время, отведенное на планирование. В органе управления требование к продолжительности планирования дополняется частными требованиями к длительности отдельных этапов, что обусловлено
необходимостью согласования усилий должностных лиц органов управления: Тт < Тдопi, где Тт - время i-го этапа планирования, Тдп - время, отведенное на проведение i-го этапа. При этом должны быть обеспечены соответствующие значения показателей качества принимаемых решений Qnp — Q^mp (или Qnp ^ max), где Qпр - качество принятия решений, Q^^ - допустимое качество принятия решений.
Качество решений есть свойство соответствия (пригодности) решений сложившейся ситуации. В качестве показателей качества Qпр принятия решений могут выступать показатели обоснованности, полноты вырабатываемых вариантов решений, другие показатели и (или) их свертка (аддитивная, мультипликативная или др.). Например, показатель качества решений может задаваться в виде функциональной зависимости Qnp=F (R ои Сои Vp, Rrnu Апк), где Rcu и Сои - достоверность и полнота обрабатываемой
