Научная статья на тему 'СРАВНИТЕЛЬНЫЙ ЧИСЛЕННЫЙ АНАЛИЗ БАЙЕСОВСКОГО РЕШАЮЩЕГО ПРАВИЛА И ВЕРОЯТНОСТНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ'

СРАВНИТЕЛЬНЫЙ ЧИСЛЕННЫЙ АНАЛИЗ БАЙЕСОВСКОГО РЕШАЮЩЕГО ПРАВИЛА И ВЕРОЯТНОСТНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
33
7
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
НЕЙРОННАЯ СЕТЬ / РАСПОЗНАВАНИЕ ОБРАЗОВ / БАЙЕСОВСКОЕ РЕШАЮЩЕЕ ПРАВИЛО / ГАУССОВСКИЕ ОБРАЗЫ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Муха В.С.

В настоящее время для решения многих задач все чаще используются нейронные сети (НС) вместо традиционных методов их решения. Это предполагает сравнение нейронной сети и традиционного метода на конкретных задачах. В данной работе выполняется компьютерное моделирование Байесовского решающего правила (БРП) и вероятностной нейронной сети с целью сравнения их операционных характеристик по распознаванию гауссовских образов. Моделировалось распознавание четырех и шести образов (классов) с числом признаков от 1 до 6 в случаях, когда образы хорошо и плохо разделены. Размеры обучающей и тестовой выборок выбраны достаточно большими: 500 реализаций для каждого образа. Анализировались такие характеристики, как время обучения решающего правила, время распознавания тестовой выборки, достоверность распознавания тестовой выборки, достоверность распознавания обучающей выборки. В рамках данных условий установлено, что достоверность распознавания тестовой выборки в случае хорошо разделяемых образов с любым числом признаков близка к 100 % для нейронной сети и БРП. Для плохо разделяемых образов нейронная сеть проигрывает Байесовскому решающему правилу по достоверности распознавания тестовой выборки на 0,1-16 %. Время обучения нейронной сети превышает время обучения Байесовского решающего правила в 4-5 раз, а время распознавания - в 4-6 раз. В результате не обнаружено явных преимуществ вероятностной нейронной сети по сравнению с классическим Байесовским решающим правилом в задаче распознавания гауссовских образов. Для негауссовских образов альтернативой нейронной сети может быть существующее обобщение Байесовского решающего правила.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Муха В.С.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

COMPARATIVE NUMERICAL ANALYSIS OF BAYESIAN DECISION RULE AND PROBABILISTIC NEURAL NETWORK FOR PATTERN RECOGNITION

At present, neural networks are increasingly used to solve many problems instead of traditional methods for solving them. This involves comparing the neural network and the traditional method for specific tasks. In this paper, computer modeling of the Bayesian decision rule and the probabilistic neural network is carried out in order to compare their operational characteristics for recognizing Gaussian patterns. Recognition of four and six images (classes) with the number of features from 1 to 6 was simulated in cases where the images are well and poorly separated. The sizes of the training and test samples are chosen quiet big: 500 implementations for each image. Such characteristics as training time of the decision rule, recognition time on the test sample, recognition reliability on the test sample, recognition reliability on the training sample were analyzed. In framework of these conditions it was found that the recognition reliability on the test sample in the case of well separated patterns and with any number of the instances is close to 100 percent for both decision rules. The neural network loses 0,1-16 percent to Bayesian decision rule in the recognition reliability on the test sample for poorly separated patterns. The training time of the neural network exceeds the training time of the Bayesian decision rule in 4-5 times and the recognition time - in 4-6 times. As a result, there are no obvious advantages of the probabilistic neural network over the Bayesian decision rule in the problem of Gaussian pattern recognition. The existing generalization of the Bayesian decision rule described in the article is an alternative to the neural network for the case of non-Gaussian patterns.

Текст научной работы на тему «СРАВНИТЕЛЬНЫЙ ЧИСЛЕННЫЙ АНАЛИЗ БАЙЕСОВСКОГО РЕШАЮЩЕГО ПРАВИЛА И ВЕРОЯТНОСТНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ»

М

http://dx.doi.org/10.35596/1729-7648-2021-19-7-13-21

Оригинальная статья Original paper

УДК 004.93

СРАВНИТЕЛЬНЫМ ЧИСЛЕННЫИ АНАЛИЗ БАЙЕСОВСКОГО РЕШАЮЩЕГО ПРАВИЛА И ВЕРОЯТНОСТНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ

ВС. МУХА

Белорусский государственный университет информатики и радиоэлектроники (г. Минск, Республика Беларусь)

Поступила в редакцию 31 мая 2021

© Белорусский государственный университет информатики и радиоэлектроники, 2021

Аннотация. В настоящее время для решения многих задач все чаще используются нейронные сети (НС) вместо традиционных методов их решения. Это предполагает сравнение нейронной сети и традиционного метода на конкретных задачах. В данной работе выполняется компьютерное моделирование Байесовского решающего правила (БРП) и вероятностной нейронной сети с целью сравнения их операционных характеристик по распознаванию гауссовских образов. Моделировалось распознавание четырех и шести образов (классов) с числом признаков от 1 до 6 в случаях, когда образы хорошо и плохо разделены. Размеры обучающей и тестовой выборок выбраны достаточно большими: 500 реализаций для каждого образа. Анализировались такие характеристики, как время обучения решающего правила, время распознавания тестовой выборки, достоверность распознавания тестовой выборки, достоверность распознавания обучающей выборки. В рамках данных условий установлено, что достоверность распознавания тестовой выборки в случае хорошо разделяемых образов с любым числом признаков близка к 100 % для нейронной сети и БРП. Для плохо разделяемых образов нейронная сеть проигрывает Байесовскому решающему правилу по достоверности распознавания тестовой выборки на 0,1-16 %. Время обучения нейронной сети превышает время обучения Байесовского решающего правила в 4-5 раз, а время распознавания - в 4-6 раз. В результате не обнаружено явных преимуществ вероятностной нейронной сети по сравнению с классическим Байесовским решающим правилом в задаче распознавания гауссовских образов. Для негауссовских образов альтернативой нейронной сети может быть существующее обобщение Байесовского решающего правила.

Keywords: нейронная сеть, распознавание образов, Байесовское решающее правило, гауссовские образы. Конфликт интересов. Автор заявляет об отсутствии конфликта интересов.

Для цитирования. Муха В.С. Сравнительный численный анализ Байесовского решающего правила и вероятностной нейронной сети для распознавания образов. Доклады БГУИР. 2021; 19(7): 13-21.

COMPARATIVE NUMERICAL ANALYSIS OF BAYESIAN DECISION RULE AND PROBABILISTIC NEURAL NETWORK FOR PATTERN RECOGNITION

VLADIMIR S. MUKHA

Belarusian State University of Informatics and Radioelectronics (Minsk, Republic of Belarus)

Submitted 31 May 2021

© Belarusian State University of Informatics and Radioelectronics, 2021

Abstract. At present, neural networks are increasingly used to solve many problems instead of traditional methods for solving them. This involves comparing the neural network and the traditional method for specific tasks. In this paper, computer modeling of the Bayesian decision rule and the probabilistic neural network is carried out in order to compare their operational characteristics for recognizing Gaussian patterns. Recognition of four and six images (classes) with the number of features from 1 to 6 was simulated in cases where the images are well and poorly separated. The sizes of the training and test samples are chosen quiet big: 500 implementations for each image. Such characteristics as training time of the decision rule, recognition time on the test sample, recognition reliability on the test sample, recognition reliability on the training sample were analyzed. In framework of these conditions it was found that the recognition reliability on the test sample in the case of well separated patterns and with any number of the instances is close to 100 percent for both decision rules. The neural network loses 0,1-16 percent to Bayesian decision rule in the recognition reliability on the test sample for poorly separated patterns. The training time of the neural network exceeds the training time of the Bayesian decision rule in 4-5 times and the recognition time - in 4-6 times. As a result, there are no obvious advantages of the probabilistic neural network over the Bayesian decision rule in the problem of Gaussian pattern recognition. The existing generalization of the Bayesian decision rule described in the article is an alternative to the neural network for the case of non-Gaussian patterns.

Keywords: neural network, pattern recognition, Bayesian decision rule, gaussian patterns.

Conflict of interests. The author declares no conflict of interests.

For citation. Mukha V.S. Comparative numerical analysis of Bayesian decision rule and probabilistic neural network for pattern recognition. Doklady BGUIR. 2021; 19(7): 13-21.

Введение

В настоящее время для решения задач в различных областях деятельности человека все чаще рекламируется использование нейронных сетей вместо традиционных методов их решения. Во многих популярных публикациях, особенно в студенческой среде, подчеркиваются многочисленные преимущества нейронных сетей по сравнению с традиционными методами (см., например, [1]). Однако в работах, в которых выполняется реальный сравнительный анализ классических методов и нейронных сетей при решении конкретных задач, выделяются лишь отдельные положительные свойства нейронных сетей [2-7]. В некоторых работах выводы о соотношении характеристик классических методов и нейронных сетей не столь однозначны (см., например, [8]). В связи с этим проблема сравнительного анализа нейронных сетей и классических методов при решении конкретных задач остается актуальной, несмотря на то, что недостатки нейронных сетей хорошо известны и описаны в литературе. В данной работе выполняется сравнительный численный анализ Байесовского решающего правила и вероятностной нейронной сети в задаче распознавания гауссовских образов.

Байесовское решающее правило

Байесовское решающее правило (БРП) является результатом теории оптимальных статистических решений как решающее правило, минимизирующее средний риск при принятии решения. Решаемая задача выглядит следующим образом [9]. Имеется L образов

ДокладыБГУИР Doklady BGUIR Т. 19, № 7 (2021)_V. 19, No. 7 (2021)

(классов) s1v.., sL. Образы предъявляются на распознавание с известными вероятностями

%, = P(s,), j = 1, L . Каждый образ характеризуется вектором признаков

XT = (x1,x2,..., xn) e X с Rn, где xt - отдельный признак, X - пространство признаков.

Признаки либо измеряются с ошибками, либо сами являются случайными по своей природе. В любом случае вектор признаков задается известной условной плотностью вероятности f (X / Sj). Требуется по вектору признаков Х указать, какому образу (классу) он принадлежит.

Данная задача является задачей оптимальных статических решений с дискретными состояниями и непрерывными наблюдениями [9]. Ее решение, то есть БРП, в случае (0,1)-матрицы потерь определяется выражением

Ф, (X) = %jf (X / Sj) ^ max , j = 1L. (1)

Это решение интерпретируется следующим образом: решение выносится в пользу класса с таким номером j , для которого величина %,f (X /s,) наибольшая. Этот номер будем

обозначать j . Решающее правило (1) можно записать следующим образом:

j* = arg max ф, (X), ф, (X) = % f (X / s}.) . (2)

je{1,2,...,L} J J J J

Как известно [9], решающее правило (1), (2) минимизирует безусловную вероятность ошибки распознавания.

Логарифмирование выражения (1) приводит к следующему решающему правилу:

ln% . + ln f (X/si) ^ max, j = 1,L . (3)

j

Если вектор признаков X распределен по нормальному (гауссовскому) закону, т. е. f (X / s,. ) = ■ ' ,exp(- i(X - a, )tR-\X - A, ))), (4)

I-i-Г ^FV '

V(2%)n|Rj| 2

где Aj - математическое ожидание, R j - дисперсионная матрица вектора признаков j -го образа, то решающее правило (3) принимает следующий вид:

Ф. (X) = ln % . - ilnRJ - i(X - A, )TR -1(X - A.) ^ max, j = 1L, (5)

2 1 1 2 j

или, иначе,

j*= arg max ф i (X^ (6)

je{1,2,...L} J

где ф j (X) определяется выражением (5).

Образы с распределениями (4) будем называть гауссовскими.

Отметим, что БРП (6) является алгоритмическим, а не аналитическим, поскольку в нем наряду с арифметическими операциями присутствует алгоритмическая операция поиска максимального числа в упорядоченном множестве чисел с фиксацией его номера. Вместе с тем оно является строго формализованным, хотя и представлено в логических операциях.

Для применения БРП необходимо знать параметры образов % ., A -, R,, j = 1, L . В соответствии с подстановочным статистическим правилом, вместо неизвестных параметров % j, A,, R, можно использовать их статистические оценки %,, A,, R,, которые хорошо известны. Так, если X1,X2,...,Xn - наблюдения вектора признаков j -го образа, то

- 1 n> 1 nj — _ _

A- = TT I Xk , Rj = - I (Xk - Aj )(Xk - Aj )T .

nj k=1 nj k=1

В качестве пj можно взять относительную частоту поступления образов на

распознавание. Если нет оснований отдавать предпочтение тому или иному образу, то можно принять пj = п = 1/ L для каждого образа j .

Процесс получения оценок пj, Aj, Rj параметров пj, а., Rj будем называть обучением Байесовского решающего правила.

Нейронные сети

Задача распознавания образов будет решена, если построить отображение X —Z пространства признаков X в пространство целых чисел Z, ставящее в соответствие каждому вектору признаков X е X целое число z е Z, означающее номер образа (класса). Такое отображение является разрывным. Как известно, функции с разрывами трудно описывать полиномами [10]. Хорошую аппроксимацию такого отображения удается получить с помощью суперпозиции функций, а именно, с помощью нейронной сети. Нейронная сеть (НС) дает аналитическое решающее правило в виде отображения векторного пространства признаков X в множество целых чисел Z, т. е. в виде целочисленной функции векторной переменной.

Аппроксимация с помощью нейронной сети является такой же параметрической задачей, как и традиционная полиномиальная задача, а именно, требуется определить параметры функций, входящих в суперпозицию (параметры НС) для корректной работы нейронной сети. Процесс получения оценок параметров НС называется ее обучением. Обучение НС является, как правило, итерационной процедурой.

Для распознавания образов хорошо зарекомендовали себя с точки зрения стабильности процесса обучения радиально-базисные НС, в частности, вероятностные НС [11]. В данной работе используется вероятностная нейронная сеть системы программирования Матлаб. В Матлаб это двухслойная НС, первый слой которой рассчитывает расстояния от входного вектора до обучающих входных векторов и производит вектор, элементы которого показывают, как близок вход к обучающему входу. Второй слой суммирует эти вклады для каждого класса входных данных и производит на выходе вектор вероятностей. Наконец, конкурентная функция на выходе второго слоя выбирает из этих вероятностей максимальную вероятность и выдает 1 для этого класса и 0 для других классов (Matlab R2014, Neural Network Toolbox).

Число нейронов первого слоя вероятностной НС равно размеру обучающей выборки Nl,

и каждый нейрон первого слоя содержит п + 1 настраиваемых параметров, где п - число признаков класса. Всего в первом слое имеется Nl (n +1) настраиваемых параметров. Число

нейронов второго слоя равно числу распознаваемых классов L, так что число настраиваемых параметров второго слоя равно L(n +1). Всего вероятностная НС содержит (Nt + L)(n +1)

настраиваемых скалярных параметров.

Для сравнения, настраиваемые векторные и матричные параметры пj, Aj, Rj, j = 1, L,

Байесовского решающего правила (5), (6) содержат L(n2 + n +1) скалярных параметров.

В отличие от вероятностной НС, это число не зависит от размера обучающей выборки Nt. Это

важное обстоятельство, поскольку для качественного обучения обычно требуется выборка большого размера.

Компьютерное моделирование

Выполнено компьютерное моделирование Байесовского решающего правила и вероятностной нейронной сети для распознавания четырех и шести гауссовских образов (классов) (L = 4,6). Вероятности образов п выбраны равными между собой: п . = 1/L.

Размеры обучающей и тестовой выборок взяты достаточно большими: по 500 векторов для каждого класса. При четырех распознаваемых классах это дает размеры обучающей и тестовой выборок равными N = Nt = 2000, а при шести распознаваемых классах Nl = Nt = 3000.

Моделировались образы с числом признаков от 1 до 6 (п = 1, 2, 3, 4, 5, 6). Анализировались следующие характеристики решающих правил: время обучения, время распознавания тестовой выборки, достоверность распознавания тестовой выборки, достоверность распознавания обучающей выборки. Эти характеристики измерялись на одних и тех же выборках для обоих решающих правил.

Достоверность распознавания рассчитывалась следующим образом. Подсчитывались количество правильно распознанных экземпляров /-го образа п.+ и процент р. правильно

п±

п

распознавание экземпляров /-го образа. В качестве достоверности распознавания принимался

1 ь

средний процент правильных распознаваний всех образов: р = — V р .

Для моделирования четырех образов использовались следующие математические ожидания и дисперсионные матрицы:

1) для образов с одним признаком АТ = (0), А2Т = (2), АТ = (4), А4Т = (6), Я1 = 0,2к, Я2 = 0,4к, Я3 = 0,6к, Я4 = 0,3к;

2) для образов с двумя признаками

АТ = (0,0), АТ = (2,5, 3,5), АТ = (1,5) , А4Т = (3,1),

распознанных экземпляров /-го образа: р = /+ 100

Я1 = к

(1 01 0 1

, Я2 = к

( 3 2 1 2 2

Я3 = к

(2 01 0 2

Ял = к

3 1 1 3

3) для образов с тремя признаками

А = (0,0,0), АТ = (2,5, 3,5, 3,5), А3Т = (1,5,5) , А4Т = (3,1,1):

(1 0 0 > (3 2 1 1 ( 2 0 0 1 (3 1 0 1

Я1 = к 0 1 0 Я II к 2 2 1 , Я3 = к 0 2 0 , Я4 = к 1 3 0,5

V0 0 1V V 1 1 2 V V 0 0 1V ,0 0,5 2 V

3) для образов с четырьмя признаками

АТ = (0,0,0,0), А2т = (2,5, 3,5, 3,5, 2,5), А[ = (1,5,5,1), АТ = (3,1,1,3)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Я1 = к

(1 0 0 01

0 10 0

0 0 10

0 0 0 1

Я2 = к

(3 2 2 2 1 1

1 1

0 0

10 0 3

Я3 = к

(2 0 0 01

0 2 0 0

0 0 10

0 0 0 2

Я4 = к

(3 1 1 3

0 0,5 0 0

0 01

0,5 0

2 0

0 3

С помощью коэффициента к в заданных дисперсионных матрицах изменялся разброс реализаций образов относительно их средних значений. Использовались два значения коэффициента к: к = 0,2 и к = 1. При к = 0,2 образы достаточно хорошо разделяются, а при к = 1 могут существенно пересекаться.

При моделировании распознавания шести гауссовских образов (классов) (Ь = 6) математические ожидания образов А., I = 1,2,...,Ь, моделировались как реализации случайных

векторов с равномерным распределением в гиперкубе [0,10]п (образы со случайными средними значениями). Элементы г. . к дисперсионных матриц образов Я. = (т,]к), . = 1,2,...,Ь, /,к = 1,2,...,п, моделировались с помощью формулы

Г,/к = Л ехр(-а | / - к |). (7)

Использовались следующие значения: d = 7, а = 0,002, а = 1,2. Это означает, что все признаки образа имеют одну и ту же дисперсию, а различные значения коэффициента а задают различный характер коррелированности признаков между собой. Характеристики решающих правил, полученные в результате моделирования, приведены в табл. 1-4.

Таблица 1. Характеристики решающих правил при распознавании четырех гауссовских образов с различным количеством признаков для хорошо разделяемых образов (к = 0,2) Table 1. Characteristics of the decision rules in the recognition of four Gaussian patterns with different number

Количество признаков / Number of features 1 2 3 4

Решающее правило / Decisive rule БРП НС БРП НС БРП НС БРП НС

Время обучения, с / Training time, s 0,3281 1,609 0,3125 1,172 0,4531 1,844 0,3594 1,531

Время распознавания тестовой выборки, с / Test sample recognition time, s 0,1406 1,422 0,2500 0,9219 0,2813 1,406 0,328 1,813

Достоверность распознавания тестовой выборки, % / Test sample recognition reliability,% 100 100 98,50 98,55 99,50 98,80 99,70 99,40

Достоверность распознавания обучающей выборки, % / Recognition reliability of the training sample, % 99,95 100 98,80 99,65 99,40 100 99,75 100

Таблица 2. Характеристики решающих правил при распознавании четырех гауссовских образов с различным количеством признаков для плохо разделяемых образов (к = 1) Table 2. Characteristics of the decision rules in the recognition of four Gaussian patterns with different number

Количество признаков / Number of features 1 2 3 4

Решающее правило / Decisive rule БРП НС БРП НС БРП НС БРП НС

Время обучения, с / Training time, s 0,2188 1,063 0,3125 1,234 0,3125 1,297 0,3125 1,547

Время распознавания тестовой выборки, с / Test sample recognition time, s 0,1563 0,8125 0,2500 1,016 0,2813 1,266 0,3125 1,375

Достоверность распознавания тестовой выборки, % / Test sample recognition reliability,% 92,55 92,75 79,55 75,55 85,60 78,95 89 83,35

Достоверность распознавания обучающей выборки, % / Recognition reliability of the training sample, % 92,2 92,25 80,80 90,30 84,95 100 89,55 100

Таблица 3. Характеристики решающих правил при распознавании шести гауссовских образов с различным количеством признаков и d = 7, а = 0,002 Table 3. Characteristics of the decision rules in the recognition of six Gaussian patterns with different number _of features when d = 7, а = 0,002_

Количество признаков / Number of features 1 2 3 4 5 6

Решающее правило / Decisive rule БРП НС БРП НС БРП НС БРП НС БРП НС БРП НС

Время обучения, с / Training time, s 0,58 2,34 0,56 2,75 0,58 2,77 0,66 2,88 0,66 2,94 0,7 3,0

Время распознавания тестовой выборки, с / Test sample recognition time, s 0,5 2,16 0,5 2,53 0,55 2,66 0,58 2,67 0,61 2,7 0,64 2,8

Достоверность распознавания тестовой выборки, % Test sample recognition reliability,% 38,0 35,9 80 78 99,8 99 100 99,9 100 99,9 100 99,8

Достоверность распознавания обучающей выборки, % Recognition reliability of the training sample,% 37,4 40,5 88 98 99,6 100 100 100 100 100 100 100

Таблица 4. Характеристики решающих правил при распознавании шести гауссовских образов с различным количеством признаков и d = 7, а = 1,2 Table 4. Characteristics of the decision rules in the recognition of six Gaussian patterns _with different number of features when d = 7, а = 1,2_

Количество признаков Number of features 1 2 3 4 5 6

Решающее правило Decisive rule БРП НС БРП НС БРП НС БРП НС БРП НС БРП НС

Время обучения, с Training time, s 0,55 2,27 0,58 2,7 0,63 2,88 0,62 2,81 0,66 2,98 0,69 2,98

Время распознавания тестовой выборки, с Test sample recognition time, s 0,48 2,2 0,53 2,54 0,56 2,67 0,61 2,8 0,64 2,83 0,63 2,86

Достоверность распознавания тестовой выборки, % Test sample recognition reliability, % 35 30 57 45 61,8 51,1 81,9 72,6 77 66 86,0 69,4

Достоверность распознавания обучающей выборки, % Recognition reliability of the training sample, % 36 55 57 99,7 63,5 100 81,9 100 78 100 85,7 100

Табл. 1 соответствует распознаванию четырех хорошо разделяемых образов (к = 0,2), табл. 2 - распознаванию четырех плохо разделяемых образов (к = 1).

В табл. 3, 4 приведены характеристики решающих правил при распознавании шести образов со случайными центрами векторов признаков и различным разбросом относительно центров (при различных значениях коэффициента а в формуле (7)).

Числа в таблицах могут несколько изменяться от выборки к выборке, однако соотношение между ними в целом сохраняется.

Анализ данных табл. 1-4 позволяет сделать следующие выводы.

1. Время обучения нейронной сети растет с увеличением размера обучающей выборки и на выборке размера N = 2000 превышает время обучения БРП не менее чем в 4 раза.

2. Время распознавания тестовой выборки растет с ростом числа признаков образов для обоих решающих правил. При этом время распознавания НС превышает время распознавания БРП примерно в 4-6 раз.

3. Достоверность распознавания тестовой выборки для НС меньше достоверности распознавания тестовой выборки БРП от 0,1 до 16 % в зависимости от характеристик образов

4, я, , = 1,2,..., ь.

Кроме того, можно дать следующие характеристики каждого из решающих правил.

1. Достоверность распознавания обучающей выборки для вероятностной НС равна 100 % согласно принципу построения радиально-базисных НС. В практических расчетах достоверность может оказаться лишь близкой к 100 %, а при одном признаке даже около 50 % (см. табл. 3, 4). Однако эта характеристика не является определяющей, поскольку целью любого решающего правила является хорошее распознавание любых реализаций образов, а не только тех, на которых данное правило обучено.

2. Достоверность распознавания БРП примерно одна и та же как для обучающей, так и для тестовой выборок.

3. Достоверность распознавания обучающей и тестовой выборок возрастает с увеличением числа признаков для обоих решающих правил.

Заключение

В работе выполнено компьютерное моделирование Байесовского решающего правила и вероятностной нейронной сети с целью сравнения их операционных характеристик по распознаванию гауссовских образов. Для получения надежных результатов размеры обучающей и тестовой выборок выбраны достаточно большими: 500 реализаций для каждого образа. Моделировались образы с числом признаков от 1 до 6 и случаи, когда образы хорошо и плохо разделяемы. В рамках этих ограничений установлено, что достоверность распознавания тестовой выборки в случае хорошо разделяемых образов с любым числом признаков близка к 100 % для НС и БРП. Для плохо разделяемых образов нейронная сеть проигрывает Байесовскому правилу по достоверности распознавания тестовой выборки от 0,1 до 16 %. Время обучения НС превышает время обучения Байесовского решающего правила в 4-5 раз, а время распознавания - в 4-6 раз.

Таким образом, не обнаружено явных преимуществ вероятностной нейронной сети по сравнению с классическим Байесовским решающим правилом в задаче распознавания гауссовских образов. Для негауссовских образов альтернативой нейронной сети может быть существующее обобщение Байесовского решающего правила [12].

Список литературы

1. Головинов А.О., Климова Е.Н. Преимущества нейронных сетей перед традиционными алгоритмами.

Экспериментальные и теоретические исследования в современной науке. Сборник статей по материалам V международной научно-практической конференции. Новосибирск: Изд. АНС «СибАК»; 2017:5(5):11-15.

2. Mitrea C.A., Lee C.K.M. and Wu Z. A Comparison between Neural Networks and Traditional Forecasting Methods. A Case Study. International Journal of Engineering Business Management. 2009;1(2):19-24.

3. Krusienski D.J., & Jenkins W.K. Comparative analysis of neural network filters and adaptive Volterra filters. In Midwest Symposium on Circuits and Systems. 2001;1:49-52.

4. Charef F., Ayachi F. A Comparison between Neural Networks and GARCH Models in Exchange Rate Forecasting. International Journal of Academic Research in Accounting, Finance and Management Sciences. 2016;6(1):94-99.

5. Eze, Chinonso M., Ugwuowo Ifeanyi Fidelis, Asogwa Oluchukwu. A comparative analysis of vector autoregressive model and neural networks. EPH - International Journal of Mathematics and Statistics. 2018;4(8):1-13.

6. Schlechtingen M., Santos I. Comparative analysis of neural network and regression based condition monitoring approaches for wind turbine fault detection. Mechanical Systems and Signal Processing. 2011;25(5):1849-1875. DOI: https://doi.org/10.1016/j.ymssp.2010.12.007.

7. Edwards David J., Holt, Gary David and Harris, Frank C. A comparative analysis between the multilayer perceptron "neural network" and multiple regression analysis for predicting construction plant maintenance costs. Journal of Quality in Maintenance Engineering. 2000;6(1):45-61.

8. West P.M., Brockett P.L., Golden L.L A comparative analysis of neural networks and statistical methods for predicting consumer choice. Marketing Science. 1997;16(4):370-391.

9. Муха В.С. Статистические методы обработки данных. Минск: БГУ; 2009.

10. Вучков И.Н., Бояджиева И.Н., Солаков Е. Прикладной линейный регрессионный анализ. Москва: Финансы и статистика; 1987:238

11. Wasserman P.D. Advanced Methods in Neural Computing. New York: Van Nostrand Reinhold; 1993: 278.

12. Муха В.С. Статистическое р аспознавание многомерных негауссовских образов. Автоматика и телемеханика. 2001;4:80-90.

References

1. Golovinov A.O., Klimova E.N. [Advantages of neural networks before traditional algorithms].

Eksperimentalnye i teoreticheskie issledovaniya v sovremennoy nauke. Sbornik statey po materialam V mejdunarodnoy nauchno-prakticheskoy konferencii. Novosibirsk, Pub. ANS "SibAK"; 2017:5(5):11-15. (In Russ.)

2. Mitrea C.A., Lee C.K.M. and Wu Z. A Comparison between Neural Networks and Traditional Forecasting Methods. A Case Study. International Journal of Engineering Business Management. 2009;1(2):19-24.

3. Krusienski D.J., & Jenkins W.K. Comparative analysis of neural network filters and adaptive Volterra filters. In Midwest Symposium on Circuits and Systems. 2001;1:49-52.

4. Charef F., Ayachi F. A Comparison between Neural Networks and GARCH Models in Exchange Rate Forecasting. International Journal of Academic Research in Accounting, Finance and Management Sciences. 2016;6(1):94-99.

5. Eze, Chinonso M., Ugwuowo Ifeanyi Fidelis, Asogwa Oluchukwu. A comparative analysis of vector autoregressive model and neural networks. EPH - International Journal of Mathematics and Statistics. 2018;4(8):1-13.

6. Schlechtingen M., Santos I. Comparative analysis of neural network and regression based condition monitoring approaches for wind turbine fault detection. Mechanical Systems and Signal Processing. 2011;25(5):1849-1875. DOI: https://doi.org/10.1016/j.ymssp.2010.12.007.

7. Edwards David J., Holt Gary David and Harris, Frank C. A comparative analysis between the multilayer perceptron "neural network" and multiple regression analysis for predicting construction plant maintenance costs. Journal of Quality in Maintenance Engineering. 2000;6 (1):45-61.

8. West P.M., Brockett P.L., Golden L.L. A comparative analysis of neural networks and statistical methods for predicting consumer choice. Marketing Science. 1997;16(4):370-391.

9. Mukha V.S. [Statistical methods of data processing]. Minsk: BSU; 2009. (In Russ.)

10. Vuchkov I.N., Boyadjeva L., Solakov E. [Applied linear regression analysis]. Moscow: Finance and Statistics; 1987: 238. (In Russ.)

11. Wasserman P.D. Advanced Methods in Neural Computing. New York: Van Nostrand Reinhold; 1993: 278.

12. Mukha V.S. [Statistical recognition of the multivariate non-Gaussian patterns]. Automation and remote control. 2001;4:80-90. (In Russ.)

Сведения об авторах

Муха В.С., д.т.н., профессор, профессор кафедры информационных технологий автоматизированных систем Белорусского государственного университета информатики и радиоэлектроники.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Information about the authors

Mukha V.S., D.Sc., Professor, Professor at the Department of Automated Data Processing Systems of the Belarusian State University of Informatics and Radioelectronics.

Адрес для корреспонденции

220013, Республика Беларусь,

Минск, ул. П. Бровки, 6,

Белорусский государственный университет

информатики и радиоэлектроники;

тел. +375-17-293-88-23;

e-mail: mukha@bsuir.by

Муха Владимир Степанович

Address for correspondence

220013, Republic of Belarus. Minsk, P. Brovka Str., 6, Belarusian State University of Informatics and Radioelectronics; tel. +375-17-293-88-23; e-mail: mukha@bsuir.by Mukha Vladimir Stepanovich

i Надоели баннеры? Вы всегда можете отключить рекламу.