Параметрическая оптимизация вероятностного алгоритма решения задачи Текст научной статьи по специальности «Математика»

УДК 681.3 DOI: 10.17213/0321-2653-2016-1-30-36

ПАРАМЕТРИЧЕСКАЯ ОПТИМИЗАЦИЯ ВЕРОЯТНОСТНОГО АЛГОРИТМА РЕШЕНИЯ ЗАДАЧИ

PARAMETRIC OPTIMIZATION PROBABILISTIC ALGORITHM FOR SOLVING THE PROBLEM

© 2016 г. А.А. Михайлов, С.А. Базуева

Михайлов Анатолий Александрович - д-р техн. наук, про- Mikhailov Anatoly Alexandrovich - Doctor of Technical Sci-фессор, Южно-Российский государственный политехниче- ence, professor, Platov South-Russian State Polytechnic Uni-ский университет (НПИ) имени М.И. Платова, г. Новочер- versity (NPI), Novocherkassk, Russia. Е-mail: mih01@mail.ru касск, Россия. E-mail: mih01@mail.ru

Базуева Светлана Анатольевна - ассистент, Южно- Bazuyeva Svetlana Anatolyevna - Assistant, Platov South-Российский государственный политехнический университет Russian State Polytechnic University (NPI), Novocherkassk, (НПИ) имени М.И. Платова, г. Новочеркасск, Россия. Russia. E-mail: mih01@mail.ru E-mail: mih01@mail. ru

Исследована роль множества ограничений при использовании принципа последовательного уменьшения неопределенности путем сужения множества альтернативных решений к множеству эффективных решений. Обосновано использование для выбора оптимального алгоритма решения задачи по наблюдаемой последовательности скрытой марковской модели (Hidden Markov Model, HMM). В качестве примера осуществлена оптимизация неизвестных параметров алгоритма решения задачи по критерию максимального правдоподобия с ограничениями в виде условий нормировки и семантической меры целесообразности информации А.А. Харкевича для скрытой марковской модели. На основе использования оценок апостериорных вероятностей принадлежности алгоритма получены оптимальные параметры для сложного алгоритма с «коми-тетной» конструкцией.

Ключевые слова: скрытая марковская модель; принцип последовательного уменьшения неопределенности; оптимальное решение; условия нормировки; семантическая мера целесообразности информации А.А. Харкевича.

The role of multiple restrictions using the principle of successive reduction of the uncertainty by narrowing the set of alternative solutions to the many cost-effective solutions. The article substantiates the use to select the optimal algorithm for the observed sequence of hidden Markov model (Hidden Markov Model, HMM). As an example, carried out optimization of the unknown parameters of the algorithm for solving the problem according to the criterion of maximum likelihood with restrictions in terms of normalization and semantic measures of the appropriateness of the information A. Kharkevich for hidden Markov models. Using of estimate posterior probabilities of belonging to the algorithm obtained the optimal parameters for a complex algorithm with a «committee» design.

Keywords: a hidden Markov model; the principle of gradual reduction of uncertainty; the optimal solution; the normalization condition; the semantic measure of appropriateness of information A. A. Kharkevich.

1. Общая постановка задачи сводящийся к последовательному сужению множества

В реальных задачах принятия решений при вы- решений Различают три гостедотэтетиьге стад™

боре оптимального алгоритма решения сохраняется этой процедуры. На первой стадии исходное множест-

большая неопределенность информации, обусловлен- во альтернативных решений Y сужается до множества

ная большим исходным разнообразием моделей алго- допустимых решений YgcY, которое является либо

ритмов решения задачи на множестве альтернативных подмножеством множества альтернативных решений,

решений Y. Поэтому сразу осуществить выбор единст- либо совпадает с ним. На второй стадии множество

венного алгоритма решения задачи из данного множе- допустимых решений сужается до множества эффек-

ства сложно. В связи с этим используется принцип тивных решений Y0cYg, а на третьей стадии осущест-

последовательного уменьшения неопределенности, вляется выбор оптимального решения Y из множества

эффективных решений, т.е. выбор оптимального решения сводится к последовательности преобразований множеств Y3Yg3Y03Y.

Множество альтернативных решений преобразуется до множества допустимых (приемлемых) решений с учетом множества ограничений. Выполнение ограничений является необходимым условием для выбора алгоритма решений, поэтому единственное, окончательно принимаемое решение Y, находится во множестве приемлемых решений. На практике процедура сужения множества решений до допустимого начинает осуществляться еще на этапе формирования исходного множества. Сужение множества допустимых решений до множества эффективных решений повышает определенность выбора оптимального решения на множестве эффективных решений. Вся исходная информация полностью используется для выделения эффективных решений из множества допустимых решений, поэтому выбор оптимального решения возможен при получении новой информации, способа и формы ее представления.

В настоящее время выбор оптимального решения по наблюдаемой последовательности O сводят к определению неизвестных параметров скрытой марковской моделью (Hidden Markov Model, HMM) 0*, которые максимизируются вероятностью появления наблюдаемой последовательности O = oio2...oT [1, 2],

0* = max(P(O| ©)). (1)

0 1

Целью статьи является определение параметров 0 алгоритмов решения задачи при HMM, удовлетворяющих критерию оптимизации максимального правдоподобия, а также оптимизация параметров смесей моделей.

2. Определение ограничений для критерия

Важным элементом модели алгоритма являются ограничения к критерию качества решения задачи, которые определяются особенностями используемой в алгоритме информации. При оптимизации параметров алгоритма можно ограничиться минимальной группой, выделив необходимые для синтеза алгоритма два ограничения в виде содержательных гипотез и гипотез формализации его модели.

1. Ограничения в виде условия нормировки, которые накладываются на плотности (законы) распределения используемых случайных величин и определяются особенностями входных данных алгоритма решаемой задачи, согласно которым вероятность каждой модели неотрицательна и сумма вероятностей равна единице

i _

XPk =1, Pk > 0 Vk = 1,l.

k=1

2. Второй тип ограничений для критерия оптимизации алгоритма решения задачи определяется осо-

бенностью функционирования алгоритма, сводящейся к последовательному целенаправленному преобразованию семантической меры информации [3 - 5]. Причем количество информации оценивается по изменению степени целесообразности поведения по достижению цели функционирования проблеморазрешаю-щей системы (алгоритма), управляемой информационным воздействием в виде некоторого сообщения. При использовании данного ограничения множество альтернативных вариантов решений, из которых формируется множество допустимых решений, формируется целесообразно, т.е. в соответствии с целью функционирования алгоритма. Введение данного ограничения отчасти ослабляет недостатки, характерные для байесовского подхода, поскольку определяется апостериорной информацией по достижению цели функционирования алгоритма.

Количественная мера обусловленности ценности информации, введенная Харкевичем [4] и Бонгардом [5], определяется вероятностью достижения цели при получении этой информации и равна:

I = 1СЕ2(Р/ Ро),

где Р0 - вероятность достижения цели до получения информации; Р1 - вероятность достижения цели после получения и использования информации.

При многофакторном влиянии на алгоритм управляющих воздействий данное выражение трансформируется в (2):

IV = 1ом2(р; / Р ), (2)

тУ "

где ^ - количественная мера детерминирующей силы фактора в виде машинной команды (оператора) Vг на переход алгоритма из /-го в]-е состояние.

Целесообразность выбора данной меры обусловлена смыслом величин вероятности перехода Р/у алгоритма из /-го в]-е состояние под воздействием фактора уг и вероятности случайного перехода объекта в то же состояние Р} .

Второе ограничение при синтезе алгоритма решения задачи определяет условие достижения цели решения задачи в виде Ру_1 у = 1, т.е.

£ 1^+1 / Р) = ^1У = 1оЕ(1/Ро),

г=0 г=0

где рУ+1 - вероятность переходов из /-го в ] = / + 1

состояние, задаваемая ценностью информации машинной команды уг; V - последовательность переходов, образующих путь Витерби, который в цепях Маркова получает наиболее вероятную последовательность состояний [6] и задающий алгоритм решения задачи.

Кроме рассмотренных могут быть использованы и другие ограничения. Например, для алгоритма вы-

деления сигнала из смеси сигнал - шум требуются ограничения на дисперсию закона распределения, а для алгоритма обнаружения сигнала - на амплитуду сигнала.

3. Общий подход к оценке параметров моделей

Концептуальная модель детерминированного алгоритма представляется последовательностью машинных команд (операторов) vi, определенная на множестве машинных команд V = {vi}, i = 1,nmk , где nmk -число машинных команд, содержащихся в выборке класса алгоритмов, под которыми понимается система команд используемого класса процессоров.

В общем случае алгоритм решения стохастической задачи представляет собой дважды стохастическую последовательность, которая состоит из набора известных дискретных наблюдаемых переменных O = {ob..., oN}, которые описывают появление символов наблюдения (машинных команд) oneRd и скрытых переменных Q = {qi,..., qN}. Скрытые переменные Q определяют изменения N состояний модели (переменные состояния). Причем значение наблюдаемого вектора oi, взятого в момент времени i, зависит от i-го состояния

P(o,\oh o,-1,..., oO = P(o,|o,), (3)

т. е. не зависит от времени, и от скрытого состояния qi, которое в свою очередь зависит только от скрытого состояния в предыдущий момент времени qi-1, т. е. функция перехода

P(qi|qi-1,..., q1, oO = P(q,-|qi_1), (4)

но при этом не известно, сколько состояний и какие между ними связи.

Данные аксиомы определяют алгоритм в виде скрытого марковского процесса, представляющего собой двухкомпонентный случайный процесс со скрытой компонентой (марковский процесс перехода между функциональными элементами программы с конечным множеством состояний процесса) и наблюдаемой компонентой появления символов наблюдения (идентификаторов машинных команд языка Ассемблер).

Скрытая марковская модель (Hidden Markov Model) HMM [6 - 8] имеет вид

© = (N, M, A, B, П),

где N - число состояний модели. Множество состояний модели обозначим как S = {si}, i = 1,N, а текущее состояние модели в момент t как qt из последовательности Q, являющейся реализацией скрытого процесса; M - число возможных символов в наблюдаемой последовательности, которые могут порождаться моделью и образуют алфавит V = {vk}, k = 1,M ; A = {a,;,} -матрица вероятностей переходов (или матрица пере-

ходов), где = Рл^ = = •,], 1 < у, , < N -

вероятность перехода модели из состояния qt-1 = в момент времени /-1 в состояние qt = в следующий момент времени t, qt - состояние в момент t = 2,Т , Т -длина последовательности; В = {Ь,(^)} - распределение вероятностей появления символов в у-м состоянии (1<у<^, где bj(k) = РВ[о1С = vk|qt = •,]- условное распределение вероятностей того, что в момент времени t система, находящаяся в у-м состоянии (состояние •/), выдаст k-й символ (символ vk) в наблюдаемую последовательность О; k = 1,М - число различных символов наблюдения ок, которые могут порождаться моделью (размер дискретного алфавита) V = {V}; П = {л,} -распределение вероятностей начального состояния,

Л, = = •,], 1 < , < N

где q-^ - состояние в момент t = 1 из последовательности Q, являющейся реализацией скрытого процесса, т. е. вероятность того, что - это начальное состояние модели.

НММ реализует кибернетическую модель «черный ящик», которая после заданного количества шагов генерирует наблюдаемую последовательность О = 0\02.. .оТ, образуемую символами дискретного алфавита V, состоящего из идентификаторов машинных команд vk = о, где oteR - наблюдение, фиксируемое в момент t = 1,Т, Т - число символов в наблюдаемой последовательности.

4. Оптимизация параметров скрытой марковской модели

4.1. Формализация задачи

Постановка задачи: Исходными данными при решении задачи является наблюдаемая последовательность в виде множества цепочек машинных команд. Для каждой цепочки машинных команд определяется НММ, при этом выделяют три задачи, связанные с использованием НММ [2].

Первая задача сводится к оценке вероятности Р(О|©) того, что данная наблюдаемая последовательность О = 01, о2,..., оТ построена именно для модели © = (А, В, П):

Р(О|©) = X Р(О|&©).

е

Во второй задаче для заданной последовательности наблюдений О = оь о2,..., оТ и скрытой марковской модели © необходимо выбрать последовательность состояний е = q1 q2...qТ, которая определяет последовательность наблюдений, имеющую максимальную вероятность Р[е|О, ©], а в третьей задаче подобрать параметры модели © = (А , В, П), максимизирующие Р(О|©).

Требуется: Для решения всех трех задач, связанных с определением структуры или параметров © алгоритмов решения задачи (1), требуется корректный

выбор критерия оптимизации максимального правдоподобия.

Решение задачи: Для упрощения решения задачи исследования, заданной в виде неполной функции правдоподобия (1), с наблюдаемыми переменными О и параметрами 0, необходимо ввести скрытые переменные Q модели НММ и оценить вектор параметров 0 полной функции правдоподобия log p(O, Q|0), для которой log p(O|0) = log{X P(O,Q 0}.

Z

При решении задачи определим совместное распределение переменных НММ, для которой из условий независимости (3), (4) следует, что вероятность порождения последовательностью Q = {qb q2,..., qT} скрытых состояний последовательности O = {ob o2,..., oT} наблюдений, вычисляется как

K ( N K K ^

p(o, öl©) =пnj nnn[P(qn\qn-i)]Zn-uZnJ

j=1 Vn=2 i=1 j=1

X

NK

пп( p(On\qn))z

л

, Znk =1 k=1 ' у

Для оценки параметров © воспользуемся методом максимального правдоподобия

© мь = а^тах р(0,0\ ©)=argmaxlog р(О,0\ ©)

для логарифмической функции правдоподобия

log p(O,Q ©) = £ zi j logn

I

P(OQ,©) = P(0i,02,...,aT\qi, q2,..., qT ,©) =П Pb (<>Mt), + £££ z„_uz,j log P{?n|?n-i} + ££ Znk logP(on\qn ).

V n=2 i=1 j=1

n=1 k=1

а вероятность появления последовательности Q = {дь q2,..., qT} равна

Р®|©) = Р(91,q2,...,qт ©) = Пql {л(^+1),

t=l

т. е. вероятность наблюдения некоторого символа зависит только от состояния модели в данный момент времени.

Поскольку для НММ возникновение некоторой конкретной последовательности состояний и появление последовательности наблюдений являются независимыми событиями, то вероятность наблюдения последовательности О, порожденной последовательностью Q, в виде совместного распределения переменных задается формулой

Р(0, Q|©) = Р(ви ©) Р(0|©) =

N N

=р^о П р В^п кп )П р |кп-1) ,

п=1 п=2

где О = {о1, о2,..., oN} - наблюдаемые состояния модели со скрытыми переменными; Q = {к1, к2,..., qN} -скрытые состояния модели, описывающие ее внутреннее состояние; © - параметры модели со скрытыми переменными.

Для алгоритма кроме вероятности перехода между скрытыми состояниями кп модели алгоритма, характеризующей величину связи между состояниями, введем переменную Витерби в виде К-мерного бинарного случайного вектора zi ^{0, 1}к, одна компонента

к

которого равна единице, т.е. £ =1, который опре-

}=1

деляет выбор скрытых состояний и их последовательность. Данная последовательность в виде оптимального пути Витерби V задает направления преобразования информационных потоков в алгоритме и в этом случае

Параметры, входящие в ©, не могут принимать произвольные значения, следовательно, оптимизация осуществляется при ограничениях

к ^ _

£ П; =1, £ Р =1, V/=1, к,

1=1 1=1

где ^ - количество переходов, образующих путь Ви-терби алгоритма.

Воспользовавшись правилом множителей Ла-гранжа [9], имеем

ц©Ам)=log p(O,Q ©)+х

* p

V1=

£п 1 -1 +£i £p-1

V j =

i=1

+£,■ £log^+logPo +£% £P(qn\o„)-1

V i=1

P

K

k=1

л

V n =1

^ extr. (5)

4.2. Определение параметров скрытой марковской модели

Лагранжиан (5) позволяет определить структуру и параметры HMM.

1. Для определения оценки распределения вероятности начальных состояний найдем производную лагранжиана по элементу л,- матрицы вероятностей начальных состояний П

^©XM=Zu+х=0

дп ■ п ■

и, следовательно, п ,■ =--

1 X

Просуммируем данное выражение по переменной

к

Витерби zy и, учтя, что j =1, имеем

1=1

X

+

+

Z

j=1

т.е. оценка элементов п, матрицы П имеет вид

П,- - Zij.

(6)

Z Zn-1,iZnj + Ц i

и, следовательно, Pi, =1

Просуммируем полученное выражение и, учтя,

K K

что Z P,j = 1 и Z znj = 1, имеем

j=i j=i

K N N

K Цi + Z Z Zn-1,i Z1 j Цi + Z Zn-1,i

Z p =1= j=1n=2_= n=2

j=1 1 '

Г.е. l = -p(?n|0n.

k=1

2. Для определения распределения вероятности перехода модели из состояния , в состояние ] определим производную лагранжиана по элементу Ру матрицы переходных вероятностей А

N Z , -Z ■ 1

Z n-1,i n, А

—— + Ц i— =

n=2 1 ij 1 ij

N

Просуммировав данное выражение, имеем

к=-ХХ.

4=1

Учтя данный результат, получим элементы Р(0„^„) матрицы В

1

P(4n\°n ) = — или Р(оп|Нп ) =

K

P(On ) KP(qn )

(8)

5. Оптимизация параметров комитетной модели алгоритма

Одной из наиболее простых и естественных концепций построения коллективного решения является «объединение» смеси нескольких алгоритмов в «ко-митетных» конструкциях [10] в виде смеси l моделей алгоритмов (Mixture of algorithms), где исходная зависимость p(y\x) выражается как композиция моделей p(y|x, ©k):

p(y|x) = ]TG(©k|x)p(yx,©k) = £gkp(y|x,©k), (9) k=1 k=1

n—1 ,i

т.е. Ц i =

n=2

2

В итоге оценка элементов P- матрицы A

Z Zn—1,i Znj

n=2 iJ ~ N

P = 2

— 1.

(7)

n-1,i

n=2

Просуммировав последнее выражение на множестве K

N K

ZZZ

K ^^ n-1,i

n=2 i=1

Z^ i =-n

i='1

2

Z Z

3L(©AM)_ k=1 "

+Zn

P(qn)

5P(On qn) P(°n Hn ) ¡5 P(On)

= 0,

где gk = G(©k|x) - шлюз (gate) смеси, в виде вероятности принадлежности к модели ©k, на который накладывается условие нормировки

Z gk =1, &>0 Vk.

(10)

k=1

получаем выражение для среднего значения коэффициента ц

к

г=Ч =-1

N-1 2 .

3. Для определения распределения вероятностей появления символов в у-м состоянии определим производную лагранжиана по элементу Р(о^и) матрицы условных вероятностей В,

Плотность совместного распределения (9) для независимых объектов в выборке определяется произведением плотностей распределения каждого объекта

р(у|*)=1^ ПроФ,- ,©4)=П Ъёкр(у\х, ,© 4). (11)

4=1 г=1 г=1 4=1

Для определения параметров смеси максимизируем р(у|х). Для этого сменим порядок суммирования и перемножения и, используя принцип максимума правдоподобия, введем из (10), (11) функцию правдоподобия как логарифм плотности вероятности данных, сформировав функцию Лагранжа [9] в виде:

L - Zln

i=1

Z gkP( Уг\Хг ,@k ) k=1

-Y

( i

Z gk-1

V k=1

(12)

1. Для определения шлюзов модели приравняем производную функции Лагранжа (12) по gk нулю:

dL(©k ,Y) m P(У^г ,®k) n

—ä-= Z~i--Y =

Ögk i=1 Z gsP(y,\x, ,© s )

s=1

Обозначим вероятность того, что объект (х, у) определяется компонентой ©к через Р(у, ©к| х), а вероятность того, что к-я компонента модели определяется /-объектом через Р(©куг, хг). Каждый объект был порожден какой-либо моделью, по формуле полной вероятности

£р(©к|У; , ^ ) =1, V/ . к=1

Для произвольного объекта (х, у) вероятность его определения моделью ©к по формуле условной вероятности равна:

Р(у, ©к|х) = Р(©к|х)р(у|х, ©к)^кР(у1х, ©к). (14)

Подставив равенство (14) в формулу Байеса для

Р(©к| у,, х,), получаем

P(© кУ , Х ) =

gkP(Уг\Хг ©к) l '

Z gsp( Уг I хг )

s=1

(15)

Умножим обе части равенства (13) на gk и просуммируем по к = 1.../, а также, учтя равенство (15), получим

т = Ц~-!-= У! gk = Т.

^ /=1 I gsР(Уг\xг © ) к=

¿=1

Воспользовавшись полученным результатом, окончательно из (13) имеем

1 m SkP&iX©) i

■=iZ-f

= "ZР(©к|Уг , Х- ). (16)

Z gsp(y\xi >©, )

Равенство (16) позволяет определять шлюзы gk комитетной модели.

2. Для определения параметров компонентов ко-митетной модели вычислим производную функции Лагранжа по параметрам к-й модели ©к:

дL(©k , у) т gkР(Уг\Xг ,©к ) ЗЬр(уг|хг ,©к )

-=Z-r

5©k г=> Z*^,©.) ^

s=1

= ZР(©кУг , Х- )

5Inp(Уг|Хг ,©k )

5©,, "

Z P(© k \Уг, Хг )ln p( УгХ © ) = 0.

д©к г=1

Полученное равенство определяет необходимые условия максимума функции правдоподобия комитет-

ной модели, совпадающие с условиями максимума функции правдоподобия компонентов комитетной модели, исследование которых приведено в разделе 4 данной работы.

Выводы

1. Большая неопределенность информации при выборе оптимального алгоритма решения задачи, обусловленная большим исходным разнообразием моделей алгоритмов на множестве альтернативных решений задачи, определяет необходимость последовательного преобразования исходного множества альтернативных решений до множества допустимых решений и далее до множества эффективных решений, которое сужается до множества оптимального решения.

2. При преобразовании множества альтернативных решений к множеству допустимых (приемлемых) решений учитывается множество ограничений, которые должны соответствовать содержательным особенностям решения задачи. Кроме этого при синтезе алгоритма должны быть учтены в виде ограничений и особенности формализации функционирования синтезируемого алгоритма. Выполнение ограничений является необходимым условием для выбора алгоритма решений, поэтому единственное, окончательно принимаемое решение находится во множестве приемлемых решений.

3. Для оптимизации параметров модели алгоритма формируют функцию правдоподобия в виде уравнения с коэффициентами Лагранжа и ограничениями в наименьшем составе в виде условий нормировки для каждой переменной модели и условия в виде информации Харкевича.

4. Общий подход к оценке оптимальных параметров HMM алгоритма определяет оценку распределения вероятности начальных состояний выражением (6), распределения вероятности перехода модели из состояния i в состояние j (7), распределения вероятностей появления символов в j-м состоянии (8).

5. При построении коллективного решения используется «объединение» смеси алгоритмов (Mixture of Experts) в виде комитетных конструкций, которые в большинстве случаев используют оценки шлюзов (апостериорных вероятностей принадлежности исходного алгоритма к классу).

6. При оптимизации комитетной модели алгоритма:

- оптимальные значения параметров шлюзов ко-митетной модели алгоритма определяются выражением (16);

- оптимальные параметры комитетной модели алгоритма задаются необходимыми условиями максимума функции правдоподобия комитетной модели алгоритма и совпадают с условиями максимума функции правдоподобия компонентов комитетной модели.

г=1

г=1

9

Литература

1. Baum L.E. An inequality and associated maximization technique in statistical estimation for probabilistic functions of a Markov process // Inequalities. 1972. Vol. 3. P. 1 - 8.

2. Rabiner L.R. A tutorial on hidden markov models and selected applications in speech recognition / Proceedings of the IEEE. 1989. Vol. 77, № 2. P. 257 - 286.

3. Заболотский В.П., Оводенко А.А., Степанов А.Г. Семантические меры информации // Математические модели в управлении: учеб. пособие. СПб.: ГУАП, 2001. 196 с

4. Харкевич А.А. О ценности информации // Проблемы кибернетики. 1960. Вып. 4. С. 53 - 72.

5. Бонгард М.М. Проблемы узнавания. М.: Наука, 1967. 321 с.

6. Mikhaylov A.A., Bazuyeva S.A. Probabilistic Approach to the

Synthesis of Algorithm for Solving Problems, Modern Applied Science // Canadian Center of Science and Education. 2015. Vol. 9(5). Р. 125 - 132.

7. Михайлов А.А., Базуева С.А. Использование скрытой марковской модели при синтезе стохастического алгоритма решения задачи // Инженерный вестн. Дона. 2015. № 2, ч. 2. URL: ivdon.ru/ru/magazine/archive/n2p2y2015/3073.

8. Mikhaylov A.A., BaZuyeva S.A. Probabilistic model parameter optimization for the problem solving algorithm / International Conference on Industrial Engineering // Procedia Engineering. 2015. Vol. 129. Р. 326 - 336 (doi: 10.1016/j. proeng.2015.12.072).

9. Зорич В.А. Математический анализ. Ч. 1. 2-е изд. испр. и доп. М.: ФАЗИС, 1997. 554 c.

10. Мазуров В.Д., Хачай М.Ю. Комитетные конструкции // Изв. УрГУ. Математика и механика. 1999. Вып. 2, № 14. С. 77 - 108.

References

1. Baum L.E. An inequality and associated maximization technique in statistical estimation for probabilistic functions of a Markov process. Inequalities, 1972. Vol. 3, P. 1-8.

2. Rabiner L.R. A tutorial on hidden markov models and selected applications in speech recognition/Proceedings of the IEEE. 1989, vol. 77, № 2, P. 257- 286.

3. Zabolotskii V.P., Ovodenko A.A., Stepanov A.G. Semanticheskie mery informatsii. Matematicheskie modeli v upravlenii [Semantic measures of information. Mathematical models in management]. St. Petersburg, GUAP, 2001, 196 p.

4. Kharkevich A.A. O tsennosti informatsii [About information value]. Problemy kibernetiki, 1960, no. 4, pp. 53-72.

5. Bongard M.M. Problemy uznavaniya [Recognition problems]. Moscow, Nauka Publ., 1967, 321 p.

6. Mikhaylov A. A., Bazuyeva S.A. Probabilistic Approach to the Synthesis of Algorithm for Solving Problems, Modern Applied Science. Canadian Center of Science and Education. 9(5) (2015) 125-132.

7. Mikhailov A.A., Bazueva S.A. Ispol'zovanie skrytoi markovskoi modeli pri sinteze stokhasticheskogo algoritma resheniya zada-chi [Use of the hidden Markov model at synthesis of stochastic algorithm of the solution of a task]. Inzhenernyi vestnik Dona, 2015, no. 2, part. 2. Available at: http://ivdon.ru/ru/magazine/archive/n2p2y2015/3073.

8. Mikhaylov A. A., Bazuyeva S. A. Probabilistic model parameter optimization for the problem solving algorithm/International Conference on Industrial Engineering//Procedia Engineering 129 (2015) 326-336 (doi: 10.1016/j.proeng.2015.12.072)

9. Zorich V. A. Matematicheskii analiz [Mathematical analysis]. Moscow, FAZIS, Part 1, 1997, 554 p.

10.Mazurov V.D., Khachai M.Yu. Komitetnye konstruktsii [Komitetny designs]. Izv. UrGU. Matematika i mekhanika, 1999, no. 14, pp. 77-108.

Поступила в редакцию 21 декабря 2015 г.