CC BY
14
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2016 Управление, вычислительная техника и информатика № 3 (36)
УДК 519.21:81'32
Б01: 10.17223/19988605/36/5
В.В. Поддубный
О ВОЗМОЖНОСТИ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ ЭВОЛЮЦИИ ПОЛИСЕМИИ ЗНАКОВ ЕСТЕСТВЕННОГО ЯЗЫКА С ПОМОЩЬЮ НЕСТАЦИОНАРНЫХ ПРОЦЕССОВ РОЖДЕНИЯ И ГИБЕЛИ
Работа выполнена при поддержке государственного задания Минобрнауки России № 1.511.2014/К и Российского гуманитарного научного фонда (проект № 14-14-70010).
Рассматривается возможность математического моделирования эволюции полисемии ансамбля знаков естественного языка с помощью нестационарных процессов рождения и гибели. Показано, что адекватной математической моделью развития полисемии ансамбля знаков может служить скрытая нестационарная модель процессов рождения и гибели значений языковых знаков. Получено условное распределение состояний такого процесса при экспоненциальных спадах интенсивностей процессов рождения и гибели. Предложен критерий идентификации скрытой модели, дана его реализация на примере словаря языка А. С. Пушкина.
Ключевые слова: неоднородный процесс рождения и гибели; скрытая марковская модель; идентификация модели; языковой знак; полисемия.
В работах [1-3] рассматривалась диссипативная стохастическая динамическая модель развития полисемии языковых знаков как детерминированная модель эволюции полисемии отдельного знака со случайными флуктуациями параметров от знака к знаку в статистическом ансамбле знаков. Модель показала хорошее согласие с экспериментально наблюдаемыми распределениями полисемии языковых знаков, полученными из представительных толковых словарей русского и английского языков. Однако детерминированный характер эволюции полисемии каждого отдельного знака представляется маловероятным. Более естественно предположить, что индивидуальная эволюция полисемии отдельного языкового знака является нестационарным стохастическим процессом.
В соответствии с современными лингвистическими представлениями о развитии полисемии языкового знака естественного языка [4] знак возникает в языке в некоторый случайный момент времени в некотором определённом (обычно единственном) смысловом значении. Затем к этому смысловому значению последовательно добавляются новые значения, как правило, всё более абстрактные. Процесс роста количества новых значений знака протекает с постоянным замедлением, пока не иссякнет способность знака к порождению новых значений. Одновременно с этим процессом (но, возможно, с некоторым запаздыванием) начинается процесс выхода из употребления первоначальных (наиболее конкретных) значений знака. Этот процесс протекает также с замедлением, но значительно медленнее процесса роста новых значений. Скорость выхода из употребления старых значений знака сначала меньше скорости роста числа новых значений, и количество не вышедших из употребления значений знака (его полисемия) сначала растёт. Но со временем скорость роста числа новых значений знака становится ниже скорости выпадения из употребления старых значений, и происходит обратный процесс - полисемия знака начинает убывать, пока не выйдет из употребления последнее значение знака, а с ним и сам знак. На этом жизненный цикл знака заканчивается. Кривая этого жизненного цикла, выражающая зависимость полисемии знака от времени, представляется унимодальной кривой с максимумом, смещённым к началу процесса развития полисемии знака.
Если предположить, что процессы появления и выпадения из употребления значений знака являются случайными марковскими, хотя, очевидно, нестационарными (неоднородными), представляется возможным использовать в качестве стохастической модели развития полисемии знака модель неоднородного марковского процесса рождения и гибели. В статистическом ансамбле знаков естественного языка параметры модели флуктуируют от знака к знаку с определёнными, но неизвестными распреде-
лениями вероятностей, в силу чего модель оказывается скрытой. Поставим задачу нахождения условного (с фиксированными значениями параметров) распределения вероятностей состояний неоднородного процесса рождения-гибели, а затем исследуем возможность оценки скрытых распределений вероятностей параметров ансамбля таких процессов, обеспечивающих максимальную близость теоретического распределения полисемии с наблюдаемым эмпирическим распределением, полученным из толкового словаря языка А.С. Пушкина.
1. Математическая модель неоднородного процесса рождения и гибели 1.1. Система уравнений Колмогорова
Составим систему дифференциальных уравнений Колмогорова, описывающих вероятностную динамику неоднородного марковского процесса рождения и гибели. Пусть очередной языковой знак появляется в языке в момент времени ^ хотя бы в одном определённом смысловом значении. С этого момента начинается процесс рождения и гибели новых значений языкового знака вплоть до момента гибели последнего значения и выхода знака из употребления. Пусть Рп(0 - вероятность того, что в момент времени t > t0 знак имеет п значений. Если в начальный момент п = п0 > 1, то РПо (^ ) = 1. Пусть Х(() - интенсивность
процесса рождения новых значений в момент времени t, а ц(0 - интенсивность процесса гибели (выхода из употребления) уже имеющихся значений. Запишем незамкнутую систему дифференциальных уравнений Колмогорова, определяющую эволюцию вероятности числа живущих в момент времени t значений знака как неоднородного марковского процесса рождения и гибели значений:
^=-^(( )Ро ((М() ((), ^ = Я(()Рп_1 (()-(Х(()+ц(())Рп (()+|Д()Рп+1 ((), Рп (^ ) = 5п,По, п = 1,2,... , (1)
Г1, п = п0
где Ъпп = \ - символ Кронекера. При этом должно выполняться условие нормировки
' 0 [0, п Ф п0
т / ч
X Рп (() = 1.
п=0
1.2. Производящая функция
Для решения незамкнутой неавтономной (с переменными коэффициентами) системы дифференциальных уравнений Колмогорова (1) воспользуемся методом производящей функции, аналогично тому, как это делается в случае незамкнутой автономной системы (например, в [5. С. 287-291]):
/((,*)=ЕРпОп.
п=0
Зная производящую функцию / (t, 5), распределение Рп(0 можно найти по формуле обращения
1 5 п/(^ 5 )
Рп (( ) =
п! 55п
п = 0,1,2,
5=0
Действительно, разложив функцию/(^ 5) в ряд Маклорена, получим
1 5 "/^ 5 )| „
/((, 5 )= X
0 п! 55п
5=0
(2)
(3)
Сравнивая эту формулу с формулой (2), получим (3).
Перейдём от незамкнутой системы обыкновенных дифференциальных уравнений (1) для распределения Рп(0 к дифференциальному уравнению в частных производных для производящей функции / (^ 5). Найдём частную производную
п
д/ (,, * ) = » , д, п=о Л
подставив в неё вместо производных йРп(,)/Л, правые части уравнений (1). Принимая во внимание определение (2) производящей функции и вытекающее из этого определения равенство
/И = I Р ((К-,
д* п=о
получим дифференциальное уравнение в частных производных первого порядка для производящей функции / (,, *)
ЩА = _Х(()1 - *)/(,*) + ц(()(1 - */А, /(,0,*)= *п0, по > 0, , > ,0.
д, д*
Введя переменные р = д/((, *)/д, и ч = д/(,, *)/д* , запишем уравнение (4) в виде
^((, /, р, ч) = -Х(,)(1 - *)/ + р - )(1 - = 0. Ему эквивалентна система обыкновенных дифференциальных уравнений для характеристик
Л Ли Л/
р ч
РРр +
(4)
(5)
(6)
где ¥ = д¥/др = 1, ¥ч = д^/дц = )1 - *), р¥р + = р - )(1 - = )(1 - *)/, причём последнее равенство записано с учётом равенства (5). Тогда система (6) примет вид
ц(( = ——, Л = ц(()—.
1 - * /
Интегрируя каждое из уравнений, получаем
| - 1п(1 - *) = с1, )* - )1п / = с2, где С], с2 - произвольные постоянные интегрирования. Очевидно, с2 можно рассматривать как произвольную функцию Ж от С1 с2 = Ж(с1), так что
............(7)
) - )1п / = Ж (| )Л - 1п(1 - *)),
откуда
/ ((, *) =
ехр
( 1 '
)
Х(() - Ж - 1п(1 - *)
Очевидно, для существования производящей функции при любом ,, в том числе при , ^ да, необходимо, чтобы интенсивность процесса гибели нигде не обращалась в 0: ) > 0 V, > ,0 . При этом интенсивность процесса рождения может обращаться в 0 (например, при , ^ да).
Для нахождения вида функции Ж воспользуемся (аналогично [5]) начальным условием /(0,*) = *п0. При , = ,0 равенство (7) примет вид
Х0* - ц0п01п * = Ж(- 1п(1 - *)),
(8)
где Хо = Х(,0), ц0 = ц(,0). Обозначив у = - 1п(1 - *), получим * = 1 - ехр( - у). Подставляя эти выражения в равенство (8), получим вид функции Ж: Ж (у ) = Х0 (1 - ехр(- у))- п0ц01п(1 - ехр(- у)). Следовательно,
выражение для производящей функции принимает окончательный вид
( ( , ( ( ( ( ,
/(, *) = 1 -(1 - *)ехр -}ц(()Л
• ехр
/J
)
) - X0 1 - (1 - *)ехр -
J JJ
(9)
1.3. Распределение вероятностей нестационарного процесса рождения и гибели
Для нахождения закона распределения вероятностей нестационарного процесса рождения и гибели воспользуемся формулой обращения (3). Для упрощения вида формулы (9) введём обозначения
а(,) = _!(, Ь(,) = ехр(- Л |, с(()= Х(,)-(0Ь(,) .
I ,0 )
(10)
г
4*0
V '0
V *0
Тогда формула (9) примет вид
f ((, 5 ) = ((1 - b(( )) + НО* ^ ) • expf - (1 - b(( )) + c(((s ^
Обозначив
и((, 5) = ((1 - ¿(0) + ¿(ф , v(t, 5) = ехр(с(ф), ещё более упростим формулу (11), выделив множители, явно зависящие от переменной 5:
( ^ Л
/(,5) = ехр —(1 -¿()) • м(,5)-у(,5).
(11) (12) (13)
V ^(() У
Для вычисления вероятностей -Р„(0, п = 0,1,2,..., необходимо найти п-ю частную производную по 5 от этой функции в точке 5 = 0. Поскольку, как видно из (13), эта функция пропорциональна произведению двух функций, зависящих от 5, для вычисления производной воспользуемся известной формулой дифференцирования Лейбница
(uv )
= Z
k=0
in ^ (kU«-k)
v k ;
uv
(14)
Дифференцируя выражения (12), получаем
u((, s )(k > = (n0 a(t)(n0a(t) -1> ■ ■ (n0 a(t) - k + 1)b(t)k ((1 - b(t)) + b{t)s)noa()-k, v((, s f~k) = c(t)n-k exp(c(t)s).
Учитывая, что
мох*.**)- о - ■ -мо- к+1)= г(Г(;,(/)+ 1)1),
Г(п0а()- к +1)
получаем решение незамкнутой системы (1) дифференциальных уравнений Колмогорова
1 ап/(/, 5) =
Pn () =
n! ôsn
f
s=0
n-k -,
= exp
^(1 - ^ - ¿((Г(() £ (с(-)п-кг(ппо4)+1) Г^
к=о к!(п - к)!Г(п0;()-к +1) 1 - Ъ() где Г() - гамма-функция. Полученное распределение необходимо подчинить условию нормировки.
(15)
1.4. Частный случай:распределение вероятностей нестационарного процесса гибели
Частный случай процесса только гибели получается в отсутствие процесса рождения, когда М(/) = 0, а следовательно, когда с(/) = 0. Распределение вероятностей такого процесса легко получить формально из общей формулы (15) при М = 0 и с(г) = 0, когда в сумме по к остаётся только одно слагаемое - при к = п:
P (() =
а()+ 1)
:(1 - b(0)
|"0а()
f
b() ' 1 - b()
• 1(n < n0), n = 0,
п!Г(п0а() - п +1)
где 1(п < п0) - индикатор условия, записанного в скобках (равен 1, если условие выполнено, и 0 в противном случае). Полученное распределение необходимо подчинить условию нормировки.
1.5. Частный случай: распределение вероятностей нестационарного процесса рождения
Частный случай процесса чистого рождения, когда ц(/) = 0, ;(/) = 1, Ь(г) = 1, а с(/) неограниченно возрастает, затруднительно получить из общего распределения (15), но легко получить, используя частный вид уравнения (4) для производящей функции при ц(/) = 0:
а/ ((, 5).
ôt
■ = -^()(1 - s)f (, s) , f (t0, s) = sn0, «0 > 0, t > t0.
(16)
n
Это уравнение при любом фиксированном 5 является обыкновенным дифференциальным уравнением первого порядка с разделяющимися переменными. Интегрируя его с заданным в (16) начальным условием, получаем
( ' ^
/((, 5) = 5п° ехр - (1 - 5 ) } А,((
V 'о у
Вычисление распределения Рп(') также производим по формуле обращения (3) с использованием обозначения
g (() = -}х(,
представления
( t ^ f ((,s) = exp - JX()dt • u(,s)-v(,5)
и формулы Лейбница (14) для вычисления производных, где функции и(',5) и у((,5) имеют вид
и((, 5 ) = 5По , у(', 5 ) = exp(g (ф ).
Дифференцируя их по 5, получаем
и(*) к (по - 1)-(по - к + 1)п° -к, к < по, у{п-к) = gexp(g (()).
[ 0, к > по
Тогда при 5 = 0 в сумме (14) остаётся только одно слагаемое при к = п0 и п > п0, и распределение принимает вид
л w='
n! dsr
1 (t
5=0
(n - no )
\n-no
Jx( )dt
V o
• exp
V 'o
- J )dt • l(n > n0 ), n = n0, да.
(17)
где 1(п > п0) - индикатор условия, записанного в скобках. Формула (17) выражает распределение Пуассона для п > п0, что хорошо известно для марковского процесса чистого рождения. Полученное распределение автоматически удовлетворяет условию нормировки.
1.6. Условие остановки неоднородного процесса рождения и гибели
Возвратимся к формуле (15), представляющей распределение вероятностей Рп(') состояний процесса рождения и гибели. Нетрудно видеть, что только входящая в него множителем функция с('), определяемая формулами (10), при некотором ' = '* может обратиться в 0, вследствие чего Рп('*) при всех п > 0 обращается в 0, а Р0('*) = 1. Следовательно, все ненулевые состояния в этот момент времени поглощаются и процесс рождения-гибели останавливается.
Рассмотрим подробнее условие остановки процесса. Выпишем функцию с(') из (10):
c(t >=$exp
( t А - J^(()dt
V to
(18)
Предположим, что интенсивности процессов рождения и гибели монотонно уменьшаются с ростом t и не обращаются в o ни при каком конечном t > to. Пусть для определённости они спадают по экспоненциальному закону:
х(() = Xo exp(- (t - ío VTi), ^(t) = Цo exP(- (t - to VT2), (19)
где Xo, - начальные (в момент to) интенсивности, т1, т2 - постоянные времени спадов интенсивностей. Поскольку интенсивности (19) положительны при конечном t > to, функция ф(') = c(t)^(t)Ao имеет тот же знак, что и c(t). Выпишем её с учётом (19):
Ф(() = exp(- (t - to Vi1)- exp(- цo^2 (1 - exp(- (t - to Vi2))). (2o)
При t = to эта функция обращается в o, а её производная принимает значение dty(to)/dt = -1/т1. С ростом t функция ф(') (и, следовательно, c(t)) либо становится всюду отрицательной (при ^ox1 < 1), что не-
o
V 'o
допустимо для существования (неотрицательности) распределения вероятностей ненулевых значений п, либо (при ц0Т1 > 1) возрастает, достигает положительного максимума в некоторой точке ^ах > t0, а затем спадает до значения 0 в некоторой точке > ¿тах и далее уходит в отрицательную область, принимая отрицательное значение - ехр(- ц0т2) при t ^ да. В этом случае уравнение ф(0 = 0 имеет корень , являющийся точкой остановки процесса рождения-гибели с вероятностью 1. Таким образом, ненулевое состояние процесса рождения-гибели с экспоненциально спадающими интенсивностями возможно только при ц0т1 > 1 и только в интервале времени от t = t0 до t = так что длительность жизни Т процесса рождения-гибели не превышает разности ^ - t0. Такой процесс (с ограниченным временем жизни) будем называть финитным.
На рис. 1 в качестве примера представлено семейство кривых ф(0 при т1 = 0,4286, т2 = 0,1429 и ц0х1, изменяющемся с шагом 0,5 в интервале от 0 до 2,5.
Рис. 1. Функция ф(Г)
Заметим, что эффект остановки процесса рождения-гибели с вероятностью 1 не имеет места для однородного процесса, когда интенсивности постоянны (равны V ц0), потому что для однородного процесса
Ф(() =1 - ехр(-ц 0 ^ - )> 0 при любых конечных t > t0, так что уравнение ф(0 = 0 корней не имеет. Процесс останавливается только при случайном достижении состояния 0, но при этом Р0(* Ф 1. Таким образом, однородный процесс рождения-гибели не является финитным.
2. Математическая модель статистического ансамбля неоднородных процессов рождения и гибели с монотонно убывающими интенсивностями
Рассмотрим теперь статистический ансамбль неоднородных процессов рождения и гибели. Ансамбль характеризуется случайными моментами t0 возникновения каждого процесса рождения-гибели, а каждый из процессов рождения-гибели - случайными значениями параметров интенсивностей потоков рождения и гибели. Будем в дальнейшем предполагать, что интенсивности процессов рождения и гибели монотонно уменьшаются со временем t по экспоненциальному закону (19) от начальных значений Х и ц0 в момент времени t = t0 до нуля при t ^ да с постоянными времени Т1 и т2 соответственно. Тогда каждый процесс рождения-гибели в ансамбле будет характеризоваться условным распределением вероятностей (15) с пятью случайными параметрами t0, Х0, ц0, ть т2. Распределение вероятностей состояний ансамбля таких процессов рождения и гибели в каждый момент времени t получается усреднением выражения (15) по распределениям указанных пяти параметров:
£ да да да да
Рп (() = I¿£0 I¿Х0 I¿Ц0 IIРп (( I £0, х0, Ц0, Т1,12 Ы(0, х0, Ц0, т15 т2 ), -да 0 0 0 0
где Рп (I t0, Х 0, М^ Т2 ) представляется формулой (19), а p(to, х0,ц0, Т2 ) - плотность совместного распределения вероятностей параметров £0, Х0, ц0, Т1, т2.
Предположим, что моменты £0 возникновения событий, порождающих процессы рождения-гибели, образуют однородный пуассоновский поток независимых редких событий. Тогда параметр £0 в бесконечном ансамбле таких процессов будет распределён на полуоси (-да, £) равномерно. Естественно считать его статистически независимым от остальных параметров. Остальные четыре параметра Х0, ц0, XI, т2 также можно принять статистически независимыми. Однако при некоторых соотношениях между этими параметрами ненулевые состояния процесса рождения-гибели могут оказаться невозможными.
Во-первых, для ненулевой вероятности ненулевого состояния процесса рождения-гибели необходимо, чтобы в момент времени £ была положительной функция с(£), определяемая выражением (18) и входящая множителем в выражение (15) для функции распределения состояния процесса рождения-гибели. Следовательно, должна быть положительной функция ф(£), определяемая выражением (20) при экспоненциальных спадах (19) интенсивностей процессов рождения и гибели. Как видно из анализа поведения во времени функции ф(£) (рис. 1), для этого требуется выполнение неравенства
Ц 0 Т1 > 1. (21)
Во-вторых, для финитного процесса рождения-гибели с экспоненциально убывающими интен-сивностями полное (за всё время жизни процесса) среднее число О^да) событий рождения и полное среднее число О2(да) событий гибели являются конечными. Поскольку в финитном процессе рождения-гибели ненулевые состояния с вероятностью 1 поглощаются за конечное время его жизни, естественно потребовать равенство этих средних:
да да
О = О1 (да) = 02(да), О1 (да)= = Х0т1 , 02(да)= = ц0т2 , Х0т1 = ц0т2 = О . (22)
£0 £0
Получили два уравнения связей, позволяющих исключить переменные т^ т2 через переменные Х0, ц0 и новую переменную О:
Т1 = О/ X 0, 12 = О/ Ц 0. (23)
Тогда неравенство (21) примет вид ограничения на переменную О:
О >Х0/Ц0. (24)
Это значит, что при нарушении этого неравенства ненулевые состояния процесса рождения-гибели становятся невозможными.
В-третьих, чтобы разность процессов рождения и гибели с учётом (22) и (23) была в среднем неотрицательной, необходимо, чтобы
X0 > Ц0 . (25)
Это условие можно проиллюстрировать графически. На рис. 2 представлены изменения во времени среднего накопленного к моменту £ числа О\(£), О2(£) событий процессов рождения и гибели,
( ( + + \\ £ ( ( + + \\
1 - ехр
£ - £0
^2 /
О1 ()= I х(()й£ = X0т1 1 - ехр--— , О2 ()= I ц(()й£ = ц0т2
£0 V V /у
а также их разности О\(£) - О2(£) при выполнении условий (22) и соотношений (23).
Видно, что разность О^) - О2(£), выражающая среднее состояние процесса рождения-гибели (среднее число «живущих» событий), при Х0 > ц0 сначала быстро возрастает, достигает максимума, а затем медленно уменьшается, оставаясь неотрицательной величиной. Если бы неравенство было противоположным, разность стала бы отрицательной, а это невозможно, так как означало бы, что среднее число погибших элементов потока рождения-гибели превышает среднее число рождённых элементов. Следовательно, при нарушении неравенства (25) ненулевые состояния процесса рождения-гибели становятся невозможными.
Рис. 2. Динамика среднего состояния процесса рождения-гибели при О = 15, = 3, ц0 = 1 (Яо > Ц0)
Таким образом, вместо четырёх параметров Х0, ц0, т1, т2 при нахождении безусловного распределения состояний процесса рождения-гибели можно обойтись тремя: ц0, О. С учётом естественной неотрицательности параметров ц0, О ограничения (24)-(25) определяют область возможных значений этих параметров при усреднении условного распределения:
t да ^0 да
Рп(()= IР((0К) IКХ0 IФ0 I• Рп(( I t0,Х0,Мчьо)Р(х0,Мчь(26)
-да 0 0 X 0/ ц0
Условное распределение Рп((| t0,X0,ц0,О) представляется выражением (15) с входящими в него функциями а(0, Ъ^), с(0, определяемыми выражениями (10) с учётом (19) и (23).
3. Математическая модель скрытого марковского процесса рождения и гибели и её идентификация
Статистический ансамбль неоднородных марковских процессов рождения-гибели со случайными параметрами при неизвестных распределениях параметров представляется скрытым марковским процессом рождения-гибели. Этот процесс наблюдаем, тогда как его параметры являются ненаблюдаемыми случайными величинами. Возникает вопрос, при каких распределениях параметров наблюдаемый процесс рождения-гибели имеет теоретическое распределение вероятностей состояний, максимально близкое к эмпирическому распределению?
Задача отыскания наилучшей статистической оценки распределения р(^0, ц0, О) по наблюдаемому эмпирическому распределению {Рпэ(0, п = 1,2,...,Л}, где N - максимальное наблюдаемое в эмпирическом распределении значение п, является задачей статистической идентификации наблюдаемого скрытого процесса рождения-гибели и сводится к минимизации по р(^0, Ц0, О) расхождения между теоретическим распределением (26) с ядром (15) и эмпирическим распределением. Для корректного решения этой задачи можно использовать известные методы тихоновской регуляризации.
В качестве критерия идентификации (критерий близости распределений) целесообразно выбрать логарифмический среднеквадратический критерий вида
1 N
J =—Z
N n=i
(log Pn (t) - log Рпэ (() ^
2
^ min . (27)
log Рпэ ( )
Логарифмическая форма критерия удобна в случае больших (на несколько порядков) различий значений фигурирующих в критерии распределений при разных п.
Минимизация (27) с вычислением многомерного интеграла (26) представляет определённые вычислительные трудности, связанные, прежде всего, с преодолением некорректности и большим объёмом вычислений. Уменьшить число вычислений можно, заменяя интегралы суммами со сравнительно
небольшими (приемлемыми с вычислительной точки зрения) числами слагаемых. При этом, естественно, снижается точность вычислений. Опуская детали вычислительной схемы, приведём результаты вычислений оптимальных значений теоретической функции распределения Рп ор1(0, максимально приближенной к эмпирическому распределению Рпэ(£) по критерию (27).
4. Идентификация математической модели скрытого неоднородного марковского процесса рождения и гибели по эмпирическому распределению полисемии языка А.С. Пушкина
В качестве эмпирического распределения Рпэ возьмём распределение Рп Ршщп полисемии слов языка А.С. Пушкина [6]. В двойном логарифмическом масштабе это распределение представлено на рис. 3 тонкой кривой. Полужирной кривой показано оптимальное распределение Рп ^(0, вычисленное с использованием критерия (27) для некоторого фиксированного момента времени £ без усреднения по £0 в (26) (£0 взято равным 0). Диапазоны значений параметров, на которых вычислялись их распределения: О - от 10 до 20 с шагом 0,5; Х0 - от 0,1 до 6,1 с шагом 0,5; ц0 - от 0,1 до 5,1 с шагом 0,5. Из рис. 3 видно хорошее согласие теоретического распределения с эмпирическим (достигнутый уровень значимости р = 0,9971 по критерию Колмогорова-Смирнова), что свидетельствует о возможности моделирования процесса развития полисемии языковых знаков скрытым марковским процессом рождения-гибели.
Е = = = = =!= \ : : : : : : : .....
------1---\ -1--Г-1-ГГГ1------I---1---1--[-rrtt
;EEEEEIEEEEE3 Е SSEE EIEEEEEEEEEEEEEIEEEEIEI : ziz :
------1---l---I - T -ЧЧ Г TTl------I---T---1--[-ГТТТ
= = = = = =l = = = t = d = ± = l= t a± t = = = = = l= = = ± = d = d = t ± i ±
ZIZ ZZCZZZZZIZZ Iflc ZZZZZZIZZZZZZIZZZZTZZ ------1---I---|~Т~ГГ T or-----I---T---|~"1~ГТТТ
Рис. 3. Теоретическое распределение вероятностей состояний Pn opt неоднородного процесса рождения и гибели и эмпирическое распределение вероятностей Pn ршщп значений полисемии языка А.С. Пушкина
Заключение
В работе выдвинута и подтверждена экспериментальными данными гипотеза о возможности математического моделирования процессов развития полисемии знаков естественного языка скрытыми нестационарными финитными марковскими моделями рождения и гибели. Получена аналитическая форма условного распределения вероятностей такого процесса при экспоненциально спадающих интен-сивностях процессов рождения и гибели. Предложен критерий идентификации скрытой модели. Проведено приближённое численное решение задачи идентификации модели и вычислено безусловное одномоментное теоретическое распределение полисемии, соответствующее эмпирическому распределению полисемии языковых знаков словаря А.С. Пушкина. Получено хорошее согласие теоретического и экспериментального распределений полисемии.
ЛИТЕРАТУРА
1. Поддубный В.В., Поликарпов А. А. Диссипативная стохастическая динамическая модель развития языковых знаков // Компьютерные исследования и моделирование. 2011. Т. 3, № 2. С. 103-124.
2. Poddubny V.V., Polikarpov A.A. Stochastic Dynamic Model of Evolution of Language Sign Ensembles // Methods and Applications
of Quantitative Linguistics. Selected papers of the 8th International Conference on Quantitative Linguistics (QUALICO) / ed. by Ivan Obradovic, Emmerich Kelih and Reinhard Kohler. Belgrade, 2013. P. 69-83.
3. Poddubnyy V., Polikarpov A. Evolutionary Derivation of Laws for Polysemic and Age-Polysemic Distributions of Language Sign
Ensembles // Recent Contributions to Quantitative Linguistics / ed. by A. Tuzzi, M. Benesova, J. Macutek. Walter de Gruyter GmbH, 2015. P. 115-124.
4. Поликарпов А. А. Модель жизненного цикла знака: К теоретическим основаниям исторической лексикологии и дериватоло-
гии // Славянская лексикография / ред. М.И. Чернышева. М. : Азбуковник, 2013. С. 679-702.
5. Fisz M. Probability Theory and Mathematical Statistics. New York ; London ; Sydney : John Wiley & Sons, 1967. 680 p.
6. Словарь языка Пушкина : в 4 т. 2-е изд., доп. / отв. ред. В.В. Виноградов ; Российская академия наук. Ин-т рус. яз. им.
В. В. Виноградова. М. : Азбуковник, 2000.
Поддубный Василий Васильевич, д-р техн. наук, профессор. E-mail: [email protected] Томский государственный университет
Поступила в редакцию 1 апреля 2016 г.
Poddubny Vasiliy V. (Tomsk State University, Russian Federation).
On the possibility of mathematical modelling of the evolution of the polysemy of natural language signs with using of non-stationary birth-death processes.
Keywords: heterogeneous process of birth and death; hidden Markov model; model identification; language sign; polysemy. DOI: 10.17223/19988605/36/5
We consider the possibility of mathematical modeling of the evolution of polysemy of ensemble of signs of natural language by means of non-stationary processes of birth and death. We showed that an adequate mathematical model of polysemy of ensemble of signs might be built on the base of hidden non-stationary model of the birth and death processes of the meanings of linguistic signs. We assume exponential decay of the intensities of the processes of birth and death:
x(() = Xo exp(- (t - to )/Ti ), |(t) = ^o exp(- (t - to )/t2 ), where t is the current time; t0 is the time moment when the sign appears in the ensemble; X0, are the initial values of intensities of the processes of birth and death; t1 = G / X0, t2 = G / are time decay constants of intensities, and G is the average number of meanings, which the sign may birth and lose during his life:
to TO
G = jX(()dt = X0t1 , G = j|(()dt = |0t2 .
We received the conditional (with fixed parameters t0, X0,
Pn (t|S) = exp —-0-(1 - b (t)) (1 - b (t))'
where
)
^o, G) probability distribution of states n of this process: ,-k^< ■ 1 ^ i и(Л \k
c (t)n-k Г (a (t) +1) ( b (t)
k=0 k !(n - k )!r(n0a (t)-k +1) 1 -b^^^
b(() = expf- jц(()dt^ , c(()=V(t).
In the hidden model of the statistical ensemble of processes of birth and death the parameters t0, X0, G of each individual process (of each linguistic sign) randomly vary in relation of each to other, subject to certain distribution laws. Under the assumption of a Poisson distribution of the flow of signs, the distribution density of the parameter t0 can be considered as uniform on a large enough time interval, while the distributions of parameters X0, G are unknown. Unconditional probability distribution Pn(t) of the state n of an ensemble of the processes of birth-death (of the polysemy of an ensemble of signs) at moment t is the mathematical expectation of the conditional distribution Pn(t|0) over the distribution of parameters t0, X0, G.
We have solved the task of estimation of the parameter distributions (for identifying of hidden model) according to the empirical polysemy distribution Pne obtained from a representative dictionary, with the subsequent calculation of the optimal theoretical distribution Pn(t). As an identification criterion (criterion of proximity of distribution), we select a logarithmic RMS criterion of type:
J
J=± z
n0 n=1
log Pn (t) - log Рпэ (t) log Рпэ (()
у
^ min
convenient for large (several orders of magnitude) changes in distributions for different n. The criterion was implemented on example of using of the dictionary of Pushkin's language. We obtain a good agreement of distributions Pn(t) and Pne that confirms the possibility of using of hidden mathematical model of non-stationary process of birth-death for the simulation of polysemy evolution of the ensemble of signs of natural language.
REFERENCES
1. Poddubnyy, V.V. & Polikarpov, A.A. (2011) Dissipative Stochastic Dynamic Model of Language Signs Evolution. Komp'yuternye
issledovaniya i modelirovanie - Computer Research and Modeling. 3(2). pp.103-124. (In Russian).
2. Poddubny, V.V. & Polikarpov, A.A. (2013) Stochastic Dynamic Model of Evolution of Language Sign Ensembles. Methods and
Applications of Quantitative Linguistics. Selected papers of the 8th International Conference on Quantitative Linguistics (QuALICO). Belgrade. pp. 6983.
3. Poddubnyy, V. & Polikarpov, A. (2015) Evolutionary Derivation of Laws for Polysemic and Age-Polysemic Distributions of Lan-
guage Sign Ensembles. In: Tuzzi, A., Benesova, M. & Macutek, J. (eds) Recent Contributions to Quantitative Linguistics. GmbH: Walter de Gruyter. pp. 115-124.
4. Polikarpov, A.A. (2013) Model' zhiznennogo tsikla znaka: K teoreticheskim osnovaniyam istoricheskoy leksikologii i derivatologii
[Model of the Sign Life Cycle: To the Theoretical Foundations of Historical Lexicology and Word Formation]. In: Chernysheva, M.I. (ed.) Slavyanskaya leksikografiya [Slavic Lexicography/. Moscow: Azbukovnik. pp. 679-702.
5. Fisz, M. (1967) Probability Theory and Mathematical Statistics. 3rd ed. New York-London-Sydney: John Wiley & Sons.
6. Vinogradov, V.V. (ed.). (2000) Slovar' yazyka Pushkina: v 4 t. [Dictionary of Pushkin's Language: in 4 vols]. 2nd ed. Moscow:
Academy of Sciences of the USSR, Azbukovnyk.
