Применение методов частотного анализа при создании программ для прогнозирования новостного потока Текст научной статьи по специальности «Экономика и бизнес»

УДК 004.023

Д.М. Августинов

ПРИМЕНЕНИЕ МЕТОДОВ ЧАСТОТНОГО АНАЛИЗА ПРИ СОЗДАНИИ ПРОГРАММ ДЛЯ ПРОГНОЗИРОВАНИЯ НОВОСТНОГО ПОТОКА

D.M. Avgustinov

APPLICATION OF FREQuENCY ANALYSIS METHODS FOR NEwS STREAM MARKET FORECASTING COMPuTER PROGRAMMS

Исследованы и классифицированы основные методы прогнозирования. Изучены основные подходы к построению прогноза на фондовом рынке. Предложен алгоритм прогнозирования финансовых рынков, основанный на методах частотного анализа, а также приведены результаты исследования, полученные с помощью программы на языке Java. В качестве входных данных использованы прогнозы аналитиков фондового рынка. С помощью методов экстраполяции рассчитаны прогнозные оценки исследуемого временного ряда.

ЧАСТОТНЫЙ АНАЛИЗ; ПРОГНОЗИРОВАНИЕ; ВРЕМЕННОЙ РЯД; ФИНАНСОВЫЙ РЫНОК; СЕМАНТИЧЕСКИЙ АНАЛИЗ.

The article covers the research of existing forecasting methods and its classification. Basic principles of analysis and forecasting of stock markets are researched Algorithm of forecasting financial markets based on the frequency analysis is studied in the article. The results of the research obtained with the program in Java are presented. Forecasts of stock market analysts are used as an input. Forward-looking statements of studied time series are calculated with a help of extrapolation methods.

FREQUENCY ANALYSIS; FORECASTING; TIME SERIES; STOCK MARKET; SEMANTIC ANALYSIS.

Финансовый рынок, основную составляющую которого представляет рынок ценных бумаг вместе с рынками банковских ссуд и валюты, в свою очередь вместе с товарным рынком и рынком рабочей силы является системообразующим звеном всего народнохозяйственного рынка [1]. Задачу построения прогноза на финансовом рынке решают тысячи аналитиков по всему миру. От точности их прогноза зависит стабильность экономической системы и объем сбережений миллионов граждан. По данным ресурса туезйипбз. га на 30 сентября 2013 г. в России стоимость чистых активов (СЧА) управляющих компаний составляет почти 100 млрд руб. СЧА самой крупной — «Сбербанк Управление Активами» — составляет 23,3 млрд руб. Ежедневно информационные ресурсы публикуют аналитические отчеты квалифицированных

специалистов крупнейших инвестиционных компаний. Оперативно изучить их все не представляется возможным, т. к. ситуация на рынке стремительно меняется. В данной статье описывается метод, позволяющий автоматизировать обработку большого объема информации из аналитических статей для получения прогноза.

Обзор методов прогнозирования и основные проблемы

Основные понятия. При анализе методов прогнозирования в настоящей статье будут использоваться следующие основные понятия [3]:

прогноз — обоснованное суждение о возможном состоянии объекта в будущем или альтернативных путях и сроках достижения этих состояний;

Рис. 1. Классификация методов и моделей прогнозирования

модель прогнозирования — модель объекта прогнозирования, исследование которой позволяет получить информацию о возможных состояниях объекта прогнозирования в будущем и (или) путях и сроках их осуществления;

метод прогнозирования — способ исследования объекта прогнозирования, направленный на разработку прогноза. Методы прогнозирования являются основанием для методик прогнозирования.

В настоящее время существует более 200 методов прогнозирования, однако на практике используется не более десяти. Среди них фактографические (экстраполяция, интерполяция, тренд-анализ), экспертные (в т. ч. опрос, анкетирование), публикационные (в т. ч. патентные), цитатно-индексные, сценарные, матричные, моделирования, аналогий, построения графов и т. д. Наглядная классификация методов и моделей прогнозирования представлена на рис. 1.

Наиболее распространенными методами (свыше 90 % всех сделанных в мире прогнозов) являются экспертиза и фактографические методы. Популярен метод аналогий. Методы линейного программирования, построение циклов (Н.Д. Кондратьев) широко используются в науке [4].

Характеристика методов прогнозирования

развития рынка ценных бумаг. Наиболее известный метод, основанный на обработке множества экспертных суждении, — метод Дельфи. Суть метода состоит в анонимном анкетировании экспертов в три-четыре тура. На каждом последующем туре экспертам сообщаются результаты анкетирования и предлагается изменить свое решение. Операции повторяются, пока не будет достигнута согласованность между экспертами или не будет установлено отсутствие единого мнения по проблеме. К недостаткам метода относятся большие затраты времени и средств на каждый этап получения ответов, а также на подготовку статистических результатов.

Также большую популярность набирают консенсус-прогнозы. Центр развития Национального исследовательского университета Высшей школы экономики ежеквартально публикует бюллетень консенсус-прогнозов, основанный на опросе экспертов: опрашивается около тридцати респондентов и формируется консенсус-прогноз по некоторому стандартному набору показателей. В результате ежеквартально публикуется новый прогноз семнадцати социально-экономических показателей (реальный ВВП, номинальный ВВП, объем промышленного производства, оборот розничной торговли, инвестиции в

основной капитал и т. д.)

Компания РосБизнесКонсалтинг (РБК) также формирует консенсус-прогнозы по основным экономическим показателям. Они построены как среднее арифметическое и медиана прогнозов различных российских и зарубежных инвестиционных компаний и брокерских домов, таких, как HSBC, UBS, Raiffeisen Bank, The Wold Bank, IMF, Bank of America Securities&Merrill Lynch, Deutsche Bank, Сбербанк России, Тройка Диалог, Ренессанс Капитал, Юни-КредитСекьюритиз, Банк Москвы и др. [7]

Данные прогнозы весьма востребованы, однако период обновления составляет, как правило, три месяца, а список показателей ограничен, что не позволяет сформировать прогноз по узкой тематике.

В табл. 1 приведена характеристика наиболее популярных методов построения

прогноза на фондовом рынке [2].

Построение прогноза на основании методов частотного анализа

Предлагаемый метод прогнозирования состоит из следующих этапов:

1. Определение области для прогнозирования.

2. Сбор статей на заданную тематику при помощи экспертного суждения или методов автоматической классификации текстов.

3. Процедура нормализации текстов.

4. Получение частотной характеристики (вектора) каждой статьи (координаты точки в N мерном пространстве) в различные промежутки времени (от 1 до Т ).

5. Формирование базиса частотных характеристик.

6. Экстраполяция полученных значений координат векторов для нахождения коор-

Таблица 1

Сравнительная характеристика методов прогнозирования развития рынка ценных бумаг

Название метода Исходная информационная база Способы и приемы осуществления Форма конечного результата

Экспертный Личные мнения экспертов, коллективная экспертная оценка Опрос, интервью, анкетирование Экспертная оценка

Аналитический Сведения СМИ, ФКЦБ, региональных отделений ФКЦБ Сравнительный анализ Аналитические расчеты

Исторической аналогии Исторические сведения Установление аналогий Сценарий развития рынка ценных бумаг

Экономико-математическое моделирование Данные фундаментального анализа Расчет экономико-математических зависимостей Модель

Статистический Данные статистической отчетности Расчет индексов, корреляции, регрессии, дисперсии, вариации, ковариации Фондовые индексы, корреляционно-регрессионная зависимость

Графический Данные технического анализа Построение графиков Тренды

Программно-целевой Данные органов статистики, экспертов, аналитиков о состоянии рынка ценных бумаг Определение цели, построение дерева целей и дерева ресурсов Программа

динат системы в момент времени Т + 1;

7. Интерпретация полученной экстраполяции в виде прогноза.

Определение области прогнозирования. Первый этап алгоритма — это определение того параметра или свойства системы, поведение которых мы будем исследовать. Алгоритм главным образом адаптирован для сферы экономики, однако изменение нескольких параметров позволит использовать его и для других областей. Например, в качестве возможных объектов для прогнозирования может быть выбрано направление тренда биржевого индекса или цены акций отдельного эмитента.

Подбор статей для построения прогноза. На втором этапе необходимо собрать достаточное количество аналитических статей по исследуемому объекту. Разумеется, с ростом числа статей точность прогнозирования будет расти. Стоит отметить, что одному временному промежутку, как правило, соответствует несколько статей. В этом случае статьи объединяются и рассматриваются как одно целое. Многие информационные ресурсы публикуют аналитические прогнозы по графику. Например, компания РБК публикует недельный обзор мировых рынков каждый понедельник. Набор статей можно собрать вручную, например, отбирая периодические (недельные, месячные, квартальные) обзоры биржевых аналитиков на заданную тематику. При необходимости этот процесс можно автоматизировать. На сегодняшний день существует большое количество программ для поиска статей по заданной тематике. Также необходимые статьи можно получить на сайте Яндекс Новости, где возможен поиск по основным новостным финансовым ресурсам.

Нормализация. Алгоритм нормализации позволяет убрать из текста информацию, которая не несет смысловой составляющей. Это означает, что из текста удаляются служебные части речи: предлоги, междометия, союзы и т. д. Также удаляются стоп-слова. Под стоп-словами также понимаются часто употребительные вспомогательные слова, по отдельности не несущие смысловой нагрузки. Примером стоп-слов могут служить:

отдельно стоящие знаки препинания (. , / ? ! ; : ( ));

цифры (0, 1, 2, 3, 4 и т. д.); отдельно стоящие буквы алфавита (а, б, в, г, д, е, ... , я);

слова, являющиеся мусорными, по мнению пользователя.

Оставшиеся слова приводятся к своей нормальной словарной форме. Для этого может использоваться алгоритм леммати-зации.

Лемматизация — процесс приведения словоформы к лемме — ее нормальной (словарной) форме. Данный процесс возможен с использованием специального словаря, в котором различным словоформам сопоставляются соответствующие леммы.

В русском языке нормальными формами считаются следующие морфологические формы:

для существительных — именительный падеж, единственное число;

для прилагательных — именительный падеж, единственное число, мужской род;

для глаголов, причастий, деепричастий — глагол в инфинитиве.

Примеры: домами — дом; известных — известный; смотрел — смотреть.

Частотные характеристики. На третьем этапе используются частотный анализатор и системный словарь для вычисления частотной характеристика входной статьи.

Частотный анализатор использует метод частотного анализа для анализа текстов естественных языков. На выходе он показывает частоту упоминаний слов в тексте. Перед подсчетом частотной характеристики все слова проходят процедуру нормализации. Для этого каждое слову t. из текста Т = t1t2t3...tk заменяется соответствующей ему лексемой s. из словаря S. Из текста удаляются служебные части речи и стоп-слова для уменьшения шума. Таким образом получим текст ТЫ = з^^у.л.

Затем определим для каждого слова s. из текста ТЫ его частоту вхождения V. в данный текст ТЫ. Частотная характеристика — это вектор V = (v1, ..., vn)eV, длина которого равна количеству различных лексем в тексте ТЫ, каждая компонента V. — целое неотрицательное число.

Частотную характеристику v можно рассматривать как точку в пространстве размерности V, соответствующую тексту Т. Таким образом, на входе имеем текст T и словарь S, а на выходе — точку в пространстве V.

Анализируя новостной фон по интересующей тематике, последовательно через равные промежутки времени будем получать частотные характеристики статей и заносить их в базу данных. Получив п необходимых векторов, сформируем базис.

Базис частотных характеристик. После проведения процедуры нормализации и получения частотных характеристик текстов мы получим множество векторов в многомерном пространстве. Размерность пространства у большинства векторов разная, т. к. у текстов разное количество лексем. Различается и состав лексем. Таким образом, полученные векторы являются разнородными, что затрудняет выполнение экстраполяции по их координатам. Следует привести векторы к одной размерности и одинаковому составу лексем. Для этого введем понятие базис частотных характеристик.

Мы имеем N векторов вида V = vn) е V, длина которых равна количеству различных лексем в тексте Тп. Сделаем сортировку лексем по частотности в каждом векторе. Получим векторы вида V = V )е V, где V > V ,,.

п' ' ^ п п+1

Определим длину базисного вектора, равную М. Возьмем М самых частотных лексем из каждого вектора, снова отсортируем их между собой и выделим (( наиболее частотных из этого множества. Получим вектор Ь = (Ь1, ..., Ь?)е ( Данный вектор Ь — базис частотных характеристик.

Далее получим разложение по данному базису каждой частотной характеристики. Получим новые векторы р1 одинаковой размерности ( .

Данный алгоритм можно отнести к разновидности Латентно-семантического анализа (ЛСА). Метод представляет собой алгоритм обработки информации на естественном языке [9]. Часто применяется для классификации текстов путем извлечения

контекстно-зависимых значении лексических единиц при помощи статистической обработки больших объемов текстов [8].

Экстраполяция полученных результатов. Затем выполним экстраполяцию по полученным координатам. На практике были исследованы следующие методы: линейная аппроксимация; многочлен Лагранжа; кубический сплайн.

Для этого провели исследование на различных комбинациях статей. Размерность множества входящих статей не превышала десяти. Данная размерность обусловлена тем, что аналитические прогнозы, как правило, строятся не более чем на квартал, а за это время по отдельному эмитенту выходит не более десяти промежуточных аналитических статей от одного источника.

Линейная аппроксимация. Построим линейный аппроксимирующий полином для полученных данных. Для этого используем Метод наименьших квадратов (МНК). В качестве параметра x возьмем номер периода изучаемой статьи. В качестве параметра y — значение лексемы из частотной характеристики соответствующей статьи. Таким образом, опишем зависимость y от x уравнением вида P( x) = a0 + axx.

Найдем неизвестные коэффициенты ao и a1 по МНК:

n

F = £(>, - ao - aх )2 ^ min

dF n

= -2Z^y - a0 - а1 xi)! = 0

дао Ы

dF n

= -2Z(y- ao- aixi )xi =

dai i=1

n n

Zy- aon - ai Zxi =0

i=1 i=1

n n n

Zyxi) - ao Zx- ai Zx2 =0.

1 i=1 i=1

n n

aon + a1 Zx = Z

i=1 i=1

n n n

ao Zx + a1 Zx2 = Z( yx).

i=1 i=1

i=1

Решим систему уравнений и выразим коэффиценты

Z у Z;

i=1 i= 1

n n

Z ■х.-) Zх

n Z;

i=1

n

Zх Zх

i=i i=i

n

Z у 'Zх2-Z xi 'Z(У ■х.-)

i=1 i=1

х? -IZ

n Z У

i=1

n n

Z xi Z(у ■ х-)

n ь

i=1

n

Z х Zх

i=1 i=1

n

( у* • Х- )-Z х 'Z У*

i=1 i=1

■Z х2-IZ

Получив коэффиценты a0 и a1, можно найти уравнение искомой прямой. Подставив в него значение х в период T + 1, получим результат экстраполяции частоты леммы из частотной характеристики

В результате при помощи методов экстраполяции можно получить координаты точки в момент времени T + 1. Выполнив экстраполяцию по всем словам из базиса, мы получим частотную характеристику прогнозируемого новостного фона.

Пример использования алгоритма

В качестве объекта исследования возьмем поведение биржевого индекса Dow Jones.

Для этого исследуем еженедельный об-

зор мировых рынков аналитиков компании РБК с 6 мая 2013 г. по 17 июня 2013 г. и попробуем предсказать новостной фон на 24 июня 2013 г. В выбранный промежуток времени было опубликовано семь статей. Оценив их экспертным путем, можно убедиться, что все они описывают состояние мировой экономики и наиболее важные события, влияющие на нее. При помощи нашей программы составим частотную характеристику каждой статьи и затем найдем базис. Получим следующий список слов: год, данный, квартал, США, рост, пункт, март, уровень, ВВП, объем, Германия, экономика, нефть, рынок.

Далее получим разложение частотных характеристик каждой статьи по данному базису и выполним аппроксимацию по каждой из них с помощью линейной аппроксимации. Получим следующую таблицу (табл. 2).

Каждый столбец соответствует разбиению отдельной статьи по найденному базису. В столбце за 24 июня показаны результаты разложения статьи, данные которой мы предсказываем. В столбце «Значение» показаны результаты экстраполяции на основании частот первых семи статей. Таким образом, сравнивая реальные результаты частот статьи за 24 июня с полученными нами, можно посчитать точность вычисления, которая представлена как относительная погрешность.

Затем, используя полученные данные, построим прогноз. Наиболее ценную информацию для нас представляют слова рост и объем. Результат аппроксимации по слову рост составляет 0,0141, что немного больше среднего значения (0,0139) по данному слову среди семи исследуемых статей. Можно сделать вывод, что в прогнозе 24 июня будет преобладать положительный фон, т. к. слово рост будет часто использоваться в связке с такими словами, как объем, уровень, ввп, экономика. Если бы в базисе присутствовали такие слова, как конкуренция, затраты, издержки, то сделать однозначный вывод было бы сложно, однако ввиду их отсутствия можно говорить о

Таблица 2

Таблица частотных характеристик статей и результатов прогнозирования

Об.май 13.май 20. май 27.МЭЙ ОЗ.июн 10. и юн 17.ИЮН 24. и юн

1 2 3 4 5 6 7

ГОД 0,033557 0,021452 0,044082 0,018839 0,018032 0,019447 0,015572 0,0159

данный 0,012813 0,009488 0,018687 0,011118 0,010756 0,01479 0,01359 0,00936

квартал 0,003051 0,003713 0,01677 0,007721 0,006327 0,008217 0,004813 0,0019

сша 0,009152 0,007838 0,007187 0,011427 0,01392 0,015886 0,014439 0,0157

рост 0,011592 0,015677 0,013896 0,015133 0,014869 0,012051 0,014156 0,0085

пункт 0,014033 0,013614 0,006229 0,015133 0,013287 0,014517 0,010476 0,0168

март 0,012203 0,009076 0,014854 0,002162 0,002847 0,003835 0,004813 0,00082

уровень 0,014643 0,007838 0,00575 0,004015 0,004429 0,0063 0,005379 0,0071

ВВП 0,004881 0,0033 0,014375 0,004324 0,004429 0,004656 0,001133 0,001378

объем 0,004271 0,014026 0,007187 0,005868 0,004113 0,005478 0,00906 0,0044

германия 0,013423 0,007426 0,006229 0,00525 0,001898 0,001643 0,000849 0,0011

экономика 0,004271 0,011551 0,013416 0,007721 0,010756 0,008217 0,006795 0,00468

нефть 0 0,000413 0 0,008956 0,012654 0,010408 0,009909 0,0096

рынок 0,004271 0,002888 0,000958 0,012353 0,010756 0,007943 0,011608 0,0121

индекс 0,008542 0,009488 0,003833 0,011118 0,009807 0,009039 0,009909 0,0115

ии

Значение Погрешность

0,01242371 21,86%

0,01374943 46,90%

0,00778043 309,50%

0,01693414 7,86%

0,01411243 66,03%

0,01221171 27,31%

0,000733 10,61%

0,00230929 67,47%

0,00266 93,03%

0,00631429 43,51%

-0,00241443 319,49%

0,00871014 86,11%

0,01495871 55,82%

0,01324229 9,44%

0,01013043 11,91%

4

Рис. 2. График индекса Dow Jones с мая по июль 2013 г.

положительном тренде.

Высокую погрешность показали два слова: квартал и Германия. Сильной смысловой нагрузки на исследование тренда эти слова не оказывают, поэтому данное отклонение не повлияет на конечный прогноз. Резкий взлет частотности слова квартал объясняется датой прогнозируемой статьи: 24 июня — конец второго квартала. Этот факт, несомненно, вызовет увеличение использования данного слова в прогнозе аналитика.

Так как прогноз делается на неделю, мы предположим, что прогноз аналитика 24 июня на следующую неделю будет оптимистичным, что говорит о том, что мировой рынок будет находиться в зоне положительных новостей и, как следствие, индексы должны идти вверх.

На рис. 2 представлен график индекса Dow Jones с мая по июль 2013 г.

Как видно на графике, с 24 июня зна-

чение индекса показало устойчивое восходящее движение, что совпало с нашими выводами.

Результаты, полученные с помощью предложенного алгоритма, требуют профессиональной интерпретации для построения прогноза. Конечным результатом является не конкретная рекомендация к действию на финансовом рынке, а выявление неявных тенденций в новостном потоке. Как правило, аналитик финансового рынка старается учесть результаты нескольких подходов к прогнозированию рынка. Например, сопоставление данных фундаментально и технического анализа. Таким образом, компьютерная программа, реализующая предложенный алгоритм, является инструментом, позволяющим эксперту автоматизировать процесс обработки большого количества текстов.

Рассмотренный пример оказался удач-

ным с точки зрения результатов прогнозирования. Однако не всегда результаты можно столь однозначно интерпретировать. Нахождение в базисе слов, по смысловой нагрузке противоположных друг другу (расти и снижение, положительный и негатив и т. д.), существенно усложняет задачу прогнозирования, т. к. нельзя с высокой долей вероятности сказать, к каким смысловым связям они относятся. Эту задачу предстоит или решить в будущем, или хотя бы понять, как интерпретировать подобные результаты и что делать далее.

Важную роль также играет достоверность прогнозов аналитиков, статьи которых используются в исследовании. К примеру, возможна ситуация, когда мы очень точно оценим смысловую нагрузку будущего новостного фона, но рынок поведет себя

иначе из-за заранее трудно предсказуемых событий. Другими словами, прогноз аналитиков окажется неверным.

В данной статье исследован метод построения прогноза состояния финансового рынка с использованием методов частотного анализа на примере статей аналитиков компании РосБизнесКонсалтинг. С этой целью разработан алгоритм анализа текстов, позволяющий строить прогноз о содержании аналитических статей в будущем. В его основе идея рассмотрения аналитических статей в виде частотных характеристик, а также экстраполяция значений частот отдельных слов. Для экспериментальной проверки результатов работы алгоритма разработано программное обеспечение на языке Java.

СПИСОК ЛИТЕРАТУРЫ

1. Мисько О.Н. Рынок ценных бумаг: организация и функционирование. — СПб.: Изд-во СПбГУ, 2001. - С. 91-92.

2. Бердникова Т.Б. Рынок ценных бумаг.

- М.: ИНФРА-М, 2002.

3. Писарева О.М. Методы социально-экономического прогнозирования: учебник.

- М.: ГУУ-НФПК, 2003. - С. 10.

4. Константиновская Л.В. Методы и приемы прогнозирования [электронный ресурс]/ URL: http://www.astronom2000.info/прогнозщирова-ние/mipp/ (дата обращения 01.10.2013).

5. Тузов В.А. Математическая модель языка.

- Л.: Изд-во ЛГУ, 1984.

6. Элдер. А. Как играть и выигрывать на бирже: Психология. Технический анализ. Контроль над капиталом. — 4-е изд., перераб. и доп. — М.: Альпина Бизнес Букс, 2007. — 472 с.

7. Турунцева М.Ю. Прогнозирование в России: обзор основных моделей // Экономическая политика. - 2011. - № 1. - С. 193-202.

8. Landauer Th., Foltz P.W., Laham D. Introduction to Latent Semantic. - 1998. - P. 259-284.

9. Deerwester S., Dumais S.T., Furnas G.W., Landauer Th.K., Harshman R. Indexing by Latent Semantic Analysis // J. of the American Society for Information Science. - 1990. - № 41(6). - P. 391-407.

REFERENCES

1. Mis'ko O.N. Rynok tsennykh bumag: organizatsiia i funktsionirovanie. — St.-Petersburg: Izd-vo SPbGU, 2001. - S. 91-92. (rus)

2. Berdnikova T.B. Rynok tsennykh bumag.

- Moscow: INFRA-M, 2002. (rus)

3. Pisareva O.M. Metody sotsial'no-ekonomicheskogo prognozirovaniia: uchebnik.

- Moscow: GUU-NFPK, 2003. - S. 10. (rus)

4. Konstantinovskaia L.V. Metody i priemy prognozirovaniia. Available http://www. astronom2000.info/nporH03^HpoBaHHe/mipp/ (Accessed 01.10.2013).

5. Tuzov V.A. Matematicheskaia model' iazyka.

- Leningrad: Izd-vo LGU, 1984. (rus)

6. Elder A. Kak igrat' i vyigryvat' na birzhe: Psikhologiia. Tekhnicheskii analiz. Kontrol' nad kapitalom. — 4-e izd., pererab. i dop. — Moscow: Al'pina Biznes Buks, 2007. - 472 s. (rus)

7. Turuntseva M. Iu. Prognozirovanie v Rossii: obzor osnovnykh modelei / Ekonomicheskaia politika. - 2011. - № 1. - S. 193-202. (rus)

8. Landauer Th., Foltz P.W., Laham D. Introduction to Latent Semantic Analysis. - 1998. - P. 259-284.

9. Deerwester S., Dumais S.T. Furnas G.W., Landauer T.K., Harshman R. Indexing by Latent Semantic Analysis / J. of the American Society for Information Science. - 1990. - № 41(6). - P. 391-407.

АВГуСТИНОВ Дмитрий Михайлович — аспирант Санкт-Петербургского государственного университета.

199034, Россия, Санкт-Петербург, Университетская наб., д. 7-9. E-mail: avgustinov@bk.ru

AVGUSTINOV, Dmitry M. St. Petersburg State University. 199034, Universitetskaya emb. 7-9, St.-Petersburg, Russia, E-mail: avgustinov@bk.ru

© Санкт-Петербургский государственный политехнический университет, 2013