Использование обучающей выборки для определения приоритета критериев в рейтинговой системе оценивания научных журналов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.942:005.311.6:025.21

ИСПОЛЬЗОВАНИЕ ОБУЧАЮЩЕЙ ВЫБОРКИ ДЛЯ ОПРЕДЕЛЕНИЯ ПРИОРИТЕТА КРИТЕРИЕВ В РЕЙТИНГОВОЙ СИСТЕМЕ ОЦЕНИВАНИЯ НАУЧНЫХ ЖУРНАЛОВ

О.В. Федорец

Рассмотрена математическая модель автоматизированного рейтингового оценивания научных журналов для поддержки принятия решений в процессе комплектования информационного центра. Для отбора наиболее значимых критериев и определения их приоритета в условиях неполноты данных разработана статистическая методика взвешивания, основанная на использовании обучающей выборки и эталонного критерия. Для вычисления рейтинга научного журнала применен метод анализа иерархий.

Ключевые слова: рейтинг научного журнала, принятие решений, приоритет критериев, статистическая методика, обучающая выборка, метод анализа иерархий, база данных, SQL.

ВВЕДЕНИЕ

Наиболее традиционным результатом многокритериального оценивания в различных областях деятельности служит числовой показатель, именуемый рейтингом. Рейтинги используются для ранжирования банков, корпораций, ценных бумаг, университетов, спортсменов, политических деятелей, стран и т. д. Одному и тому же объекту может быть присвоено несколько рейтингов, характеризующих его с различных сторон.

Научный журнал, как один из важнейших компонентов системы научных коммуникаций, также может быть объектом комплексного рейтингового оценивания, по результатам которого может приниматься решение о включении журнала во входной поток информационного центра, библиотеки, реферативной службы.

Рейтинговая оценка научного журнала, вычисленная автоматически, не может полностью заменить экспертную оценку. При экспертном оценивании целесообразно выдавать эксперту издания в соответствии с предварительно ранжированным списком, а не в случайном порядке. В этом случае экспертную оценку в первую очередь получат те журналы, которые были достаточно высоко оценены автоматизированной системой.

1. ИСХОДНЫЕ ДАННЫЕ И ПОСТАНОВКА ЗАДАЧИ

«Подписка на научный журнал является товаром повышенного покупательского риска: подписываясь на Журнал, подписчик платит деньги за еще не созданную вещь. Как убедить его, что вещь того стоит? Казалось бы, сделать это можно од-ним-единственным способом: взять комплект выпусков журнала за один или несколько лет издания, просмотреть их и экстраполировать в предположении, что Редакционная коллегия будет работать в будущем году, по меньшей мере, не хуже, чем в предыдущие годы. Очевидно, однако, что это «невозможная возможность»: ни один подписчик не будет тратить время на изучение годового комплекта Журнала» [1].

Тем более не в состоянии глубоко изучать научную периодику информационные центры и библиотеки, в поле зрения которых находятся тысячи наименований журналов, поэтому при первичном отборе они ограничиваются формальными признаками.

Даже в организациях, которые могут позволить себе затраты на экспертное оценивание научной периодики, выбор основан на формальных свойствах журнала. Например, в фирме «Thomson Scientific» (США), издающей указатель цитирования «Journal Citation Report» (JCR), ежегодно около

2000 новых журналов анализируются на соответствие основным издательским стандартам: наличие рефератов статей, ключевых слов, информативность названий журнала и публикуемых в нем статей, полная библиографическая информация о цитируемых источниках, адресная информация об авторах. Для изданий, издающихся не на английском языке, принимается во внимание наличие перевода названий, ключевых слов и рефератов статей на английский язык. Уделяется внимание наличию рецензирования статей, своевременному выходу номеров издания, географическому распространению авторов статей и цитируемых ими авторов (т. е. приоритетом пользуются издания международного уровня) [2].

Основными критериям автоматизированной оценки журналов в Библиотеке по естественным наукам РАН служат показатели читательского спроса по различным каналам обслуживания, оценка цитирования и экспертная оценка. Для каждого показателя и канала определяется вес (приоритет), а вычисленный в результате интегральный показатель информативности журнала используется затем для оптимизации распределения денежных средств между тематическими направлениями на основе модели линейного программирования [3].

Во Всероссийском институте научной и технической информации (ВИНИТИ) РАН в 1997— 2002 гг. была разработана и внедрена Автоматизированная система комплектования и регистрации входного потока литературы (АСКР) [4]. В связи с внедрением баз данных и персональных компьютеров в процессы комплектования активизировались и работы по автоматизации комплексного оценивания научных журналов. Наиболее полно проблема оценки качества документального потока (в том числе журналов) была исследована в работе [5], где был предложен метод многофакторной экспертизы для автоматизированной оценки журналов. Основные принципы этого метода в 2004—2006 гг. были реализованы в ВИНИТИ в рамках АСКР.

Одна из основных задач комплектования ВИНИТИ состоит в совершенствовании списка важнейших зарубежных журналов, необходимых для обеспечения подготовки научно-информационных изданий ВИНИТИ с требуемым уровнем отражения зарубежных публикаций и наиболее полного отражения отечественных и русскоязычных журналов [6].

В работе [7] представлен краткий обзор публикаций, посвященных комплексной автоматизированной оценке сериальных изданий (СИ) по множеству критериев. В основу разработанной методики оценивания положен метод анализа ие-

рархий [8], который находит практическое применение в различных сферах, в том числе рейтинговом оценивании [9] и оптимизации распределения ресурсов [10]. Описание метода и примеры его применения в экономической сфере можно также найти в работе [11].

Наиболее объективным показателем влияния, которое журнал оказывает на научное сообщество, выступает импакт-фактор, вычисляемый на основе частоты цитирования журнальных статей и публикуемый в указателе JCR.

Импакт-фактор занимает промежуточное положение между оценкой использования (спроса) и экспертной оценкой научного журнала. Ссылка на публикацию другого автора означает ее реальное использование, потому что далеко не все статьи, встретившиеся ученому, оказываются затем в его пристатейном списке библиографии.

В связи с этим правомерно использовать им-пакт-фактор в качестве эталонного критерия для определения весомости формальных критериев оценки СИ на основе обучающей выборки. Несмотря на изменчивость показателя цитирования во времени, на больших статистических выборках можно получать вполне достоверные результаты.

Конечная цель рейтингового оценивания СИ заключается в получении векторной оценки в виде двух величин: рейтинга качества Якач и рейтинга

спр°са яСПр.

Имея значения Я ^ и Л для каждого СИ,

спр кач

можно получить из базы данных отчеты, выявляющие несоответствия между оценками качества и спроса, что позволяет принимать решения, обеспечивающие ежегодную ротацию списка периодических изданий.

Общий рейтинг СИ было решено вычислять умножением рейтинга спроса на рейтинг качества, т. е.:

Л = Л • Л

общ спр ка

(1)

2. ОЦЕНОЧНАЯ СИСТЕМА И МЕТОДИКА ВЫЧИСЛЕНИЯ РЕЙТИНГА

Структура оценочной системы, которая используется при многокритериальном экспертном оценивании проектов, включает в себя такие важные составляющие, как [12]:

— перечень критериев, характеризующих проект;

— оценка сравнительной важности критериев;

— шкалы для оценки проектов по критериям;

— формирование принципа выбора (решающие правила).

Этот список достаточно универсален, поэтому понятие «проект» можно заменить на «объект», в

качестве которого в данной работе выступает научный журнал.

При наличии скалярного рейтинга принцип выбора заключается в максимизировании суммарного рейтинга отбираемых журналов, учитывая ограничения (на стоимость, число журналов, число статей). Таким образом, задача выбора сводится к однокритериальной оптимизации с множеством ограничений.

Критерии оценки качества научного журнала были разбиты на три группы:

— экспертные критерии оценки;

— формальные критерии оценки;

— оценка цитирования.

Отметим, что такой важный фактор, как «научное рецензирование статей», в оценочной системе не используется, но он используется на предшествующем этапе выявления научных журналов в мировом потоке периодических изданий.

Рецензирование является существенным, определяющим признаком понятия «научный журнал». Это относится и к бумажным, и к электронным журналам [13].

Другой формальный определяющий признак, позволяющий разделить потоки научной и популярной литературы, заключается в наличии в статьях списков библиографии.

Таким образом, рейтинговой оценке подлежат только те издания, которые обладают этими двумя определяющими признаками — наличием сведений о научном рецензировании статей и списками библиографии.

2.1. Оценка сравнительной важности критериев

В связи с тем, что для отбора и взвешивания критерия производятся различные действия над статистическими выборками, сами выборки и действия над ними удобно определять с помощью аппарата теории множеств.

Вначале определим множества J, Е и К:

J — множество индексов, каждый индекс представляет собой целое положительное число, идентифицирующее объект (в нашем случае объектом является научный журнал);

Е — множество допустимых значений эталонного критерия, (допустимым значением будем считать неотрицательное рациональное число); для научных журналов в качестве эталонного критерия был выбран индекс цитирования — «им-пакт-фактор»;

К — множество допустимых значений исследуемого частного критерия: К = Е.

Возрастание значения эталонного критерия означает возрастание предпочтительности объекта или повышение его качества. Выдвигается гипотеза, что более предпочтительному (качественному)

объекту соответствует большее значение частного критерия. Цель исследования критерия — подтверждение или опровержение этой гипотезы, а также определение приоритета критерия по отношению к другим критериям в случае подтверждения гипотезы. Если гипотеза принимается, то частный критерий включается в иерархию критериев, на основе которой строится обобщенный критерий — рейтинг объекта.

Введем тернарное отношение Я, которое является собственным подмножеством декартова произведения множеств J, Е и К, т. е. Я с (J х Е х К).

При этом первый элемент тернарного кортежа является уникальным идентификатором объекта. Следовательно, должно выполняться условие:

уо, е, к) е а, х, у) е *0', е, к) * (/, х, У) ^ О * 0.

Рассмотрим два случая: для булева и количественного значения исследуемого критерия к соответственно.

В первом случае исследуемый критерий к является булевой переменной.

Определим тернарные отношения Я0 и Яр которое назовем соответственно «нулевой» и «единичной» выборкой:

К = {0, 1} ^ Яд = {(', е, кШ, е, к) е Я & к = 0},

К = {0, 1} ^ Я1 = {(', е, к)|(у, е, к) е Я & к = 1}.

Во втором случае исследуемый критерий к — неотрицательная количественная переменная. В этом случае отношения Я0 и Я1 определяются по-другому:

К = {к |к 1 0} ^ Я0 =

= {(/, е, к)|(/, е, к) е Я & к < ¡0,5(К*)},

К = {к |к 1 0} ^ Я1 =

= {(', е, к)К/, е, к) е Я & к 1 ¡о,5(К*)},

где К* — случайная величина, принимающая значение критерия к в упорядоченных парах (у, е, к) е Я, ¡о 5(К*) — квантиль порядка 0,5 случайной величины, кратко именуемый медианой.

Введем дополнительные случайные величины. Обозначим Е0 случайную величину, принимающую значения критерия е в упорядоченных парах (у, е, к) е Я0, т. е. в нулевой выборке. Аналогичным образом обозначим Е1 случайную величину, принимающую значения критерия е в упорядоченных парах (у, е, к) е Я1, т. е. в единичной выборке. Тогда Е0 и Е1 — средние арифметические значения случайных величин Е0 и Е1 соответственно, т. е. выборочные средние.

Величина

Е * = Еі / Е0

(1)

показывает соотношение выборочных средних эталонного критерия в единичной и нулевой выборке.

Чем слабее связь исследуемого критерия с эталонным критерием, тем ближе значение Е* к единице. Далее в § 2.2 описана проверка статистической гипотезы Е1 = Е0.

Зададим отношения 50 и ¿1 следующим образом:

¿0 = {(у, е, к)|^./, е, к) е Я & е < £0;5(Ел)},

5 = {(у, е, к)|(/, е, к) е Я & е 1 ^0 5(Ед)},

где Ек — случайная величина, принимающая значение критерия е в упорядоченных парах (у, е, к) е Я.

Для булева частного критерия «успехом» назовем событие к = 1.

Для количественного частного критерия «успехом» назовем событие к 1 ^0 5(КД).

Тогда число успехов в выборке «эталонный критерий меньше медианы» равно мощности множества |50 п Ях|, а число успехов в выборке «эталонный критерий не менее медианы» равно мощности множества 5 п Ях|.

Величина 5 * показывает отношение числа успехов в выборках 5 и 50:

£ * =

|£і п Яі

|£о п Я1

(2)

Чем слабее связь исследуемого критерия с эталонным критерием, тем ближе значение 5 * к единице. В § 2.2 описана проверка статистической гипотезы |50 п Ях| = 5 п Ях|.

Значение приоритета исследуемого критерия вычисляется как среднее геометрическое величин Е * и 5 *, вычисляемых по формулам (1) и (2):

w

£і п Яі

— I 17* С* — Е1

А/Ео £ п Яі

(3)

Ранжирование критериев по убыванию величины w равносильно ранжированию критериев по убыванию приоритета.

2.2. Отбор критериев по результатам проверки статистических гипотез

В основе разработанного метода статистического взвешивания частных критериев лежат выражения Е1 / Е0 и |£1 п ЯіІ/|£о п Я1| которые используются в формуле (3). Проверяется статистическая гипотеза «более предпочтительному (качествен-

ному) объекту соответствует большее значение исследуемого критерия». Если эта гипотеза принимается, то критерий считается значимым для оценки объекта.

Предлагается использовать для проверки гипотезы два статистических теста. Если в обоих случая подтверждается значимость частного критерия, то он используется для вычисления интегрального показателя (рейтинга) объекта.

Подробное описание обоих тестов можно найти в книге [14], где они названы следующим образом:

1) сравнение двух средних произвольно распределенных генеральных совокупностей (большие независимые выборки);

2) сравнение двух вероятностей биномиальных распределений.

Первый тест используется для проверки гипотезы Е1 = Е0 т. е. о равенстве средних значений эталонного критерия (импакт-фактора) в нулевой и единичной выборках, при конкурирующей гипотезе Е1 > Е0

Второй тест используется для проверки гипотезы |51 п Я1| : |51| = |50 п Я1| : |50|, т. е. гипотезы о равенстве относительных частот успеха в выборках 51 и 50, при конкурирующей гипотезе |51 п Я1| : |51| > > |50 п Ях| : |50|.

Если оба теста отвергают гипотезу о равенстве, критерий считается значимым для оценки объекта. В табл. 1 приведены реальные исходные данные по шести критериям для проверки статистических гипотез. По результатам проверки статистических гипотез все указанные критерии были признаны значимыми.

Критерий «Направляется академикам» выделяется из общего ряда, так как на самом деле он является не формальным, а экспертным показателем. Список журналов, оглавления которых направляются академикам РАН по их личному заказу, регулярно актуализируется. Таким образом, статистическая методика отбора и взвешивания критериев была успешно проверена на показателе, значимость которого изначально не вызывала сомнений.

2.3. Шкалы для оценки журналов по критериям

Значения веса, полученные ранее по формуле (3) и приведенные в табл. 1, позволяют получить ранжированный по важности список критериев, но являются ненормированными величинами. Их нельзя использовать в качестве весовых коэффициентов при вычислении интегрального показателя, так как отношение максимального значения к минимальному слишком мало.

—1£

Таблица 1

Исходные данные для проверки статистических гипотез о значимости критериев оценки

Название частного критерия Нулевая выборка Единичная выборка Число успехов: so = |So n R1|> s1 = |S1 ^ R1l Вес

Rol Eo D(Eo) Ril Eo D(Ei) so si w

Язык текста английский (да, нет) 247 0,742 0,847 4090 1,843 2,648 1960 2130 1,643

У издания есть адрес в Интернете (да, нет) 735 1,423 2,965 3602 1,853 2,503 1675 1927 1,224

Есть Интернет доступ к полному тексту (да, нет) 1581 1,225 2,177 2756 2,098 2,753 1082 1674 1,628

Направляется академикам (да, нет) 3047 1,588 2,309 1290 2,232 3,116 506 784 1,476

Число реферативных служб не менее 23 (да, нет) 2145 1,417 2,379 2192 2,135 2,739 853 1339 1,538

Число служб доставки не менее 6 (да, нет) 2251 1,505 2,524 2086 2,077 2,633 1220 1636 1,360

Примечание. ^05(Er) = 1,101, |S0| = |Sj| = 2168.

Наиболее простой способ увеличить разность — использовать в качестве весового коэффициента уровень относительного прироста, выраженный в процентах. Например, если среднее значение критерия в выборке Л оказалось больше, чем в выборке Б в 1,643 раза, то это означает относительный прирост на 64,3 % по данному критерию.

Универсальный подход к определению весомости критериев в зависимости от предметной области — построение вербально-числовой шкалы для установления соответствия между «относительным приростом» и «относительной важностью». За основу для построения такой шкалы можно взять девятибалльную вербально-числовую шкалу отношений, которая наиболее часто используется в методе анализа иерархий при парном сравнении критериев и объектов относительно критерия [8, 11].

Необходимость построения предметно-ориентированных вербально-числовых шкал определяется тем фактом, что в разных предметных областях значимость относительного изменения показателя на х % может существенно различаться. Например, нельзя считать одинаково значимыми рост инфляции на 15 % в год и естественный прирост населения в стране на те же 15 % в год. Следовательно, трактовка понятий слабая, сильная, очень сильная, абсолютная значимость зависит в первую очередь от самой предметной области, а лишь затем от мнений конкретных экспертов.

Возможность отобразить результаты статистического взвешивания на шкалу, принятую в экспертных оценках, необходима при объединении в одной иерархии критериев, для которых могут

применяться как экспертные, так и статистические методы определения приоритета.

На рисунке представлена иерархия критериев оценки качества СИ в виде ориентированного графа древовидной структуры. Значение веса критерия указано на дуге графа, исходящей из вершины, соответствующей критерию; ГА — группа академиков.

Точно так же на исходящих дугах указаны значения веса для подцелей, т. е. для трех вершин, соответствующих трем видам оценки: экспертной, формальной и цитирования. Самую верхнюю вершину иерархии обычно называют целью или фокусом иерархии [11].

Вес формальных критериев, вносящих вклад в формальную оценку, определен статистически. Экспертным критериям и подцелям присвоен одинаковый вес только в связи с тем, что на данном этапе работы привлечение экспертов для сравнения критериев и подцелей не планировалось.

В данной работе предлагается упрощенный способ установления соответствия между заключением прироста и уровнем значимости прироста некоторого признака. Экспертам достаточно определить значимость превосходства максимального значения прироста над минимальным значением прироста по вербально-числовой шкале отношений.

Это позволяет вычислять значимость прироста автоматически для любых других значений w, лежащих в интервале [minW, maxW], по формуле:

w

(1, ..., s) _ w - min W

max W- min W

(s - 1) + 1, (4)

Иерархия оценки качества научного журнала

где 5 — предпочтительность наиболее приоритетного критерия по сравнению с наименее приоритетным критерием по шкале отношений, i — порядковый номер критерия.

Табл. 2 иллюстрирует получение нормированного вектора приоритета (в последней колонке) с помощью формулы (4) при 5 = 5, что соответствует «существенной или сильной значимости» по шкале отношений. Последняя колонка таблицы представляет собой нормированный вектор-столбец приоритета критериев, т. е.

П

I * I = 1

I = 1

2.4. Рейтинг качества и рейтинг спроса

Рейтинг качества журнала не должен зависеть от таких характеристик, как продуктивность, отражаемость в информационных продуктах, частота зака-

Таблица 2

Статистический приоритет критериев

Критерий / и. (1,5) IV) ’ ’ ’

Язык текста английский 1 1,643 5,000 0,291

Интернет-доступ к полно- 2 6 го 00 4,857 0,283

му тексту

Число реферативных служб 3 1,538 3,998 0,233

Число служб доставки 4 1,360 2,298 0,134

Наличие адреса издания в Интернете 5 1,224 1,000 0,058

зов полнотекстовых копий статей, выдача журнала в библиотеке и т. п. Все перечисленные характеристики относятся к количественной оценке использования издания по различным каналам информационного обслуживания, поэтому их предлагается учитывать при вычислении рейтинга спроса. Характеристики издания, которые не относятся к показателям спроса, но могут оказывать влияние на оценку и отбор издания, можно отнести к качественным свойствам издания.

Согласно иерархии, изображенной на рисунке, оценка качества сериального издания вычисляется следующим образом:

ValQuality = AimExpert-0,333 + AimFormal -0,333 + + АшСШ^ -0,333,

где значения трех подцелей второго уровня вычисляются по формулам:

AmExpert = к4 -0,333 + к5 ^0,333+к6 ^0,333;

AimFormal = к7 •0,291 + к8 -0,283 + к9 -0,233 +

+ кю ^0,134 + кц ^0,058;

AimCiting = к12 -1,00.

В отличие от критериев качества журнала, критерии спроса — это в основном количественные переменные целого типа, показывающие частоту использования журнальных статей по различным каналам информационного обслуживания.

В качестве подцелей в иерархии спроса могут использоваться не только каналы обслуживания, но и тематики. Это позволяет задавать различный

приоритет каналам и тематикам в зависимости от основных направлений деятельности конкретного информационного центра. В иерархии спроса все значения критериев имеют количественный тип и неопределенные значения отсутствуют. Следовательно, для вычисления рейтинга спроса можно применить метод анализа иерархий без каких-либо изменений.

ЗАКЛЮЧЕНИЕ

Разработанная математическая модель вычисления рейтинга была опробована на реальных данных в 2007 г. В качестве выборки использовалось множество научных журналов, поступавших в ВИНИТИ в 2001—2005 гг. и отражавшихся в реферативных журналах в 2001—2006 гг. В качестве эталонного критерия использовался импакт-фак-тор, опубликованный в «Journal Citation Report» в 2005 г.

Эксперименты проводились с использованием реляционной базы данных «Автоматизированной системы регистрации и комплектования ВИНИТИ РАН», работающей под управлением СУБД «Microsoft SQL Server 2000». Все необходимые вычисления были реализованы с помощью процедур и функций, разработанных на языке «Transact-SQL».

Методика статистического взвешивания критериев разработана с учетом необходимости ее применения в условиях высокой размерности исходных данных, неполноты данных и различных типов значений (булевых и количественных).

Разработанная методика обладает следующими достоинствами:

— независимость от функций распределения критериев при использовании репрезентативной обучающей выборки;

— возможность взвешивать критерии на неполных массивах информации, когда для отдельных объектов значения некоторых критериев неизвест-ны.1.

ЛИТЕРАТУРА

1. Эпштейн В.Л. Как увеличить подписку и прибыльность научного журнала: информационно-поисковый сборник аннотаций // Проблемы управления. — 2004. — № 4. — C. 88—92.

2. Testa J. The Thompson journal selection process. — 2004. URL: http://scientific.thomson.com/free/essays/selectionofma-terial/journalselection.

3. Каленов Н.Е., Козлова Е.И., Гиацинтов О.М. Математическая модель оптимизации подписки на журналы в научной библиотеке // Науч.-техн. информация. Сер. 1. Организация и методика информационной работы. — М., — 1999. — № 12. — C. 9—12.

4. Шапкин А. В. Автоматизированная система комплектования и регистрации входного потока ВИНИТИ. Ч. 1, 2 // Науч.-техн. информация. Сер. 1.— М., — 2005. — № 3. — С. 8—19, № 4. — С. 16—31.

5. Кириллова О.В. Принципы и модели формирования входного документного потока информационного центра: Ав-тореф. дис. канд. техн. наук Московский государственный университет культуры и искусств. — Химки, 2004. 25 с.

6. Арский Ю.М. ВИНИТИ в решении проблем современной информатики // НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии. Материалы междунар. конф. / ВИНИТИ. — М.,

2007. — C. 3—5.

7. Федорец О.В. Рейтинговая система оценивания научных журналов: математическая модель и результаты экспериментов. — М., 2007. — 75 с. — Деп. в ВИНИТИ 28.12.07, № 1257-В2007.

8. Саати Т. Принятие решений. Метод анализ иерархий. — М.: Радио и связь, 1989. — 316 с.

9. Николаева М.А., Юнцевич О.Ф. Методы и алгоритмы построения рейтингов // Информационные технологии. — 2003. — № 12. — C. 7—18.

10. Федоров Ю.В. Решение многокритериальной задачи оптимизации в нечеткой постановке // Там же. — 2005. — № 7. — C. 55—60.

11. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. — М.: Финансы и статистика, 2004. — 464 с.

12. Литвак Б.Г. Экспертные технологии в управлении. — М.: Дело, 2004. — 400 с.

13. Эпштейн В.Л. Предвидимое будущее научных журналов // Проблемы управления. — 2004. — № 1. — C. 2—15.

14. Гмурман В.Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1998. — С. 281—348.

Статья представлена к публикации членом редколлегии

А.С. Манделем.

Федорец Олег Владимирович — ст. науч. сотрудник,

Всероссийский институт научной и технической

информации РАН, S (495) 155-42-06, e-mail: [email protected] .

книги

Анкудинов И. Г. Автоматизация структурного синтеза и принятия решений в управлении и проектировании. — СПб.: Политехн. ун-т,

2008. — 201 с.

Бабичев А. В. Распознавание и спецификация структур данных. — М.: URSS, 2008. — 187 c.

Богданов Р. И. Фазовые портреты динамических систем на плоскости и их инварианты. — М.: Вузовская книга, 2008. — 427 с. Ватаманюк А. И. Создание и обслуживание локальных сетей. — М.: Питер, 2008. — 301 с.

Гелиг А. Х. Устойчивость и стабилизация нелинейных систем. — СПб.: СПб. ун-т, 2006. — 269 с.

Косарев Е. Л. Методы обработки экспериментальных данных. — М.: ФИЗМАТЛИТ, 2008. — 207 с.

Максимов Н. В. Архитектура ЭВМ и вычислительных систем. — М.: Форум, 2008. — 511 с.