Научная статья на тему 'Алгоритм ранжирования мероприятий, направленных на повышение безопасности, при подготовке к проведению крупных спортивных соревнований'

Алгоритм ранжирования мероприятий, направленных на повышение безопасности, при подготовке к проведению крупных спортивных соревнований Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
306
33
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МЕРОПРИЯТИЯ ПО ПОДГОТОВКЕ К ПРОВЕДЕНИЮ СОРЕВНОВАНИЙ / ОБЕСПЕЧЕНИЕ БЕЗОПАСНОСТИ ОРГАНИЗАЦИИ СОРЕВНОВАНИЙ / МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК / КОМПЕТЕНТНОСТЬ ЭКСПЕРТОВ / СОГЛАСОВАННОСТЬ МНЕНИЙ ЭКСПЕРТОВ / РИСК ВОЗНИКНОВЕНИЯ ЧРЕЗВЫЧАЙНОЙ СИТУАЦИИ / МАСШТАБ ВОЗМОЖНЫХ ПОСЛЕДСТВИЙ ЧРЕЗВЫЧАЙНОЙ СИТУАЦИИ / PREPARATIONS FOR THE COMPETITION / THE SECURITY OF THE ORGANIZATION OF COMPETITIONS / METHODS OF EXPERT EVALUATION / COMPETENCE OF EXPERTS / THE CONSISTENCY OF EXPERT OPINIONS / THE RISK OF AN EMERGENCY SITUATION / THE MAGNITUDE OF THE POSSIBLE

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Куцовский Лев Юрьевич, Чириков Алексей Григорьевич

В статье рассмотрена задача оценки значимости мероприятий, проводимых на этапе подготовки к проведению крупных спортивных соревнований. В основе решения данной задачи лежит алгоритм ранжирования мероприятий с учетом их вклада в обеспечение безопасности организации соревнований. Разработанный алгоритм включает ряд этапов: выявление специалистов (экспертов) по исследуемому вопросу, организация сбора информации у экспертов, оценка компетентности экспертов, анализ согласованности мнений экспертов, построение интервальной шкалы предпочтительности подготовительных мероприятий. Предложены направления развития научно-методического аппарата в рассматриваемой предметной области.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Куцовский Лев Юрьевич, Чириков Алексей Григорьевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The Ranking Algorithm of Actions Aimed at Improving Security in Preparation for Hosting Major Sports Competitions

The article considers the problem of assessing the significance of the activities carried out at the stage of preparations for the major sporting events. The basis of the solution of this problem is the algorithm of ranking activities based on their contribution to the security of the organization of the competition. The algorithm involves a series of steps: identification of specialists (experts) on the subject, the organization of collecting information from experts, evaluation experts competence, analysis of the consistency of experts, building an interval scale of preference of preparatory activities. The directions of development of scientific-methodical apparatus in the subject area.

Текст научной работы на тему «Алгоритм ранжирования мероприятий, направленных на повышение безопасности, при подготовке к проведению крупных спортивных соревнований»

/4 Civil SecurityTechnology, Vol. 14, 2017, No. 2 (52) УДК 351.862

Алгоритм ранжирования мероприятий, направленных на повышение безопасности, при подготовке к проведению крупных спортивных соревнований

ISSN 1996-8493

© Технологии гражданской безопасности, 2017

Л.Ю. Куцовский, А.Г. Чириков

Аннотация

В статье рассмотрена задача оценки значимости мероприятий, проводимых на этапе подготовки к проведению крупных спортивных соревнований. В основе решения данной задачи лежит алгоритм ранжирования мероприятий с учетом их вклада в обеспечение безопасности организации соревнований. Разработанный алгоритм включает ряд этапов: выявление специалистов (экспертов) по исследуемому вопросу, организация сбора информации у экспертов, оценка компетентности экспертов, анализ согласованности мнений экспертов, построение интервальной шкалы предпочтительности подготовительных мероприятий. Предложены направления развития научно-методического аппарата в рассматриваемой предметной области.

Ключевые слова: мероприятия по подготовке к проведению соревнований; обеспечение безопасности организации соревнований; методы экспертных оценок; компетентность экспертов; согласованность мнений экспертов; риск возникновения чрезвычайной ситуации; масштаб возможных последствий чрезвычайной ситуации.

The Ranking Algorithm of Actions Aimed at Improving Security in Preparation for Hosting Major Sports Competitions

ISSN 1996-8493

© Civil Security Technology, 2017

L. Kutcovskiy, A. Chirikov

Abstract

The article considers the problem of assessing the significance of the activities carried out at the stage of preparations for the major sporting events. The basis of the solution of this problem is the algorithm of ranking activities based on their contribution to the security of the organization of the competition. The algorithm involves a series of steps: identification of specialists (experts) on the subject, the organization of collecting information from experts, evaluation experts competence, analysis of the consistency of experts, building an interval scale of preference of preparatory activities. The directions of development of scientific-methodical apparatus in the subject area.

Key words: preparations for the competition; the security of the organization of competitions; methods of expert evaluation; competence of experts; the consistency of expert opinions; the risk of an emergency situation; the magnitude of the possible.

Одной из важнейших задач при подготовке муниципального образования к проведению крупных спортивных соревнований является оценка значимости подготовительных мероприятий, направленных на повышение безопасности их организации. Особую актуальность эта задача приобретает в условиях ограничений на выделяемые финансовые, материальные, людские и другие ресурсы. По сути, решение данной задачи позволяет определить вклад каждого планируемого мероприятия в безопасность проведения крупных спортивных соревнований и в последующем, оценив их стоимость, принять решение о рациональном комплексе подготовительных мероприятий по критерию «эффективность-стоимость».

Анализ процедуры ранжирования мероприятий, направленных на повышение безопасности, при подготовке к проведению крупных спортивных соревнований показал, что эта задача относится к области, где решение не поддается эффективной формализации и велика роль опыта и интуиции. Поэтому для определения значимости мероприятий целесообразно использовать метод экспертных оценок, под которым следует понимать комплекс логических и математических методов и алгоритмов, позволяющих упорядочить и систематизировать процедуры сбора и анализа мнений специалистов, привести их к виду, наиболее пригодному для принятия рационального решения.

Методы, используемые в настоящее время для получения экспертных оценок, достаточно многочисленны и многообразны [1, 3, 5, 7 и др.]. Целесообразность применения того или иного метода во многом определяется возможностью сбора необходимой статистической информации и целью исследования. Если оправданы лишь качественные оценки предпочтительности объектов, либо разбиение их на классы по тем или иным качественным признакам, то могут быть использованы парные или множественные сравнения, непосредственное ранжирование, классификация и т. д. Если целесообразно получить численные оценки сравнительной предпочтительности объектов, то необходимо применять количественные оценки, начиная от непосредственных численных оценок [2, 6] и кончая более тонкими методами Тер-стоуна и фон Неймана-Моргенштерна [10, 15].

Количественная оценка значимости сравниваемых подготовительных мероприятий может быть осуществлена на основе анализа их вклада в обеспечение безопасности проведения соревнований. Для решения этой задачи необходимо:

проранжировать мероприятия в порядке снижения их вклада в обеспечение безопасности проведения соревнований;

построить интервальную шкалу предпочтительности, которая позволяет количественно оценить значимость мероприятий, направленных на повышение безопасности проведения соревнований.

Для решения этих задач предлагается соответственно метод парных сравнений и метод сравнительных суждений Терстоуна [4, 7, 12, 15].

Исходными данными для решения задачи являются: общее количество мероприятий, которые могут быть проведены для повышения безопасности организации соревнований;

статистические данные о возможных рисках возникновения чрезвычайных ситуаций на объектах проведения соревнований;

эмпирические знания о возможных масштабах последствий возникновения чрезвычайных ситуаций;

знания экспертов о потенциальном вкладе каждого подготовительного мероприятия в предотвращение возникновения чрезвычайных ситуаций на объектах проведения соревнований.

Модель экспертного оценивания включает объект исследования, критерий, по которому происходит сравнение и процедуру сравнения (рис. 1).

Из рис. 1 следует, что для определения значимости подготовительных мероприятий выбран комплексный показатель, характеризующий их вклад в предотвращение чрезвычайных ситуаций.

Основные этапы оценки значимости подготовительных мероприятий представлены на рис. 2. Рассмотрим содержание каждого этапа.

1. Выявление специалистов

(экспертов) по оценке значимости мероприятий, направленных на повышение безопасности проведения крупных спортивных соревнований

Для выявления экспертов, которые имеют соответствующие опыт и знания для квалифицированной оценки значимости (важности) подготовительных мероприятий, с учетом риска возникновения чрезвычайных ситуаций и масштабов их возможных последствий, предлагается использовать метод «снежного кома» [14].

Предполагается, что исследователь знает заранее хотя бы несколько подготовленных экспертов, ка-

Объект исследования

Подготовительные мероприятия

Показатель сравнения

Комплексный показатель, учитывающий вклад мероприятий в предотвращение чрезвычайных ситуаций

Процедура

сравнения_

Метод парных сравнений;

Метод сравнительных суждений Терстоуна.

Рис. 1. Модель экспертного оценивания

^И SecurityTechnology, Vol. 14, 2017, No. 2 (52)

Выявление специалистов (экспертов) по исследуемому вопросу

Организация сбора информации у экспертов

Оценка компетентности экспертов

Анализ согласованности мнений экспертов

Построение интервальной шкалы предпочтительности _подготовительных мероприятий_

Рис. 2. Основные этапы решения задачи оценки значимости подготовительных мероприятий

ждому из которых предлагает назвать известных им специалистов. Названных лиц просят, в свою очередь, сделать то же самое и так далее—в принципе до тех пор, пока список перестанет пополняться новыми специалистами. Такая процедура на практике может потребовать больших затрат времени и значительного отрыва специалистов от выполнения служебных обязанностей, поскольку исследователь заранее не знает, на какой итерации она закончится. С целью сокращения времени исследования целесообразно остановить процедуру определения экспертов на той итерации, когда ожидаемое число новых специалистов, которые могут появиться на следующих итерациях, мало. Таким образом, необходимо по имеющимся на ^ой итерации данным получить оценку теоретически возможного числа специалистов. Эта оценка позволит сравнить реальное количество уже выявленных экспертов с их возможным количеством и решить, завершить или продолжить процедуру. Особенно важно получить такую оценку на первой итерации, т. е. после опроса известных заранее экспертов. Это позволит оценить возможные затраты времени на проведение процедуры отбора экспертов.

Для получения оценки количества специалистов предлагается использовать стохастическую модель, в которой: N— неизвестное заранее число всех экспертов; р0—начальное число известных априори экспертов; ф — число лиц, названных г-ым экспертом, I = (1, ); ф — число новых специалистов, названных /-ым экспертом из числа

Предполагается случай полной неопределенности: /-ый специалист с равной вероятностью называет ф экспертов из Ж Значение ф можно трактовать как случайную величину, принимающую значение от 0 до ф. Вероятность того, что г-ый специалист из р0 назовет I новых экспертов, определяется из выражения [14]

с1 . г^1 ?(<р = 1) = .

Распределение Р(^ = 1) есть гипергеометрическое распределение, из чего может быть получено математическое ожидание величины ф:

ш(^) = +'-^ . (1)

N

Оценка математического ожидания определяется из выражения

_ , 1 Мо <Р

= —ИМу, (2)

Мо 1=1У=1

С 1, если г-ый специалист назовет у-го экс-где р = \ перта, который не входит в р0;

V 0, в противном случае.

Из равенства выражений (1) и (2) получаем оценку возможного числа специалистов:

к = _9Мо(Мо -1)

Мо <Р '

ФИо -Им

1=1.1=1

2. Организация сбора информации у экспертов

В методе парных сравнений мероприятия, направленные на повышение безопасности проведения соревнований, сравниваются попарно каждым экспертом.

Основной экспериментальный акт — сравнение двух мероприятий А и В г-ым экспертом, который должен установить предпочтительность одного из них или зафиксировать равенство. Из п мероприятий можно составить

_2 п(п - 1) Сп = пар.

Каждый г-ый эксперт при попарном сравнении заполняет матрицу, элементы которой равны

1, если 0 > ; 0,5, если й ~ а; 0, если < а.

Знаки > и ~ означают соответственно предпочтение и равенство.

3. Оценка компетентности экспертов

Компетентность каждого г-го эксперта может быть оценена на основе собранной экспертной информации и заключается в определении количества циклов в рассматриваемой матрице. Если для любых трех мероприятий выполняется система предпочтений

X > Y > Ъ > X

или

X > Y < Ъ < X, то предпочтения характеризуются цикличностью. Наличие в матрице циклических триад свидетельствует о непоследовательности экспертов в своих суждениях. Для группы из трех мероприятий результатом непоследовательности является циклическая триада; для большей группы мероприятий множество суждений можно считать тем более последовательным, чем меньше циклических триад оно содержит.

Определяя количество циклических триад в матрице, можно судить о степени компетентности каждого эксперта. Важным свойством метода парных сравнений является возможность проявления таких противоречий и выражение их в количественной форме. Максимальное количество циклов р по трем мероприятиям определяется из выражения [10]

Р = '

1/24(пъ -п),если п нечетно; 1/24(п3 -4песли п четно.

Минимальное количество циклов по трем мероприятиям равно нулю. Таким образом, может быть введен коэффициент последовательности г-го эксперта в своих суждениях

4 =

1 -

1 -

24С п3 - п 24с1

-, если п нечетно;

-, если п четно,

п - 4п

где d—число обнаруженных циклов по трем мероприятиям.

Когда число мероприятий велико, прямой путь определения количества циклов очень затруднителен, поэтому была разработана формула [10] для определения количества циклов непосредственно из матрицы предпочтений:

а = 6п-11 П-2)-^ а1 [а.-1

где а.—сумма чисел г-ой строки.

Как любая статистическая характеристика, коэффициент последовательности г-го эксперта является

случайной величиной, то есть его значения случайно распределены вокруг параметра генеральной совокупности (истинного значения коэффициента последовательности). Для статистического вывода о наличии согласованности в предпочтениях эксперта необходимо провести проверку значимости выборочного коэффициента последовательности, что позволит определить, является ли вычислительный коэффициент х результатом случайного определения предпочтений (такая ситуация имеет место, когда эксперт совершенно некомпетентен), либо же, напротив, предпочтения эксперта характеризуются некоторой, хотя возможно и не идеальной, согласованностью. При оценке значимости коэффициента последовательности выдвигается нулевая гипотеза Н0 против альтернативной Н1, которые заключаются в следующем:

Н0: существенного различия между выборочным коэффициентом последовательности и коэффициентом последовательности генеральной совокупности х = 0 нет;

г 7

Н1: выборочный коэффициент последовательности существенно больше коэффициента последовательности генеральной совокупности х = 0.

Из постановки задачи проверки значимости следует, что необходимо использовать одностороннюю критическую область.

Для оценки значимости коэффициента последовательности г-го эксперта при п > 7 используется статистика [10, 13]

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2 = — \ 1С - й+1| +

Х р1 п-4 \4Сп + 2) + V^,

(3)

имеющая с2—распределение Пирсона с V{ степенями свободы:

V = ■

х(п - 1)(п - 2)

(п - 4 )2

В работе [11] приведено распределение d при п < = 7.

Значение статистики, вычисленное по формуле (3), сравнивается с ее критическим значением, определяемым по специальным таблицам [8, 13] при заданном уровне значимости и соответствующем числе степеней свободы. Если X > Ха, то с вероятностью 1 — а коэффициент последовательности г-го эксперта значимо отличается от нуля.

4. Анализ согласованности мнений экспертов

Определение согласованности мнений экспертов может быть проведено на основе анализа результирующей матрицы, каждый элемент которой К определяется из выражения

т

Кп = ^Гуд.

1=1

При определении согласованности экспертов между собой необходимо рассмотреть два случая:

/8 Civil SecurityTechnology, Vol. 14, 2017, No. 2 (52)

I. При попарном сравнении двух объектов Q. и Qq каждый эксперт отдал строгое предпочтение одному из них. Для этого случая коэффициент согласия и может быть определен из выражения [11, 14]:

21 , 81

С2 С2

m n

-1 =

m (m - l)n (n -1)

1,

где Е — сумма числа случаев совпадения мнений между парами экспертов, определяемая из выраже-

ния:

n(n-1)

S=X с;

где Т— число, стоящее на пересечении q-ой строки и у-го столбца.

II. Если на пересечении у-го столбца и q-ой строки стоит дробное число 1/2А, где А- целая часть числа, то его дополнение—число, которое расположено в клетке, находящейся на пересечении q-го столбца и у-ой строки, определяется из выражения:

1/2В = т - 1/2А, где А + В +1 = т.

В этом случае значение величины Е имеет вид [11]:

>»2

£ = £ I с SI+ch в

n(n-l)

£ 2 CA+l + CA-1)+ 2 CB+1 + CB-1)

Проверка значимости и возможна при нулевой гипотезе Н0 о том, что предпочтения всех экспертов случайны. Для этого используются таблицы распределения величины а, приведенные в работе [11], в которой построены распределения для т = 3 и п = 2,8; т = 4 и п = 2,6; т = 5 и п = 2,5; т = 6 и п = 2,4.

Для больших значений т и п вполне удовлетворительные результаты обеспечивает аппроксимация с помощью распределения с2 [8,16]:

X

4

p m - 2

У -1 C с2

2

m-2

Число степеней свободы определяется из выражения [8]:

" = с

2 m(m -1) (m - 2)2 '

5. Построение

интервальной шкалы значимости сравниваемых мероприятий

Дальнейшая обработка результатов экспертного опроса проводится с целью получения интервальной шкалы предпочтительности мероприятий, направленных на повышение безопасности соревнований, и включает следующие этапы:

Построение матрицы

Р = 1 \р II

\\ ту

где Р^—доля случаев, когда у-ое мероприятие оказывается более предпочтительным, чем q-ое, то есть

К

Р.. =

я

' я

m

где К^—элемент результирующей матрицы Ар;

Построение интервальной шкалы на основе использования закона сравнительных суждений Л. Тер-стоуна [9, 15], согласно которому при большом числе экспертов (т = 20...25) доля случаев предпочтительности '-го мероприятия по сравнению с q-ым мероприятием подчиняется нормальному закону

Pq =

1

42П

На этом этапе строится матрица 2 = //2 //, выражающая степень различия между у-ым и q-ым мероприятиями в стандартных отклонениях, то есть Р рассматривается как площадь нормированного нормального распределения от - да до 2 Площадь под кривой показывает относительное число предпочтений у-го мероприятия по сравнению q-ым мероприятием, когда 2. измеряется в единицах стандартного отклонения.

Для построения матрицы //2 // используются таблицы функции Лапласа Ф^) [8, 13]:

Ф( Z):

42П

e

2 dt.

Определение средних значений величин, характеризующих значимость каждого подготовительного мероприятия:

1 ■

V Q=^ Z .

! ,=1

За точку отсчета целесообразно взять значение min V(Q). Приведенные средние значения величин определяются из выражения:

Vj = V (Qj) + |min V (Qj)).

Определение коэффициентов значимости каждого из сравниваемых мероприятий:

T.V,

j=i

Разработанный алгоритм позволяет определить коэффициенты значимости мероприятий, направленных на повышение безопасности проведения крупных спортивных соревнований в муниципальном образовании. В качестве одного из приоритетных направлений дальнейшего развития научно-методического аппарата в рассматриваемой предметной области целесообразно считать разработку методики выбора рационального комплекса мероприятий, обе-

s=1

1

спечивающего максимальный прирост уровня безопасности проведения крупных спортивных соревнований при ограничениях на выделяемые финансовые ресурсы.

Литература

1. Бешелев С.Д., Гурвич Ф. Г. Экспертные оценки. М.: Наука, 1989.

2. Борисов Н.Н., Левченко А. С. Методы оценки решений: элементы анализа. Рига: РПИ, 1980.

3. Бурнов В.Н. и др. Получение и анализ экспертной информации. М.: ИПУ, 1991.

4. Гладких Б. А. Некоторые проблемы классификации // В сб.: Распознание образов в экономико-статистическом моделировании. Новосибирск: ИЭ и ОПП ССО АН СССР, 1984.

5. Горелов В. Е. и др. Методы экспертных оценок. М.: ВНИИПИ, 1997.

6. Григорьев В. М. Эксперты в системе управления общественным производством. М.: Мысль, 1986.

7. Девид Г. Метод парных сравнений. М.: Статистика, 1998.

8. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Финансы и статистика, 1986.

9. ЗаимскихА. Н. и др. Проблемы выбора коэффициента близости и алгоритмов автоматической классификации в процедурах структуризации. М.: ЦЭМИ АН СССР, 1989.

10. КиниР.Л., РайфаХ. Принятие решений при многих критериях: предпочтения и замещения. М., Радио и связь, 1987.

11. Клигер С. А., Косолапов М. С. Шкалирование при сборе и анализе социологической информации. М.: Наука, 1988 r.

12. Кузьменко Ю. М. и др. Методы анализа и обработки военно-экономической информации. М.: Наука, 1978.

13. Пустыльник Е. И. Статистические методы анализа и обработки наблюдений. М.: Наука, 1968.

14. Сакович В. А. Модели управления запасами. Минск: Наука и техника, 1986.

15. Терстоун Л. Психофизиологический анализ // В сб. Проблемы и методы психофизики. М.: МГУ, 1984.

16. Ферстер Э., Ренц Б. Методы корреляционного анализа. М.: Финансы и статистика, 1983.

Сведения об авторах

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Куцовский Лев Юрьевич: Главное управление МЧС России по Ивановской области, зам. нач. отд. 153009, Иваново, ул. Диановых, 8а. е-таИ: lev.7@mail.ru

Чириков Алексей Григорьевич: к. т. н., доц., ФГБУ ВНИИ ГоЧс (ФЦ), начальник института. 121352, Москва, ул. Давыдковская, 7. е-таИ: vniigochs@vniigochs.ru

Information about authors

Kutcovskiy Lev J: Main office of the Ministry of Emergency Situations of Russia for the Ivanovo region, Deputy Head of the Department.

8a Dianovih, Ivanovo, 153009, Russia. e-mail: lev.7@mail.ru

Chirikov Aleksey G.: Candidate of Technical Sciences, Associate Professor, All-Russian Research Institute for Civil Defense and Emergencies, Head of the institute. 7 Davydkovskaya, Moscow, 121352, Russia. e-mail: vniigochs@vniigochs.ru

Издания ФГБУ ВНИИ ГОЧС (ФЦ)

Авторы, название URL

Акимов В.А. и др.Чернобыль. Памяти страницы (к 30-летию аварии на ЧАЭС) http://elibrary.ru/item.asp?id=25889315

Батырев В.В. и др. Основы индивидуальной защиты человека от опасных химических и радиоактивных веществ. Монография http://elibrary.ru/item.asp?id=25637877

Артамонов В.С. и др. Гражданская оборона. Учебник http://elibrary.ru/item.asp?id=26496217

Акимов В.А. и др. Защита населения и территорий Российской Федерации в условиях изменения климата http://elibrary.ru/item.asp?id=26013124

Гаврилюк А.Д. и др. Обеспечение безопасности при реализации крупных экономических и инфраструктурных проектов в Арктике. Проблемы и пути решения. Международная конференция. Салехард, 18-20 августа 2015 г. Материалы конференции http://elibrary.ru/item.asp?id=26496295

Степанов В.Я. Чернобыль: взгляд сквозь годы. Выпуск 6. Сер. Звезда Чернобыля http://elibrary.ru/item.asp?id=25889316

Мануйло О.Л. и др.Справочник руководителя гражданской обороны http://elibrary.ru/item.asp?id=26175476

Пучков В.А. и др. Совершенствование гражданской обороны в Российской Федерации. Материалы Всероссийского совещания с руководителями федеральных органов исполнительной власти и органов исполнительной власти субъектов Российской Федерации по проблемам гражданской обороны и защиты населения и XII Научно-практической конференции Воронов С.И. и др. Актуальные проблемы формирования культуры безопасности жизнедеятельности населения. XXI Международная научно-практическая конференция по проблемам защиты населения и территорий от чрезвычайных ситуаций. Ногинск, 17-18 мая 2016 г. Сборник докладов http://elibrary.ru/item.asp?id=26496461 http://elibrary.ru/item.asp?id=26496652

i Надоели баннеры? Вы всегда можете отключить рекламу.