CC BY
21
19.04.2019 Главная
Наука Общество
Космическая плазма и спутник - Сайт Наука. Общество. Оборона Оборона Блог Научное издание ВАК Контакты Наши авторы Энциклопедия
2013-1(1) 2014-1(2) 2014-2(3) 2015-1(4) 2015-2(5) 2016-1(6) 2016-2(7) 2016-3(8) 2016-4(9) 2017-1(10) 2017-2(11) 2017-3(12) 2017-4(13) 2018-1(14) 2018-2(15) 2018-3(16) 2018-4(17) 2019-1(18) 2019-2(19) 2019-3(20) 2019-4(21)
НАУКА. ОБЩЕСТВО. ОБОРОНА
кштсза
ОБЩЕСТВО ОБОРОНА noo-journdl
ПОЖЕРТВОВАТЬ
Популярное
Капитуляция Германии
Праздник Победы, 9 мая
Вторая мировая война: истоки и причины
Великая Отечественная война: факты и мифы
Российская
государственность:
становление
Россия
в революциях ХХ века
Россия на пути
укрепления
государственности
Россия в развитии многополярного мира
Госуправление в России:
заблуждения
реформаторов
"Навигацкая школа" Набор - 2019 New
Без знания прошлого
Наука. Общество. Оборона (noo-journal.ru). - 2019. - № 3 (20)
Шарамет Александр Александрович,
Балтийский федеральный университет
имени Иммануила Канта,
ассистент,
Россия, г. Калининград
E-mail: AlexSharamet@gmail.com
Зинин Леонид Викторович,
доктор физико-математических наук, доцент,
Балтийский федеральный университет имени Иммануила Канта, профессор,
Россия, г. Калининград E-mail: Leonid.Zinin@gmail.com
Sharamet Alexander Alexandrovich,
Immanuel Kant Baltic Federal University, Assistant, Russia, Kaliningrad E-mail: AlexSharamet@gmail.com
Zinin Leonid Viktorovich,
Doctor of Physical and Mathematical Sciences, Associate Professor, Immanuel Kant Baltic Federal University, Professor, Russia, Kaliningrad E-mail: Leonid.Zinin@gmail.com
Особенности реализации алгоритмов для модели взаимодействия космической плазмы и спутника методом молекулярной динамики с использованием GPU ускорителей
Features of the implementation of algorithms for the modelspace plasma and satellite interactionsby molecular dynamics using GPU accelerators
DOI: 10.24411/2311-1763-2019-10203
Аннотация
Рассмотрен параллельный алгоритм математической модели взаимодействия заряженного малого спутника и тепловой космической плазмы. Основной проблемой при реализации алгоритма является постоянное поддержание всего объема данных для каждого вычислителя в актуальном состоянии, а также синхронизация и минимизация обменов. Выбор графических ускорителей для расчета позволяет сфокусировать максимальное количество вычислителей на одном узле. Проблемы синхронизации решаются на уровне потоков процессора. Полученный алгоритм сложен в реализации, но наиболее эффективно использует вычислительные ресурсы для решения задачи, легко масштабируется для гибридных вычислений и имеет потенциал роста при использовании MPI+CUDA+CPU threads гибридной модели программирования.
Ключевые слова:
математическое моделирование, метод молекулярной динамики, параллельное программирование, гибридные вычисления
Summary
This article considers a parallel algorithm of the mathematical model of interaction between a charged small satellite and thermal space plasma. The main problem of the algorithm implementation is to maintain the total amount of current data for each calculator and to synchronize and minimize exchanges. The range of graphics accelerators chosen for calculation makes it possible to focus the maximum number of calculators on a single node. Synchronization problems are solved at the level of processor threads. The resulting algorithm is difficult to implement; however, it shows the most efficient use of computing resources in solving the problem, can be easily scaled for hybrid computing, and has great potential when using the MPI + CUDA + CPU threads of a hybrid programming model.
Keywords:
mathematical modeling, molecular dynamics method,
нет будущего
Военно-историческая наука действительно Вупадке
Патриотические сводки от Владимира Кикнадзе
Рубрики
Противодействие фальсификациям отечественной истории
Кадры и наука ОПК России
Миграционные и демографические риски
Олимпиада по военной истории
Космическая плазма и спутник - Сайт Наука. Общество. Оборона parallel programming, hybrid computing
Введение.
Задача моделирования космической плазмы неоднократно успешно решалась различными научньпш коллективами с использованием гидродинамического подхода и метода частиц в ячейках [1-4]. Тем не менее, указанные методы не позволяют получить траектории частиц плазмы и использовать иные распределения частиц по скоростям, кроме распределения Максвелла. К преимуществам метода молекулярной динамики следует отнести качественные характеристики модели, получаемые в ходе прямого моделирования, без упрощения принципов взаимодействия групп частиц. Ряд результатов численного моделирования изложен в работах [5-9] В данной работе мы рассмотрим особенности реализации алгоритмы задачи моделирования.
Метод молекулярной динампкп
Метод представляет собой моделирование взаимодействия частиц между собой, по принципу каждая С каждой. Такое взаимодействие описывается на основе системы линейных уравнений, построенных на основе второго закона Ньютона, с силой Лоренца в правой части.
та = <;£ + (j[v х В]
CD
где т, ц - масса и заряд частицы;
а, V - векторы ускорения н скорости частицы; Е, В - векторы напряженности электрического поля я магнитная индукция,
Если рассматривать количество частиц как п: то количество решаемых уравнений представляет собой п-. Так же, следует уточнить, что модель сходится за 3000-5000 тысяч вычислительных итераций
Необходимые вычислительные ресурсы.
Рассмотрим структуру хранения данных одной частицы плазмы. На каждом временном шаге необходимо хранить: ху^ - координаты частицы в пространстве: VI, \'у, - компоненты вектора скорости; % , а^ - компоненты вектора ускорения; 4 - заряд частицы; ш - масса частицы.
Как показал вычислительный эксперимент, дтя получения достоверной физической картины, сравнимой и превосходящей по своим качественным характеристикам другие методы, при данной постановке задачи нет необходимости использовать вычисления с двойной точностью Таким образом, каждая из этих компонент будет занимать 4 байта, соответственно общий объём информации о частице будет равен 44 байтам, из которых 8 байт можно выделить и хранить отдельно (заряд и масса частицы), и хранить для каждой
Наши партнеры
LIBRARY.RU
у^СШтЕШИКА
!
гигриог. России
частицы соответственно 36 байт. Проигнорируем факты связанные с выравниванием данных б памяти, рассмотрим оптимистичный случай.
Приведём сравнительную характеристику7 объёма памяти к количеству частиц.
Таблица 1
Количество частиц 106 ю7 10s
Объем памяти 34J Mb 343 Mb 3.35 Gb
Рассмотрим вычислительную сложность алгоритма. Будем считать, что вычисление одного уравнения возможно за некоторое константное котиество операций С=10. Количество частиц п=10в, и количество шагов для сходимости Т=ЮОО. Соответственно для вычисления потребуется 1С20 операций.
Следовательно, требования задачи можно отнести к категории высокого потребления вычислительных ресурсов и малого потребления памяти, так же отметим, что для вычисления частицы требуется актуальная информация о положении остальных частиц, так что предъявляются ещё и высокие требования к локальности вычислительных мощностей.
Выбор и обоснование архитектуры для вычисления модели
Рассмотрим различные комплекты современного оборудования. Рассчитаем скорость передачи по сети. Наиболее оптимистичным вариантом сетевой коммуникации будет использование оборудование с поддержкой Infïmband. EDR. и скоростью до ÎOOGb/a. Соответственно 3.35 Gb будут переданы за 0.27 секунды.
Современно поколение серверных процессоров Intel Xeon Е5 способно Быдать производительность на тесте Luipak до 500 Gflops/s. В сравнении с ним, графические ускорители imdia plQQ показывают производительность до 9,3 Tflops/s.
Соответственно для достижения такой же производительности необходимо установить 19 процессоров. Если предполагать, что возможна конфигурация по 4 процессора на вычислительный узел, то для вычисления потребуется 5 вычислительных узлов.
Следовательно, на обмены по схеме master-slave для одной итерации будет потрачено 4/5*0.27 секунд на приём и 0.271(14 на отправку, итого 1.3 секунды. В случае 3000 итераций чуть больше одного часа, что незначительно по сравнение с временем, затрачиваемым на вычисления.
Но если рассматривать конфигурации из 1000 и более узлов на скорости от 10 до 40 Gb. которые более адекватно отражают реалистичную картину, то время, затрачиваемое на передачу, будет уже порядка 22 минут на одну1 коммуникацию, что в сумме составит около 13 дней за весь процесс вычислений.
Соответственно дтя решения поставленной задачи более оптимальным будет использование GPU ускорителей на каждом из узлов вычислительного кластера.
Алгоритм и оптимизация
Вычисления производились на кластере БФУ им. И. Канта и кластере Ломоносов-1 МГУ.
Используемые графические ускорители tividia tesla М2050 и М2070. Отличие между двух графическими платами состояло в объёме видеопамяти (далее DRAM), для М2050 3GB и для М2070 6GB соответственно.
Рассмотрим задачу с количеством частиц 10', чтобы все частицы были помещены в видеопамять сопроцессора.
Имеется несколько подходов к решению и ступеней оптимизации кода на GPU, дтя этого введём несколько понятий:
DRAM - видеопамять сопроцессора;
SM - потоковый мультипроцессор;
thread(HiiTb) - нить вычисления на GPU:
Block - блок нитей вычисляющийся на одном SM и разделяющий его ресурсы:
Shared memory - общая память (управляемый КЭШ) в SM;
registers - регистры на SM.
Как известно, вычисление на GPU строится за счёг нескольких абстракций Grid, Block, thread.
Thread представляет собой вычисляющую единицу. Block предназначен для совместного использования группы thead с целью оптимизации и совместного решения подзадачи, а так же как вынужденная мера для распределения задачи между7 ресурсами GPU. С одной стороны, это некоторая логическая группировка (часть массива частиц), с другой стороны аппаратная, известно, что каждый Block выполняется на SM, что позволяет использовать общие ресурсы для оптимизации задач. Множество блоков составляют Grid, некоторую абстракцию от задачи, расположенной на одной GPU. что позволяет всем блокам обмениваться информацией на более высоком уровне. (Некоторые аспекты реализации алгоритма модели приведены в работах [10-12]).
На практике, взаимодействие блоков возможно только через DRAM, что не слишком эффективно, кроме того, большинство решаемых на GPU задач обладают хорошим внутренним параллелизмом и не требуют большое количество обменов. Фактически вся оптимизация сводится к эффективному использованию различных видов памяти и грамотном распределении задачи между SM.
Рассмотрим две характеристики nvidia tesla M2Q50.
Maximum number of threads per SM 1536
Maximum number of threads per Block 1024
Если предполагать, что весь остальной код использует ресурсы максимально эффективно, то выбор размера блока в размере 512 по сравнению с максимально возможным в 1024 показывает около 33% прироста на поставленной задаче. В связи с тем. что вычислительный блок обязан быль полностью размещён на SM, в случае блока размером 512 планировщик помещает на один SM три блока, которые разделяют ресурсы, но логически между собой не взаимодействуют, тем не менее, загрузка потокового ?.гультипроцессора с.гре^птгся к 100%. В случае блоков размером 1024, второй блок поместить на SM невозможно, следовательно, загруженность будет составлять 67%.
Следующим ограничителем производительности по ресурсам выступает разделяемая память. Учтём выбор блока в 512, соответственно общее количество исполняющихся на SM нитей равно 1536. Общий объём shared memory равен 4S|yt>; следовательно, на один блок допустимо использовать не более 16384 байт, или в пересчёте на float 4096 переменных. В ходе решения поставленной задачи в shared memory на блок размещались три массива (х. у. z) размером по 512 float переменных. Таким образом, ограничения по текущему параметру достичь не удалось и производительность не падала.
Последней характеристикой, снижающей про1Езводительностъ, является объём регистров. При оптимальной загрузке остальных параметров при блоке- в 512 нтгтей пороговыми значениями ¡являются 63, 32 и 20. Число 63 определяет максимально возможное для выделения количество регистров при производительности 33%. Число 32 определяет порог для вычислений с эффективностью в 67% и число 20 с эффективностью в 100%. Определить реальное число используемых регистров на практике можно только путём профилирования.
Основной и наиболее затратной частью решения задачи является алгоритм нахождения напряжённости электрического поля для точки. Распараллеливание производится исходя из того, что каждому потоку даётся в соответствие ряд частиц: idx, idx+GridSize, idx+GridSize*2, ... Где idx это номер шин, a GndSize общее количество нитей, а - количество частиц.
t=idx
While (i<n){
Вычисляем напряжённость электрического поля для частицы
i=i-GndSize
}
Внутренняя часть цикла состоит из последовательной загрузки всех остальных частиц и их вычисления.
J=0
Е=0
While(i<n){
Вычисляем частичную сумму от вектора напряжённости
электрического поля
Е=Е-частичная сумма j=j+l
I
Очевидно, что такое использование памяти не слишком эффективно Нити в одном блоке способны загрузить блок данных в shared menioiy, а далее совместно его использовать, таким образом алгоритм будет разбит на два цикла, но скорость доступа к памяти значительно вырастет. Во время загрузки, разные hiíth загружают разные фрагменты вектора в shared memory.
J=0
л\Ше(]<г1/размер блока)
Загружаем следующий блок в shared memory
Синхронизация
k=0
wtule(k<pa3Mep бло(ка){ Вычисление k=k-í
}
Синхронизация
j=j+i
I
В случае решения задачи в 2D пространстве производительность подобного алгоритма составляла 100%. но при перекоде в 3D упала до 33%. В ходе выяснения причины, было обнаружено использование 36 регистров на нить.
Явного пути отслеживания регистров в зависимости от количества переменных или других путей их вычисления нег. так же задача осложняется ещё и за счёт оптимизации компилятором.
В ходе экспериментов, была выявлена некоторая корреляция между количеством регистров и количеством, и типом переменных. Указатели в коде занимали 2 регистра, переменные типа float один регистр, но строго опираться на это правило нельзя, так как могут быть неявно выделяться некоторые переменные или может быть оптимизировано использование теклтцих и удалены лишние.
В ходе дальнейших оптимизаций кода удалось свести количество используемых регистров до 33. что превышает пороговое значение 32.
Главной проблемой в сложившейся ситуации являлся большой список переменных принимаемый и возвращаемый функцией: х, у. z, v*, vy, Vz, а*. ay. a^, q указатели на вход e*, ег (компоненты вектора электрической напряжённости) указатели на выход, а так же обычные переменные, такие как п (количество частиц).
Единственным выходом являлось математически отделить часть операций в другую функцию, чтобы уменьшить количество параметров.
Формулу Ех = можно модифицировать, при условии, что заряд
всех частиц одинаков и выполнить операцию умножения на заряд и постоянный коэффициент после суммирования. Таким образом, функция будет вычислять вектор напряжённости электрического поля в промежуточном виде, и другая функция будет умножать все компоненты на заряд.
Таким образом, общий цикл вычислений будет выглядеть так:
\Vhlle(t<K-Bo итераций для получения достоверной физической картины) {
Е=0
Цикл по типам частиц
Вычислим промежуточное(Е) для всех частиц Умножим промежуточное®) на заряд частицы Е=Е+ промежуточное®
Вычисление положения в следующий момент времени
}
В ходе подобной оптимизации удалось сократить количество используемых регистров до 31, что позволило преодолеть барьер и загрузить ресурсы карты на 67%. Последние поколения GPU ускорителей обладают большим количеством регистров, что позволяет загрузить карту на 100%. Тем не менее, даже для следующих поколений GPU проблемы нехватки регистров актуальны, так. при блоке 512 и 32 регистрах, производительность составит 75% от максимально возможного
Заключение
В текущих реалиях при вычислении в кубе размером 1 метр, и при концентрации 10 частиц в см3 радиус Дебая, являющийся важной характеристической составляющей задач физики плазмы, составляет 0.4S м, что сравнимо с областью вычислений. Увеличение концентрации или размера области значительно повышают вычислительную сложность задачи. Тем не менее, метод молекулярной днна_шски в современных тенденциях развития суперкомпьютерной техники является очень перспективным, так как позволяет .моделировать траектории частиц в любой момент Бремени. Так же, новые ускорители nvidia tesla pi 00 по своим характеристикам превосходят использованные nvidia tesla m2050 в 10 раз и обладают большим количеством регистров, что позволит раскрыть полный потенциал алгоритма и ускорить решение задачи в 16 раз,
Работа выполнена при поддержке гранта РФФИ 18-01-00394-а
Список литературы и источников
1. Mandell M.J., Katz I., Hilton M. et al. Nascap-2K spacecraft charging models: algorithms and applications. - 2001: A spacecraft charging odyssey. Proceeding of the 7th Spacecraft Charging Technology Conference. 23—27 April 2001. ESTEC. Noordwijk. The Netherlands. ESA SP-476. P. 499—507
2. Roussel J.-F. et al., SPIS open-source code: Methods, capabilities, achievements, and prospects. IEEE Trans. Plasma. Sci., vol. 36, no. 5, pp.2360-2368, 2008
3. Котельников В.А. Математическое моделирование обтекания тел потоками столкновительной и бесстолкновительной плазмы., В.А. Котельников, М.В. Котельников, В.Ю. Гидаспов - М.: Физматлит, 2010. - 272 с.
4. Рылина И.В., Зинин Л.В., Григорьев С.А., Веселов М.В., Гидродинамический подход к моделированию распределения тепловой плазмы вокруг движущегося заряженного спутника. - Космические исследования. 2002. Т. 40. № 4. С. 395-405
5. Зинин Л.В., Ишанов С.А., Шарамет A.A., Мациевский С.В. Моделирование распределения ионов вблизи заряженного спутника методом молекулярной динамики. 2-D приближение. - Вестник БФУ им. И. Канта. Сер. Физико-математические науки. 2012. Вып. 10. С. 53 - 60.
6. Шарамет A.A., Зинин Л.В. Ишанов С.А., Мациевский С.В. 2D моделирование ионной тени за заряженным спутником методом молекулярной динамики. - Вестник Балтийского федерального университета им. И. Канта. 2013. Вып. 10. С. 26—30.
7. Зинин Л. В., Шарамет A.A., Ишанов C.A., Мациевский С.В Моделирование траекторий электронов и ионов тепловой плазмы в электрическом поле спутника методом молекулярной динамики. - Вестник Балтийского федерального университета им. И. Канта. 2014. № 10. С. 47-52.
8. Зинин Л.В., Шарамет A.A., Васильева AЮ. Моделирование взаимодействия кислородной плазмы с положительно заряженным микроспутником методом молекулярной динамики. - Вестник Балтийского федерального университета им. И. Канта. Серия физико-математические и технические науки. 2017. № 2. С. 29-34.
9. Зинин Л.В., Шарамет A.A., Васильева AЮ. Моделирование формирования ионной тени за положительно заряженным микроспутником в кислородной плазме методом молекулярной динамики. - Вестник Балтийского федерального университета им. И. Канта. Сер.: Физико-математические и технические науки. 2017. № 3. С. 48—52.
10. Шарамет A.A. Моделирование взаимодействия спутника и плазмы методом молекулярной динамики с использованием гетерогенных вычислительных систем на основе MPI, CUDA, C++11(thread) технологий. - Шестая международная молодёжная научно-практическая школа «Высокопроизводительные вычисления на GRID системах», Архангельск, 9-14 февраля 2015г. Сборник статей. Издательство «КИРА». -с.54-58
11. Шарамет A.A. Применение гетерогенных вычислений на примере задачи моделирования взаимодействия спутника и плазмы методом молекулярной динамики. -Шестая международная молодёжная научно-практическая школа «Высокопроизводительные вычисления на GRID системах», Архангельск, 9-14 февраля 2015г. Сборник тезисов. Издательство «КИРА». -с.32-36
12. Шарамет A.A. Алгоритм и модель хранения данных при решении задачи взаимодействия спутника и плазмы методом молекулярной динамики с использованием технологии cuda. - Вестник Балтийского федерального университета им. И. Канта. Сер.: Физико-математические и технические науки. 2015. № 4. С. 114 -120.
References
1. Mandell M.J., Katz I., Hilton M. et al., 2001, Nascap-2K spacecraft charging models: algorithms and applications. - 2001: A spacecraft charging odyssey. Proceeding of the 7th Spacecraft Charging Technology Conference. 23—27 April 2001. ESTEC. Noordwijk. The Netherlands. ESA SP-476. P. 499—507
2. Roussel J.-F. et al., 2008, SPIS open-source code: Methods, capabilities, achievements, and prospects. IEEE Trans. Plasma. Sci., vol. 36, no. 5, pp.2360-2368, 2008
3. Kotel'nikov, V.A., 2010, Matematicheskoye modelirovaniye obtekaniya tel potokami stolknovitel'noy i besstolknovitel'noy plazmy., V.A. Kotel'nikov, M.V. Kotel'nikov, V.YU. Gidaspov - M.: Fizmatlit, 2010. - 272 s.
4. Rylina I.V., Zinin L.V., Grigor'yev S.A., Veselov M.V., 2002, Gidrodinamicheskiy podkhod k modelirovaniyu raspredeleniya teplovoy plazmy vokrug dvizhushchegosya zaryazhennogo sputnika. - Kosmicheskiye issledovaniya. 2002. T. 40. № 4. S. 395-405
5. Zinin L.V., Ishanov S.A., Sharamet A.A., Matsiyevskiy S.V., 2012, Modelirovaniye raspredeleniya ionov vblizi zaryazhennogo sputnika metodom molekulyarnoy dinamiki. 2-D priblizheniye. - Vestnik BFU im. I. Kanta. Ser. Fiziko-matematicheskiye nauki. 2012. Vyp. 10. S. 53 - 60.
6. Sharamet A.A., Zinin L.V. Ishanov S.A., Matsiyevskiy S.V., 2013, 2D modelirovaniye ionnoy teni za zaryazhennym sputnikom metodom molekulyarnoy dinamiki. - Vestnik Baltiyskogo federal'nogo universiteta im. I. Kanta. 2013. Vyp. 10. S. 26—30.
7. Zinin L. V., Sharamet A.A., Ishanov S.A., Matsiyevskiy S.V., 2014, Modelirovaniye trayektoriy elektronov i ionov teplovoy plazmy v elektricheskom pole sputnika metodom molekulyarnoy dinamiki. - Vestnik Baltiyskogo federal'nogo universiteta im. I. Kanta. 2014. № 10. S. 47-52.
8. Zinin L.V., Sharamet A.A., Vasil'yeva A.YU., 2017, Modelirovaniye vzaimodeystviya kislorodnoy plazmy s polozhitel'no zaryazhennym mikrosputnikom metodom molekulyarnoy dinamiki. - Vestnik Baltiyskogo federal'nogo universiteta im. I. Kanta. Seriya fiziko-matematicheskiye i tekhnicheskiye nauki. 2017. № 2. S. 29-34.
9. Zinin L.V., Sharamet A.A., Vasil'yeva A.YU., 2017, Modelirovaniye formirovaniya ionnoy teni za polozhitel'no zaryazhennym mikrosputnikom v kislorodnoy plazme metodom molekulyarnoy dinamiki. - Vestnik Baltiyskogo federal'nogo universiteta im. I. Kanta. Ser.: Fiziko-matematicheskiye i tekhnicheskiye nauki. 2017. № 3. S. 48—52.
10. Sharamet A.A., 2015, Modelirovaniye vzaimodeystviya sputnika i plazmy metodom molekulyarnoy dinamiki s ispol'zovaniyem geterogennykh vychislitel'nykh sistem na osnove MPI, CUDA, C++11(thread) tekhnologiy. - Shestaya mezhdunarodnaya molodozhnaya nauchno-prakticheskaya shkola «Vysokoproizvoditel'nyye vychisleniya na GRID sistemakh», Arkhangelsk, 9-14 fevralya 2015g. Sbornik statey. Izdatel'stvo «KIRA». -s.54-58
11. Sharamet A.A., 2015, Primeneniye geterogennykh vychisleniy na primere zadachi modelirovaniya vzaimodeystviya sputnika i plazmy metodom molekulyarnoy dinamiki. -Shestaya mezhdunarodnaya molodozhnaya nauchno-prakticheskaya shkola «Vysokoproizvoditel'nyye vychisleniya na GRID sistemakh», Arkhangelsk, 9-14 fevralya 2015g. Sbornik tezisov. Izdatel'stvo «KIRA». -s.32-36
12. Sharamet A.A., 2015, Algoritm i model' khraneniya dannykh pri reshenii zadachi vzaimodeystviya sputnika i plazmy metodom molekulyarnoy dinamiki s ispol'zovaniyem tekhnologii cuda. - Vestnik Baltiyskogo federal'nogo universiteta im. I. Kanta. Ser.: Fiziko-matematicheskiye i tekhnicheskiye nauki. 2015. № 4. S. 114 - 120.
Наука. Общество. Оборона (noo-journal.ru). - 2019. - № 3 (20)
About | Privacy Policy | Cookie Policy | Sitemap Log in
© 2013 Наука. Общество. Оборона © 2013-2019 Кикнадзе В.Г, авторы материалов.
Сайт является средством массовой информации. 12+ Полное или частичное
воспроизведение материалов сайта безссылки/гиперссылки и упоминания имени
автора запрещено и является нарушением российского и международного
законодательства. All rights reserved
