GooPhi: новый код для моделирования астрофизических течений на суперЭВМ, оснащенных ускорителями Intel Xeon Phi

Куликов Игорь Михайлович; Черных Игорь Геннадьевич

GOOPHI: A NEW CODE FOR NUMERICAL MODELING OF ASTROPHYSICAL FLOWS ON INTEL XEON PHI SUPERCOMPUTERS

I.M. Kulikov, I.G. Chernykh

Institute of Computational Mathematics and Mathematical Geophysics SB EAS,

630090, Novosibirsk, Russia

In this paper, a new hydrodynamics code called gooPhi to simulate astrophvsical flows on modern Intel Xeon Phi processors with KNL architecture is presented. In this paper, an astrophvsical phenomenon a "jellyfish" galaxy formation was considered. It is known, that the main scenarios of formation these objects are based on the ram-pressure mechanism of intergalactic gas or based on the galactic wind by means active galaxy nuclei. However, the ram-pressure mechanism can be obtained as a result of collision of galaxies with different masses. This scenario was investigated in the present work using the developed code. A new vector numerical method implemented in the form of a program code for massively parallel architectures is proposed. For the numerical solution of hydrodvnamic equations, the modification of the original numerical method based on a combination of the operator splitting method, Godunov method and HLL solver was used. This method combines all advantages of the above methods and has a high degree of parallelism. In the base of parallel implementation is a multi-level decomposition of computing. At the first level, geometric decomposition of the computational domain by means MPI library was used. At the second level, there is a decomposition of computing between the Intel Xeon Phi accelerator threads by means OpenMP library. In everyone thread, vectorization of computing is carried out by means of AVX512. It should be noted, that the construction of the numerical method allows all kinds of decomposition. The results of the verification of numerical method on three tests of Godunov and on the Sedov blast wave test are presented. The purpose of the first test is the correctness of the contact discontinuity description. Most methods for solving hydrodynamics equations yield either oscillation or diffusion of shock waves. The author's method gives the diffusion of the shock wave, while at the same time correctly reproduces the location of the shock wave, contact discontinuity and the waveform of the rarefaction wave. In the second test, a gas with the same thermodynamic parameters expands in different directions, forming a rarified region in the center. The test reveals an ability to physically believable simulate such a situation. It is known from the literature that many methods give an erroneous (unphvsical) temperature jump in the region of strong rarefaction, and as a result, the resulting solution is distorted. The author's method successfully simulates the rarefaction region. The main idea of the third test is to check the stability of the numerical method. A big pressure drop (5 decimal orders) should reveal the ability of the method to stably model strong perturbations with the emergence of rapidly propagating shock waves. The author's method successfully simulates a strong wave. Sedov blast wave test is a standard test that verifies the ability of a method and its realization to reproduce strong shock waves with large Mach numbers. The author's numerical method reproduces quite well the position of the shock wave, as well as the density profile. A detailed description is given, and a parallel implementation of the code is made. A performance of 173 gigaflops and 48

speedup are obtained on a single Intel Xeon Phi processor. A 97 per cent scalability is reached with

""

on the basis of the collision of two dwarf galaxies dSph, which differ by an order in mass. We also considered the chemical processes taking place in the tail of galaxies by means of the complete system

of chemical reactions and a shortened version that allow construct an analytical solution. It is worth noting that the asvmptotics of these solutions has one nature. Behind the front of a massive galaxy, a tail is formed, in which the development of the Kelvin-Helmholtz instability develops an analog of the turbulent flow, due to which the tail is fragmented into tentacles observed in the "jellyfish" galaxies. For characteristic temperature values, as well as the characteristic concentration of atomic neutral hydrogen in tentacles, the behavior of the concentration of various forms of hydrogen was modeled by means of the ChemPAK code, which in its overwhelming part was ionized and the molecular one was several thousandths percent. It is obvious that the process of formation of molecular hydrogen plays a smaller role than the processes leading to the ionization of hydrogen. In this connection, an analytic solution of the ionization process is of main interest.

Key words: Numerical modeling, computational astrophysics, Intel Xeon Phi.

References

I. Poggianti B. M., Jaffe Y. L., Moretti A., et al. Ram-pressure feeding of supermassive black holes // Nature. 2017. V. 548, I. 7667. P. 304-309.

""

supercomputers // IEEE. Ivannikov ISPRAS Open Conference. 2017. P. 104-109.

3. Conor M., Ebeling H., Roediger E. Jellyfish: Observational Properties of Extreme Ram-Pressure Stripping Events in Massive Galaxy Clusters // IAU General Assembly. 2015. Meeting 29, ID 2258213.

4. Sheen Y.-K., Smith R., Jaffe Y., et al. Discovery of Ram-pressure Stripped Gas around an Elliptical Galaxy in Abell 2670 // The Astrophvsical Journal Letters. 2017. V. 840. Article Number L7.

5. Roediger E., Bruggen M., Owers M.S., Ebeling H., Sun M. Star formation in shocked cluster spirals and their tails // Monthly Notices of the Royal Astronomical Society. 2014. V. 443. P. 1.11 I L118.

6. Rawle T. D., Altieri B., Egami E., et al. Star formation in the massive cluster merger Abell 2744 // Monthly Notices of the Royal Astronomical Society. 2014. V. 442, I. 1. P. 196-206.

7. Glover S., Mac Low M. Simulating the Formation of Molecular Clouds. I. Slow Formation by Gravitational Collapse from Static Initial Conditions // The Astrophvsical Journal Supplement Series. 2007. V. 169, I. 2. P. 239-268.

8. Godunov S.K. A Difference Scheme for Numerical Solution of Discontinuous Solution of Hydrodvnamic Equations // Mathematicheskv Sbornik (in russian). 1959. V. 47. P. 271-306.

9. Courant R., Isaacson E., Rees M. On the solution of nonlinear hyperbolic differential equations by finite differences // Communications on Pure and Applied Mathematics. 1952. V. 5. P. 243-256.

10. Roe P. Approximate Riemann solvers, parameter vectors, and difference solvers // Journal of Computational Physics. 1997. V. 135. P. 250-258.

II. Engquist B., Osher S.J. One-sided difference approximations for nonlinear conservation laws // Mathematics of Computational. 1981. V. 36, 321-351.

12. Harten A., Lax P.D., Van Leer B. On upstream differencing and Godunov-tvpe schemes for hyperbolic conservation laws // Society for Industrial and Applied Mathematics. 1983. V. 25. P. 35-61.

13. Einfeld B. On Godunov-tvpe methods for gas dynamics // SIAM Journal of Numerical Analysis. 1988. V. 25. P. 294-318.

14. Batten P., Clarke N., Lambert C., Causon D.M. On the Choice of Wavespeeds for the HLLC Riemann Solver // SIAM Journal of Computing. 1997. V. 18. P. 1553-1570.

15. Van Leer B. Towards the Ultimate Conservative Difference Scheme, V. A Second Order Sequel to Godunov's Method // Journal of Computational Physics. 1979. V. 32. P. 101-136.

16. Jin S., Xin Z. The Relaxation Schemes for Systems of Conservation Laws in Arbitrary Space Dimensions // Communications on Pure and Applied Mathematics. 1995. V. 48. P. 235-276.

17. Collela P., Woodward P.R. The Piecewise Parabolic Method (PPM) Gas-Dynamical simulations // Journal of Computational Physics. 1984. V. 54. P. 174-201.

18. Popov M.. Ustvugov S. Piecewise parabolic method on local stencil for gasdvnamic simulations // Computational Mathematics and Mathematical Physics. 2007. V. 47, I. 12. P. 1970-1989.

19. Popov M., Ustvugov S. Piecewise parabolic method on a local stencil for ideal magnetohydrodvnamics // Computational Mathematics and Mathematical Physics. 2008. V. 48, I. 3. P. 477-499.

20. Kulikov I., Vorobvov E. Using the PPML approach for constructing a low-dissipation, operatorsplitting scheme for numerical simulations of hydrodvnamic flows // Journal of Computational Physics. 2016. V. 317. P. 318-346.

21. Liu X., Osher S., Chan T. Weighted essentially non-oscillatorv schemes // Journal of Computational Physics. 1994. V. 115. P. 200-212.

22. Gingold R. A., Monaghan J.J. Smoothed particle hydrodynamics — Theory and application to non-spherical stars // Monthly Notices of the Royal Astronomical Society. 1977. V. 181. P. 375-389.

23. Lucy L. B. A numerical approach to the testing of the fission hypothesis // The Astrophvsical Journal. 1977. V. 82. P. 1013-1024.

24. Vshivkov V., Lazareva G., Snvtnikov A., Kulikov I., Tutukov A. Hydrodvnamical code for numerical simulation of the gas components of colliding galaxies // The Astrophvsical Journal Supplement Series. 2011. V. 194, I. 2. Article Number 47.

25. Kulikov I. GPUPEGAS: A New GPU-accelerated Hydrodvnamic Code for Numerical Simulations of Interacting Galaxies // The Astrophvsical Journal Supplements Series. 2014. V. 214, I. 1. Article Number 12.

26. Kulikov I. M., Chernvkh I. G., Snvtnikov A. V., Glinskiv B. M., Tutukov A. V. AstroPhi: A code for complex simulation of dynamics of astrophvsical objects using hybrid supercomputers // Computer Physics Communications. 2015. V. 186. P. 71-80.

27. Kulikov I., Chernvkh I. AstroPhi 2.0: a new code of high order accuracy for hydrodvnamic modeling of astrophvsical phenomena on hybrid supercomputers by means Intel Xeon Phi accelerators // The problem of Informatics. 2015. V. 3. P. 46-70.

28. Kulikov I., Chernvkh I., Tutukov A. A New Hydrodvnamic Model for Numerical Simulation of Interacting Galaxies on Intel Xeon Phi Supercomputers // Journal of Physics: Conference Series. 2016. V. 719. Article Number 012006.

29. Glinskv B., Kulikov I., Chernvkh I., et al. The Co-design of Astrophvsical Code for Massively Parallel Supercomputers // Lecture Notes in Computer Science. 2017. V. 10049. P. 342-353.

30. Kulikov I. M., Chernvkh I. G., Glinskiv B. M., Protasov V. A. An Efficient Optimization of HLL Method for the Second Generation of Intel Xeon Phi Processor // Lobachevskii Journal of Mathematics. 2018. V. 39, N. 4. P. 543-550.

31. Glinskiv B., Kulikov I., Snvtnikov A., Romanenko A., Chernvkh I., Vshivkov V. Co-design of parallel numerical methods for plasma physics and astrophysics // Supercomputing Frontiers and Innovations. 2014. V. 1, N. 3. P. 88-98.

32. Glover S., Mac Low M.-M. Simulating the Formation of Molecular Clouds. I. Slow Formation by Gravitational Collapse from Static Initial Conditions // The Astrophvsical Journal Supplement Series. 2007. V. 169. P. 239-268.

33. Kulikov I., Chernvkh I., Protasov V. Mathematical modeling of formation, evolution and interaction of galaxies in cosmological context // Journal of Physics: Conference Series. 2016. V. 722. Article Number 012023.

34. Kulikov I., Chernvkh I., Tutukov A. A New Hydrodvnamic Model for Numerical Simulation of Interacting Galaxies on Intel Xeon Phi Supercomputers // Journal of Physics: Conference Series. 2016. V. 719. Article Number 012006.

35. Sutherland R., Dopita M. Cooling functions for low-density astrophvsical plasmas // The Astrophvsical Journal Supplement Series. 1993. V. 88. P. 253-327.

36. Abel T., Anninos P., Zhang Y., Norman M. Modeling primordial gas in numerical cosmology // New Astronomy. 1997. V. 2, I. 3. P. 181-207.

37. Anninos P., Zhang Y., Abel T., Norman M. Cosmological Hydrodynamics with Multi-Species Chemistry and Nonequilibrium Ionization and Cooling // New Astronomy. 1997. V. 2, I. 3. P. 209-224.

38. Grassi T., Bovino S., Schleicher D., Prieto J., Seifried D., Simoncini E., Gianturco F. KROME — a package to embed chemistry in astrophvsical simulations // Monthly Notices of the Royal Astronomical Society. 2014. V. 439, I. 3. P. 2386-2419.

39. Chernvkh I., Stovanovskava O., Zasvpkina O. ChemPAK Software Package as an Environment for Kinetics Scheme Evaluation // Chemical Product and Process Modeling. 2009. V. 4, I. 4. Article Number 3.

40. Rusanov V. V. The calculation of the interaction of non-stationary shock waves with barriers // Computational Mathematics and Mathematical Physics. 1961. V. 1. P. 267-279.

41. Vshivkov V., Lazareva G., Snvtnikov A., Kulikov I., Tutukov A. Computational methods for ill-posed problems of gravitational gasodvnamics // Journal of Inverse and Ill-posed Problems. 2011. V. 19, I. 1. P. 151-166.

42. Godunov S., Kulikov I. Computation of Discontinuous Solutions of Fluid Dynamics Equations with Entropy Nondecrease Guarantee // Computational Mathematics and Mathematical Physics. 2014. V. 54, I. 6. P. 1012-1024.

43. Frigo M., Johnson S. The Design and Implementation of FFTW3 // Proceedings of the IEEE. 2005. V. 93, I. 2. P. 216-231.

44. Kalinkin A., Laevskv Y., Gololobov S. 2D Fast Poisson Solver for High-Performance Computing // Lecture Notes in Computer Science. 2009. V. 5698. P. 112-120.

GOOPHI: НОВЫЙ КОД ДЛЯ МОДЕЛИРОВАНИЯ АСТРОФИЗИЧЕСКИХ ТЕЧЕНИЙ НА СУПЕРЭВМ, ОСНАЩЕННЫХ УСКОРИТЕЛЯМИ INTEL XEON PHI

И. M. Куликов, И. Г. Черных

Институт вычислительной математики и математической геофизики СО РАН,

630090, Новосибирск, Россия

УДК 519.6, 524.3

В статье изложен новый гидроднамический код gooPhi для моделирования астрофизических течений с использованием новейших ускорителей Intel Xeon Phi с архитектурой KNL. В рамках статьи мы рассмотрим астрофизическое явление: галактику типа медуза. Известно, что основные сценарии образования таких объектов основаны на механизме набегающего давления межгалактического газа или галактического ветра, создаваемого активным ядром галактики. Однако, механизм набегающего давления может быть получен в результате столкновения галактик различной массы. Такой сценарий и был исследован в настоящей работе с помощью разработанного кода. Подробно описан новый векторный численный метод, реализованный в виде программного кода для массивно-параллельных архитектур. Для решения гидродинамических уравнений используется модификация оригинального численного метода, основанного на комбинации метода разделения операторов, метода Годунова и HLL схемы. Такой метод объединяет все достоинства перечисленных методов и обладает высокой степенью параллели-зации. В основе параллельной реализации лежит многоуровневая декомпозиция вычислений. На первом уровне используется геометрическая декомпозиция расчетной области с помощью библиотеки MPI. На втором уровне происходит декомпозиция вычислений между потоками ускорителя Intel Xeon Phi с помощью библиотеки ОрепМР. В рамках каждого потока происходит векторизация вычислений средствами AVX512. Стоит отметить, что конструкция численного метода допускает все виды декомпозиции вычислений. Приведены результаты верификации численного метода на трех тестах Годунова и на задаче Седова о точечном взрыве. Целью первого теста является определение правильности описания контактного разрыва. Большинство методов решения газодинамических уравнений дает либо осцилляцию, либо диффузию ("размазывание" ударных волн). Авторский метод дает размазывание ударной волны, в то же время корректно воспроизводит местоположение ударной волны, контактного разрыва и формы волны разрежения. В ходе второго теста, газ с одинаковыми термодинамическими параметрами разлетается в разные стороны, образуя в центре существенную область разрежения. Тест выявляет способность физически правдоподобно моделировать такую ситуацию. Из литературы известно, что многие методы дают ошибочный (нефизический) рост температуры в области сильного разрежения, и, как следствие, получаемое решение искажается. Авторский метод успешно моделирует область разрежения.

Исследование выполнено за счет гранта Российского научного фонда (проект 18-11-00044), построение аналитических решений выполнено в рамках бюджетной тематики ИВМиМГ СО РАН 0315-2016-0009.

(с) И. М, Куликов, И. Г. Черных, 2018

Основная задача третьего теста — проверка устойчивости численного метода. Огромный перепад давления (5 десятичных порядков) должен выявить способность метода устойчиво моделировать сильные возмущения с возникновением быстро распространяющихся ударных волн. Авторский метод успешно моделирует сильный разрыв. Задача Седова о точечном взрыве является стандартным тестом, проверяющим способность метода и его реализации воспроизводить сильные ударные волны с большими числами Маха. Авторский численный метод достаточно хорошо воспроизводит положение ударной волны, а также профиль плотности. Подробно описаны детали и исследование параллельной реализации кода. В рамках одного Intel Xeon Phi получена производительность 173 ГигаФлопс и 48-кратное ускорение, при использовании 16 ускорителей получена 97-процентная масштабируемость. В работе мы рассмотрели сценарий образования галактик типа медуза на основе столкновения двух карликовых галактик dSph, отличающихся на порядок по массе. Также мы рассмотрели химические процессы, происходящие в хвосте галактик с помощью полной системы химических реакций, и сокращенный вариант, допускающие аналитическое решение. Стоит отметить, что асимптотики этих решений имеют одну природу. За фронтом массивной галактики образуется хвост, в котором за счет развития неустойчивости типа Кельвина-Гельмгольца развивается аналог турбулентного течения, за счет которого хвост фрагментируется на тентакли, наблюдаемые в галактиках типа медуза. Для характерных значений температуры, а также характерной концентрации атомарного нейтрального водорода в тентаклях с помощью пакета ChemPAK было смоделировано поведение концентрации различных форм водорода, который в подавляющей своей части ионизировался, а молекулярный составлял несколько тысячных процента. Очевидно, что процесс образования молекулярного водорода играет меньшую роль, чем процессы, приводящие к ионизации водорода. В связи с этим особый интерес представляет собой аналитическое решение процесса ионизации.

Ключевые слова: математическое моделирование, вычислительная астрофизика, Intel Xeon Phi.

Введение. Предметом современной астрофизики является исследование физических процессов во Вселенной, их влияние на самоорганизацию и эволюцию астрономических объектов, а также на дальнейшую их динамику и взаимодействие. В основе описания астрономических объектов лежат гидродинамические процессы. Именно гидродинамика определяет характер астрофизических течений, которые приводят к эволюции астрономических объектов. Существенность учета гравитационного и магнитного полей, а также сложность воспроизведения условий космоса в лабораторных условиях накладывают значительные ограничения на экспериментальное изучение астрономических объектов. Таким образом, математическое моделирование — это основной, а часто и единственный, подход к теоретическому исследованию астрофизических течений.

В последнее время большой интерес вызывают галактики типа медуза, например галактика ESO 137-001. Основной механизм образования подобных галактик — механизм набегающего давления (в зарубежной литературе — ram-pressure) относительно плотного межгалактического газа на галактику, в результате чего она теряет звезды, газ и пыль в виде тентаклей. Альтернативный сценарий образования механизма изложен в работе [1], где высказывается гипотеза о механизме, основанном на эволюции активного ядра галактики. Однако, по нашему мнению, сценарии не ограничены этими двумя и возникновение механизма возможно при столкновении галактик различных масс [2], что в целом соответствует выводам доклада на Генеральной Ассамблее Международного астрономического союза в 2015 году [3] в космологическом контексте. В настоящей работе мы рассмотрим

модельную задачу столкновения двух карликовых сфероидальных галактик (dSph) с соотношением масс 1:10, Проведен ряд исследований химического состава тентаклей в виде ионизированного и молекулярного водорода [4]. Отдельный интерес тентакли представляют с точки зрения процесса звездообразования [5, 6]. Таким образом, в статье будет изложена первичная проверка гипотезы об образовании галактик типа медуза на основе сценария столкновения двух dSph галактик с соотношением масс 1:10 с учетом химо-кинетики основных форм водорода [7]. Для проверки настоящей гипотезы необходимо проведение полномасштабного гидродинамического моделирования.

За последние 60 лет разработан ряд численных методов решения гидродинамических уравнений, изучены их свойства (точность, сходимость, устойчивость) и области их применения, Начиная с метода Годунова [8], основанного на точном решении задачи Римана, началось развитие численных методов решения гидродинамических уравнений. Использование различных способов линеаризации задачи Римана дало класс методов: Куранта — I Никсона — Риса [9], Еое [10], Ошера [11], метода HLL [12], HLLE [13] и HLLC [14], Также на основе метода Годунова были сделаны реализации высокого порядка — монотонная противопотоковая схема второго порядка точности Ml SCI. [15] и TVD схемы [16], третьего порядка кусочно-параболический метод РРМ [17] и его модификация для компактного шаблона вычислений [18-20], неосциллирующие схемы с весами WENO [21], Альтернативным подходом к сеточным методам является метод сглаженных частиц SPH [22-23], который используется, но менее активно чем ранее, для задач астрофизики (см, обзоры кодов в работах [24-25]),

В 2015 году нами был разработан код AstroPhi [26-27], в его основе была реализация оригинального численного метода с использованием offload модели программирования Intel Xeon Phi, Используемая архитектура ускорителей также не позволила нам реализовать векторные инструкции, в то же время переход на native режим позволил нам получить производительность кода в размере 28 ГпгаФлопс [28], Использование низкоуровневой векторизации циклов в коде AstroPhi позволило получить прирост производительности до величины порядка 100 ГпгаФлопс [29], Стало понятно, что необходимо использовать низкоуровневые средства векторизации для достижения максимальной производительности, что и было реализовано в новой версии кода на основе HLL метода и при использовании одного ускорителя [30], В этой реализации удалось достигнуть 245 ГпгаФлопс производительности на Intel Xeon Phi 7250 и 302 ГигаФлопс на Intel Xeon Phi 7290, Ограничения HLL метода и однопроцессорный вариант программы побудили нас к созданию нового параллельного кода gooPhi на основе оригинального численного метода, допускающего векторизацию вычислений. Второй раздел статьи посвящен описанию численной модели и конструированию численного метода, В третьем разделе приведены детали параллельной реализации. Четвертый раздел посвящен верификации метода на стандартных гидродинамических тестах, В пятом разделе описаны вычислительные эксперименты по изучению сценария образования галактик типа медуза на основе столкновения двух dSph галактик, В шестом разделе сформулировано заключение по статье,

1. Описание численной модели, 1,1, Уравнения гравитационной газовой динамики. В основе математической модели лежат уравнения многокомпонентной гравитационной гидродинамики. Важным условием для последующего конструирования векторизованного численного метода является запись уравнений в векторном виде. Это соответствует концепции со-дизайна, который был сформулирован авторами настоящей статьи ранее [31], Будем использовать переопределенную систему уравнений гидродинамики с уравне-

нием энтропии. Такая запись позволяет записать систему гидродинамических уравнений в дивергентной форме, что позволяет сформулировать векторный численный метод. Во введении было сказано, что, помимо самой формы тентаклей, особый интерес представляют процессы образования молекулярного Н2 и ионизированного Н+ водорода. Для них и атомарного водорода Н запишем уравнения неразрывности.

д_ dt

( Рн \

pH2 Рн+ ри pS V РЕ

+ V

Рн и РН2 и рн+и ри ® и + p pSu \ (рЕ + p) и J

( sh \

SH2

Sh+ Р V Ф (Y - 1) Р1-7 (Л - Г)

V Л -Г У

(1)

где РН,Н2,Н + — плотность атомарного, молекулярного и ионизированного водорода соответственно, Р = РН + РН2 + РН+ — плотность газовой смеси, и = (их,иу, uz) — вектор скорости, S — энтропия, p = Sp7 — давлен не, 7 — показатель адиабаты, рЕ = Р£ + 2 Ри2 — полная механическая энергия, p = (7 — 1)pe — состояния, sH,H2,H + — скорость

образования соответствующей формы водорода, Ф — гравитационный потенциал, удовлетворяющий уравнению Пуассона:

ЛФ = 4nGp, (2)

где G — гравитационная постоянная, Л — функция охлаждения, Г — функция нагревания,

1,2, Химические процессы. Мы будем рассматривать основные химические реакции, изложенные в работе [32], скорости химических реакций, а также функции охлаждения -нагревания, взятые из работ [33-38], Приведем список химических и ядерных реакций:

— Образование молекулярного водорода [34]:

H + H + grain ^ H2 + grain;

— Первая столкновительная диссоциация молекулярного водорода [33]:

H2 + H ^ 3H;

— Вторая столкновительная диссоциация молекулярного водорода [34]:

H2 + H2 ^ 2H + H2;

— Фотодиссоциация молекулярного водорода [34]:

H2 + Y ^ 2H;

— Ионизация космическими лучами [32]:

H + c.r. ^ H + + e;

— Столкновительная ионизация [36]:

H + e H + + 2e;

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

— Рекомбинация излучением [33],

H + + e ^ H + y;

— Рекомбинация на пыли [32]:

H + + e + grain ^ H + grain.

В математической моделе будет использоваться эффективный показатель адиабаты в виде:

5nH + 5ne + 7пн2

y

3nH + 3ne + 5пн2

В моделировании мы также будем использовать равновесную химию, полученную с помощью кода СИетРАК [39] или аналитические решения при использовании основных реакций образования молекулярного и ионизированного водорода,

1,3, Численный метод решения уравнений гидродинамики. Для решения гидродинамических уравнений была использована модификация оригинального численного метода, основаннаго на комбинации метода разделения операторов, метода Годунова и Н1Л схемы, Такой метод объединяет все достоинства перечисленных методов и обладает высокой степенью параллелизации, на чем остановимся подробнее в следующих разделах.

Для дискретизации введем в трехмерной области решения равномерную прямоугольную сетку с ячейками х = г х Нх, г = \,..,1тах1 ук = к х Ну, к = 1,..,Ктах7 г = I х I = \,..,ЬтаХ1 где Нх, Ну, Нг — шаги сетки, 1тах, Ктах, Ьтах — количество узлов сетки по направлениям X, у г: Нх = Хтах/1тах, Ну = Утах/Ктах, Нх = Хтах/Ьтах- ДЛЯ ПрОСТОТЫ ИЗ-ложення будем считать, что Нх = Ну = Нг = Н, шаг то времени т вычисляется из условия Куранта

т х (с + ||и|;

h

CFL < 1,

где СГЬ — число Куранта, с = \pYpfp — скорость звука. Также напомним, что уравнения гидродинамики (1) записаны в векторной форме:

% + V-№ = о, (3)

где V — вектор консервативных переменных. Для уравнения (3) численная схема по одному направлению записывается в виде:

УГ+1 - УГ + ^+1/2 - А-1/2 = 0, (4)

тН

где ^ — решение задачи Римана, Далее изложим идею векторного численного метода.

Для демонстрации базовой идеи метода рассмотрим скалярное уравнение (3), записанное в виде:

ду (у) . .

-ж + = (5)

па границе двух ячеек (Ь — левая ячейка ий - правая ячейка) мы можем линеаризовать уравнение (5) и записать в виде:

д v dv

т + ат = 0

где а = const — скорость распространения решения или в общем случае матрица Якоби, также имеет место соотношение f = а х v. Для определенности будем считать скорость а > 0, в противном случае имеет место схема вывода, дающая тот же результат, В этом случае последнее уравнение можно записать в виде двух сопряженных уравнений:

д (v + f \ + fv + f \ =0

dt \ а) дх\ а)

д_ / f \ д (v_ f \ _ 0

dt \ а) дх\ а) '

В этом случае на разрыве имеют место соотношения:

fr F fR F

vl + - = V + F; vr - fR = V - F,

а а а а

F

P fL + fR а , 4

F = —2— + 2 (vr - vR)

а

задачи Римана может быть записана в виде:

F = f (vL) + f (vR) + ^^ (vr - vr) . (6)

В случае использования векторных уравнений в качестве константы рассматривается максимальное собственное число,

В оригинальном численном методе решение уравнений мы разбивали на два этапа — работу сил (эйлеров этап) и адвективный перенос (лагранжев этап). На эйлеровом этапе уравнения имели две характеристики ±c, па лагранжевом этапе — модуль скорости, В связи с этим уравнение для решения задачи Римана можно рассмотреть как последовательность двух решений по двум этапам (в случае использования консервативных переменных — независимых решений), тогда финальная запись уравнения для определения потока в задаче Римана имеет вид:

F = f(vL) + f(vR) + ^ (vr - vr). (7)

Очевидно, что схема (4) с определением потока (7) естественным образом векторизуется, Отметим также, что схема по своей структуре аналогична схеме Русанова, однако, в отличие от схемы Русанова [40], которая позиционируется как некоторое упрощение HLL метода, в оригинальном подходе используется явное выделение каждого из этапов и точное выполнение условия сопряжения численного решения на разрывах на каждом из этапов.

Отметим, что функции охлаждения/нагревания, также как и химическая кинетика, реализуются простейшей явной схемой решения ОДУ,

1,4, Регуляризация численного решения. На завершающем этапе решения гидродинамических уравнений происходит корректировка решения, В случае границы газ-вакуум с использованием формулы [41]:

|u| = y/2(E - e), (E - u2/2)/E ^ 10-3

в остальной области происходит корректировка, которая гарантирует неубывание энтропии [42]:

И = l^pE - Ç) , (E - u2/2)/E < 10-3

Такая модификация обеспечивает детальный баланс энергий и гарантирует неубывание энтропии,

1,5, Численный метод решения уравнения Пуассона. После решения гидродинамических уравнений необходимо восстановить гравитационный потенциал по плотности газовой смеси. Для решения уравнения Пуассона используем метод, основанный на быстром преобразовании Фурье, Для этого используем 27-точечный шаблон для аппроксимации уравнения Пуассона:

38 4

- 38$i,fc,1 + 4 ($i-1,fc,1 + $i+1,fc,Z + $i,fc—1,Z + $i,fc+1,Z + $i,fc,1-1 + $i,fc,1+l) + 9 9

1 (фг—1,fc—1,Z + $i+1,fc—1,Z + фг—1,fc+1,Z + $i+1,fc+1,Z + фг—1,fc,Z—1 + $i+1,fc,Z—1 + 9

+ Ф )+

1 (Фг—1,fc-1,Z-1 + Фг—1,fc+1,Z-1 + Фг—1,fc-1,Z+1 + Фг—1,fc+1,Z+1 + Фг+1,&-1,Z-1 + $i+1,fc+1,Z-1 +

36

$i+1,fc—1,Z+1 + $i+1,fc+1,Z+1) = 4nGk2 (pi)fc)Z + ni)fc)Z)

Это связано с обеспечением максимальной инвариантности решения относительно поворота, Алгоритм решения уравнения Пуассона будет состоять из нескольких этапов.

Этап 1, Постановка граничных условий для уравнения Пуассона, Для постановки граничных условий для гравитационного потенциала па границе области D будем использовать первые члены мультипольного разложения — статический, осевой и центробежный моменты инерции:

M M

&(x,y,z)lD = - — - — (4 + Iy + Iz - 3/q)

где

(x2Ix + y2Iy + z2Iz) - 2 (xyIxy + xzIxz + yzIyz)

iq

Ix = (3+y|) mj Iy = 5] (xj + 3 mj Iz = ^2 (xJ+j mj j j j

Ixy "У ] xj yj mj ^xz ^ ] xj zj mj ^yz ^ ] yj zj mj

xz

3 3 3

где х, у, г — координаты центра ячеек на границе области, г = \]х2 + у2 + г2 — расстояние до центра области, х^ ,2^- — координата очередной ячейки, т^ — масса очередной ячейки, М — масса всей области. Когда значения потенциала на границе области определены, то они подставляются в 27-точечный шаблон для определения итоговой плотности па границе О,

Этап 2, Преобразование плотности в пространство гармоник. Итоговая плотность представляется в виде суперпозиции по собственным функциям оператора Лапласса:

/ \-KVJ ткт 1п1п Рг,к,1 = ^Зтиехру —р +--^--+ —

]тп \

где I, К, Ь — число ячеек то каждой координате, 1 — мнимая единица. Для этого используется быстрое преобразование Фурье,

Этап 3, Решение уравнения Пуассона в пространстве гармоник. Мы предполагаем, что потенциал также представлен в виде суперпозиции по собственным функциям оператора Лапласса:

,, , I 1пкт тЫ

Фг,к,1 = Фзшп&Хр\ -у + +

]тп \

При подстановке такого разложения в схему аппроксимации уравнения Пуассона мы получаем достаточно простую формулу для вычисления амплитуд гармоник потенциала:

ф 3пИ иутп

jmn i Л 2sin2 Л 2 sin2 ngî\ Л 2 sin2 nL

После чего необходимо проделать обратное быстрое преобразование Фурье гармоник потенциала в функциональное пространство гармоник. Для решения уравнения Пуассона, в основе которого быстрое преобразование Фурье для суперЭВМ с распределенной памятью, была использована библиотека FFTW [43], которая, несмотря на использование коллективных взаимодействий, функционирует достаточно быстро, чтобы не замедлить время счета относительно решения уравнений гидродинамики [44],

2. Параллельная реализация, В основе параллельной реализации лежит многоуровневая декомпозиция вычислений:

— одномерная декомпозиция расчетной области средствами MPI, которая для согласованности с решением уравнения Пуассона задается библиотекой FFTW,

— одномерная декомпозиция вычислений средствами ОрепМР в рамках одного процесса, выполняющегося на одном ускорителе Intel Xeon Phi,

— векторизация вычислений в рамках одной ячейки.

Перейдем к более подробному описанию организации и исследования параллельной реализации,

2,1, Геометрическая деком,позиция, вычислений. Геометрическая декомпозиция расчетной области осуществляется средствами MPI по процессам и средствами ОрепМР по потокам, В случае декомпозиции вычислений средствами MPI необходимо учесть перекрывающиеся подобласти. Компактный шаблон вычислений позволяет использовать только один слой перекрытия. Графическое представление геометрической декомпозиции расчетной области представлено на рис, 1,

Как уже было сказано, декомпозиция вычислений осуществляется средствами библиотеки FFTW с использованием следующего кода:

// Создание плана прямого и обратного БПФ fftwnd^mpi^plan plan = fftw3d_mpi_create_plan ( ММ_а)ММ_\\Ш1П NX, NY, NZ, FFIW_POKWARD, FFTW_ESTIMATE) ;

fftwnd^mpi^plan iplan = fftw3d_mpi_create_plan (

m п.

Рис. 1. Геометрическая декомпозиция вычислений средствами MPI и ОрепМР

mjOOMMJVORLD, NX, XY. XX. FFRV^BACKWARD, FFTW^ESTMATE);

// Определение размера подобласти

fftwnd_mpi_local_sizos (plan ,

&local_nx , // размер по оси X

&local_x_start , /'/ стартовый индекс по оси X

&local_ny_after_transpose , // размер и индекс по оси Y

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

&local_y_start_after_transpose , // после транспонирования

&total_local_sizo ); // общее количество ячеек в подобласти

// Выделение памяти с учетом выравнивания данных по 64 байтам U = ( double *) _mm_malloc (ХК*ХУ*Х2*ХНУБЮ* s i z e о f ( double ) , 6 4);

/'/ Распределение вычислений средствами ОрепМР

^pragma omp parallel for default (none) shared (\dots) \

private (\dots) num_throads (MC_XUN'1_IHRELADS) schedule (dynamic)

for (i 0: i NX: i--)

\ dots

Организация межпроцессного взаимодействия приведено в приложении, также как и реализация решения уравнения Пуассона.

2.2. Использование векторных инструкций. В этом подразделе мы опишем основные инструкции, которые были использованы для реализации метода, остановимся только па декларативном описании.

— _rnrn512_setl_pd — формирование вектора, все элементы которого содержат одно скалярное значение.

— _mrn512_load_pd — загрузка из адреса 8 элементов типа double в вектор.

— _mrn512_rnul_pd — произведение векторов.

— _mrn512_add_pd — сложение векторов.

— _mrn512_sub_pd — вычитание векторов.

— _mrn512_strearn_pd — запись вектора в память.

Рис. 2. Ускорение (а) и реальная производительность (б) кода gooPhi в рамках одного Intel Xeon Phi

Приведенных здесь инструкций достаточно для реализации численного метода решения уравнений гидродинамики. Для компиляции кода использовалась следующая строка: icc -xMIС-AVX512 -qopenmp -ОЗ -no-prec-div -о gooPhi.mie gooPhi.epp -Im

Здесь стоит отметить только ускорение операции деления с помощью опции -no-prec-div. Такая опция является рекомендуемой при использовании SSE расширений.

2.3. Исследование ускорения кода. Проводилось исследование ускорения кода gooPhi на сетке 5123, для этого замерялось время численного метода (Total), в секундах, при различном числе используемых логических ядер (Threads). Ускорение Р (Speed-Up) вычислялось по формуле 8:

p = (8) TotalK

где Totali — время вычислений на одном логичееком ядре, TotalK — время вычислений при использовании K логических ядер. Также была сделана оценка реальной производительности. Результаты исследований ускорения и производительности на сетке 5123 приведены на рис. 2.

В рамках одного Intel Xeon Phi получены производительность 173 ГигаФлопс и 48-кратное ускорение.

2.4. Исследование масштабируемости кода. Проводилось исследование масштабируемости кода gooPhi на расчетной сетке 512p х 512 х 512 при использовании всех логических ядер на каждый ускоритель, где p — число используемых ускорителей. Таким образом, на каждый ускоритель приходится размер подобласти 5123, Для исследования масштабируемости замерялось время численного метода (Total), в секундах, при различном числе

T

числялась по формуле

T = TOOr (9)

T otalp

где Total i — время вычислений на одном ускорителе при использовании одного ускорите-

Totalp p

Результаты исследований ускорения приведены на рис. 3.

1,000 0,975

£

|5 0,950

ГО

со

о

СО 0,925 0,900

Рис. 3. Масштабируемость кода gooPhi при различном числе ускорителей Intel Xeon Phi

Таблица 1

Начальное состояния для задач об ударной трубе

N PL VL PL PR VR PR Xo t

1 2 0 2,0 1 0 1,00 0,5 0,200

2 1 -2 0,4 1 2 0,40 0,5 0,150

3 1 0 1000,0 1 0 0,01 0,5 0,012

Таким образом, при использовании 16 ускорителей получена 97-процентная масштабируемость, что является достаточно высоким результатом.

3. Верификация численного метода. 3.1. Тесты, Годунова. Начальная конфигурация для трех задач — тестов Годунова, приведена в таблице (1), где х0 — начальная позиция разделителя между двумя соседними состояниями (Ь — левое, Я — правое). Для вычислительных экспериментов использовалось 200 расчетных ячеек.

Перейдем к результатам вычислительных экспериментов.

Целью первого теста является определение правильности описания контактного разрыва. Большинство методов решения газодинамических уравнений дают либо осцилляцию, либо диффузию ("размазывание" ударных волн). Авторский метод дает размазывание ударной волны, в то же время корректно воспроизводит местоположение ударной волны, контактного разрыва и формы волны разрежения (см. рис. 4).

В ходе второго теста, газ с одинаковыми термодинамическими параметрами разлетается в разные стороны, образуя в центре существенную область разрежения. Тест выявляет способность физически правдоподобно моделировать такую ситуацию. Из литературы известно, что многие методы дают ошибочный (нефизический) рост температуры в области сильного разрежения и, как следствие, получаемое решение искажается. Авторский метод успешно моделирует область разрежения (см. рис. 5).

Основная задача третьего теста — проверка устойчивости численного метода. Огромный перепад давления (5 десятичных порядков) должен выявить способность метода

0.6 1,0

2 о.

0.0 0.2 0.4 0.6 0.6 1.0

Рис. 4. Результаты для первой задачи об ударной трубе

0.6 1.0

Рис. 5. Результаты для второй задачи об ударной трубе

0.0 0.2 0.4

0.0 0.2 0.4 0.6 0.6 1.0

0,0 0,2 0,4 0,6 0,8 1,0

Рис. 6. Результаты для третьей задачи об ударной трубе

устойчиво моделировать сильные возмущения с возникновением быстро распространяющихся ударных волн. Авторский метод успешно моделирует сильный разрыв (см. рис. 6).

3.2. Задача Седова о точечном взрыве. Задача Седова о точечном взрыве в астрофизике формулируется как задача о взрыве сверхновой. Для моделирования задачи о точечном взрыве будем рассматривать область [-0,5; 0,5]3, показатель адиабаты 7 = 5/3, начальную плотность в области р0 = 1 и начальное давление р0 = 10-5, В момент времени £ = 0 выделяется внутренняя энергия Е0 = 0,6. Область взрыва ограничена радиусом гсеПга1 = 0,02.

1003

ный профиль плотности и момента импульса на момент времени £ = 0,05 изображен на рис. 7).

Задача Седова о точечном взрыве является стандартным тестом, проверяющим способность метода и его реализации воспроизводить сильные ударные волны с большими числами Маха. Скорость звука фоновой среды пренебрежимо мала, поэтому число Маха

4

О

3

2

0,0

0,1

0,2

0,3

0,4

0,5

Рис. 7. Плотность, полученная при численном решении задачи Седова о точечном взрыве. Сплошной

линией изображено точное решение

достигает значения M = 1432. Авторский численный метод достаточно хорошо воспроизводит положение ударной волны, а также профиль плотности.

4. Моделирование сценария образования галактики типа медуза на основе столкновения галактик. В этом разделе мы рассмотрим сценарий образования галактик типа медуза на основе столкновения двух карликовых галактик dSph, отличающихся на порядок по массе. Также мы рассмотрим химические процессы, происходящие в хвосте галактик с помощью полной системы химических реакций, приведенных во втором разделе, и сокращенный вариант, допускающие аналитическое решение. Стоит отметить, что асимптотики этих решений имеют одну природу.

4.1. Постановка задачи. Будем моделировать центральное столкновение двух галактик с массами Mi = 109Mo и M2 = 108Mo, имеющие скор ости vcr = 40 км/с, линейный размер галактик составляет L = 3 килопарсек, каждая из которых задана двумя само-гравитирующими сферическими облаками с NFW-профилями, Галактики вращаются в противоположенные стороны с дифференциальным вращением:

Будем рассматривать эволюцию в течение 270 миллионов лет. Начальное расстояние между галактиками совпадает с их линейным размером.

4.2. Результаты вычислительных экспериментов. Результаты вычислительных экспериментов приведены на рис. 8.

За фронтом массивной галактики образуется хвост, в котором за счет развития неустойчивости типа Кельвина-Гельмгольца развивается аналог турбулентного течения, за счет которого хвост фрагментируетея на тентакли, наблюдаемые в галактиках типа медуза.

дг

дФ

3

2

-3

-2

-1

О

1

-3 -2 -1

О

1

2

3

Рис. 8. Результаты вычислительных экспериментов по воспроизведению сценария образования галактики типа медуза на основе столкновения галактик различной массы. На рисунках приведена плотность в см-3 на момент времени 270 миллионов лет.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

4.3. Химическая кинетика водорода. Для характерных значений температуры T = 1000 К и T = 5000 К, а также характерной концентрации атомарного нейтрального водорода в тентаклях с помощью пакета ChemPAK |39| было смоделировано поведение концентрации различных форм водорода, который в подавляющей своей части ионизировался, а молекулярный составлял несколько тысячных процента. В интервале времени 1011 < t < 1011'5 секунд происходит резкий процесс ионизации. Очевидно, что процесс образования молекулярного водорода играет меньшую роль, чем процессы, приводящие к ионизации водорода. В связи с этим особый интерес представляет собой аналитическое решение процесса ионизации па основе следующих реакций:

— H + c.r. ^ H + + e

— H + e ^ H + + 2e

— H + + e ^ H + y

— H + + e + grain ^ H + grain

В дальнейших публикациях мы рассмотрим этот вопрос более подробно.

Заключение. В статье изложен новый гидродпамический код gooPhi дня моделирования астрофизических течений с использованием новейших ускорителей Intel Xeon Phi с архитектурой KXL. Подробно описан новый векторный численный метод, реализованный в виде программного кода дня массивно-параллельных архитектур. Приведены результаты верификации численного метода. Подробно описаны детали и исследование параллельной реализации кода. В рамках одного Intel Xeon Phi получена производительность

173 ГигаФлопс и 48-кратное ускорение, при использовании 16 ускорителей получена 97-процентная масштабируемость.

Приложение 1. Межпроцессорные взаимодействия

Pattern for MPI communications

#d e f i n e CDMM Ш_аМ_ЖВШ #define STATUS MPI_STATUS_IGNORE

^define TE 1 // \glqq{}to right\grqq{} communications ^define TL 2 // \glqq{}to left\grqq{} communications \ dots

i f ( rank = 0) {

buffer [0] = a[N-2];

MPI_Send( buffer ,1 .Mi'IJXHBI.K. rank 1.

TR,ŒMM) ;

MPI_Recv( buffer ,1 .Mi'LiXH Bi.K. rank 1.

TL ,00MM, STATUS ) ;

-

}

-

{

-

TR,OOMM, STATUS ) ;

a[0] = buffer [0] ; buffer [0] = a [1] ;

-

TL ,CGMM) ;

}

-

{

-

TR,OOMM, STATUS ) ;

a [0] = buffer [0] ;

-

MPI_Send( buffer ,1 .MI'IJXHBI.K. rank 1.

TR,ŒMM) ;

MPI_Recv( buffer ,1 .Mi'LiXH Bi.K. rank 1.

TL ,OOMM, STATUS ) ;

-

buffer [0] = a [1] ;

-

TL ,CGMM) ;

}

Приложение 2. Использование библиотеки FFTW

Шаблон решения уравнения Пуассона

/* Подготовка правой части уравнения Пуассона (data) */ /* Постановка граничных условий (data) */

// Прямое БПФ

fftwnd_mpi (plan , 1, data, NULL, FET\¥_TR4NSPC6ED_ORDER); /* Решение уравнения Пуассона в пространстве гармоник */

// Обратное БПФ

fftwnd_mpi (iplan , 1, data, NULL, FFTW_TR4NSPC6ED_ORDER);

Список литературы

1. Poggianti В. \!.. Jaffe Y. L., Moretti A., et al. Ram-pressure feeding of supermassive black holes // Nature. 2017. V. 548, I. 7667. P. 304-309.

2. Kulikov I., Chernvkh I. Numerical Modeling of "Jellyfish" Galaxy at Intel Xeon Phi supercomputers // IEEE. Ivannikov ISPRAS Open Conference. 2017. P. 104-109.

3. Conor M., Ebeling H., Roediger E. Jellyfish: Observational Properties of Extreme Ram-Pressure Stripping Events in Massive Galaxy Clusters // IAU General Assembly. 2015. Meeting 29, ID 2258213.

4. Sheen Y.-K., Smith R., Jaffe Y., et al. Discovery of Ram-pressure Stripped Gas around an Elliptical Galaxy in Abell 2670 // The Astrophvsical Journal Letters. 2017. V. 840. Article Number L7.

5. Roediger E., Bruggen M.. Owers M.S., Ebeling H., Sun M. Star formation in shocked cluster spirals and their tails // Monthly Notices of the Royal Astronomical Society. 2014. V. 443. P. 1.11 I L118.

6. Rawle T. D., Altieri В., Egami E., et al. Star formation in the massive cluster merger Abell 2744 // Monthly Notices of the Royal Astronomical Society. 2014. V. 442, I. 1. P. 196-206.

7. Glover S., Mac Low M. Simulating the Formation of Molecular Clouds. I. Slow Formation by Gravitational Collapse from Static Initial Conditions // The Astrophvsical Journal Supplement Series. 2007. V. 169, I. 2. P. 239-268.

8. Godunov S.K. A Difference Scheme for Numerical Solution of Discontinuous Solution of Hydrodvnamic Equations // Mathematicheskv Sbornik (in russian). 1959. V. 47. P. 271-306.

9. Courant R., Isaacson E., Rees M. On the solution of nonlinear hyperbolic differential equations by finite differences // Communications on Pure and Applied Mathematics. 1952. V. 5. P. 243-256.

10. Roe P. Approximate Riemann solvers, parameter vectors, and difference solvers // Journal of Computational Physics. 1997. V. 135. P. 250-258.

11. Engquist В., Osher S.J. One-sided difference approximations for nonlinear conservation laws // Mathematics of Computational. 1981. V. 36, 321-351.

12. Harten A., Lax P.D., Van Leer B. On upstream differencing and Godunov-tvpe schemes for hyperbolic conservation laws // Society for Industrial and Applied Mathematics. 1983. V. 25. P. 35-61.

13. Einfeld B. On Godunov-tvpe methods for gas dynamics // SIAM Journal of Numerical Analysis. 1988. V. 25. P. 294-318.

14. Batten P., Clarke N., Lambert C., Causon D.M. On the Choice of Wavespeeds for the HLLC Riemann Solver // SIAM Journal of Computing. 1997. V. 18. P. 1553-1570.

15. Van Leer B. Towards the Ultimate Conservative Difference Scheme, V. A Second Order Sequel to Godunov's Method // Journal of Computational Physics. 1979. V. 32. P. 101-136.

16. Jin S., Xin Z. The Relaxation Schemes for Systems of Conservation Laws in Arbitrary Space Dimensions // Communications on Pure and Applied Mathematics. 1995. V. 48. P. 235-276.

17. Collela P., Woodward P.R. The Piecewise Parabolic Method (PPM) Gas-Dvnamical simulations // Journal of Computational Physics. 1984. V. 54. P. 174-201.