CC BY
23
тров закона распределения случайной величины разработана вычислительная процедура оценивания законов распределения крайних значений характеристик надежности, отличающаяся от известных тем, что для ее использования требуется знание лишь первых двух начальных моментов и объема выборочных данных; исключена необходимость оценивания исходного закона распределения наработки до отказа. Это позволяет упростить вычисления и разработать формаль-
ную процедуру оценивания граничных значений характеристик надежности, в т. ч. по малому числу исходных данных, а также в условиях отсутствия априорной информации о типе закона распределения наработки до отказа. Формализация процедуры оценивания граничных значений характеристик надежности делает возможным ее реализацию в виде прикладного программного продукта.
Работа проведена в рамках гранта РФФИ 10-08-00359-а.
СПИСОК ЛИТЕРАТУРЫ
1. Гаскаров, Д.В. О прогнозировании надежности высоконадежных изделий [Текст] / Д.В. Гаскаров, С.А. Колосов, В.И. Попеначенко // Электронная техника. Управление качеством и стандартизация. -1970. -Вып. 3. -С. 13-21.
2. Вентцель, Е.С. Теория вероятностей и ее инженерные приложения [Текст] / Е.С. Вентцель, Л.А. Овчаров. -2-е изд. -М.: Высш. школа, 2000. -480 с.
3. Гаскаров, Д.В. Малая выборка [Текст] / Д.В. Гаскаров, В.И. Шаповалов. -М.: Статистика, 1978. -248 с.
4. Калюжный, И.Н. Исследование и разработка ускоренных методов оценки надежности радиоэлектронной аппаратуры, сокращающих объем и продолжительность испытаний [Текст] / И.Н. Калюжный, Е.Ю. Мешков // Сибирский научный вестник. -2000. -Вып. 4. -С. 214-216.
5. Гузаиров, М.Б. Статистическое исследование территориальных систем: Монография [Текст] / М.Б. Гузаиров, В.Е. Гвоздев, Б.Г. Ильясов [и др.]. -М.: Машиностроение, 2008. -187 с.
6. Уткин, Л.В. Нетрадиционные методы оцен-
ки надежности информационных систем [Текст] / Л.В. Уткин, И.Б. Шубинский. -СПб.: Любавич, 2000. -173 с.
7. Дружинин, Г.В. Надежность автоматизированных систем [Текст] / Г.В. Дружинин. -3-е изд., пере-раб. и доп. -М.: Энергия, 1977. -536 с.
8. Гумбель, Э. Статистика экстремальных значений [Текст] / Э. Гумбель. -М.: Мир, 1965. -450 с.
9. Дэйвид, Г. Порядковые статистики [Текст] / Г. Дэйвид; Пер. с англ. В.А. Егоровой, В.Б. Невзоровой. -М.: Наука, 1979. -336 с.
10. Трайбус, М. Термостатика и термодинамика [Текст] / М.М. Трайбус. -М.: Энергия, 1970. -504 с.
11. Кузин, Л.Т. Основы кибернетики [Текст] / Л.Т. Кузин. -М.: Энергия, 1973. -Т. 1. -503 с.
12. Гвоздев, В.Е. Анализ надежности технических систем на основе математико-статистического моделирования [Текст] / В.Е. Гвоздев, Г.И. Таназлы, А.Ю. Хасанов, М.А. Абдрафиков // Управление, вычислительная техника и информатика. -Уфа: Изд-во Уфимского авиационного технического ун-та, 2011. -Т. 15. -№ 2 (42).
УДК 519.6
И.Я. Шейнман, Н.Н. Шабров, В.А. Киев, А.Ю. Снегирёв, А.С. Цой
МАСШТАБИРУЕМОСТЬ ОТКРЫТОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ ПОЛЕВОГО МОДЕЛИРОВАНИЯ ПОжАРОВ
Полевое моделирование динамики пожара -важная практически, мультифизичная и ресурсоемкая задача. Численное моделирование возможного пожара на стадии проектирования объекта позволяет выполнить многовариантный анализ и, как следствие, извлечь существенные экономические преимущества при обеспечении требуемого уровня безопасности. Наиболее информативной
технологией моделирования турбулентного горения при пожаре является применение метода крупных вихрей [1]. Такой подход требует длительных вычислений случайных нестационарных пульсаций всех характеристик потока с высоким пространственным разрешением. При последовательной программной реализации численных методов или малом числе используемых ядер в
случае параллельной версии длительность расчета становится неприемлемо большой (порядка нескольких недель и более). Следовательно, для внедрения вычислений данного типа в широкую инженерную практику требуются параллельные вычисления на большом числе процессоров. При этом необходима количественная информация об изменении скорости вычислений в зависимости от числа активных ядер в условиях заданной архитектуры кластера. Такой анализ масштабируемости задачи важен для оценки вычислительных возможностей, ограничений по размерам пространственных сеток и для прогноза длительности расчетов.
В настоящее время в инженерной и научной практике применяются три вида программного обеспечения (ПО) для численного моделирования горения при пожаре. К первому виду относятся мощные универсальные вычислительные гидродинамические пакеты, доступные на коммерческой основе, позволяющие моделировать пожар в условиях сложной, нестандартной геометрии помещений с использованием параллельных вычислений на современных кластерах. Универсальность указанных пакетов приводит к большой длительности расчетов. Вместе с высокой стоимостью лицензий это повышает общие затраты на моделирование. Ко второму виду можно отнести коды собственной разработки (например, Fire3D [2]), применимость которых ограничена узким кругом пользователей. К третьему, относительно новому в данной области приложений, виду программных средств относится свободно распространяемое ПО с открытым кодом. Разработаны узкоспециализированные программы, изначально предназначенные для решения задач пожарной безопасности (FDS [3]). Наряду с ними существуют специализированные коды для моделирования пожаров, использующие компоненты программ общего назначения, созданных для широкого класса задач физики и механики сплошной среды. Представителем последнего подхода является код FireFOAM, разработанный на базе объектно-ориентированной библиотеки OpenFOAM [4].
Использование открытого ПО допускает его гибкую адаптацию для конкретной задачи и позволяет существенно снизить стоимость вычислений, что особенно важно в широкой инженерной практике. Кроме того, при этом снимается проблема лицензионных ограничений, характерных
для проприетарного ПО, и открывается возможность использования программ в режиме облачных сервисов. Перечисленные факторы способствуют растущей популярности данной категории программ. Отметим, что в представленной работе открытое ПО впервые использовано для моделирования динамики пожара в режиме «облачных» вычислений (программа Университетский кластер [5]).
Систематические исследования эффективности работы параллельных версий OpenFOAM и FDS начались лишь в последнее время и поэтому представлены преимущественно в интернет-публикациях и материалах конференций [6-12]. Обзор результатов, полученных к настоящему времени для решателей OpenFOAM, приведен в табл. 1.
В табл. 1 и далее в данной статье в качестве характеристик эффективности параллельных вычислений использованы два параметра: ускорение (продолжительность вычислений на одном ядре, отнесенная к продолжительности вычислений на нескольких ядрах) и эффективность (ускорение, отнесенное к числу используемых ядер). Независимо от технических характеристик кластеров, максимальное ускорение в опубликованных работах достигалось на тем большем количестве ядер, чем большее число ячеек содержала расчетная сетка. В частности, для сеток, содержащих около 1 млн ячеек, оптимальным оказалось использование до 128 ядер, а для сеток, содержащих около 10 млн, - до 512 ядер [10]. Поскольку в качестве тестовых задач рассматривались в основном канонические задачи гидродинамики, такие, как ламинарное течение в каверне с движущейся крышкой или обтекание обратного уступа, не представляется возможным распространить имеющиеся результаты на задачи, характерные для моделирования пожара. Информация о масштабируемости FDS и FireFOAM ограничивается единичными публикациями (см., например, [11, 12]).
Данная статья заполняет этот пробел и представляет результаты исследования масштабируемости указанных программных продуктов при численном моделировании турбулентного естественно-конвективного пламени, характерного для очага пожара. Цель работы - определение оптимального размещения процессов по узлам кластера и оценивание максимальной эффективности параллельных вычислений в зависимости от размерности расчетной сетки.
Таблица 1
Масштабируемость решателей OpenFoam (опубликованные результаты)
Источник Тип тестовой задачи Количество ячеек пространственной сетки, млн Максимальное число ядер Максимальное ускорение/ эффективность при данном ускорении
[6] Обтекание обратного уступа, LES, Re = 10000 0,66 и 5,28 4 5/1,25
[7] Ламинарное течение в каверне с подвижной крышкой 1 192 50/0,52 на 96 ядрах
Удар капли о стенку 8 768 179/0,23 на 768 ядрах
[8] Ламинарное течение в каверне с подвижной крышкой 3,375 8 15,625 1024 827/0,81 (среднее для трех сеток)
[9] Модель течения в человеческой гортани при работе голосовых связок 3,2 16 12/0,75
[10] Ламинарное течение в каверне с подвижной крышкой 1 1024 36,5 на 128 ядрах. Время расчета отнесено к времени расчета на четырех ядрах
8 64 на 512 ядрах. Время расчета отнесено к времени расчета на 8 ядрах
Атомизация турбулентной струи, LES 19 23,6 на 512 ядрах. Время расчета отнесено к времени расчета на 16 ядрах
Постановка тестовой задачи
В качестве тестовой выбрана задача моделирования установившегося естественно-конвективного диффузионного турбулентного пламени в открытом пространстве над круглой пористой горелкой диаметром 30 см. Постановка задачи соответствует условиям эксперимента [13]. Расход горючего (пропан) обеспечивает мощность тепловыделения от 15,8 до 37,9 кВт [13]. Характерное мгновенное поле температуры в осевой плоскости пламени показано на рис. 1.
В обоих решателях для моделирования турбулентного течения газовой смеси применялся метод крупных вихрей (LES) и решалась система уравнений Навье-Стокса для сжимаемой среды, отфильтрованная по Фавру. Для замыкания уравнений переноса и определения остаточных (под-сеточных) напряжений применялась концепция турбулентной вязкости. В FireFOAM для расчета турбулентной вязкости использовалась модель с одним уравнением для подсеточной кинетической энергии турбулентности [14], а в FDS - статическая модель Смагоринского. Горение моделиро-
б) в)
Рис. 1. Расчет турбулентного пламени с помощью FireFoam: а - расчетная сетка в горизонтальном сечении; б - мгновенное поле температуры; в - поле температуры,
осредненное по времени
валось в приближении бесконечно быстрой необратимой реакции с учетом конечной скорости подсеточного смешения реагентов (описание моделей горения, применяемых в FDS и РкеРОАМ, приведено в [3, 12]). Расчет теплообмена излучением выполнялся методом дискретных ординат в FireFOAM и методом контрольных объемов в FDS [3]. При этом для расчета коэффициента поглощения излучения в FireFOAM применялся метод взвешенной суммы серых газов, а в FDS использовались несколько коэффициентов поглощения, осредненных по выделенным спектральным полосам [3].
Решатель FireFOAM использует процедуры коррекции давления и полностью неявные аппроксимации по времени. Полученные системы линейных алгебраических уравнений (СЛАУ) решались итерационными методами [15]. В частности, дискретные аналоги уравнений для компонент скорости, кинетической энергии турбулентности, энтальпии и состава решались методом сопряженных градиентов с предобусловливанием для систем с несимметричной матрицей (PBiCG), а уравнения для моделирования теплообмена излучением - методом сопряженных градиентов с предобусловливанием для систем с симметричной матрицей (PCG) и геометро-алгебраическим
многосеточным методом (GAMG). Самая затратная с точки зрения длительности вычислений часть алгоритма, уравнение для давления, также использовала многосеточный метод GAMG. Последовательное решение отдельных уравнений модели объединялось глобальными итерациями на каждом временном шаге.
В FDS для аппроксимации по времени применялась двухшаговая схема предиктор-корректор второго порядка точности, а уравнение для поля давления решалось прямым методом быстрого преобразования Фурье.
При использовании FireFOAM расчетная область представляла собой круговой цилиндр. В приосевой области многоблочной расчетной сетки использовался блок в виде прямоугольного параллелепипеда с декартовой сеткой. Тесты выполнялись для двух сеток: крупной (с числом ячеек 1,344 млн) и мелкой (с числом ячеек 7,248 млн). При использовании FDS применялась одноблочная декартова сетка из 1,28 млн ячеек, которая в высокотемпературной области обеспечивала пространственное разрешение, близкое к разрешению в расчетах с помощью FireFOAM.
Анализ масштабируемости
Тестирование решателя FireFOAM в составе
Таблица 2
Характеристики вычислительного кластера ЦКП «Компьютерные технологии проектирования и моделирования в системах виртуальной реальности» кафедры компьютерных технологий
в машиностроении ММФ СПбГПУ
Количество узлов 11
Количество процессоров 22
Количество ядер 88
Тип процессора узла 2 x Xeon E5420 (4 ядра по 2,5 GHz)
ОЗУ/дисковая память вычислительного узла ОЗУ 8 Гб. Диск Seagate Barracuda ST3250310AS 250 Гб
Общая дисковая память Xyratex StorView, 2.8 Тб (RAID10)
Тип системной сети Infiniband
Тип управляющей сети 1Gbit Ethernet
Пиковая производительность 436 GFlops, HPLinpack 2.0
Операционная система OpenSUSE Linux 11.1 x86-64
Система питания APC SmartUPS RT 10000
OpenFOAM v. 2.1.0. проводилось на кластере, технические характеристики которого приведены в табл. 2.
Тестирование FDS 5.5 выполнялось на базе технологической платформы UniHUB программы «Университетский кластер». Платформа UniHUB разработана и поддерживается Институтом системного программирования РАН [5].
Оба кода для реализации параллельных вычислений используют MPI, при этом пространственная сетка разбивается на блоки, количество которых соответствует числу задействованных ядер. В FireFOAM предусмотрено три способа декомпозиции расчетной области. Известно [16], что для эффективного использования кластера количество ячеек сетки, примыкающих к границам
между двумя различными блоками и имеющих общие поверхности (зоны перекрытия), должно быть минимальным и составлять не более 10 % от полного числа ячеек. В данной работе использовался метод scotch [4], позволяющий минимизировать число границ между блоками. На рис. 2 в качестве примера представлен результат декомпозиции для пяти процессов.
Видно, что в этом случае степень перекрытия составляет 2,8 %. Кроме того, данный метод также гарантирует равномерное распределение числа ячеек сетки по ядрам кластера.
Декомпозиция в FDS осуществлялась вручную, при этом также стремились обеспечить равномерное распределение ячеек сетки по ядрам кластера.
«=4819
Рис. 2. Пример декомпозиции с помощью метода scotch N - число ячеек; n - число поверхностей ячеек, общих для пары процессов
При оценке масштабируемости ПО важным моментом является задание интервала времени (или числа итераций для стационарных задач), на котором выполняется измерение длительности вычислений. В [10] отмечено, что полученное ускорение может зависеть от количества рассматриваемых итераций. Кроме того, для нестационарных задач или расчета стационарных процессов методом установления на результаты оценки масштабируемости может повлиять абсолютное значение момента времени, в окрестности которого выполняются расчеты. Для рассматриваемой тестовой задачи установившееся пламя над горелкой формируется примерно через 5 с после начала подачи и воспламенения горючего, при этом для установившегося режима характерны крупномасштабные пульсации, период которых в рассматриваемом случае составляет около 0,3 с [17].
Наиболее затратным по времени является решение СЛАУ, полученных при дискретизации исходной задачи. Поскольку в FireFOAM для решения СЛАУ применяются итерационные методы, то наиболее «медленным» с точки зрения вычислений будет резко нестационарный переходный участок процесса, требующий наибольшего числа итераций. При этом рассматриваемое на этом участке число временных шагов должно быть достаточным, чтобы проявились нестационарные эффекты. Для прямого метода, используемого в FDS для решения уравнения Пуассона, количество рассматриваемых временных шагов и выбор момента времени не должны оказывать заметного влияния. В связи с этим при тести-
ровании FireFOAM для крупной сетки оценка производительности проводилась на интервале времени 1 с, что соответствовало 900 шагам по времени. Для мелкой сетки рассматривались интервалы времени 0,1 с и 0,01 с, что соответствовало 170 и 5 шагам по времени. При тестировании FDS рассматривался временной интервал 1 с (80 шагов по времени).
Результаты расчетов
Предварительно выполнено исследование масштабируемости задачи на одном узле. Результаты тестов приведены в табл. 3 и на рис. 3.
Видно, что для сеток с числом ячеек около 1 млн (кривые 1, 2) максимальное ускорение на одном узле составляет 2,5-2,6, а для числа ядер более четырех роста ускорения не наблюдается. Подобная кривая с насыщением получена в [16] при тестировании ANSYS CFX внутри одного узла. Возможно, данное ограничение по масштабируемости возникает из-за наличия общего для обоих процессоров внешнего четырехканаль-ного контроллера памяти, пропускная способность которого недостаточна. Для мелкой сетки с 7,248 млн ячеек задача не масштабируется на одном узле, с ростом числа загруженных ядер длительность расчета возрастает (кривая 3). Такое поведение связано с нехваткой памяти и использованием раздела подкачки.
Для расчетов с помощью FireFOAM на крупной сетке рассмотрено влияние на масштабируемость различных вариантов размещения процессов на узлах кластера. Полученные зависимости ускоре-
Т аблица 3
Продолжительность расчетов на одном узле
Длительность расчета, с
Число ядер fireFoam, сетка 1,344 млн ячеек fireFoam, сетка 7,248 млн ячеек, FDS, сетка 1,28 млн ячеек
(интервал 0,01 с)
1 89755 1127 408
2 52342 1157 375
3 49352 1163 307
4 36531 1419 204
5 37102 1421 198
6 38941 1899 193
7 37173 2469 200
8 34707 2190 208
§ 4
>■ 3
4
4 5 Число ядер
Рис. 3. Масштабируемость на одном узле 1 - FDS; 2 - РкеРОАМ, 1,344 млн ячеек; 3 - РкеРОАМ, 7,248 млн ячеек, интервал 0,01 с; 4 - линейное ускорение
ния и эффективности приведены на рис. 4, 5.
Видно, что при использовании нескольких узлов на ускорение влияют два фактора. С одной стороны, загрузка на узле более четырех ядер резко снижает эффективность работы отдельного узла. С другой стороны, с увеличением количества используемых узлов эффективность падает тем быстрее, чем меньше ядер задействовано на одном узле. Таким образом, максимальное ускорение для задачи на крупной сетке достигается при загрузке четырех ядер на одном узле и составляет 20,3 при эффективности 51 %. Полная загрузка узлов оказывается нецелесообразной.
Тестирование на сетке из 7,248 млн ячеек также выполнялось для решателя РкеРОАМ. Масштабируемость задачи исследовалась при загрузке четырех ядер отдельного узла. На рис. 6 приведены полученные зависимости ускорения от числа ядер.
Видно, что на мелкой сетке максимальное достижимое ускорение выше, чем на крупной, зави-
£ 0
р
и
<и £
Й
0,2
40
Число ядер
60
80
Рис. 5. Эффективность для различной загрузки узлов, сетка с 1,344 млн. ячеек Число используемых ядер на узле: 1 - 2, 2 - 4, 3 - 5, 4 - 8
25
20
Е
_ 15
о
а
>■ 10
20
40
Число ядер
60
80
Рис. 4. Ускорение для различной загрузки узлов, сетка с 1,344 млн ячеек Число используемых ядер на узле: 1 - 2, 2 - 4, 3 - 5, 4 - 8;
5 - линейное ускорение
симость ускорения от времени близка к идеальной (кривая 4), кроме того, временной интервал оказывает влияние на масштабируемость задачи.
В статье представлен анализ масштабируемости РкеРОАМ и РОБ - двух свободно распространяемых программных продуктов с открытым кодом для полевого моделирования пожаров. Получены следующие результаты.
При тестировании внутри одного узла для обоих программных продуктов в задачах с пространственными сетками, содержащими около 1 млн ячеек (крупная сетка), ускорение не превышает 2,6, кривая зависимости ускорения от числа задействованных ядер выходит на насыщение при количестве ядер более четырех.
Для РкеРОАМ выполнено тестирование на мелкой сетке с 7,248 млн ячеек внутри одного
Рис. 6. Ускорение при использовании четырех ядер на узле 1 - сетка с 7,248 млн ячеек, интервал времени 0,1 с;
2 - сетка с 7,248 млн ячеек, интервал времени 0,01 с;
3 - сетка с 1,344 млн ячеек; 4 - линейное ускорение
узла кластера, а также на нескольких узлах как для крупной, так и для мелкой сеток. При этом внутри одного узла на мелкой сетке задача не масштабируется, с ростом числа используемых ядер ускорение падает, что может быть связано с нехваткой памяти и с использованием раздела подкачки.
При решении задачи на крупной сетке на нескольких узлах максимальное ускорение достигается при размещении по четыре процесса на узел (40 ядер), эффективность составляет 51 %. При таком же размещении процессов для мелкой сетки эффективность выше и составляет 80 %.
Для FireFOAM при оптимальном размещении процессов по узлам кривые ускорения на насыщение не выходят. В связи с этим представляет интерес выполнение тестов на кластере с большим количеством узлов. Для FDS в дальнейшем также планируется продолжить тестирование на мелких сетках и на большем числе узлов кластера.
Работа выполнена при поддержке РФФИ (грант № 11-07-12065 офи_м), с использованием ресурсов программы «Университетский кластер» и кафедры компьютерных технологий в машиностроении ММФ СПбГПУ.
Авторы выражают благодарность С. Стрижаку и О. Са-моварову за консультации и помощь.
СПИСОК ЛИТЕРАТУРЫ
1. Trouve, A. Large eddy simulation of compartment fires [Text] / A. Trouve, Y. Wang // International J. of Computational Fluid Dynamics. -2010. -Vol. 24. -№ 10. -P. 449-466.
2. Snegirev, A. Flame suppression by water sprays: flame-spray interaction regimes and governing criteria [Text] / A. Snegirev, A. Lipjainen, V. Talalov // Proc. of the 12th International conf. Interflam 2010 (Nottingham, UK, 5-7 July 2010). Interscience Comm. London. -2010. -Vol. 1. -P. 189-199.
3. McGrattan, K. Fire Dynamics Simulator (Version 5) [Текст] / K. McGrattan, R. McDermott, S. Hostikka [et al.]. -Technical Reference Guide NIST Special 724 Publication 1019-5. -2010. -Vol. 1, 2. -108 p.
4. OpenFOAM. [Электронный ресурс] / Режим доступа: http://www.openfoam.org/
5. Unihub.ru, проект ИСП РАН. Технологическая платформа программы «Университетский кластер». [Электронный ресурс] / Режим доступа: https:// unihub.ru/
6. Jasak, H. Preconditioned Linear Solvers for Large Eddy Simulation [Электронный ресурс] / H. Jasak, A. Jemcov, J.P. Maruszewski // CFD 2007 Conf., CFD Society of Canada. -Toronto, 2007. -10 p. -Режим доступа: http://powerlab.fsb.hr/ped/kturbo/openfoam/papers/ CFD2007CanadaPrecon.pdf
7. Culpo, M. Current bottlenecks in scalability of OpenFoam on massively parallel clusters [Электронный ресурс] / M. Culpo // PRICE Whitepapers, 9 Aug., 2012. -13 p. -Режим доступа: http//www.prace-project.eu/IMG/pdf/Current_Bottlenecks_in_the_Scala bility_of_OpenFOAM_on_http://www.prace-project.eu/ IMG/pdf/Current_Bottlenecks_in_the_Scalability_of_ OpenFOAM_on_Massively_Parallel_Clusters.pdf
8. Lysenko D. Modelling of turbulent separated flows using OpenFOAM [Текст] / D. Lysenko, I. Ertesvag, K.. Rian // Computers & Fluids. -2012.
9. Gicquel, L. Large Eddy Simulations of gaseous
flames in gas turbine combustion chambers [Текст] / L. Gicquel, G. Staffelbach, T. Poinsot // Progress in Energy and Combustion Science. -2012. -Vol. 38. -Iss. 6. -P. 782-817.
10. Pringle, G. Porting OpenFOAM to HECToR A dCSE Project. [Электронный ресурс] / G. Pringle // EPCC, The University of Edinburgh, James Clerk Maxwell Building,Mayfield Road, Edinburgh, EH9 3JZ, UK. - Режим доступа: http://www.hector.ac.uk/cse/ distributedcse/reports/openfoam/openfoam/index.html
11. Weisenpacher, P. Computer simulation of fire in a tunnel using parallel version of FDS [Text] / P. Weisenpacher, L. Halada, J. Glasa // Chia Laguna. -Cagliari, Sardinia, Italy, 2011. -11 p.
12. Wang, Y. Large eddy simulation of fire plumes [Text] / Y. Wang, P. Chatterjee, J. de Ris // Proc. of the combustion institute. -2011. -Vol. 33. -№ 2. -P. 2473-2480.
13. Gengembre, E. Turbulent diffusion flames with large buoyancy effects [Text] / E. Gengembre, P. Cambray, D.Karmed, J.C. Bellet // Combustion Science and Technology. -1984. -Vol. 41. -P. 55-67.
14. Fureby, C. Comparative study of subgrid scale models in homogeneous isotropic turbulence [Text] / C. Fureby, G. Tabor, H.G. Weller [et al.] // Physics of Fluids. -1997. -Vol. 9. -№ 5. -P. 1416-1429.
15. Монаков, А.В. Оптимизация расчетов в пакете OpenFOAM на GPU [Текст] / А.В. Монаков // Тр. Инта системного программирования РАН. -2012. -Т. 22. -С. 223-232.
16. Васильев, В.А. Исследование масштабируемости задач вычислительной гидроаэродинамики на различных многоядерных и многопроцессорных архитектурах [Текст] / В.А. Васильев, А.Ю. Ницкий // Вестник УГАТУ -2010. -Т. 14. -№ 5. -С. 126-132.
17. Снегирев, А.Ю. Теоретические основы по-жаро- и взрывобезопасности. Горение неперемешан-ных реагентов [Текст] / А.Ю. Снегирев. В.А. Талалов. -СПб.: Изд-во Политехн. ун-та, 2008. -212 с.
