CC BY
59
-►
Инфокоммуникационные технологии
УДК 004, 378
Ю.Я. Болдырев
РОЛЬ СУПЕРКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ В ИНЖЕНЕРНОМ ОБРАЗОВАНИИ
На протяжении XX века произошла смена технологических укладов: от уклада, характеризуемого массовым использованием паровых двигателей в начале века, до технологического уклада массового применения компьютерных технологий в его конце. В нашем кратком исследовании мы не задаемся целью точного определения существа всех сменивших друг друга технологических укладов и тем более определения их временных границ. Попытаемся лишь оценить ту роль, которую сыграло и продолжает играть внедрение математического моделирования на базе компьютеров и их наиболее мощного сегмента - суперкомпьютеров на основы инженерной деятельности и на инженерное образование.
Начнем с того, что интриги не нужно ждать до конца, мы сразу же ответим на поставленный вопрос: появление суперкомпьютерных технологий сыграло и пока играет слабую роль в инженерном образовании, более того, сегодня не просматриваются полномасштабные пути исправления такого положения дел. Причем это проблема не только отечественной высшей школы, но и высшей школы практически всех передовых стран мира. Почему так происходит? На этот важный вопрос мы и попытаемся найти здесь ответ.
Начнем с тех важнейших обстоятельств, которые видятся ключевыми в понимании существа поставленного вопроса. Этими обстоятельствами являются следующие. Во-первых, нам необходимо определиться с пониманием того, а что же есть суперкомпьютерные технологии? Но это только небольшая часть проблемы. Во-вторых, необходимо установить связь между суперкомпьютерными технологиями и математическим моделированием как некоторым «надтехнологическим инструментарием». И это, второе обстоятельство,
является, без сомнения, важнейшим фактором, в определенном смысле препятствующим широкому внедрению рассматриваемых технологий как в инженерный анализ и проектирование, так и в собственно инженерное образование. Почему так происходит, мы также попытаемся дать ответ в нашей статье.
Суперкомпьютерные технологии
Итак, что же мы понимаем под суперкомпьютерными технологиями? Детальный ответ на этот вопрос сформулирован в [1, 2], поэтому здесь приведем наше видение ответа кратко. Под суперкомпьютерными технологиями мы понимаем совокупность технологий, включающую в себя три блока:
I - технологии разработки и создания суперкомпьютеров1;
II - технологии разработки и развития системного и прикладного программного обеспечения для суперкомпьютеров;
III - технологии для проблемно-ориентированного применения суперкомпьютеров.
Содержание блоков I и II относительно понятно. Технологии блока III требуют некоторого пояснения. По сути дела, его содержание - это широчайшая сумма технологий, основанных на вычислительных (математических) методах или, говоря точно, на математическом моделировании (см. ниже). Каждая из таких отдельных техно -логий ориентирована на ту или иную предметную отрасль научного или инженерного знания, медицины, культуры и т. д. Что их объединяет?
1 Здесь уместно отметить, что большой вклад в развитие суперЭВМ в СССР и в России внес выпускник Политехнического института академик А.В. Каляев, 90-летие которого недавно отмечалось [3].
Объединяющим началом служит высокая вычислительная ресурсоемкость, необходимая для решения задач из той или иной предметной отрасли. При этом, вполне очевидно, что естественнонаучные вычисления (физика, механика, биология и т. д.), как и инженерные расчеты, по содержанию отличаются от кредитно-финансовых (банковских), а первые и вторые разнятся от управления в режиме реального времени с помощью суперкомпьютеров большими объемами сообщений в среде сотовой связи и т. д.
Поскольку здесь нас интересуют инженерные аспекты проблемы и в первую очередь инженерно-образовательные, то сразу же отметим, что подавляющее большинство направлений инженерной деятельности, в которых идет разработка машин, систем, технологий и т. д., прямо связано с естественнонаучными отраслями знания. Последние образуют те области, которые принято считать фундаментальными основами инженерного знания. Сюда в первую очередь следует отнести механику сплошных сред, с такими областями, как аэрогидродинамика, механика твердого и деформируемого тела и т. д.
Подчеркнем, что как естественнонаучные, так и инженерные отрасли объединяет необходимость проведения больших объемов вычислений (а в инженерных отраслях, как правило, и в сжатые сроки), хотя, конечно, в каждой из них имеется своя специфика. Например, в естественнонаучных и инженерных вычислениях особо выделяются методологии решения задач о движении жидкостей и газов, с которыми связано подавляющее большинство задач живой и неживой природы, - от течения крови по сосудам, до движения межгалактических газовых облаков, а в инженерных задачах большинство процессов в машинах и механизмах. Отметим, что исходя из этого, часто конструируют суперкомпьютеры, ориентированные на преимущественное решение задач динамики жидкости и газа. Так, один из наиболее мощных суперкомпьютеров первого десятилетия XXI века - Blue Gene фирмы IBM учитывает особенности решения подобного рода задач [4].
Суперкомпьютерные технологии часто отождествляют с технологиями высокопроизводительных вычислений (High Performance Computing - HPC).
Теперь нам предстоит ответить на вопрос о связи суперкомпьютерных технологий с матема-
тическим моделированием, но прежде всего мы ответим на вопрос о том, а что же мы понимаем под математическим моделированием.
Математическое моделирование
Подавляющее большинство студентов, да и не только студентов, не могут дать внятного ответа на вопрос о том, что служит основой, фундаментом применения компьютеров. Лучший ответ - «вычислительная математика», не является вполне точным и полным, хотя вычислительная математика служат инструментом создания программного обеспечения для компьютеров в очень большой мере. Наиболее полным и точным является ответ - «математическое моделирование».
Современная концепция математического моделирования разработана, главным образом, в трудах академика А.А. Самарского [5]. Приведем основные позиции (блоки) этой концепции, к которым мы в той или иной мере будем обращаться далее.
I. Составление математической модели явления, процесса, задачи и т. д. Это, вообще говоря, предметная область естественных и других наук, где составляются количественные соотношения для описываемых явлений и процессов. И это труднейшая область научной деятельности, представляющая основу, например, естественных наук. Итак, выделяя самое основное, этот блок составляет существо некоторой «замены» реального физического процесса или явления его математической моделью, т. е. описание всех его свойств-характеристик с помощью математических соотношений1.
II. Анализ математической корректности построенной математической модели, описывающей нашу задачу. Весь спектр рассматриваемых здесь проблем носит сугубо математический характер и в подавляющем большинстве обходится исследователями и инженерами. У опытных вычислителей, как правило, имеется понимание
1 Например, исследование аэродинамики полноразмерного самолета в аэродинамической трубе при скоростях более 200 м/с практически нереально, но можно, разработав математическую модель его обтекания, получать характеристики обтекания с помощью компьютера. При этом вычислительный эксперимент позволяет нам исследовать поведение самолета при таких скоростях, которые относятся к гиперзвуковым (более 2-3 км/с) и какие принципиально невозможно получить в натурном эксперименте в аэродинамической трубе.
того, что должно получиться. Однако такой путь опасен, и студенту на примерах следует показать, к чему может привести недопонимание важности проблем данного блока.
III. Переход от непрерывной математической модели к модели дискретной. Отметим, что в ряде задач этот блок может отсутствовать, т. е. он, как правило, характерен для таких моделей - явлений, которые описываются дифференциальными и интегральными соотношениями. При переходе от непрерывной модели к дискретной мы, по сути дела, переформулируем нашу задачу и получаем некоторую новую, в которой присутствует один или несколько параметров, характеризующих новую дискретную задачу, и которых не было в исходной задаче. Примером этого является задача вычисления интеграла, когда мы вычисляем его с помощью формул трапеций или Симпсона, в которых имеется параметр N, связанный с разбиением промежутка, как раз и характеризующий степень точности такого приближения.
IV. Анализ математической корректности вновь полученной дискретной задачи (на основе исходной). По сути дела этот блок есть предмет вычислительной математики. Здесь рассматриваются те же проблемы, что и в блоке II, к которым добавляется еще одна весьма важная задача. Решение этой задачи должно ответить на такой вопрос: будет ли построенная в блоке III дискретная задача, например, величина конечной суммы в упомянутом методе трапеций или Симп-сона при числе разбиений - параметре N^ да, стремиться к числу, равному значению исходного интеграла.
V. Написание алгоритма для дискретной задачи, т. е. последовательности вычислительных шагов и его перенос на компьютер, - программирование. Этот блок носит совершенно особый характер и его роль со времени внедрения вычислительных машин в научную и инженерную практику непрерывно возрастала.
VI. Отладка программы, т. е. ее тестирование, получение результатов и их анализ. Назначение этого блока вполне очевидно и поэтому оставим его без комментариев.
Изложенная схема, конечно, является очень общей и ее применение в полном объеме отдельным исследователем при решении какой-либо задачи, в общем, не характерно и является, как правило, функцией научной группы или коллек-
тива исследователей. Но с позиций тех вопросов, которые мы затрагиваем, описание концепции математического моделирования весьма и весьма важно.
Прежде чем переходить к рассмотрению связи математического моделирования и суперкомпьютерных технологий, попытаемся установить связь математического моделирования с основами инженерного знания.
Математическое моделирование и инженерное знание
Все современное естественнонаучное и инженерное знание представляет собой совокупность многотысячелетнего человеческого опыта. Причем в своем подавляющем большинстве все бесчисленные составляющие этого опыта есть продукт физического эксперимента. Именно многовековой экспериментальный опыт служил основой инженерному сообществу с незапамятных времен, примерно до конца XVIII века, в создании всех машин и механизмов, служивших человеку.
В начале XIX века массовое развитие железнодорожного транспорта и парового флота привело к необходимости создания теоретических основ того, что мы сегодня понимаем под инженерным анализом и проектированием. Полномасштабная потребность и значимость инженерного анализа окончательно сформировались во второй половине - конце XIX века, а с началом XX века, когда очень быстрыми темпами стали появляться принципиально новые механизмы и машины, начали формироваться и новые требования к самому существу инженерного анализа. В связи с последним важно отметить, что именно глубокое понимание этих проблем и стремление вывести Россию на передовые мировые научно-технические и экономические позиции лежали в основе самой идеи создания Санкт-Петербургского политехнического института [6].
В течение первой половины XX века многовековая практика физического эксперимента подошла к практическому исчерпанию своих возможностей при создании новых типов машин и систем, поскольку при решении все большего числа инженерных, да и многих естественнонаучных проблем, не позволяла провести сам физический эксперимент либо из-за его сложности, либо
по причине принципиальной его невозможности1. Последние обстоятельства привели инженерное и научное сообщество к необходимости использования все более и более мощных методов математики или, говоря современным языком, методов математического моделирования. Таким образом, в течение XX века произошло революционное изменение инструментария исследования природы и всего того, что создается человеком, т. е. многовековая практика физического эксперимента стала активно дополняться и заменяться экспериментом математическим. Этому способствовали два обстоятельства: во-первых, новейшие достижения в фундаментальной и вычислительной математике как инструменте количественного описания явлений и процессов и, во-вторых, возникновение и мощное развитие вычислительной техники.
Активное внедрение математического моделирования в инженерную практику способствовало переходу на качественно новый уровень в инженерных расчетах и проектировании всего множества машин и систем во всех отраслях промышленности. Особенно сильно это новое качество стало проявлять себя в последние десятилетия в связи с широким применением суперкомпьютеров. Но прежде чем раскрывать существо этого качества, необходимо понять, как и в каких направлениях компьютерные технологии повлияли на развитие промышленности. При этом отметим, что сфера применения компьютеров в промышленности практически сразу с их внедрением в нее стала быстро расширяться и, конечно, не исчерпывалась инженерными расчетами.
Компьютерные технологии и развитие промышленности во второй половине XX века
Эта тема крайне широка и принципиально сводится к рассмотрению научно-технического существа CALS-технологий или технологий непрерывной поддержки поставок и жизненного цикла продукции (Continuous Acquisition and Life cycle Support), (также часто говорят о Product
1 Сказанное не следует понимать как полное отрицание физического эксперимента. Он, конечно, нужен и востребован как важный инструментарий в научных исследованиях и во многих натурных экспериментах. Более того, там, где мы плохо знаем природу, такой эксперимент незаменим.
Life Management - PLM-технологиях). Сущность CALS- или PLM-технологий состоит в попытке описать и систематизировать в рамках компьютерных технологий все производственные и иные процессы, в которых рассматривается жизнь любого изделия от идеи его создания, проектирования, изготовления, жизни за пределами предприятия (т. е. его эксплуатации и обслуживания), вплоть до ее окончания и, наконец, утилизации. Естественно, что при такой широкой постановке проблемы CALS-технологии содержат в себе массу экономических, управленческих и иных проблем, которые, конечно, также составляют важные аспекты инженерного образования. Но здесь мы сосредоточимся на том, что составляет основу - ядро инженерной деятельности, - на инженерном анализе и проектировании. Этот блок CALS-технологий включает в себя цепочку CAD/CAE/CAM-технологий (CAD/CAE/ CAM - Computer Aided Design/Engineering/ Manufacturing). То есть проектирование, инженерный анализ и передача его итогов в производство. Таким образом, именно эта «триада» содержит в себе самое наукоемкое, естественнонаучное и инженерное ядро CALS-технологий, в котором исторически традиционный, последовательный подход к разработке изделий заменен принципиально новым, интегрированным подходом, который иногда называют «параллельным проектированием».
Итак, мы подошли к самому главному. Именно цепочка CAD/CAE/CAM-технологий, из которых наиболее трудными как в освоении, так и в реализации, безусловно, являются CAE-технологии, технологии компьютерного инжиниринга, лежит в основе современного инженерного анализа и проектирования. И реализации их на основе суперкомпьютеров в промышленности и «встраиванию» таких технологий в процесс подготовки инженерных кадров по сути дела и посвящена наша статья.
Суперкомпьютерные технологии и инженерный анализ
Развитие суперкомпьютерных технологий c позиций чисто вычислительных мощностей (ресурсов) привело в наши дни научное и инженерное сообщество к возможности ставить и решать такие классы естественнонаучных и инженерных задач, которые были немыслимы для инженеров
и исследователей даже 15-20 лет тому назад. При этом в части инженерных задач главным инструментом здесь являются названные только что CAE-технологии, в их суперкомпьютерных реализациях, которые в производственном цикле прямо взаимодействуют с CAD- и CAM-технологиями.
Что же нового привнесли суперкомпьютерные реализации CAE-технологии компьютерного инжиниринга в промышленность? Вычислительная мощность, главная черта таких технологий, привела к принципиально новому качеству их применения в инженерной практике. И существо этого нового качества состоит в том, что появилась возможность решать междисциплинарные задачи, которые по своей постановке близки к задачам реального физического мира, в нашем случае - мира машин, механизмов и систем, создаваемых в сфере промышленного производства.
Чтобы пояснить роль и новое качество такого подхода в инженерной практике, приведем несколько характерных примеров.
Первым примером характерной задачи, демонстрирующей эффективность применения больших вычислительных ресурсов, является расчет течения в проточной части турбины Саяно-Шушенской ГЭС [7], которая решалась в лаборатории прикладной математики и механики СПбГПУ. Чтобы уяснить масштабы времени, необходимого для проведения расчетов, укажем на то, что для характерного варианта расчет проводился в течение трех месяцев (!) на шести узлах вычислителя, т. е. с использованием 24-процессоров (каждый узел вычислителя оснащен двумя двухъядерными процессорами AMD Opteron 275). При этом область течения разбивалась на 24 части с числом расчетных узлов в 5 624 563. Отметим, что расчеты проводились в 2006-2007 гг. В процессе решения задачи не удалось получить результаты в рамках ее нестационарной постановки, т. к. для этого требовалось как минимум около 38 млн расчетных узлов. Причиной невозможности получения решения на таком количестве узлов было отсутствие на тот момент времени у рабочей группы адекватных поставленной задаче вычислительных ресурсов. Рассматривая эти результаты, следует иметь в виду, что решение нестационарных задач является крайне важным практически. Вспомним аварию на Саяно-Шушенской ГЭС в 2009 г., одной из причин которой явились именно нестационарные процессы в проточной части турбины.
В качестве второго примера приведем расчеты процессов горения, выполненные в рамках магистерской работы на кафедре прикладной математики физико-механического факультета [8]. Рассматривалось численное моделирование пламени, которое в известном смысле является эталонным. Таким пламенем выбрано пламя из «архива» Ли-верморской национальной лаборатории США (Sandia National Laboratories. Livermore, California, USA [9]). Число Рейнольдса1 Re, характеризующее процесс течения газов, сопровождающих горение, в этой задаче равно 22 400, т. е. оно много больше его критического значения, равного примерно 1000, при котором течение становится турбулентным, т. е. рассматриваемое течение заведомо турбулентно. Чтобы представить себе масштабы необходимых для решения этой задачи объемов вычислений, приведем такие данные. Характерный расчет занял пять недель на 15 узлах кластера (т. е. на 60 процессорных ядрах) для одной из моделей горения, при этом в процессе этого расчета было сделано около 450 000 итераций.
Приведем еще один пример, носящий ярко выраженный характер прорывных разработок, которые могут быть реализованы только с использованием суперкомпьютеров. Этот пример подтверждает и недальновидность высказываемых иногда мнений о том, что для удовлетворения потребностей отечественной промышленности и науки суперкомпьютеров сверхвысоких «петаф-лопсных» мощностей (1 PFlops = 1015 операций в секунду с плавающей точкой) не требуется.
Итак, существо примера связано с рядом оценок по проектированию и многокритериальной оптимизации авиационного двигателя на нестационарных режимах их работы. Решение такой задачи потребует полной загрузки наиболее мощного на сегодняшний день отечественного суперкомпьютера «Ломоносов» на протяжении семи лет (!). Заметим, что производительность «Ломоносова» составляет в пиковом режиме свыше 1 PFlops. Поэтому для решения такого класса задач в приемлемые для промышленного производства сроки требуются вычислительные системы с производительностью не менее, чем в 1000 раз выше, т. е. системы производительностью порядка 1018 операций в секунду с плавающей точкой («экзафлопсные» системы).
1 Re = УЫу, где V и Ь - характерные скорость и размер течения; V - кинематическая вязкость среды.
Приведенных примеров достаточно для того, чтобы уяснить тот факт, что влияние суперкомпьютерных технологий на сферу промышленного производства становится решающим и уже является реальным фактором в борьбе за конкурентоспособность на мировом рынке, и именно на основе суперкомпьютерных технологий осуществляются все прорывные разработки в ведущих странах мира.
Теперь мы подошли к главному вопросу, предмету статьи: как и в каких формах суперкомпьютерные технологии должны влиять на образовательный процесс подготовки инженерных кадров.
Суперкомпьютерные технологии и их роль в инженерном образовании
Центральной проблемой, обусловливающей трудности и вопросы, встречающиеся на пути широкого внедрения суперкомпьютерных технологий в инженерное образование, является их универсальный и всеобъемлющий характер. Сущность этой универсальности заключается в том, что суперкомпьютерные технологии позволяют нам в максимальном объеме реализовать технологии математического моделирования. А это, в свою очередь, дает возможность ставить и решать во всей полноте междисциплинарные задачи, которые, как указывалось, дают возможность весьма близко подойти к описанию реального физического мира. При этом реализуется вся универсальная цепочка от постановки задачи, выбора эффективных вычислительных схем, обеспечивается требуемая быстрота получения результата и, что особенно важно, инженер и исследователь получают возможность полномасштабной визуализации результатов вычислений.
Но такое высокое, и все более нарастающее в своих возможностях качество описания явлений природы и мира техники требует и все более высокого уровня освоения инженерным сообществом самих фундаментальных основ инженерного знания! При этом сами эти основы становятся малоразличимыми со знанием естественнонаучным. Именно здесь, как нам видится, и «кроется» проблема слабого внедрения суперкомпьютерных технологий в инженерное образование. Высшая техническая школа, в своем подавляющем большинстве, не готова и во многих случаях принципиально не способна к радикальной и
быстрой перестройке учебного процесса на такие технологии.
Итак, как полномасштабное внедрение CAE-технологий в их связке с CAD- и CAM-технологиями, так и внедрение суперкомпьютерных технологий, революционно изменяющих весь процесс инженерной деятельности, требует радикальной перестройки образовательного процесса подготовки инженерных кадров. И сущность этой перестройки состоит в том, что инженерная деятельность в рамках названных технологий все более и более приобретает характер деятельности исследовательской, опирающейся на фундаментальное знание. При этом, как нам представляется, в недалеком будущем произойдет смена самой парадигмы инженерной деятельности. Что же имеется в виду? Если мы рассмотрим все последовательные этапы деятельности инженеров - разработчиков новой техники и систем (конструкторов, расчетчиков, проектировщиков и т. д.), т. е. тех категорий, которые заняты созданием новых машин, механизмов и систем, то эта деятельность в ближайшем будущем «обречена» на все более и более творческий характер, при которой сама проектно-конструкторская, рутинная, расчетно-технологическая работа будет возложена на расчетно-технологические вычислительные среды. Роль инженера-разработчика будет определяться такой творческой деятельностью, как разработка концепции нового изделия, включая эффективность и быстроту его производства, а также определение его эксплуатационно-технических характеристик.
Отметим, что под расчетно-технологическими вычислительными средами нами понимаются аппаратно-программные системы, реализующие CAD/CAE/CAM-технологии. Сегодня многие из составляющей таких аппаратно-программных систем преподаются в высшей школе. По крайней мере практически массовым и в некоторой мере устоявшимся стало преподавание CAD-систем различного уровня, на основе которых формируется некоторый образ будущего изделия. Также в ряде вузов имеется и определенный опыт преподавания CAM-систем. Значительно хуже обстоит дело с преподаванием CAE-технологий компьютерного инжиниринга, причем и с их изучением как универсального вычислительного инструментария, и с их использованием для проведения на качественно новом уровне практических, лабораторных и курсовых работ по очень большо-
му числу курсов. Чтобы не быть голословными, укажем только на те базовые фундаментальные дисциплины, где может быть в полной мере использован потенциал CAE-технологий. Причем отметим, что здесь к числу технологий компьютерного инжиниринга естественно отнести комплексы уровня ANSYS Mechanical, ANSYS Fluent и т. д., которые по уровню их массового использования мы относим к программным комплексам мирового уровня.
Итак, это такие базовые фундаментальные дисциплины:
механика жидкости газа; механика твердого и деформируемого тела; основы тепло- и массообмена; вычислительная гидроаэромеханика; вычислительная механика и т. д.
Очевидно, что этот список может быть продолжен с большей предметной ориентацией на те или иные группы инженерных дисциплин. Заметим, что практически все дисциплины из приведенного списка при рассмотрении серьезных постановок задач требуют большого вычислительного ресурса, а значит, и использования суперкомпьютеров.
Но использование CAE-технологий, даже
в их полномасштабной связке с CAD- и CAM-технологиями, есть только один из сегментов того, что в недалеком будущем станет основой нового содержания инженерного образования. Как нам видится с позиций сегодняшнего дня, само содержание инженерного образования должно включать в себя преподавание реализованной в суперкомпьютерном варианте группы дисциплин, в основе которых лежит триада CAD/ CAE/CAM-технологий. Задача ведущих технических вузов состоит в том, чтобы, во-первых, предложить концепцию инженерного образования на базе суперкомпьютерных технологий и, во-вторых, определить те группы дисциплин, которые будут составлять некоторое ядро - основу такого образования.
Санкт-Петербургский политехнический университет подготовил проект создания Суперкомпьютерного центра на базе вуза, поддержанный Минэкономразвития, Минобрнауки и Минком-связи России, который планируется реализовать в 2013-2014 гг. Важнейшим аспектом работы Суперкомпьютерного центра станет переход всей системы учебной работы на его основе, что позволит вузу готовить кадры мирового уровня с использованием наиболее передовых технологий.
СПИСОК ЛИТЕРАТУРЫ
1. Болдырев, Ю.Я. Суперкомпьютерные технологии как современное воплощение междисциплинарного подхода в научно-образовательной деятельности [Текст] / Ю.Я. Болдырев // Научно-технические ведомости СПбГПУ. Сер. Информатика. Телекоммуникации. Управление. -2010. -№ 4. -С. 99-106.
2. Болдырев, Ю.Я. Суперкомпьютерные технологии и их приложения: Учеб. пособие [Текст] / Ю.Я. Болдырев, Е.П. Петухов. -СПб.: Изд-во СПбГПУ, 2010. -92 с.
3 Академик Анатолий Васильевич Каляев. Ученый, воин, учитель. К 90-летию со дня рождения. -Ростов-на-Дону, 2012. -328 с.
4. Sugavanam, Suga. CFD on the Blue Gene IBM Systems & Technology Group [Электронный ресурс] / Suga Sugavanam, Claude Oudet, Pascal Vezolle // Пресс-релиз компании IBM, март 2006.
5. Самарский, А.А. Математическое моделирование: Идеи. Методы. Примеры [Текст] / А.А. Самар-
ский, А.П. Михайлов. -2-е изд., испр. -М.: Физматлит, 2001. -320 с.
6. Смелов, В.А. Санкт-Петербургский политехнический. Дореволюционный [Текст] / В.А. Смелов. -СПб.: ООО «Береста», 2012. -620 с.
7. Болдырев, Ю.Я. Разработка методических вопросов расчета потерь энергии в элементах проточной части гидротурбин с применением вычислительной гидродинамики [Текст] / Ю.Я. Болдырев, Ю.К. Шиндер, С.В. Лупуляк [и др.] // Отчет о НИР с ОАО «Силовые машины ЛМЗ». -СПб.: Изд-во СПбГПУ, 2006. -70 с.
8. Фролов, А.С. Численное моделирование естественно-конвективного пламени методом крупных вихрей: Дис. ... магистра [Текст] / А.С. Фролов, А.Ю. Снегирев. -СПб.: Изд-во СПбГПУ, 2010.
9. Сайт Ливерморской лаборатории (Livermore, California, USA) [Электронный ресурс] / Режим доступа: http ://www. sandia .gov
