CC BY
36
УДК 629.7
В.Ю. Петров, В.Я. Модорский
Пермский государственный технический университет
ИСПОЛЬЗОВАНИЕ МНОГОПРОЦЕССОРНЫХ ТЕХНОЛОГИЙ ДЛЯ РЕШЕНИЯ ИНЖЕНЕРНЫХ ЗАДАЧ АЭРОКОСМИЧЕСКОЙ ПРОМЫШЛЕННОСТИ В РЕГИОНАЛЬНОМ ЦЕНТРЕ ТЕХНИЧЕСКОЙ КОМПЕТЕНЦИИ «AMD-ПГТУ»
Обсуждается опыт подготовки специалистов по многопроцессорным технологиям в РЦТК AMD-ПГТУ, рассмотрен ряд задач аэрокосмической промышленности, которые решены с использованием распределенных вычислительных технологий.
Ключевые слова: вычислительный эксперимент, газодинамика, AMD-ПГТУ, параллельные вычисления.
В рамках приоритетного национального проекта «Образование» в июне 2005 г. в Пермском государственном техническом университете был создан первый в России Региональный центр технической компетенции «AMD-ПГТУ» (Центр «AMD-ПГТУ»), Деятельность Центра «AMD-ПГТУ» с самого начала была направлена на проведение научных исследований на базе многопроцессорной техники, на повышение качества подготовки аспирантов, докторантов, научных работников, преподавателей, специалистов предприятий и организаций, студентов, других физических лиц в области научных исследований, информационных многопроцессорных технологий, а также повышения результативности научной, инжиниринговой и маркетинговой работы.
Основные задачи Центра «AMD-ПГТУ»:
- организация и проведение научных исследований, научнотехнических и опытно-конструкторских работ;
- разработка научно-технической продукции;
- подготовка, переподготовка и повышение квалификации специалистов предприятий, организаций и физических лиц;
- дополнительное образование студентов и учащихся образовательных учреждений, других физических лиц.
Материально-техническая база Регионального центра «AMD-ПГТУ» включает в себя многоядерный сервер K-Systems Patriot 740 и
десять рабочих станций. Обеспечена возможность широкоформатного полноцветного представления и документирования результатов инженерных исследований.
Освоение многопроцессорной техники и новых информационных технологий происходило в тесном взаимодействии со специалистами по суперкомпьютерам ННГУ им. Н.И. Лобачевского (г. Нижний Новгород), Саровского инженерного центра (г. Саров), ОАО «Авиадвигатель» (г. Пермь), «DATA Технологии» (г. Москва), «Тесис» (г. Москва, г. Нижний Новгород), «Делкам-Урал» (г. Екатеринбург), ЮФУ, ЮУрГУ, УГАТУ и др.
Результаты работ в области распределенных вычислений специалисты Центра «AMD-ПГТУ» неоднократно докладывали на научных конференциях, семинарах, форумах, а именно: научная конференция «Численные методы, параллельные вычисления и информационные технологии» (ИВМ РАН, НИВЦ МГУ, г. Москва, 13 февраля 2008 г.), семинар «Высокопроизводительные вычисления и параллельное программирование» (Intel и Microsoft, г. Москва, 26 марта 2008 г.), VI Всероссийская открытая конференция «Преподавание информационных технологий в Российской Федерации» (ННГУ, г. Нижний Новгород,
12-13 мая 2008 г.), всероссийский семинар-презентация результатов реализации приоритетного национального проекта «Образование» «Формирование актуальных компетенций и развитие межвузовского взаимодействия в области информационно-коммуникационных технологий: суперкомпьютерные технологии и высокопроизводительные вычисления» (ННГУ, г. Нижний Новгород, 5 сентября 2008 г.), всероссийская научно-техническая конференция «Ракетно-космические двигательные установки» (МГТУ им. Н.Э. Баумана, г. Москва, 16-17 октября
2008 г.), Академические чтения по космонавтике, посвященные памяти академика С.П. Королева (МГТУ им. Н.Э. Баумана, г. Москва, 26-30 января 2009 г.), всероссийская конференция «Технологии Microsoft в теории и практике программирования» для студентов, аспирантов и молодых ученых Российской Федерации (ННГУ им. Н.И. Лобачевского, г. Нижний Новгород, 11-12 марта 2009 г.), международная научно-практическая конференция «Инженерные системы-2008» (компания «Тесис» и РУДН, г. Москва, 6-9 апреля 2008г.), VI научная конференция ВЦР РАРАН «Современные методы проектирования и отработки ракетно-артиллерийского вооружения» (ВНИИЭФ, г. Саров,
2-4 июня 2009 г.), всероссийская суперкомиьютерная конференция «Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность» (г. Новороссийск, 21-26 сентября 2009 г., 21-24 сентября 2010 г.), XI Международный семинар «Супервычисления и математическое моделирование» (ВНИИЭФ, г. Саров, 5-9 октября
2009 г.), 14-й Международный научно-промышленный форум «Россия единая» (Нижегородская ярмарка, г. Нижний Новгород, 28 октября -1 ноября 2009 г.), IX Международная конференция «Высокопроизводительные параллельные вычисления на кластерных системах» (г. Владимир, ВлГУ, 1-3 ноября 2009 г.), VI Российская научно-техническая конференция «Механика микронеоднородных материалов и разрушение» (Институт машиноведения УрОРАН, г. Екатеринбург, 24-28 мая
2010 г.), международная научная конференция «Параллельные вычислительные технологии’ 2010» - ПаВТ’2010, всероссийская конференция молодых ученых «Параллельные и распределенные вычисления» (УГАТУ, г. Уфа, 29 марта - 2 апреля 2010 г.), всероссийская суперком-пьютерная конференция «Научный сервис в сети Интернет: суперком-пьютерные центры и задачи» (г. Новороссийск, 21-24 сентября 2010 г.), научный семинар «Суперкомпьютер СКИФ-Аврора» (ЮУрГУ, г. Челябинск, 25 ноября 2010 г.).
Мощным развитием идей применения многопроцессорных технологий в ПГТУ явилось создание в 2008 г. Центра высокопроизводительных вычислительных систем (ЦВВС). Центр оснащен мощным вычислителем, имеющим следующие характеристики:
- 64 вычислительных узла;
- 128 четырехядерных процессоров АМБ «Барселона-3» (всего 512 ядер);
- пиковая производительность 4,096 Тфлоп;
- производительность в тестовом пакете Ьтраск 78 %;
- объем системы хранения информации 12 ТБ;
- объем оперативной памяти 512 Гбайт (8 Гбайт/узел).
В рейтинге ТОП-50 в СНГ по состоянию на 2008 г. кластер занял
13-е место.
Организован режим удаленного доступа к вычислительным мощностям кластера Центра высокопроизводительных вычислительных систем ПГТУ. Первым к удаленному доступу было подключено оборудование Центра «АМБ-ПГТУ».
Специалисты Центра «АМБ-ПГТУ» прошли обучение по программе повышения квалификации по приоритетным направлениям для профессорско-преподавательского состава вузов, находящихся в ведении Федерального агентства по образованию, «Высокопроизводительные вычисления» (ННГУ им. Н.И. Лобачевского, г. Нижний Новгород, 22 сентября - 3 октября 2008 г.), участвовали в работе Всероссийской молодежной школы «Суперкомпьютерные технологии и высокопроизводительные вычисления в образовании, науке и промышленности» (ННГУ им. Н.И. Лобачевского, г. Нижний Новгород, 26 октября - 31 октября 2009 г.), Всероссийской молодежной школе «Суперкомпьютерные технологии и высокопроизводительные вычисления в образовании, науке и промышленности» (ННГУ им. Н.И. Лобачевского, г. Нижний Новгород, 23 октября - 31 октября 2010 г.).
Утвержден и реализуется следующий план проведения научных семинаров в Центре «АМБ-ПГТУ» с привлечением ведущих специалистов в области инженерных расчетов и многопроцессорных технологий:
Tема Докладчик
Решение инженерных задач во Flow Vision Ерофеев Михаил Михайлович, канд.техн.наук, ст. менеджер отдела продаж, ООО «Делкам-Урал», г. Екатеринбург
Решение инженерных задач в ANSYS Workbench Шмаков Алексей Викторович, старший инженер технической поддержки, ООО «Делкам-Урал», г. Екатеринбург
^временные системы автоматизированного проектирования турбомашин Ворошнин Денис Владимирович, генеральный директор Инженерного центра численных исследований, СПбГМТУ, г. Санкт-Петербург
Решение инженерных задач во Flow Vision Шмелев Владимир Васильевич, канд.техн.наук, директор представительства ООО «Тесис» в Приволжском федеральном округе, г. Нижний Новгород
Работа в инженерном пакете ОБогш (обработка металлов давлением) Котов Вячеслав Валерьевич канд.техн.наук, начальник службы технической поддержки ООО «Делкам-Урал»
Современное программное обеспечение для автоматизации процесса проектирования турбомашин. Решение прикладных задач турбомашиностроения с привлечением методов вычислительной газовой динамики. Шарль Хирш, академик Бельгийской королевской фламандской академии наук и искусства, почетный профессор Xi’an Jai-tong University (Китай), почетный профессор Cанкт-Петербургского технического университета, президент компании «NUMECA International» Ворошнин Денис Владимирович, генеральный директор Инженерного центра численных исследований, CПбГМTУ, г. Cанкт-Петербург
В марте-апреле и октябре-ноябре 2010 г. в Центре «АМБ-ПГТУ» реализованы более 15 телемостов со специалистами г. Нижний Новгород на тему «Основы параллельных вычислений» (лектор - Гер-гель Виктор Павлович доктор технических наук, профессор, декан факультета вычислительной математики и кибернетики Нижегородского государственного университета им. Н.И. Лобачевского). В ходе телемостов обсуждались основные понятия параллельных вычислений, необходимых для последующего изучения моделей, методов и технологий параллельного программирования. В простой и понятной форме приводились примеры современных высокопроизводительных вычислительных систем, рассматривались способы анализа сложности вычислений, оценки возможности их параллельного выполнения и основы разработки параллельных методов.
В марте-апреле и октябре-ноябре 2010 г. в Центре «АМБ-ПГТУ» реализованы более 15 телемостов со специалистами г. С.-Петербург на тему «Основы параллельного программирования с использованием МР1» (лектор - Немнюгин Сергей Андреевич, кандидат физикоматематических наук, доцент кафедры вычислительной физики Санкт-Петербургского государственного университета), в ходе которых об-
суждались основы разработки параллельных программ с использованием интерфейса обмена сообщениями (MPI Message Passing Interface). Приводились основные понятия и концепции модели передачи сообщений, рассматривалась архитектура MPI.
С 2005 г. по настоящее время в Центре активно проводится работа по повышению квалификации кадров, реализованы дополнительные профессиональные образовательные программы повышения квалификации специалистов.
Производится подготовка по дополнительной профессиональной образовательной программе в объеме 504 часа (второй диплом о высшем образовании), профессиональной переподготовке специалистов «Эксплуатация высокопроизводительных вычислительных систем и многопроцессорных программных комплексов». В программу входят следующие семь модулей:
- Модуль 1. «Многопроцессорные вычислительные системы и программирование. Многопроцессорные программные комплексы».
- Модуль 2. «Программные многопроцессорные комплексы ANSYS, ANSYS Workbench».
- Модуль 3. «Программный многопроцессорный комплекс Flow Vision».
- Модуль 4. «Программный многопроцессорный комплекс
ABAQUS».
- Модуль 5. «Программный многопроцессорный комплекс Solid Works».
- Модуль 6. «Параллельное программирование MPI и эксплуатация высокопроизводительных вычислительных систем».
- Модуль 7. «Многопроцессорные и мультимедийные программные комплексы 3D Studio MAX, Adobe Premiere».
В дополнительную профессиональную образовательную программу (объем 103 часа) повышения квалификации преподавателей, инженеров «Современные высокопроизводительные вычисления» входят четыре модуля, а именно:
- Модуль 1. «Введение в параллельные вычисления».
- Модуль 2. «Основные параллельные алгоритмы».
- Модуль 3. «Применение высокопроизводительных вычислений в газодинамических задачах».
- Модуль 4. «Применение высокопроизводительных вычислений в физико-механических задачах».
По данной программе проведено обучение для преподавателей ПГТУ. Обучения в Центре «AMD-ПГТУ» проведено для преподавателей Саратовского государственного университета.
В дополнительную профессиональную образовательную программу (в объеме 72 часа) повышения квалификации специалистов «Многопроцессорные вычислительные системы и программирование. Многопроцессорные программные комплексы» входят четыре модуля, а именно:
Модуль 1. «Многопроцессорные вычислительные системы и параллельное программирование».
Модуль 2. «Программирование на языках C, C++».
Модуль 3. «Программные многопроцессорные комплексы: ANSYS, FLUENT, Flow Vision».
Модуль 4. «Многопроцессорные и мультимедийные программные комплексы 3D Studio MAX, Adobe Premiere».
В феврале 2011 г. планируется провести обучение по дополнительной профессиональной образовательной программе повышения квалификации специалистов «Программные многопроцессорные комплексы ANSYS и QFORM» (обучение будут проводить ведущие специалисты ООО «Делкам-Урал», г. Екатеринбург).
В Центре «AMD-ПГТУ» осуществлен выпуск 24 групп слушателей, 234 выпускника дополнительного профессионального образования прошли обучение и получили документы государственного образца.
Сотрудники Центра «AMD-ПГТУ» неоднократно получали премии, награды, дипломы, различных уровней: Д.А. Паршаков - диплом за активное участие в научно-практической конференции «Инженерные системы - 2007» (г. Москва, 2007 г.), диплом III степени в конкурсе «На лучшую научно-теоретическую работу в области космонавтики среди учащихся высших учебных заведений РФ» им. К.Э. Циолковского (г. Москва, 2007 г.); П.В. Писарев, В.Я. Модорский получили диплом III степени за победу в конкурсе работ студентов, аспирантов и молодых ученых Российской Федерации на конференции «Технологии Microsoft в теории и практике программирования» (г. Нижний Новгород, 2009 г.); А.В. Козлова награждена дипломом за III место в научнотехнической конференции молодых специалистов ОАО «НПО „Искра“»
(г. Пермь, 2010 г.). Огуденты ПГГУ О.Л. Aрапов, ДА. Паршаков и М.В. Балуева, прошедшие обучение в Центре «AMD-ПГTУ», активно работающие на многопроцессорной технике, стали стипендиатами Президента РФ и Правительства РФ.
C 2008 г. успешно функционирует секция «Cистемы автоматизированного проектирования и высокопроизводительные вычислительные комплексы» в рамках ежегодной всероссийской научно-технической конференции «Aэрокосмическая техника, высокие технологии и инновации» (ПГГУ, Пермь, 2008, 2009). В работе секции принимают участие специалисты из г. Москвы, Cанкт-Петербурга, Нижнего Новгорода, Екатеринбурга, Челябинска, Уфы, Cарова и, конечно, г. Перми.
Aктивная деятельность Центра, усилия, направленные на создание мощного вычислительного кластера, позволили ПОУ завоевать заслуженный авторитет в HPC-сообществе. В соответствии с решением IX Международной конференции HPC-2009 c 1 по 3 ноября 2010 г. в г. Перми на базе Пермского государственного технического университета состоялась юбилейная X Международная конференция «Высокопроизводительные параллельные вычисления на кластерных системах». Конференция проводилась под эгидой Cуперкомпьютерного консорциума университетов России, членом которого с 2009 г. является ПОУ. Tематика конференции охватила основные направления развития проблематики высокопроизводительных вычислений в науке и образовании. Особое внимание было уделено вопросам, связанным с решением прикладных задач на кластерных системах. ^он^рами конференции выступили корпорации AMD, «Intel», IBM, «Microsoft», NVIDIA, «T-платформы» (г. Москва), РCK ^КИФ» (г. Москва), ОAО «Tесис» (г. Москва) ), ОAО «Делкам-Урал» (г. Екатеринбург). Информационными партнерами конференции выступили газета «Поиск», молодежный парламент при Законодательном собрании Пермского края, информационно-аналитический журнал «Rational Enterprise Manage-ment», информационно-аналитический центр «Parallel.ru». В работе конференции приняли участие 150 сотрудников вузов, представителей промышленности и И^^м^ний, среди которых 2 академика РAH, 4 члена-корреспондента РAH, 38 докторов наук и 34 кандидата наук, представлявших 51 организацию из 27 городов России и зарубежья. В рамках конференции были представлены 18 пленарных докладов, подготовленных ведущими специалистами в области супервычислений
вузов России, Российской академии наук и зарубежных стран. Анализ докладов конференции показывает, что выполненные исследования соответствуют передовым направлениям развития высокопроизводительных вычислений в мире и направлены на решение наиболее актуальных проблем параллельных вычислений. Российские исследования в области развития и применения параллельных вычислительных технологий в достаточной степени обеспечены научными кадрами и научным оборудованием. К началу работы конференции выпущен двухтомный сборник материалов, в котором представили работы свыше 180 авторов. Под председательством декана факультета ВМК Нижегородского государственного университета им. Н.И. Лобачевского д.т.н., профессора В.П. Гер-геля был проведен «круглый стол» на тему «Проблемы подготовки специалистов в области суперкомпьютерных технологий».
На конференции были доложены результаты и опыт моделирования гидродинамических процессов и напряженно-деформированного состояния, накопленный в Центре «АМБ-ПГТУ» в ходе реализации целого ряда хоздоговорных работ с предприятиями Пермского края.
В докладах отмечалось, что эффективность использования многопроцессорной техники подтверждена успешными расчетами для постоянного мониторинга окружающей среды, контроля переноса выбросов предприятий аэрокосмической промышленности в окружающей среде в режиме реального времени, в масштабах региона. Проведены вычислительные эксперименты по моделированию газогидродинамических процессов в каналах переменного сечения газоходов, выступающих в роли очистных сооружений для промышленных отходов.
Большой объем вычислительных экспериментов проводится для моделирования аэродинамики и внутрикамерных газодинамических процессов в двигателях летательных аппаратов.
Одна из таких задач связана с моделированием работы подвижных элементов конструкций в потоке жидкости. При этом рассматривается один из известных подходов к управлению вектором тяги ракетного двигателя твердого топлива - вдув газа или жидкости в сопловую часть. Недостатком этого способа управления является сложность расчёта. В качестве альтернативы этому способу управления был предложен метод, широко применяемый в ЖРД, - с помощью управляющих сопел. Основные проблемы при проектировании и расчёте подобной системы управления возникают с механизмами передачи усилий
от рулевой машины к органу управления (в нашем случае - к штоку клапана, положение которого задает величину зазора к, а следовательно, и величину тяги). К данным механизмам предъявляют следующие требования:
1) простота конструкции, малые габариты и масса,
2) небольшие потери энергии,
3) небольшое изменение передаточного числа,
4) удобство компоновки на ракете.
Малые габариты и масса рулевой машинки ограничивают возможное давление на шток клапана, которое может достигать нескольких тонн без внесения дополнительных конструктивных изменений.
Проведение натурного эксперимента является дорогим, длительным и иногда даже опасным мероприятием. Поэтому было предложено расчётное определение основных характеристик газового потока внутри клапана, а также сил, действующих на шток клапана.
Вычислительный эксперимент был проведён с использованием программного пакета для газодинамических расчётов Р1о,№У18Юп. Эта программа включает широкий спектр моделируемых процессов (3Б-стационарные/нестационарные, сжимаемые/несжимаемые, одно- /многофазные ламинарные, турбулентные потоки, задачи теплопереноса, горения, испарения и т. д.), имеет большие возможности по визуализации. Р1о,№У18Юп оперирует конечно-объёмным методом и использует прямоугольную адаптивную локально измельчённую сетку.
На рис. 1 показана расчётная область, представляющая собой четверть внутреннего объёма осесимметричного клапана и созданная в пакете So1idWorks в силу отсутствия собственного геометрического построителя во F1owVision.
В качестве математической модели была выбрана модель «полностью сжимаемая жидкость», предназначенная для описания течений со сверхзвуковыми скоростями и любыми изменениями плотности газа/жидкости. Решаемыми уравнениями являются: уравнение Навье-Стокса, уравнение неразрывности, закон сохранения энергии (записанный через энтальпию), а также уравнения, описывающие к-е модель турбулентности. Вещество, подаваемое на входе в клапан, - воздух, параметры которого описываются уравнением идеального газа.
На рис. 2 представлены граничные условия, задаваемые во БІо'^Ушоп, и их расстановка на гранях расчётной области. Принято, что стенка - твердая, непроницаемая, обладающая минимальной шероховатостью. Параметры газа на входе в клапан: нормальное давление = 10 МПа. Турбулизация потока - средняя и задана, исходя из среднего размера вихря (зависит от характерного размера входной части клапана) и начальной турбулизации потока.
Рис. 2. Граничные условия
При проведении вычислительного эксперимента была получена хорошая устойчивость счёта. Полученные результаты (рис. 3) хорошо согласуются с физическим экспериментом.
Анализ результатов вычислительного эксперимента показал практически линейное возрастание нагрузки на клапан с 5 до 18 кН с увеличением величины к для всех вариантов конструкции клапана. Необходимо значительное снижение нагрузки, действующей на шток.
Для снижения нагрузки предложены конструктивные мероприятия.
На рис. 4 представлены граничные условия при расчете уточненной модели, задаваемые во FlowVision, и их расстановка на гранях расчётной области. Расчетная область представляет собой половину внутреннего объема клапана.
Рис. 4. Расстановка граничных условий
В ходе вычислительного эксперимента определены интегральные характеристики. Полученные результаты (рис. 5) хорошо соотносятся с результатами расчёта газодинамическим пакетом «МАРС-7» и экспериментом.
Еще одним приложением возможностей многопроцессорных вычислений явилось определение аэродинамических характеристики ракеты (рис. 6), предназначенной для борьбы с градом. Расчетным путем произведена оценка положения центра давления. Для этого определены характеристики поля давлений при обтекании и их пересчет согласно следующей зависимости:
=■
X ар '
і
Результаты расчетов совпали с данными летных испытаний.
Рис. 6. Расчетная схема при определении характеристик обтекания ракеты
Ряд работ посвящен изучению вопросов, связанных с обеспечением работоспособности валов роторов газоперекачивающих агрегатов с авиационными приводами. Расчетная схема вала приводится на рис. 7. Вопросы балансировки предлагается решать в ходе прямого численного эксперимента. Сложность постановки связана с необходимостью моделирования дисбалансов, возникающих при микронных эксцентриситетах отдельных участков валов.
Кроме того, важным элементом моделирования являются зазоры в узлах подвеса вала. При этом возникает необходимость построения расчетных сеток с количеством ячеек, достигающим 20 млн.
Рис. 7. Перемещения вдоль вертикальной оси
В конце 2010 г. Пермский государственный технический университет совместно с ОАО «Протон-Пермские моторы» победил в федеральном открытом публичном конкурсе по отбору организаций на право получения субсидий по реализации комплексных проектов по созданию высокотехнологичного производства. Конкурс проводился в соответствии с Постановлением Правительства РФ от 9.04.2010 г. № 218 «О мерах государственной поддержки развития кооперации российских высших учебных заведений и организаций, реализующих комплексные проекты по созданию высокотехнологичного производства». Важной составляющей при реализации этого проекта является вычислительный эксперимент по изучению сложных явлений в турбомашинах. При проведении расчетов будут использованы вычислительные и программные ресурсы ПГТУ, в том числе Регионального центра технической компетенции «АМБ-ПГТУ».
Получено 6.12.2010
