CC BY
77
АВИАЦИОННАЯ И РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА
УДК 621.452:658
Р. Р. ЯМАЛИЕВ, Р. А. ЗАВЬЯЛОВ, А. В. СУХАНОВ
ИНСТРУМЕНТАРИЙ РЕШЕНИЯ ПРОБЛЕМ СОЗДАНИЯ СЛОЖНОЙ НАУКОЕМКОЙ ПРОДУКЦИИ
Рассматриваются вопросы комплексной автоматизации процесса проектирования авиационных ГТД с применением САБ/САМ-систем. Проведен сравнительный анализ зависимости времени расчета от количества используемых для него ресурсов. Авиационные двигатели; автоматизированное проектирование; параллельные вычисления; кластеры; САП/САЫ-системы
Современный авиационный ГТД является наукоемким высокотехнологичным продуктом, аналогов которому по уровню напряжений и тепловому состоянию деталей нет среди других изделий машиностроения.
В условиях конкурентной борьбы за финансовоемкий рынок повышение качества авиационного двигателя должно сопровождаться снижением стоимости жизненного цикла изделия. Для этих целей необходимо: при разработке применять унифицированные, экспериментально отработанные газогенераторы и интеллектуальные CAD-системы; при производстве снижать массу и число деталей, применять высокопроизводительные технологические процессы и CAM-системы; при эксплуатации увеличивать ресурс, снижать трудоемкость и стоимость технического обслуживания [1].
Большое влияние на методологию разработки двигателей оказывает внедрение высокоэффективных систем проектирования. CAD/ CAM/CAE-системы позволяют выполнить
большое количество итераций проекта для определения оптимальных решений. Междисциплинарные расчеты высокого уровня, объединяющие математические модели газодинамических, тепловых процессов и напряженно-деформируемого состояния элементов конструкции, позволяют разработчикам намного быстрее анализировать полученные результаты и принимать правильные технические решения.
Помимо программных продуктов при проектировании двигателя необходимо наличие развитой информационной базы по параметрам, областям применения, конструктивным схемам и элементам конструкции ГТД. Такая систематизированная информация в сочетании с методиками термогазодинамических, прочностных
Контактная информация: (347) 273-79-54
и других расчетов составляет информационное поле разработки ГТД.
Производство новых ГТД требует постоянного совершенствования технологических процессов (ТП), разработки и внедрения новых методов и средств обработки, обеспечивающих постоянно растущие требования по качеству и эксплуатационной надежности. Технология изготовления деталей, узлов и двигателя в целом в значительной степени определяет ресурс изделия, трудоемкость и себестоимость.
Основными направлениями совершенствования технологических процессов производства деталей и сборочных единиц являются: создание новых и совершенствование традиционных методов получения заготовок и их обработки, в т. ч. с применением технологических CAE и CAM-систем.
Применение высокопроизводительных,
с высокой прогнозирующей способностью средств проектирования позволяет избежать дорогостоящих ошибок, выявляющихся при проведении испытаний или в процессе эксплуатации. Они позволяют точнее планировать техническое обслуживание, уменьшить затраты на всех этапах жизненного цикла изделия.
В последние годы необходимым условием устойчивого положения предприятий на внутреннем и внешнем рынках является интегрированное применение информационных технологий поддержки всех этапов жизненного цикла продукции. Применение CALS-технологий обеспечивает сокращение производственного цикла, уменьшение затрат и повышение качества продукции. Для предприятия, выпускающего такие сложные и наукоемкие изделия, какими являются авиационные двигатели, отставание в освоении CALS-технологий может привести к ощутимым потерям как на внешнем, так и на внутреннем рынках [2].
1. ПРИМЕНЕНИЕ CAD/CAE-СИСТЕМ В АВИАДВИГАТЕЛЕСТРОЕНИИ
Постоянное стремление к повышению КПД современных ГТД обусловливает увеличение температуры и давления на входе в лопаточный аппарат, что в свою очередь приводит к необходимости более точного и подробного расчета температурного поля лопатки.
Традиционные методики не позволяют проводить совместный учет особенностей газодинамических процессов при наружном обтекании и внутреннем охлаждении лопатки и теплопроводности в теле лопатки (сопряженные задачи теплообмена), поэтому при проектировании новых изделий есть риск получения неверных решений.
В последние годы интенсивно развиваются так называемые CFD-(Computational Fluid Dynamics) методы (методы вычислительной гидродинамики), основанные на современных компьютерных технологиях, новейших математических моделях процессов переноса, а также эффективных и высокоточных численных алгоритмах.
Автоматизация отдельных процедур проектирования и технологической подготовки производства, дальнейшее увеличение количества ПК дает эффект, однако не приводит к существенному сокращению цикла создания ГТД, так как не вносит принципиальных, качественных изменений в технологию проектирования и доводки ГТД. Поэтому для создания сложных образцов новой техники (таких, как ГТД) необходимо использование самых современных мощных систем CAD/CAM/САЕ с трехмерным моделированием.
При проектировании ряда ответственных деталей и узлов (например, турбинных и компрессорных лопаток, роторов), определяющих конструкцию двигателя, его технико-экономические характеристики и цикл изготовления опытного образца, требуется автоматизация конструкторских работ на высоком программно-техническом уровне. Например, цикл создания охлаждаемой турбинной лопатки, включая расчетно-исследовательские и проектно-
конструкторские работы, подготовку производства (проектирование и изготовление пресс-форм, оснастки и т. п.) и само изготовление комплекта лопаток, составляет около 12 месяцев. А если учесть, что в процессе создания двигателя необходимо спроектировать и изготовить несколько вариантов лопаток до принятия окончательного конструктивного решения, то становится очевидной актуальность комплексной автоматизации на всех стадиях созда-
ния лопатки на базе единой трехмерной геометрической модели. Аналогичные примеры можно привести по другим деталям ГТД.
Основным результатом проектирования является информация об изделии, его узлах и их состоянии. Обеспечение информационной поддержки жизненного цикла изделий (ИПИ-технологии) является обязательным условием обеспечения конкурентоспособности наукоемкой продукции, в частности изделий авиационно-космической отрасли. Инструментальные средства ИПИ (CALS-технологии) и современные методы проектирования подразумевают активное использование компьютерных систем для формирования геометрии деталей, разработки конструкции, математического моделирования и анализа их поведения. Системы геометрического моделирования (CAD - Computer Aided Design) и инженерного анализа (CAE -Computer Aided Engineering) стали основными рабочими инструментами проектировщиков. Отметим некоторые общие подходы и принципы формирования системы проектирования уровня предприятия:
• рабочие места на современных предприятиях включены в единое информационное пространство (ЕИП). Таким образом, обеспечено взаимодействие пользователей через доступ к общим данным. В большинстве случаев ЕИП реализовано в системе PDM (Product Data Management), в которой хранятся мастер-модели разрабатываемого или перепроектируемого изделия. Проектирование все чаще ведется на основе баз знаний;
• программное обеспечение рабочих мест разработчиков во многих случаях имеет лицензирование по сетевым плавающим лицензиям, обеспечивая по запросу широкий набор инструментальных средств каждого места, включая возможности экспертных систем;
• постоянное развитие вычислительной техники и совершенствование функционала программного обеспечения позволяет даже на локальном рабочем месте решать множество различных инженерных задач, требующих высокопроизводительных вычислений и их визуализации [3].
Совместное использование отмеченных факторов (высокая производительность локальных рабочих мест; доступность на каждом рабочем месте высокоточных программных продуктов; доступ проектировщиков к единому информационному полю), одновременно с возможностью сопоставления расчетных данных и натурного эксперимента дают новое качество
проектирования - виртуальную разработку изделия (VPD - Virtual Product Development).
В основе работы многих систем инженерного анализа (CAE) лежит метод конечных элементов. Метод конечных элементов (МКЭ) применяется для различных задач механики деформируемого твердого тела, гидро- и газодинамики, электромагнетизма и т. д. Применительно к решению задач прочности и динамики авиационно-космических и других механических конструкций одной из основных задач является задача определения напряженно-деформированного состояния (НДС) конструкций (или более строго - твердого тела) при заданных условиях термомеханического нагружения. Конечной задачей определения НДС механической конструкции является отыскание в каждой точке конструкции напряжений, деформаций и перемещений, возникающих в ней в результате воздействий на конструкцию механических, газо- и гидродинамических, тепловых и других нагрузок в процессе ее реальной работы в составе летательного аппарата.
При решении задач статической прочности максимальные напряжения являются основой для вычисления запасов прочности и оценки прочности конструкции. При решении задач динамики напряжения, деформации, перемещения являются функцией времени, а также проводятся исследования вибрационных характеристик конструкций (вычисляются частоты, амплитуды колебаний, амплитудные значения напряжений, деформаций, исследуются резонансные явления).
При решении задач определения НДС необходимо отыскать поля перемещений, деформаций и напряжений при заданной геометрии, свойствах материалов, нагрузок и граничных условий. Такая постановка задачи называется прямой, и, как правило, именно прямая задача решается в практической деятельности в процессе проектирования ЛА и других механических конструкций. Возможна и обратная постановка задачи, когда по известным функциям перемещений, деформаций и напряжений находят нагрузки, воздействующие на конструкцию, которые удовлетворяют заданным функциям.
Основа физической концепции МКЭ - это разбиение математической модели конструкции на непересекающиеся компоненты (подобласти) простой геометрии, называемые конечными элементами. Множество элементов, на которые разбита конструкция, называется конечно-элементной сеткой. Механическое поведение каждого элемента выражается с помощью конечного числа степеней свободы или
значений искомых функций во множестве узловых точек. Поведение математической модели, таким образом, аппроксимируется поведением дискретной модели, полученной путем сборки или ансамблирования всех элементов (рис. 1).
Рис. 1. Сетка конечных элементов
Решение задач численного моделирования, в частности задач газовой динамики, должно проводиться с наиболее полным учетом внешних факторов: приближенного (экспериментально подтвержденного) распределения поля температур по поверхности детали, учета сжимаемости реального газа, учета пластичности элементов и контактной задачи. Для математической модели должны соблюдаться требования:
• универсальность - полнота отображения в модели свойств некоторого множества реальных объектов;
• адекватность - способность отображать заданные свойства объекта с погрешностью не выше заданной;
• продуктивность - способность на базе имеющейся информации продуцировать новую информацию для принятия проектных, доводочных или эксплуатационных решений; экономичность - учет затрат вычислительных ресурсов, объемов исходной и выходной информации [4].
2. ВЫЧИСЛИТЕЛЬНЫЕ КОМПЛЕКСЫ
В ходе написания статьи исследовались возможности различных конфигурации вычислительных систем: кластера систем CAD/CAE кафедры АД и суперкомпьютера УГАТУ. Для сравнительного анализа продуктивности и экономичности была подготовлена CAD-модель первой ступени двигателя АЛ31 с входным направляющим аппаратом компрессора низкого давления (рис. 2).
Рис. 2. CAD -модель в CFX
Предполагается, что ротор вращается с частотой 1GGG оборотов/минуту; расход воздуха на входе 2 кг/с; температура на входе Т = 288 К. Исследования модели проводились в пакете газодинамических расчетов Ansys CFX.
Рис. З. Сетка конечных элементов
Конечноэлементная сетка (рис. 3) имеет различную плотность в критичных для расчета местах, в частности в точках сходимости потока на кромках лопаток. Общие данные о модели, подготовленной к расчетам:
Number of Nodes: 452868;
Number of Elements: 1818760;
Tetrahedra: 1466450;
Pyramids: 10582;
Wedges: 341728.
Объем файла модели:
1) для препроцессора: KomprOV62_7.cfx 28Мб;
2) для процессора: KomprOV62_7.def 25Мб.
Конфигурация вычислителя кластера, выбранного для экспериментального поверочного расчета:
CPU: Intel Xeon E5430 2.66GHz;
ОЗУ: 16 Gb;
HDD: 750 Gb SATAII;
Video: GeForce 9800GT 512Mb DDRIII;
Linux Ubintu 9.04 x64.
В работе исследовалась загрузка вычислителя при распараллеливании процессов. Расчет принудительно останавливался на 10 итераци-
ях. Результаты приведены для расчетов на 1, 2 и 4 ядрах. Объем файла результатов для каждого из вариантов: ~18G MB.
Соответственно, оценивалось общее время для каждой конфигурации.
Как видно из результатов тестов, задача полностью помещается в оперативной памяти одного узла и на итоговую производительность влияет только количество задействованных ядер (рис. 4).
Полные протоколы расчетов, .out файлы, содержат несколько тысяч строк. Для оценки производительности берем время счета первых десяти итераций для каждого варианта. Для многопроцессорных вариантов суммарное время выполнения итераций необходимо разделить на значение Number of Processes в секции PARALLEL ENVIRONMENT (на 2 и
на 4 соответственно).
Для одного ядра: 633.2 секунды;
Для двух ядер: 385 секунд;
Для четырех ядер: 313 секунд.
Корректность этой оценки вызывает некоторые сомнения, так как не учитывает время, в течение которого происходит распределение данных по процессорам, а затем их сбор и синхронизация. Тем не менее, общая картина подтверждается графиками производительности системы и результат возможно использовать для общей оценки производительности вычислений. Для справки, полное время расчета (896 итераций) в наиболее быстром режиме на одиночном вычислителе кластера занял почти 6 часов.
Для исследований возможностей суперкомпьютера та же задача исследовалась при решении на 1GG итерациях в различных конфигурациях процессорных узлов. Для корректного исследования необходимо детально представить конфигурацию суперкомпьютера. В отчете использован материал на основе информации, полученной в результате ознакомительного изучения вычислительного кластера.
Основу вычислительного кластера УГАТУ составляют 266 блейд-серверов IBM на базе 532 четырехъядерных процессоров Intel Xeon серии 5345. Расчетная пиковая производительность суперкомпьютера составляет
19,86 Тфлопс, максимальная производительность согласно тесту LINPACK достигла 15,33 Тфлопс, т. е. 77,2% от пиковой, что само по себе является очень неплохим показателем. В списке TOP5GG кластер УГАТУ занял 169 место в мире и 3 место в России (по состоянию на июнь 2GG8 года).
Рис. 4. Графики решения газодинамической задачи
на 1, 2 и 4 процессорных ядрах (сверху вниз)
Ключевыми особенностями вычислительного кластера УГАТУ являются его компактность (всего 6 монтажных шкафов, в которых размещены шасси с блейд-серверами, управляющие узлы кластера и сеть хранения данных), меньший по сравнению с аналогами вес всей системы, низкое энергопотребление (потребляемая мощность оборудования кластера -порядка 85 кВт). Небольшие размеры кластера позволили установить его рядом с дисплейными классами, из которых студенты получают доступ к вычислительным ресурсам системы.
Вычислительный кластер УГАТУ имеет классическую для подобных систем массивнопараллельную архитектуру, но на стадии проработки технических решений было решено использовать самые современные технологии. Применение блейд-серверов IBM HS21XM позволило снизить потребляемую мощность, уменьшить занимаемую площадь и упростить управление серверами [5].
На рис. 5 приведена структура сети вычислительного кластера УГАТУ. В качестве коммуникационной вычислительной среды используется высокоскоростная сеть 1, построенная на основе технологии Infiniband 4x на базе 288-портового коммутатора Cisco с неблокируемой коммутационной матрицей, что обеспечивает минимальные задержки в межпроцессорном взаимодействии. Основная сеть 3 вычислительного кластера построена на основе технологии Gigabit Ethernet и используется для установки программного обеспечения и обновлений на
вычислительные узлы 2, запуска задач на вычислительных узлах, а также при расчетах, не требующих высоких скоростей обмена между узлами. Задачи мониторинга и управления компонентами кластера решаются при помощи управляющей сети 4, построенной на основе сети Ра81Е1Ьете1.
Рис. 5. Схема сети вычислительного кластера УГАТУ
В качестве файловой системы при расчетах используется General Parallel File System (GPFS) 7 - высокопроизводительная кластерная файловая система, разработанная IBM. GPFS отличается от других кластерных файловых систем возможностью одновременного высокоскоростного доступа к файлам для приложений, выполняющихся на нескольких узлах кластера, а также позволяет обеспечить совместный доступ к файловым системам с удаленных GPFS-кластеров. Также в схеме присутствуют дисковая подсистема 8, система резервного копирования 9, терминальный сервер 10, сервер управления 11 и модули управления/контроля ИБП 5 и системой охлаждения б.
Рис. 6. Вычислительный кластер, общий вид, управляющая стойка
Кластер также подключен к сети университета, благодаря чему обеспечивается возможность удаленной работы пользователей с кластером как из сети университета, так и за ее пределами. В настоящее время, помимо университета, кластер используют такие организации как: Уфа НИПИ, Волгоград НИПИ и Институт механики Уфимского научного центра РАН.
Основные задачи, решаемые при помощи вычислительного кластера УГАТУ:
• синтез, оптимизация и моделирование интеллектуальных систем управления сложными техническими, организационными и экономическими объектами с использованием искусственного интеллекта (нечеткой логики, нейронных сетей, генетических алгоритмов);
• исследование эволюции различных нелинейных волн в двухфазных средах пузырьковой структуры в многомерных случаях;
• исследование напряженно-деформированного состояния в конструкциях с высокой нелинейностью механических и геометрических свойств, решение контактных задач в условиях больших пластических деформаций и нелинейного накопления повреждений;
• численное моделирование физических процессов (термонапряженное состояние, газодинамика, многофазные турбулентные течения с химическими реакциями, сопряженные задачи и др.).
Управляющие узлы кластера, сеть хранения данных, все узлы системы охлаждения и система электропитания полностью резервированы, т. е. имеют дублирующие элементы (рис. 7).
Рис. 7. Система электропитания кластера
Полученные файлы отчетов о работе CFD (.out файлы) обрабатывались следующим несложным скриптом:
#/bin/bash rm TIME
awk 'ORS="";/Solver has finished/ {print ITN "\t" CFDT "\t" TM "\t" FILENAME "\t" HOSTS "\n"; ORS=""; }\
/CFD Solver started:/ {STT= $4 "-" $5 "-" $6 " " $7;}\
/CFD Solver finished:/ {ENT= $4 "-" $5 "-" $6 " " $7;}\ /OUTER LOOP ITERATION/ {ITN= $5;}\
/Parallel Host List/ { HOSTS= $5; if ($5 == "\\") { HOSTS="look in out please" };}\
/CFD Solver wall clock seconds:/ { CFDT= $6;}
/Total wall clock time:/ {TM=$5;}' *.out >>TIME cat TIME
Ниже приводятся результаты газодинамической задачи расчета первой ступени двигате-
ля с входным направляющим аппаратом компрессора низкого давления на 100 итерациях (рис. 8 и 9).
I—г 1.963е*002
1.472е+002
9.814^*001
4.907е*001
I
™ 0.000е*000
Рис. 8. Распределение скоростей
-ч 1.965»»004
1.651е»004
1 337г*004
1.024е*004^
7 101е.(Х^
3.9«4**003
8 270*4007
2 ЗМе.ООЗ
Щ 5 447..003
к 8 484*.003
• I 172г.004
№•1
Рис. 9. Распределение давления
Результаты обработки, перегруппированные по задействованным процессам (лицензиям), можно представить в таблице.
Из протокола видно, что задача удачно масштабируется на большое количество узлов, практически без потерь (около 1%) в скорости передачи данных через межузловой коммутатор 1пйшЬап^ Наихудшая производительность наблюдается при запуске восьми процессов на одном узле (узел состоит из двух четырехядер-ных процессоров). Предполагается, что в этом случае задаче перестает хватать памяти (допустимо до 8 Гигабайт на узел, расчетная задача близка по объему к двум гигабайтам), но данный вопрос необходимо исследовать дополнительно. Также исследовалось время расчета на различных библиотеках МР1 (бесплатной и специализированной НР МР1). На данной задаче выигрыш от использования специализированной библиотеки составляет около 4%.
Время выполнения ста итераций составляет около получаса. При решении на одиночном узле время выполнения десяти итераций составляло около 10 минут. Полное решение (896 итераций) на суперкомпьютере (в наиболее быстрой конфигурации) получается за 138 минут.
Результаты обработки, перегруппированные по задействованным процессам (лицензиям)
№ Время работы решателя CFX, с Общее время счета, с Имя .out файла Распараллеливание по узлам
1 1.191E+03 1.240E+03 16x1_001.out n1401 ,n1402,n1403,n1404,n1407,n1408,n1 409,n1410,n1301,n1304,n1308,n1310,n131 1,n1312,n1313,n1314
2 1.173E+03 1.217E+03 4x4 002.out n1401 *4,n1402*4,n1403*4,n1404*4
3 2.671E+03 2.714E+03 1x8 001.out n1401*8
4 1.875E+03 1.918E+03 2x4 001.out n1401*4,n1402*4
5 1.888E+03 1.934E+03 4x2 001.out n1401 *2,n1402*2,n1403*2,n1404*2
6 1.942E+03 2.016E+03 4x2 mpich 001.out n1401 *2,n1402*2,n1403 *2,n1404*2
7 1.876E+03 1.922E+03 8x1_001.out n1401 ,n1402,n1403,n1404,n1407,n1408,n1 409,n1410
8 2.690E+03 2.731E+03 1x4_local_001.out n1401.nodes*8
ВЫВОДЫ
Проведенные исследования позволяют сделать вывод, что для моделей с большим количеством элементов необходимо планировать соответствующие вычислительные ресурсы и оптимизировать их использование. Для технико-экономического обоснования цепочки проектирования, включающей в себя CAE-расчеты на суперкомпьютере, час времени счета на 2009 год определен в 5 тысяч рублей. Кроме стоимости времени расчета на вычислительном кластере необходимо учитывать количество доступных лицензий прикладного программного обеспечения, в том числе предназначенного для распараллеливания. В ходе выполнения НИР имелась возможность проведения расчетов в системах Ansys (по 32 лицензии HPC CFX, Mechanical, LS-Dyna), Star-CD (до 20 ядер одновременно), MATLAB (128 ядер), Maple. Таким образом, для задачи пленочного охлаждения турбинной лопатки может потребоваться программа типа MSC.Marc. В этой системе производится оценка эффективности созданного образца охлаждения не только с позиции минимизации температуры стенки, но и с позиции оптимального распределения напряжений с учетом пластичности и контакта, в том числе контактный теплообмен. Очевидно, что программа должна поддерживать параллельные вычисления и ее стоимость будет влиять на общую стоимость решения.
СПИСОК ЛИТЕРАТУРЫ
1. Концепция развития CALS-технологий в промышленности России / Е. В. Судов [и др.]. М.: НИЦ CALS-технологий «Прикладная логистика», 2002.
2. Управление жизненным циклом продукции / А. Ф. Колчин [и др.]. М.: Анахарсис, 2002. 304 с.
3. Проектирование авиационных газотурбинных двигателей / Х. С. Гумеров [и др.], под ред. А. М. Ахмедзянова. М.: Машиностроение, 2000. 447 с.
4. НИЦ САЬБ-технологий [Электронный ресурс] (http://cals.ru/) (дата обращения: 23.12.2009).
5. Линукс кластер [Электронный ресурс]. (http://cluster.linux-ekb.info/) (дата обращения: 14.12.2009).
ОБ АВТОРАХ
Ямалиев Руслан Рафаилович,
мл. науч. сотр. НИЛ САПР-Д. Дипл. инж.-констр. (УГАТУ,
2004). Иссл. в обл. автоматизации процесса отладки авиац. ГТД.
Завьялов Роман Алексеевич,
студ. каф. авиац. двигателей. Иссл. в обл. инструментария решения проблем создания сложной наукоемкой продукции.
Суханов Андрей Владимирович, магистрант той же каф. Иссл. в обл. автоматизации процесса испытаний авиац. ГТД.
