Программно/техническая платформа высокопроизводительных вычислений для нефтегазовой промышленности

Биряльцев Евгений Васильевич; Богданов Павел Борисович; Галимов Марат Разифович; Демидов Денис Евгеньевич; Елизаров Александр Михайлович

УДК 004.75

Е. В. Биряльцев, П. Б. Богданов, М. Р. Галимов, Д. Е. Демидов,

А. М. Елизаров

Программно-техническая платформа высокопроизводительных вычислений для нефтегазовой промышленности

Аннотация. Рассматривается необходимость создания комплексного программно-аппаратного решения организации высокопроизводительных вычислений, взаимодействия с большими данными и трехмерной визуализации в реальном времени для обеспечения производственных процессов в нефтегазовой отрасли.

Приводятся технические решения и результаты, полученные при создании соответствующего высокопроизводительного специализированного комплекса, рассматриваются проблемы и направления дальнейшего развития данного технологического направления.

Ключевые слова и фразы: графические вычисления общего назначения, численное моделирование, распределенные вычисления, кластер GPU, нефтегазовый комплекс, платформа высокопроизводительных вычислений.

Введение

В настоящее время в нефтегазовой промышленности происходит смена технологий. Вовлечение в разработку все более сложных запасов углеводородов, таких как сланцевые нефть и газ, тяжелые нефти, шельфовые залежи и т.д., потребовало увеличить качество геологического прогноза и экономическую обоснованность технических решений. Это достигается все более широким промышленным применением численных моделей, увеличением объема снимаемой на месторождении информации и применением сложных статистических методов. Данные задачи, особенно вариантное решение прямых

Работа выполнена при частичной поддержке Российского фонда фундаментальных исследований (грант №15-07-05380).

и обратных задач сейсморазведки [1-3], подземной гидромеханики и геомеханики, требуют промышленного применения высокопроизводительных вычислений.

Вместе с тем, только вычислительными задачами потребности не ограничиваются. Математические модели и «умные месторождения» порождают многотерабайтные объемы данных, которые в данном контексте могут рассматриваться как Big Data. Полевые и модельные данные являются пространственно-временными полями и требуют, в силу большой значимости в геологии неформализованной информации, оперативного визуального анализа специалистами. Данный анализ в силу распределенного характера нефтяных компаний должен проводиться в удаленном режиме. Таким образом, новые технологические подходы в нефтегазовом секторе требуют согласованного применения высокопроизводительных вычислений, работы с большими данными и оперативной визуализации динамических сцен большой сложности.

Дополнительными требованиями к аппаратно-программным решениям являются экономическая эффективность, простота в сопровождении и возможность модификации для сохранения инвестиций.

1. Существующие интегрированные решения

Традиционно в программном обеспечении для нефтегазовой отрасли большое внимание уделяется визуализации данных, это связано с особенностями их анализа. Среди существующих платформ визуализации можно выделить Open Inventor [4] от FEI VSG — инструмент для создания программных продуктов со сложной 2D- и BD-графикой. Платформа содержит широкий набор средств и методов для визуализации и анализа данных для нефтегазовой промышленности. Платформа активно использует для высокопроизводительной визуализации возможности технологии GPU, а также имеет возможности работы с большими объемами данных. Поддерживаются облачные, настольные и мобильные платформы. Разработка может вестись на языках программирования C+—Ь, C# (.NET) или Java. Данный инструмент предоставляет большие возможности для разработки графического программного обеспечения, но в нем отсутствуют средства для организации распределенных вычислений.

Активно развивается такое направление визуализации, как «виртуальная реальность». Среди программно-аппаратных комплексов,

наиболее приближенных к рассматриваемой тематике, можно отметить решения компании TechViz, которое предоставляет «драйвер» (TechViz XL) и программную библиотеку (TVZLib API), позволяющие прозрачно транслировать 3D OpenGL-приложения в «виртуальное» окружение [5].

В настоящий момент работа с большими массивами данных происходит в рамках развиваемой парадигмы Big Data. Наиболее известной и распространенной программной технологией в данной области является Hadoop [6]. Данная платформа обладает широко развитой экосистемой, а также идёт процесс активной коммерциализации технологии, несколько компаний строят свой бизнес целиком на создании коммерческих дистрибутивов Hadoop и услуг по технической поддержке. Изначально технология предназначалась в основном для обеспечения высоконагруженных процессов, связанных с функционированием веб-платформ, но идет и успешное внедрение в другие отрасли, в том числе в нефтегазовую [7]. Крупные программные вендоры предлагают свои решения для хранения, интеграции и анализа данных (IBM BigData, SAP BigData и т.д.). Также, например, можно отметить специализированное программное решение Seismic Hadoop, которое позволяет производить обработку сейсмических данных с помощью пакета Seismic Unix в Hadoop-окружении от компании Cloudera.

Программными решениями, которые наиболее полно, с нашей точки зрения, охватывают все аспекты разработки высокопроизводительного программного обеспечения для нефтегазовой отрасли, являются программные платформы компании Hue AS - HueSpace [8] и компании nVidia - IndeX [9]. Данные платформы позволяют оперировать большими объемами сейсмических данных, производить их обработку и визуализацию. Поддерживается возможность организации вычислений на графических процессорах. Для платформы HueSpace разработку можно вести под различные операционные системы (Windows, Linux) c использованием нескольких языков программирования (C+—Ъ, .Net, Java), для платформы nVidia IndeX предлагается использовать только С+—+ API. Платформы поддерживают расширение функциональности ядра, а также интеграцию с разрабатываемыми приложениями. К сожалению, данные продукты являются проприетарными, и их описание в открытых источниках носит в основном информационный характер, степень готовности к промышленному применению неясна. Также обе платформы построены на основе программно-технических решений компании nVidia, значит, затруднено использование графических

ускорителей других компаний (например, AMD) и альтернативных программных технологий (например, OpenCL).

Таким образом, доступное и апробированное решение, интегрирующее одновременно организацию распределенных вычислений в гетерогенной среде, хранение и обработку больших данных, учитывающее специфику результатов моделирования и удаленную визуализацию больших данных на различных аппаратных платформах, в настоящее время отсутствует.

2. Предлагаемый подход

Основной проблемой является необходимость обеспечения удаленного доступа пользователей при визуализации больших данных, в том числе динамических данных численного моделирования. Данные моделирования сейсмических процессов имеют характер непрерывных полей и плохо сжимаемы на уровне исходных данных. Большой объем данных визуализации исключает передачу данных для визуализации клиенту по сетям общего пользования. Единственно возможным техническим решением представляется превращение на сервере трехмерных сцен в управляемый пользователем видеопоток, сжатие его до соответствия с пропускной способностью сети и передачу клиенту, что требует использования видеокарт на сервере. Такое решение в промышленном исполнении известно как GRID-технология nVidia с использованием разделяемых видеокарт K1 и K2. Технология GRID поддерживается системами виртуализации Citrix и VMWare.

Второй проблемой является оперативный доступ к большим данным. Сетевые системы хранения архитектуры SAN в настоящее время оснащаются преимущественно интерфейсами Ethernet 1Gb и не обеспечивают требуемой скорости записи и считыванию результатов моделирования объемом в несколько терабайт. В последнее время для работы с большими данными получает распространение архитектура DAS, предусматривающая подключение хранилищ большого объема непосредственно к узлам с использованием RAID-контроллеров. Возможно как полностью распределенное хранилище DAS, имеющее дисковые массивы на каждом вычислительном узле, так и хранилище с выделенными узлами хранения. Оба решения имеют свои преимущества и недостатки, однако решение с выделенными узлами более отработано технологически, и оно было принято в предлагаемом подходе. Для доставки данных от вычислительных узлов к узлам хранения

предлагается использовать сеть Infiniband FDR, которая по пропускной способности соответствует реальной скорости записи/считывания RAID-массива с 16-ю устройствами SATA 6 Gbit/s.

Очевидно, что вычислительные узлы по соотношению цена/производительность для решения вычислительных задач должны содержать устройства GPU. Основной задачей при выборе конфигурации узла является выбор типа графических ускорителей и технологии работы с ними. В настоящее время известны укорители компаний nVidia, AMD и Intel. Все три поддерживают технологию OpenCL, nVidia поддерживает также технологию CUDA. Учитывая большую скорость развития графических ускорителей, предпочтительней представляется интероперабельная технология OpenCL, что позволяет в будущем модифицировать узлы заменой графических карт на наиболее производительные на момент модификации без привязки к производителю. Де-факто стандартом технологии организации обмена данных между узлами является MPI, таким образом, в качестве базового набора организации распределенных вычислений целесообразно принять связку MPI+OpenCL. Учитывая большие скорости счета и большие генерируемые потоки данных, как для обмена, так и для хранения, единственно адекватным вариантом обмена данными на сетевом уровне является сеть Infiniband. Для уменьшения простоев GPU целесообразно на каждом узле реализовать две сети отдельно для передачи данными при моделировании и отдельно для обмена данными с узлами хранения.

3. Тестирование экспериментального комплекса

На основе предлагаемых принципов и ряда научно-практических исследований [10-12] был развернут аппаратно-программный комплекс в следующей конфигурации. Аппаратную основу комплекса составляют 6 вычислительных узлов с GPU в составе 2xXeon 2643v2, RAM 256 Gb, 4xW9100, сервер доступа в составе 2xXeon 2687v2, RAM 256 Gb, 2xK2, сервер базы данных 2xXeon 2697v2, RAM 384 Gb, 2xRAID массива 16х4 Tb. Основная сеть передачи данных Infiniband FDR 4x, управляющая сеть Ethernet 1Gb. W9100 были выбраны как графические вычислители в связи с максимальными на тот момент параметрами пиковой производительности и памяти на одну карту. Процессоры Xeon 2643v2 были выбраны для узлов по критерию максимальной частоты (3,5 GHz), так как основная вычислительная нагрузка ложится на GPU и задачей CPU являются преимущественно однопоточные операции обмена данными между GPU, а также

обмена GPU с сетью. Сервер доступа базируется на разделяемых графических картах K2, обеспечивающих работу на одной карте от 2 до 8 пользователей при работе с трехмерной графикой [13]. Сервер базы данных имеет в своей конфигурации 2 RAID-массива из 16-ти дисков. Один RAID-массив предназначался для оперативной работы и имел конфигурацию RAID 5 с SSD кэшем для ускорения оперативной работы и один предназначался для архивного хранения данных в конфигурации RAID 6 с диском горячего резерва для максимальной надежности.

Вычислительный кластер был протестирован тестом Linpack и показал производительность 36,61 Tflops, что позволило занять 38-е место в Топ 50 суперкомпьютеров СНГ в редакции от 28 сентября 2015 года. Для оценки производительности использовалась специализированная версия Linpack [14], предоставляющая возможность использования с картами AMD. Обращает на себя внимание, что данная производительность была достигнут всего на 6-ти вычислительных узлах, что обеспечивает лучшую в Топ 50 производительность на узел. Максимальная производительность одиночного узла составила 7,3 Tflops, что лучше результата 6,9 Tflops, достигнутого на аналогичной установке GSI Helmholtz Center доктором D. Rorh. Большая производительность на узел, как мы полагаем, была достигнута за счет применения центральных процессоров с большей тактовой частотой, что обеспечило максимальную скорость обмена данных между графическими вычислителями и сетью.

Система хранения показала скорость поточного чтения около 2 Gbyte/s, скорость последовательной записи — порядка 1,8 Gbyte/s, что меньше предельной пропускной способности сети Infiniband FDR 4x (7 Gbyte/s). Таким образом, примененное техническое решение по записи/считыванию через сеть не ограничивается ее пропускной способностью.

Система удаленного доступа на XenDesktop Server 6.2 и картах K2 в конфигурации 4 пользователя на карту показала принципиальную работоспособность с большими графическими сценами, однако нам не удалось подключить сеть Infiniband для доступа из виртуальных машин к хранилищу данных. Подключение сетевых дисков в результате было выполнено по сети Ethernet 1Gb, что снижает скорость доступа к большим данным.

В целом комплекс показал принципиальную работоспособность. В настоящее время на основе данной конфигурации разрабатывается

программное обеспечение для обработки микросейсмических данных под задачи мониторинга гидроразрыва пласта, определения зон повышенной трещиноватости в сланцевых и традиционных коллекторах и других актуальных задач нефтегазового комплекса.

Заключение

Проведенные работы показали возможность создания аппаратно-программного комплекса из имеющихся стандартных компонент для задач нефтегазовой промышленности, включающих численное моделирование, обработку больших данных и трехмерную динамическую визуализацию в удаленном режиме. Принятая архитектура и базовые программно-технические решения обеспечивают масштабируемость по вычислительной мощности, объемам хранения данных и количеству пользователей путем наращивания специализированных узлов. Ориентация на интероперабельные программные решения ОрепСЬ обеспечивает дальнейшую модифицируемость с учетом возможной замены производителя графических вычислителей.

Опыт разработки и эксплуатации данного комплекса позволил также выявить узкие места при решении поставленной задачи. К ним относится в первую очередь большая сложность примененных программных решений. Второй проблемой являются недостаточно высокая производительность виртуальных машин и некоторые проблемы их интеграции в общую систему, в частности, невозможность подключения сетевых дисков по сети 1пйшЬап<. Мы надеемся, что это временная проблема, однако общая эффективность виртуальных машин при выполнении задач, ориентированных на интенсивные вычисления на клиенте, существенно, в 2-4 раза ниже, чем на аналогичной не виртуальной машине. Также потенциальной проблемой является недостаточно высокая эффективность системы хранения. Более эффективным подходом является полностью распределенная система хранения, совмещенная с вычислительными узлами, однако ее применение лимитируется отсутствием подходящего программного обеспечения с учетом специфики указанной задачи.

Численные сеточные методы, анализ больших данных методами дисперсионного анализа и визуализация воксельных данных на основе уравнения рендеринга сводятся к операциям с матрицами. Таким образом, на уровне математической постановки задачи все три составляющих программного обеспечения могут опираться на одну и ту же базовую библиотеку работы с матрицами на распределенной системе

GPU. Учитывая этот факт, а также вышеприведенные проблемы, представляется актуальной разработка фреймворка, обеспечивающего распределенные вычисления, хранение и обработку данных, а также трехмерную динамическую визуализацию на гомогенном наборе узлов, включающих GPU и системы хранения. Это позволит снизить сложность системного и прикладного программного обеспечения, обеспечить полную масштабируемость и модифицируемость и, в конечном счете, снизить стоимость владения высокопроизводительными комплексами для их применения в нефтегазовом секторе и промышленности в целом.

Благодарности. Авторы искренне благодарны компаниям ЗАО «Нефтеконсорциум» и ЗАО «Градиент» за огромную помощь в научно-исследовательских и практических технологических работах, оказанную при создании высокопроизводительного комплекса.

Список литературы

[1] E. Birialtsev. "Low frequency seismic. Experience in exploration for oil and gas in Russia", WSAM 2013 Winter school on applied modelling Well and Reservoir Characterisation (Dubai, UAE, 2013). t 16

[2] Е. В. Биряльцев, В. А. Рыжов, И. Р. Шарапов, Н. Я. Шабалин. «Метод низкочастотного сейсмического зондирования для разведки малоразмерных и сложнопостроенных залежей углеводородов», Тезисы научно-практической конференции «Гальперинские чтения-2014» (Москва, 2014). t 16

[3] Н. Я. Шабалин, Е. В. Биряльцев, И. Р. Шарапов, В. А. Рыжов, С. А. Феофилов. «Пассивные микросейсмические исследования — перспективное направление геофизики при поиске, разведке и эксплуатации нефтегазовых месторождений», Эффективность решения геологических задач разведки и эксплуатации методами геофизических исследований, Сборник тезисов научно-практической конференции (Тюмень, 2012). t 16

[4] Open Inventor for Oil & Gas, Mining, and Geosciences (High-performance 3D Software Development Tools), FEI, URL: http://www.openinventor. com/backoffice/wp-content/uploads/OpenInventor-OilGas-Mining-Geosciences_FEI-VSG_BR.pdft 16

[5] TechViz, URL: http://www.techviz.net/techviz-xl t 17

[6] M. Kerzner, S. Maniyam. Hadoop Illuminated, Open Source Hadoop Book, 2014, URL: http://www.hadoopilluminated.com t 17

[7] J. Feblowitz. The Big Deal About Big Data in Upstream, Oil and Gas, IDC Energy Insights, 2012, URL: https://www.hds.com/assets/pdf/the-big-deal-about-big-data-in-upstream-oil-and-gas.pdf t

[8] K. Walker, D. Buch. "Integrated GPU Acceleration With Real Time Visualization Of Terabyte Data", NVidia GTC 2012, Hue AS/Hue Technology North America, URL: http://hue.no/sites/default/files/S0436-Integrated-GPU-Acceleration-RT-Visualization-of-Terabyte-Data_ 0.pdf t 17

[9] NVIDIA IndeX, Whitepaper, NVIDIA Advanced Rendering Center, May 2014, URL: http://www.nvidia-arc.com/fileadmin/user_upload/ index_2014/documents/nvidia_index_whitepaper.140505.A4.pdf t17

[10] М. Р. Галимов, Е. В. Биряльцев. «Некоторые технологические аспекты применения высокопроизводительных вычислений на графических процессорах в прикладных программных системах», Вычислительные методы и программирование, 11 (2010), с. 77-93. t 19

[11] D. Demidov, K. Ahnert, K. Rupp, P. Gottschling. "Programming CUDA and OpenCL: A Case Study Using Modern C++ Libraries", SIAM Journal on Scientific Computing, 35:5 (2012), 20 p. t 19

[12] A. Gray, A. Sjostrom, N. Ilieva-Litova. Best Practice mini-guide accelerated clusters, Partnership for Advanced Computing in Europe, May 2013, URL: http://www.prace-ri.eu/IMG/pdf/Best-Practice-Guide-GPGPU.pdft19

[13] A. Currid. "Delivering High-Performance Remote Graphics with NVIDIA GRID Virtual GPU", SIGGRAPH 2014-ID SIG4119, URL: http://on-demand.gputechconf.com/siggraph/ 2014/presentation/SG4119-Delivering-High-Performance-Remote-Graphics-NVIDIA-GRID-Virtual-GPU.pdf t 20

[14] D. Rohr, M. Bach, M. Kretz, V. Lindenstruth. "Multi-GPU DGEMM and High Performance Linpack on Highly Energy-Efficient Clusters", IEEE Micro, 31:5 (2011), pp. 18-27. t 20

Рекомендовал к публикации Программный комитет

Четвёртого национального суперкомпьютерного форума НСКФ-2015

Об авторах:

Евгений Васильевич Биряльцев

Специалист в области специализированных информационных систем, к. т. н., автор более 50 публикаций, в том числе 3 свидетельств о регистрации программ, 2 изобретений. Генеральный директор компании ООО «Градиент технолоджи» (резидент Сколково)

e-mail: Igenbir@yandex.ru

Павел Борисович Богданов

Специалист в области высокопроизводительных вычислений, к. ф.-м. н., инженер, НИИСИ РАН

e-mail: bogdanov@niisi.msk.ru

Марат Разифович Галимов

Специалист в области разработки программного обеспечения для нефтегазовой отрасли, к. т. н., заместитель директора ООО «Градиент технолоджи»

e-mail: glmvmrt@gmail.com

Денис Евгеньевич Демидов

Специалист в области высокопроизводительных вычислений с использованием технологий GPGPU, к. ф.-м. н., с. н. с. Казанского отделения НИИСИ РАН (Казанского филиала МСЦ РАН)

e-mail: dennis.demidov@gmail.com

Александр Михайлович Елизаров Доктор ф.-м. н., профессор Казанского (Приволжского) федерального университета, директор Казанского отделения НИИСИ РАН (Казанского филиала МСЦ РАН), член Американского математического общества (AMS), Немецкого общества математиков и механиков (GAMM) и Международного общества по индустриальной и прикладной математике (SIAM)

e-mail: amelizarov@gmail.com

Пример ссылки на эту публикацию:

Е. В. Биряльцев, П. Б. Богданов, М. Р. Галимов, Д. Е. Демидов, А. М. Елизаров. «Программно-техническая платформа высокопроизводительных вычислений для нефтегазовой промышленности», Программные системы: теория и приложения, 2016, 7:1(28), с. 15-27.

URL: http://psta.psiras .ru/read/psta2016_1_15-27.pdf

E. Biryaltsev, P. Bogdanov, M. Galimov, D. Demidov, A. Elizarov. HPC Platform, for Oil & Gas Industry.

Abstract. There is a growing need in integrated software and hardware solutions for high performance computing, big data analysis, and 3D realtime visualization in the oil and gas industry.

We describe technical details and results obtained while creating such an integrated software and hardware solution, and talk about challenges and directions for further progress in the technological field. (In Russian).

Key words and phrases: general-purpose computing for graphics processing untis, numerical simulation, distributed computing, GPU cluster, oil and gas industry, HPC platform.

References

[1] E. Birialtsev. "Low frequency seismic. Experience in exploration for oil and gas in Russia", WSAM 2013 Winter school on applied modelling Well and Reservoir Characterisation (Dubai, UAE, 2013).

[2] Ye.V. Biryal'tsev, V.A. Ryzhov, I.R. Sharapov, N.Ya. Shabalin. "Passive seismic exploration method (Low-Frequency Seismic Sounding) for complex and small hydrocarbon deposits", Galperin Readings - 2014 (Moscow, 2014) (in Russian).

[3] N.Ya. Shabalin, Ye.V. Biryal'tsev, I.R. Sharapov, V.A. Ryzhov, S. A. Feofilov. "Microseismic research — perspective direction of geophysics in the search, exploration and exploitation of oil and gas fields", Effektivnost' resheniya geologicheskikh zadach razvedki i ekspluatatsii metodami geofizicheskikh issledovaniy, Sbornik tezisov nauchno-prakticheskoy konferentsii (Tyumen', 2012) (in Russian).

[4] Openlnventorfor Oil & Gas, Mining, and, Geosciences (High-performance 3D ¡Software Development Tools), FEI, URL: http://www.openinventor.com/backoffice/wp-content/uploads/OpenInventor-OilGas-Mining-Geosciences_FEI-VSG_BR.pdf

[5] TechViz, URL: http://www.techviz.net/techviz-xl

[6] M. Kerzner, S. Maniyam. Hadoop Illuminated, Open Source Hadoop Book, 2014, URL: http://www.hadoopilluminated.com

[7] J. Feblowitz. The Big Deal About Big Data in Upstream Oil and Gas, IDC Energy Insights, 2012, URL: https://www.hds.com/assets/pdf/the-big-deal-about-big-dat a-in-upstream-oil-and-gas.pdf

[8] K. Walker, D. Buch. "Integrated GPU Acceleration With Real Time Visualization Of Terabyte Data", NVidia GTC 2012, Hue AS/Hue Technology North America, URL: http://hue.no/sites/default/files/S0436-Integrated-GPU-Acceleration-RT-Visualization-of-Terabyte-Data_0.pdf

[9] NVIDIA IndeX, Whitepaper, NVIDIA Advanced Rendering Center, May 2014, URL: http://www.nvidia-arc.com/fileadmin/user_upload/index_2014/ documents/nvidia_index_whitepaper.140505.A4.pdf

[10] M. R. Galimov, Ye. V. Biryal'tsev. "Some technological aspects of GPGPU applications in applied program systems", Numerical Methods and Programming, 11 (2010), pp. 77-93 (in Russian).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[11] D. Demidov, K. Ahnert, K. Rupp, P. Gottschling. "Programming CUDA and OpenCL: A Case Study Using Modern CH—H Libraries", SIAM Journal on Scientific Computing, 35:5 (2012), 20 p.

[12] A. Gray, A. Sjostrom, N. Ilieva-Litova. Best Practice mini-guide accelerated clusters, Partnership for Advanced Computing in Europe, May 2013, URL: http://www.prace-ri.eu/IMG/pdf/Best-Practice-Guide-GPGPU.pdi

[13] A. Currid. "Delivering High-Performance Remote Graphics with NVIDIA GRID Virtual GPU", SIGGRAPH 2014-ID SIG4119, URL: http://on-demand.gputechconi.com/siggraph/2014/presentation/SG4119-Delivering-High-Performance-Remote-Graphics-NVIDIA-GRID-Virtual-GPU.pdf

[14] D. Rohr, M. Bach, M. Kretz, V. Lindenstruth. "Multi-GPU DGEMM and High Performance Linpack on Highly Energy-Efficient Clusters", IEEE Micro, 31:5 (2011), pp. 18-27.

Sample citation of this publication:

E. Biryaltsev, P. Bogdanov, M. Galimov, D. Demidov, A. Elizarov. "HPC Platform for Oil & Gas Industry", Program systems: theory and applications, 2016, 7:1(28), pp. 15-27. (In Russian).

URL: http://psta.psiras.ru/read/psta2016_1_15- 27.pdf

Текст научной работы на тему «Программно/техническая платформа высокопроизводительных вычислений для нефтегазовой промышленности»