CC BY
32УДК 681.325.518.5
Методы распараллеливания процессов вычисления больших объемов данных с использованием технологий параллельного
программирования
Х.Н. Зайнидинов1, О. У.Маллаев1, Р.М. Зулунов2, Ж.Н. Нурмуродов3 1ТУИТ, Ташкент, Узбекистан, 2ФФ ТУИТ, Ташкент, Узбекистан
Аннотация: Одним из основных способов ускорения процесса вычислений на сегодня является использование вычислительной техники, реализующей средства параллельной обработки данных. Параллельные вычисления не только сокращают время расчетов, но и обеспечивают возможность решения сложных и трудоемких задач. Отражена актуальность применения параллельных вычислительных систем, отражены основные подходы к распараллеливанию процессов и методы обработки данных, описаны принципы работы технологий параллельного программирования, исследованы основные параметры параллельных алгоритмов на примере вычисления кубических сплайнов, дан сравнительный анализ эффективности применения технологий параллелизма. В работе использован тот факт, что значение интерполируемой функции в произвольной точке заданного интервала определяется значениями лишь m-1 (где m -степень базисного сплайна) слагаемых - парных произведений базисных сплайн-функций на постоянные коэффициенты. Это дает возможность распараллеливать процесс обработки данных и является удобной для реализации в многоядерных процессорах. Вычисление кубического сплайна с использованием различных технологий параллельного программирования показала, что наиболее эффективной является технология OpenMP. Приведены результаты сравнительного анализа эффективности предложенных параллельных алгоритмов.
Ключевые слова: Параллельные вычисления, параллелизм, распараллеливание по данным, распараллеливание по задачам, обработка данных, OpenMP, MPI.
ВВЕДЕНИЕ
Вычислительная техника на протяжении всего периода существования создавалась для облегчения и ускорения математических расчетов. На сегодняшний день, когда стремительно развиваются инженерно-технические, медико-биологические, физико-химические науки, электронная коммерция, к компьютерным технологиям предъявляется все больше требований, так как технике приходится выполнять сложнейшие функции, обрабатывать все больше операций и все чаще появляются задачи, для решения которых возможностей существующей вычислительной техники оказывается недостаточно.
Развитие научно-технического прогресса, обусловленного практической потребностью на современном этапе, расширило список прикладных задач, для решения которых требуются компьютеры больших мощностей, способных выполнять огромное количество вычислительных операций в единицу времени, что уменьшает время выполнения расчетов [5, 4, 13].
Актуальным способом ускорения процесса вычислений на сегодня является использование вычислительной техники, реализующей средства параллельной обработки данных. Параллельные вычисления не только сокращают © AUTOMATICS & SOF TWARE ENGINERY.
время расчетов, но и обеспечивают возможность решения сложных и трудоемких задач.
Сфера применения параллельных вычислительных систем (ВС) в настоящее время настолько широка, что их значение приобретает стратегический статус развития компьютерной техники. Среди них можно выделить стратегические и научные исследования, промышленность, управление и др. [9,14].
Эти области постоянно развиваются, что требует увеличения объема производимых расчетов из года в год. В этом случае применение высокопроизводительной техники с параллельной обработкой данных является наиболее эффективным средством вычисления, и каждый специалист данной области вынужден изучать параллельное программирование [12].
Вычислительная техника представляет собой «совокупность технических и математических средств, методов и приемов, используемых для механизации и автоматизации процессов вычислений и обработки информации» [1].
Производительность вычислительных
систем характеризуется понятием мощности, то есть количеством операций за единицу времени. Чем больше мощность, тем быстрее выполняются расчеты. Для увеличения мощности необходимо использование нескольких вычислительных устройств,
выполняющих параллельно несколько операций. При этом алгоритм решения задачи разбивается на несколько подзадач, которые могли бы выполняться по отдельности на этих вычислительных устройствах. Поэтому параллельный вычислительный процесс - это одновременное выполнение нескольких операций обработки данных с помощью использования нескольких функциональных устройств.
Основные шаблоны программирования параллельного процесса содержат два базовых подхода к распараллеливанию:
распараллеливание по данным (data parallel) и распараллеливание по задачам (message passing). В зависимости от того, как обрабатываются данные в вычислительном устройстве, выделяют 4 класса архитектуры: SISD, SIMD, MISD и MIMD [3, с. 14].
Основные технологии параллельного программирования делятся на два типа: для систем с разделенной памятью и для систем с общей памятью.
В системах с распределенной памятью каждый вычислительный узел не зависит от другого. Они характеризуются определенным механизмом межпроцессорного
взаимодействия, как передача по сети сообщений. Для этих целей был разработан стандарт Message Passing Interface - MPI. Эта технология работает только с процессами, для взаимодействия между ними используется 2 механизма: попарное взаимодействие между 2-я процессами и коллективное взаимодействие между всеми процессами коммуникатора [2].
В системах с общей памятью более эффективно использование не
многопроцессорную программу, а
многопоточную. Для этих целей общепринятым мировым стандартом является технология OpenMP (Open Multi-Processing).
Программирование состоит из 3-х частей: использование переменных окружения, использование функций OpenMP и директивы OpenMP. Данная технология использует «вилочный» параллелизм [4, 6].
1. РАСПАРАЛЛЕЛИВАНИЕ ПРОЦЕССОВ ВЫЧИСЛЕНИЯ ПАРАМЕТРОВ КУБИЧЕСКИХ БАЗИСНЫХ СПЛАЙНОВ
Проектирование параллельных программ является довольно сложным процессом в научно-технической сфере. Оно требует выполнения следующих поэтапных действий
m-1
таких, как разделение общих задач на подзадачи, выявление информационных зависимостей у подзадач, масштабирование подзадач и распределение по вычислительным элементам.
Основными параметрами эффективности параллельных вычислительных систем являются: время выполнения, ускорение и масштабируемость (эффективность).
Максимальное ускорение (5) параллельного алгоритма определяется по формуле 1, а эффективность параллельного алгоритма (Е) -по формуле 2 [11]:
s=T=_T_< 1,
T ат + <« •
Р
E =
s
(1)
(2)
где Т1 - время выполнения последовательного алгоритма; Тр - время выполнения параллельной части алгоритма; а - доля последовательных операций в алгоритме; р - количество одинаковых процессоров.
Эффективность применения той или иной технологии параллельного программирования проанализируем на примере вычисления минимальных полиномиальных сплайнов или сплайн-функций. Выбор кубического сплайна для исследования эффективности параллельных вычислений основан на его широком применении [7].
Сплайн-функция - это кусочно-полиномиальная функция, параметры которой находятся на определенном отрезке, который разбит на конечное число ьых кусочков. Данная функция со всеми производными на всем отрезке непрерывна, а на каждом кусочке является полиномом т-ой степени [10]. Если степень полинома т равна 1 или 2, то полиномиальный сплайн является
минимальным.
Любой сплайн 5да(х) степени т дефекта 1, интерполирующий заданную функцию ](х) может быть единственным образом представлен В - сплайнами в виде суммы [8, 10]:
f(x) = Sm(x)=Хb • B(x), a < x < b,
(3)
i=-1
где Ь - коэффициенты, В1 (X) - базисный сплайн
Согласно формуле (3) значение интерполируемой функции в произвольной точке заданного интервала определяется
значениями лишь т-1 слагаемых - парных произведений базисных функций на постоянные коэффициенты. Например, кубические В-сплайны требуют четырех базисных слагаемых. Значение функции вычисляется по формуле:
/(х) = (х) = Ъ_1В_1 (х) + Ъ0В0 (х) + Ъ1В1 (х) + Ъ2В2 (х) при х е [0,1]. (4)
Остальные базисные сплайны на этом Если использовать один основной базисный
подинтервале равны нулю и, следовательно, в сплайн и с помощью переменной j задать адреса
образовании суммы не участвуют. разных участков основного сплайна, то
уравнение (4) принимает вид:
Бз [1] = (Ь[1-1] Б[) + 30]) + Ъ[1] Б[) + 20] + Ъ[1 +1] Б[] +10]) + Ъ[1 + 2] Б[]])
Постановка задачи такова, что требуется программирования и проанализировать
вычислить кубических сплайн степени т=3 с результаты расчетов по основным параметрам
помощью различных технологий параллельного эффективности путем сравнения.
Таблица 1. Параметры эффективности OpenMP и MPI
Кол-во вычислений Количество потоков OpenMP
1 4 8
Ti, мс T4, мс S E T8, мс S E
80000 2,00 1 2 1.00 0.72 2.78 0.69
800000 30,00 14.6 2.05 1.03 4.6 6.52 1.63
8000000 220,00 89.2 2.47 1.23 33 6.67 1.67
80000000 1710,00 526.8 3.25 1.62 239.1 7.15 1.79
800000000 16800,00 4845.5 3.47 1.73 2200 7.64 1.91
Кол-во вычислений Количество процессов MPI
1 4 8
T1, мс T4, мс S E T8, мс S E
80000 2,00 1.2 1.667 0.83 1 2.00 0.50
800000 30,00 15.7 1.91 0.96 5.6 5.36 1.34
8000000 220,00 90.8 2.42 1.21 36.2 6.08 1.52
80000000 1710,00 546.6 3.13 1.56 279.5 6.12 1.53
800000000 16800,00 4995.5 3.36 1.68 2378 7.06 1.77
Для реализации параллельного алгоритма вычисления кубического сплайна была выбрана интегрированная среда разработки MS Visual Studio 2012 и язык программирования С++, а в качестве технологической платформы для проведения вычислительных экспериментов выступили учебный кластере ТУИТ, включающий 4 физических ядер Intel(R) Core(TM) i7-7700 CPU 3.60 GHz (8 потока). В процессе вычисления к параллельному алгоритму был применен параллелизм по данным, то есть каждый процесс вычислял определенную часть сплайн-функции.
2. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ АЛГОРИТМОВ
Для анализа эффективности параллельных алгоритмов OpenMP и MPI были определены их
основные параметры с различным количеством произведенных вычислений при 4 и 8 потоках (Табл. 1).
Из Таблицы 1 видно, что с увеличением потоков с 4 до 8:
- время выполнения параллельных алгоритмов сократилось почти в 2 раза, но в OpenMP потоки исполнялись быстрее, чем процессы в MPI (Рис. 1);
- ускорение параллельных алгоритмов OpenMP и MPI увеличивалось, причем первый ускорялся быстрее второго (Рис. 2);
- эффективность параллельных алгоритмов снизилась, но эффективность OpenMP намного выше, чем у MPI. (Рис. 3).
ОрепМР-8 потока —•— MPI-8 процессов
9.00 8.00 7.00 6.00
и
5.00
ос
s
® 4.00 m
з.оо 2.00 1.00 0.00
U
£ 9
О)
Q. 7
7.64
6.67 7.IS
---- , Й- 7.06
6.08 6.12
' / 5.36
2.78 /
2.00
800000 3000000 30000000 300000000
Количество вычислений Рис. 1. Время выполнения процессов (потоков) ОрепМР-4 потока ■ ОрепМР-8 потока ■ МР1-4 процессов ■ МР1-8 процессов
шш
но 300000 3000000 30000000 300000000
Количество вычислений
Рис. 2. Динамика ускорения параллельных алгоритмов
Количество вычислений
Рис. 3. Анализ эффективности параллельных алгоритмов
ЗАКЛЮЧЕНИЕ
Итак, применение параллельных
вычислительных систем на сегодня является актуальным. Развитие различных областей науки и техники расширяет круг прикладных задач, более трудоемких, чем предыдущие, для решения которых необходимо использовать мощные компьютеры с возможность производить параллельные вычисления. Определение основных параметров
параллельных вычислительных систем позволяет определить степень ее эффективности. Вычисление кубического сплайна с использованием различных технологий параллельного программирования показала, что наиболее эффективной является технология OpenMP. Она является наиболее актуальной в современное время, однако требует значительных затрат.
ЛИТЕРАТУРА
[1] Айдинян А. Р., Аппаратные средства вычислительной техники: учебник - М., Берлин: Директ-Медиа, 2016 г. - 125 с.
[2] Антонов А. С. Параллельное программирование с использованием технологии MPI: учеб. пособие. - М.: Изд-во МГУ, 2004. - 71 с.
[3] Биллиг В. А. Параллельные вычисления и многопоточное программирование: 2-е изд. исправленное. - М.: НОУ «ИНТУИТ», 2016. -311 с.
[4] Бурова И. Г., Демьянович Ю. К. Минимальные сплайны и их приложения: учебник. - СПб.: СПбГУ, 2010. - 364 с.
[5] Гергель В. П. Высокопроизводительные вычисления для многоядерных многопроцессорных систем: учеб. пособие. -Нижний Новгород: Изд-во ННГУ им. Н. И. Лобачевского, 2010. - 421 с.
[6] Маллаев О.У. Algorithm and software for speeding up computer memory using OpenMP technology. Descendants of Mohammed al-Khwarizmi. № 2 (4), 2018, Tashkent. -P. 71-75.
[7] Zayniddinov Hakimjon., Madhusudan Singh., Dhananjay Singh. Polynomial Splines for Digital Signal and Systems (Monograf). LAMBERT Academicpublishing, Germany, 2016 year, 208 p.
[8] H.N. Zainidinov G.O. Tozhiboev, O.U. Mallaev. Parallel algorithms for processing seismic signals on multicore processors. Automation and software engineering. 2018.No 1 (23). S. 89-95.
[9] Zaynidinov H.N., Mallayev O.U. Paralleling of calculations and vectorization of processes in digital treatment of seismic signals by cubic spline. IOP Conf. Series: Materials Science and Engineering 537 (2019) 032002 doi:10.1088/1757-899X/537/3/032002.
[10] Dhananjay S., Madhusudan S., Zaynidinov H. Parabolic Splines based One-Dimensional Polynomial. Applied Sciences and Technology.
indexed by EI-Compendex, SCOPUS and Springerlink, Singapore, 2019, № 1. 1 p.
[11] Эффективность и ускорение параллельных программ URL: https://mipt.ru/drec/upload/d52/lab2-arpgyfe27m6 .pdf
[12] Зайнидинов Х.Н., Маллаев О.У. Векторизация процессов параллельной обработки сейсмических сигналов с исползованием технологии «Parallel Studio». ТАТУ хабарлари. №2 (46), 2018, Тошкент. -С. 14-25.
[13] Ю.Н. Фомин, В.А. Жмудь, В.М. Семибаламут, Д.О. Терешкин, С.В. Панов, Л.В. Димитров Применение метода эмпирической модовой декомпозиции для обработки результатов деформографических измерений. Автоматика и программная инженерия. 2019, № 1. (27).
[14] Ю.Н. Фомин, В.А. Жмудь, В.М. Семибаламут, С.В. Панов, М.Д. Парушкин, Л.В. Димитров. Результаты наблюдений долговременных колебаний земной коры в Байкальской рифтовой зоне. Автоматика и программная инженерия. 2019, № 1. (27).
Хакимжон Насиридинович Зайнидинов - доктор технических наук, профессор, заведующий кафедрой
Информационных технологий Ташкентского университета информационных технологий имени Мухаммада ал-Хорезми.
E-mail: tet2001 @rambler.ru
Ойбек Усманкулович
Маллаев, ассистент кафедры Общей информатики
Ташкентского университета информационных технологий имени Мухаммада ал-Хорезми.
E-mail: info-oybek@rambler.ru
Равшанбек Маматович Зулунов - кандидат физико-математических наук, доцент, заведующий кафедрой
Программного инжиниринга Ферганского филиала
Ташкентского университета информационных технологий имени Мухаммада ал-Хорезми.
E-mail: zrm62@list.ru
V-»-
iii
Жавохир Нурмуродов, Статья получена 14.11.2019.
соискатель кафедры
Информационных технологий Ташкентского университета информационных технологий имени Мухаммада ал-Хорезми.
E-mail: iavox94@rambler.ru
Parallelization Methods for Calculating Large Amounts of Data Using Parallel
Programming Technologies
H.N. Zayniddinov1, O.U. Mallaev1, R.M. Zulunov2, J.N. Nurmurodov3 1TUIT, Tashkent, Uzbekistan, 2FF TUIT, Tashkent, Uzbekistan
Abstract: One of the main ways to speed up the computation process today is to use computer technology that implements parallel data processing tools. Parallel computing not only reduces the calculation time, but also provides the ability to solve complex and time-consuming tasks. The relevance of the use of parallel computing systems is reflected, the main approaches to parallelizing processes and data processing methods are reflected, the principles of parallel programming technologies are described, the main parameters of parallel algorithms are studied using cubic splines as an example, a comparative analysis of the effectiveness of using parallelism technologies is given. We used the fact that the value of the interpolated function at an arbitrary point in a given interval is determined by the values of only m-1 (where m is the degree of the basis spline) of the terms - pair products of the basis spline functions by constant coefficients. This makes it possible to parallelize the data processing process and is convenient for implementation in multi-core processors. Calculation of the cubic spline using various parallel programming technologies has shown that OpenMP technology is the most effective. The results of a comparative analysis of the effectiveness of the proposed parallel algorithms are presented.
Key words: Parallel computing, parallelism, data parallelization, task parallelization, data processing, OpenMP, MPI.
REFERENCES
[1] Aydinyan A. R., Apparatnyye sredstva vychislitel'noy tekhniki: uchebnik - M., Berlin: Direkt-Media, 2016 g. - 125 s.
[2] Antonov A. S. Parallel'noye programmirovaniye s ispol'zovaniyem tekhnologii MPI: ucheb. posobiye. -M.: Izd-vo MGU, 2004. - 71 s.
[3] Billig V. A. Parallel'nyye vychisleniya i mnogopotochnoye programmirovaniye: 2-ye izd. ispravlennoye. - M.: NOU «INTUIT», 2016. - 311 s.
[4] Burova I. G., Dem'yanovich YU. K. Minimal'nyye splayny i ikh prilozheniya: uchebnik. - SPb.: SPbGU, 2010. - 364 s.
[5] Gergel' V. P. Vysokoproizvoditel'nyye vychisleniya dlya mnogoyadernykh mnogoprotsessornykh sistem: ucheb. posobiye. - Nizhniy Novgorod: Izd-vo NNGU im. N. I. Lobachevskogo, 2010. - 421 s.
[6] Mallayev O.U. Algorithm and software for speeding up computer memory using OpenMP technology. Descendants of Mohammed al-Khwarizmi. № 2 (4), 2018, Tashkent. -P. 71-75.
[7] Zayniddinov Hakimjon., Madhusudan Singh., Dhananjay Singh. Polynomial Splines for Digital Signal and Systems (Monograf). LAMBERT Academicpublishing, Germany, 2016 year, 208 p.
[8] H.N. Zainidinov G.O. Tozhiboev, O.U. Mallaev. Parallel algorithms for processing seismic signals on multicore processors. Automation and software engineering. 2018.No 1 (23). S. 89-95.
[9] Zaynidinov H.N., Mallayev O.U. Paralleling of calculations and vectorization of processes in digital treatment of seismic signals by cubic spline. IOP Conf. Series: Materials Science and Engineering 537 (2019) 032002 doi:10.1088/1757-899X/537/3/032002.
[10] Dhananjay S., Madhusudan S., Zaynidinov H. Parabolic Splines based One-Dimensional Polynomial. Applied Sciences and Technology. indexed by EI-Compendex, SCOPUS and Springerlink, Singapore, 2019, № 1. 1 p.
[11] Effektivnost' i uskoreniye parallel'nykh programm URL: https://mipt.ru/drec/upload/d52/lab2-arpgyfe27m6 .pdf
[12] Zaynidinov KH.N., Mallayev O.U. Vektorizatsiya protsessov parallel'noy obrabotki seysmicheskikh signalov s ispolzovaniyem tekhnologii «Parallel Studio». TATU khabarlari. №2 (46), 2018, Toshkent. -S. 14-25.
[13] Yu.N. Fomin, V.A. Zhmud, V.M. Semibalamut, D.O. Tereshkin, S.V. Panov, L.V. Dimitrov Primeneniye metoda empiricheskoy modovoy dekompozitsii dlya obrabotki rezul'tatov deformograficheskikh izmereniy. Avtomatika i programmnaya inzheneriya. 2019, № 1. (27).
[14] Yu.N. Fomin, V.A. Zhmud, V.M. Semibalamut, S.V. Panov, M.D. Parushkin, L.V. Dimitrov. Rezul'taty nablyudeniy dolgovremennykh kolebaniy zemnoy kory v Baykal'skoy riftovoy zone. Avtomatika i programmnaya inzheneriya. 2019, № 1. (27).
ÉiÉ
Xakimjon Nasriddi-novich Zayniddinov -
Doctor of Technical Sciences, Professor, Head of the Department of Information Technology of the Tashkent University of Information Technology named after Muhammad al-Khorezmi.
E-mail:
tet2001@rambler.ru
Oybek Usmankulovich Mallaev - Assistant of the Department of General Informatics, Tashkent University of Information Technologies named after Muhammad al-Khorezmi.
Щ
named after Muhammad al-Khorezmi.
E-mail: zrm62@list.ru
Javoxir Nurmurod ugli Nurmurodov -
Applicant, Department of Information Technology, Tashkent University of Information Technology named after Muhammad al-Khorezmi.
E-mail:
javox94@rambler.ru
The paper has been received on 14/11/2019.
E-mail:
oybek@rambler.ru
info-
Ravshanbek Mamatovich Zulunov -
Candidate of Physical and Mathematical Sciences, Associate Professor, Head of the Department of Software Engineering, Ferghana Branch,
Tashkent University of Information Technologies
