CC BY
9
УДК 620.179.15 DOI: 10.21122/2309-4923-2023-1-47-52
ЗОЛОТАРЕВ С.А.1, ТАРУАТ А.Т.2, БИЛЕНКО Э.Г.3
ИТЕРАЦИОННАЯ РЕКОНСТРУКЦИЯ МЕДИЦИНСКИХ ФАНТОМОВ НА ВЫЧИСЛИТЕЛЬНОМ КЛАСТЕРЕ EAGLE
'ГНУ «Институт прикладной физики НАНБеларуси» 2Белорусский национальный технический университет 3ГНУ «Физико-Технический Институт НАН Беларуси» г. Минск, Республика Беларусь
В настоящее время одной из наиболее важных задач является разработка и адаптация итерационных методов для решения сверхбольших разреженных систем алгебраических уравнений. К таким вычислительным задачам приводит задача итерационной параллельной реконструкции трехмерных изображений промышленных объектов. Важным является то, что итерационные методы решения вычислительных задач большой размерности реализуются на параллельных структурах намного более эффективно, чем прямые методы их решения.
Ключевые слова: итерационные методы, реконструкция изображений, томография, суперкомпьютер, система MPI.
Введение
Развитие современной вычислительной техники обеспечило появление на рынке большого числа различных суперкомпьютеров с большой вычислительной мощностью. Они успешно применяются для решения разнообразных вычислительных задач в науке и промышленности. Обширный обзор различных параллельных алгоритмов можно найти в известных работах В.Н. Фаддеевой и Д.К. Фаддеева [1-3], В.В. Воеводина [4-6.] На сегодняшний день наиболее распространенными являются системы
параллельного программирования на основе интерфейса MPI (Message Passing Interface). Идея MPI [7] проста и очевидна. Она предполагает представление параллельной программы в виде множества параллельно исполняющихся процессов. Одной из наиболее важных задач является разработка и адаптация итерационных методов для решения сверхбольших разреженных систем алгебраических уравнений, к которым и приводит трехмерная томографическая задача. Важным при этом является то, что итерационные методы решения вычислительных задач большой размерности реализуются на параллельных структурах намного более эффективно, чем прямые методы их решения. Большинство алгоритмов, основанных на прямых методах решения, обладают существенной наследственной последовательной структурой и требуют значительного числа взаимодействий между процессорами, которые не могут быть выполнены в параллельном режиме.
Итерационные же методы в большинстве своем требуют значительно меньшего числа взаимодействий подобного типа и сравнительно легко отображаются на параллельные вычислительные структуры. Не менее важно и
то, что в большинстве случаев параллельные реализации классических итерационных методов являются более эффективными в отношении скорости сходимости. Параллельное выполнение алгоритма заключается в том, что вычислительный процесс распределяется между несколькими процессорами. Реализация такого рода параллельных алгоритмов может быть эффективно осуществлена с использованием стандарта MPI. Известны следующие основные формы параллелизма в алгоритмах компьютерной томографии: воксельный, проекционный и лучевой.
Структура и вычислительные ресурсы кластера EAGLE
Институт прикладной физики НАН Беларуси принял участие в европейском проекте EaPConnect. EaPConnect является финансируемым ЕС проектом. В рамках проекта предусмотрена установка и управление широкополосной интернет-сетью высокой производительности, предоставление услуг, и предлагается возможность для исследования и в рамках образовательных сообществ через Восточное партнерство (EaP). EaPConnect - часть инициативы Европейского союза EU4Digital. В рамках этого проекта наш институт получил доступ к ресурсам вычислительного кластера EAGLE, расположенного в городе Познань (Польша). Характеристики вычислительного кластера:
доступ по интернету: eagle.man.poznan.pl. Он имеет 1032 узла (процессоры Intel Xeon E5-2697 2 с 14 ядрами) всего 28 896 ядер; 64, 128 или 256 ГБ ОЗУ на узел. Вычислительная мощность 1,4 PFLOPS. Межблочное соединение Infiniband FRD Ethernet-соединение 1 Гбит/с; система очередей: Slurm. Виды очередей: стандартная, быстрая и другие. Внешний вид кластера показан на рисунке 1.
Рисунок 1. Внешний вид вычислительного кластера EAGLE
В рамках проекта EaPConnect наш институт выполнял задание: "development of a parallel algorithm ILST for the iterative reconstruction of 3D image based on the MPI system'". Для проверки эффективности разработанных алгоритмов были использованы рентгеновские данные, полученные ранее от Федерального института по исследованию и испытанию материалов (Bundesanstalt für Materialforschung und -prüfung) Берлин. Нами были получены два набора рентгеновских проекций:
1) для головы человека (фантом «Rozi» и 2) для специального шарообразного фантома «Kugel». Всего было получено по 360 проекций для каждого фантома, снятых через угловой интервал один градус. Ниже на рисунке 2 показаны 3 проекции фантома «Rozi» для углов 0 градусов, 90 градусов и 180 градусов.
На рисунке 3 показаны 3 проекции фантома «Kugel» для углов 0 градусов, 90 градусов и 180 градусов.
Рисунок 2. Проекции фантома «Rozi» для углов 0 градусов, 90 градусов и 180 градусов
Рисунок 3. Проекции фантома «Kugel» для углов 0 градусов, 90 градусов и 180 градусов
Итерационная реконструкция изображений медицинских фантомов методом ILST
Реконструкция фантома «Rozi» была осуществленапо 16-битнымрештеновскимпроекциям с разрешением 1024x1024 пикселя. Размер пикселя был равен 0.4 мм. Размер реконструированного трехмерного изображения составил 1024x1024x1024 кубических вокселей с ребром 0.4 мм. Всего было сделано 10 итераций. Ниже на рисунке 4. показан перспективный вид фантома «Rozi».
Для того, чтобы получить представление о внутренней структуре этого фантома на рисунке 5 показаны центральные сечения фантома «Rozi» координатными плоскостями ХОУ, УО2 и ХО2.
Рисунок 4. Перспективный вид фантома «Rozi»
Рисунок 5. Центральные сечения фантома «Rozi» координатными плоскостями ХОУ, yOZ и XOZ
Реконструкция фантома «Kugel» была осуществлена по 16-битным рентгеновским проекциям с разрешением 512x512 пикселей. Размер пикселя был равен 0.8 мм. Размер реконструированного трехмерного изображения составил 290x290x290 кубических вокселей с ребром 0.8 мм. Всего было сделано 30 итераций. Ниже на рисунке 6. показан перспективный вид фантома «Kugel».
На рисунке 7 показаны центральные сечения фантома «Kugel» координатными плоскостями ХОУ, yOZ и XOZ, которые дают полное представление о внутренней структуре этого фантома.
На рисунках видна также подставка, на которой был установлен фантом «Kugel» для проведения рентгеновской съемки.
Рисунок 6. Перспективный вид фантома «Kugel»
Рисунок 7. Центральные сечения фантома «Kugel» координатными плоскостями ХОУ, yOZ и XOZ
Заключение
Проведенные реконструкции трехмерных изображений медицинских фантомов «Rozi» и «Kugel» показали хорошее качество реконструкций, быструю сходимость итераций как для более малого размера вокселя 0.4 мм, так и для более крупного размера вокселя 0.8 мм. Быстродействие
параллельной реконструкции на порядок больше, чем у последовательных алгоритмов. Показано, что разработанное программное обеспечение может успешно применяться и для медицинских целей, так как позволяет успешно выявить анатомическую структуру важных органов пациентов и сделать необходимые медицинские заключения.
ЛИТЕРАТУРА
1. Фаддеева, В.Н Параллельные вычисления в линейной алгебре / В.Н. Фаддеева, Д.К. Фаддеев // Кибернетика. -1977. - № 6. - С. 28-40.
2. Фаддеева, В.Н. Параллельные вычисления в линейной алгебре / В.Н. Фаддеева, Д.К. Фаддеев // Кибернетика. -1982. - № 3. - С. 18-31.
3. Фадеев, А.К. Вычислительные методы линейной алгебры / А.К. Фадеев, В.Н Фадеева. - Санкт-Петербург: Лань, 2002. - 736 с.
4. Воеводин, В.В. Математические модели и методы в параллельных процессах / В.В. Воеводин. - Москва: Наука, 1986. - 296 с.
5. Воеводин, В.В. Параллельные структуры алгоритмов и программ / В.В. Воеводин, Вл. Воеводин. - Москва: ОВМ АН СССР, 1987. - 148 с.
6. Воеводин, В.В. Параллельные вычисления / В.В. Воеводин. - Санкт-Петербург: БХВ-Петербург, 2004. - 608 с.
7. Корнеев, В.Д. Параллельное программирование в MPI / В.Д. Корнеев. - Москва-Ижевск: Институт компьютерных исследований, 2003. - 304 с.
REFERENCES
1. Faddeeva V.N. Parallel calculations in linear algebra / V.N. Faddeeva, D.K. Faddeev // Cybernetics. - 1977. - No. 6. -Рр. 28-40.
2. Faddeeva V.N. Parallel calculations in linear algebra / V.N. Faddeeva, D.K. Faddeev // Cybernetics. - 1982. - No. 3. -Рр. 18-31.
3. Fadeyev A.K. Computing methods of linear algebra / A.K. Fadeyev, V.N Fadeyeva. - St. Petersburg: A fallow deer, 2002, 736 p.
4. Voyevodin V.V. Mathematical models and methods in parallel processes / V.V. Voyevodin. - Moscow: Science, 1986, 296 p.
5. Voyevodin V.V. Parallel structures of algorithms and programs / V.V. Voyevodin. - Moscow: OVM Academy of Sciences of the USSR, 1987, 148 p.
6. Voyevodin V.V. Parallel calculations / V.V. Voyevodin, Vl.V. Voyevodin. - St. Petersburg: BHV-St. Petersburg, 2004, 608 p.
7. Korneev V.D. Parallel programming in MPI / VD. Korneev. - Moscow-Izhevsk: Institute of computer researches, 2003, 304 p.
ZOLOTAREVC.A.1, TARUATA.T.2, BILENKOE.G.3
ITERATIVE RECONSTRUCTION OF MEDICAL PHANTOMS ON THE COMPUTING
CLUSTER OF EAGLE
1Institute of Applied Physics of the National Academy of Science of Belarus 2Belarusian National Technical University 3State Scientific Institution "Physico-Technical Institute of the National Academy of Sciences of Belarus"
Minsk, Republic of Belarus
Now one of the most important tasks is development and adaptation of iterative methods for the solution of the superbig rarefied systems of the algebraic equations. The problem of iterative parallel reconstruction of three-dimensional images of industrial facilities leads to such computing tasks. The fact that iterative methods of the solution of computing problems of big dimension are implemented on parallel structures much more effectively, than direct methods of their decision is important. Keywords:
Золотарев Сергей Алексеевич Образование и квалификация:
1978 - инженер по автоматизации химико-технологических процессов, Воронежский технологический институт. 1992 - кандидат физико-математических наук диссертация (Ph.D. эквивалент) дифференциальные уравнения и математическая физика, Институт прикладной физики Национальной академии наук Беларуси. Название диссертации: «Исследование сложных центров и фокусов 2D автономных голоморфных дифференциальных систем». 2010 - доктор технических наук в области приборов и методов контроля природной среды, веществ, материалов и изделий, Институт прикладной физики Национальной академии наук Беларуси.
Название диссертации: «Реконструктивные оболочечные методы и новые вычислительные алгоритмы промышленной томографии».
Область исследований: Специалист в области: решение обратных задач из неполных данных и качественной теории обыкновенных дифференциальных уравнений. Разработчик алгоритмов и программного обеспечения для КТ объектов c ограниченным углом обзора и небольшим числом проекций. Разработчик оболочечных методов реконструкции изображений кусочно-однородных объектов, имеющих конечное число различных однородных частей. Разработчик новых параллельных алгоритмов с использованием графических процессоров и использованием системы MPI для реконструкции изображений. Краткая научная биография: 1973 по 1978 год - студент Воронежского технологического института. Факультет автоматизации и комплексной механизации производственных процессов. 1978 по 1985 год - работал инженером на различных фирмах России и Беларуси. 1985 по 1988 г. - Научная деятельность в качестве аспиранта в Институте математики Национальной академии наук Беларуси. 1988 по 2011 год - работал научным сотрудником в Институте прикладной физики Национальной академии наук Беларуси. С 2011 по настоящее время - главный научный сотрудник в Институте прикладной физики Национальной академии наук Беларуси Главные научные результаты:
Разработал новые методы реконструкции изображений внутренней структуры свойств объектов и соответствующие параллельные алгоритмы реконструкции, которые могут быть использованы при ограниченном доступе к объекту контроля недостаточной мощности рентгеновского источника излучения.
Zolotarev Sergei Alekseevich Education and qualifications:
1978 - engineer for the automation of chemical and technological processes, Voronezh Technological Institute. 1992 - Candidate of Physical and Mathematical Sciences thesis ( Ph . D . equivalent) differential equations and mathematical physics, Institute of Applied Physics of the National Academy of Sciences of Belarus. Thesis title: "Investigation of complex centers and foci of 2 D autonomous holomorphic differential systems". 2010 - Doctor of Technical Sciences in the field of instruments and methods for monitoring the natural environment, substances, materials and products, Institute of Applied Physics of the National Academy of Sciences of Belarus. Thesis title: "Reconstructive shell methods and new computational algorithms for industrial tomography".
Area of research: Specialist in the field: solving inverse problems from incomplete data and the qualitative theory of ordinary differential equations. Developer of algorithms and software for CT objects with a limited viewing angle and a small number of projections. Developer of shell methods for reconstructing images of piecewise homogeneous objects with a finite number of different homogeneous parts. Developer of new parallel algorithms using GPUs and using the MPI system for image reconstruction.
Brief scientific biography: 1973 to 1978 - student at the Voronezh Technological Institute. Faculty of automation and complex mechanization of production processes. 1978 to 1985 - worked as an engineer at various companies in Russia and Belarus. 1985 to 1988 - Scientific activity as a post-graduate student at the Institute of Mathematics of the National Academy of Sciences of Belarus. 1988 to 2011 - worked as a researcher at the Institute of Applied Physics of the National Academy of Sciences of Belarus.
From 2011 to the present - Chief Researcher at the Institute of Applied Physics of the National Academy of Sciences of Belarus Main scientific results :
Developed new methods for reconstructing images of the internal structure of the properties of objects and the corresponding parallel reconstruction algorithms that can be used with limited access to the object of control of insufficient power of the X-ray source.
E-mail: [email protected]
Таруат Ахмед Талат Тауфик, в 2018 закончил полный курс Университета Аль-Китаба по специальности "Компьютерные системы коммуникаций". Краткая научная биография:
2014-2018 студент Университета Аль-Китаба по специальности "Компьютерные системы коммуникаций".
2019-2021: Магистратура УО "Белорусский государственный университет информатики и радиоэлектроники" по специальности: информационные коммуникационные системы и сети. Магистр наук в области инженерного дела. В настоящее время аспирант Белорусского национального технического университета, по специальности 05.13.01 " Системный анализ, управление и обработка информации "
Автор одной научной публикации в журнале «Modern Science: actual problems of theory and practice».
Исследовательские интересы: компьютерная томография, системный анализ, обработка информации.
Taruat Ahmed Talat Taufik
Education: Higher, in 2018 he completed the full course of Al- Kitab University with a degree in Computer Communication Systems.
Brief scientific biography:
2014-2018 student of Al- Kitab University with a degree in Computer Communication Systems. 2019-2021: Master's program of the Belarusian State University of Informatics and Radioelec-tronics, specialty: information communication systems and networks. Master of Science in Engineering. Currently, Postgraduate student of the Belarusian National Technical University, specialty 05.13.01 "System Analysis, Management and Information Processing". Author one scientific publications in the journal "Modern Science: actual problems of theory and practice". Research interests: computed tomography, system analysis, information processing.
E-mail: [email protected]
Биленко Эдуард Григорьевич, бакалавр технических наук. Краткая научная биография:
В 1999 году окончил полный курс Белорусской государственной политехнической академии (БГПА) по специальности «Технология, оборудование и автоматизация производства». В 2000 году поступил в аспирантуру при ФТИ НАН Беларуси. В 2004 году окончил аспирантуру по специальности «Материаловедение в машиностроении». В настоящее время работает в ГНУ «ФТИ НАН Беларуси», на должности заместителя заведующего лабораторией.
Основные научные результаты:
Автор пяти статей в научно-технических журналах, десяти научных публикаций с докладами в материалах международных конференций, четырех патентов. Область научных интересов: упрочнение поверхностных слоев материалов, разработка новых композиционных материалов, компьютерное моделирование процессов.
Bilenko Eduard Grigorievich, bachelor of technical sciences. Brief scientific biography:
In 1999 he graduated from the full course of the Belarusian State Polytechnic Academy (BSPA) with a degree in Technology, Equipment and Automation of Production. In 2000, he entered graduate school at the Institute of Physics and Technology of the National Academy of Sciences of Belarus. In 2004, he completed his postgraduate studies with a degree in Materials Science in Mechanical Engineering. Currently he works at the State Scientific Institution "Physical Institute of Physics and Technology of the National Academy of Sciences of Belarus", as a deputy head of the laboratory. Main scientific results:
Author of five articles in scientific and technical journals, ten scientific publications with reports in international conference proceedings, four patents. Research interests: hardening of surface layers of materials, development of new composite materials, computer modeling of processes.
