CC BY
21
Вестник ДВО РАН. 2021. № 4
УДК 681.51 DOI: 10.37102/0869-7698_2021_218_04_12
О.В. АБРАМОВ
Использование технологии параллельных и распределенных вычислений в системах автоматизированного проектирования
Рассматривается задача проектирования аналоговых технических устройств и систем с учетом закономерностей случайных вариаций их параметров и требований надежности. Разработаны эффективные алгоритмы многовариантного анализа и оптимального параметрического синтеза по критериям серийнопригодно-сти (выхода годных) и параметрической надежности, основанные на технологии параллельных и распределенных вычислений, а также необходимые программные средства их реализации в системах автоматизированного проектирования радиоэлектронной аппаратуры.
Ключевые слова: автоматизация проектирования, параметрический синтез, надежность, алгоритм, параллельные вычисления, локальная вычислительная сеть.
Application of parallel and distributed processing techniques for computer-aided design problems.
O.V. ABRAMOV (Institute of Automation and Control Processes, FEB RAS, Vladivostok).
A theoretical approach and applied techniques for designing analogous engineering devices and systems with due account of random variations in system parameters and reliability specifications are considered. Efficient algorithms for multivariate analysis and optimal parametric synthesis have been developed according to the criteria of serial suitability (yield) and parametric reliability, based on the technology of parallel and distributed computing, as well as the necessary software tools for their implementation in computer-aided design systems of electronic equipment.
Key words: design automation, parametric synthesis, reliability, algorithm, parallel computing, local area network.
Введение
В настоящее время передовые развитые страны предпринимают максимальные меры к внедрению компьютерных технологий имитационного моделирования на высокопроизводительных комплексах при проектировании продукции высокотехнологичных отраслей промышленности [7]. Именно уровнем развития и использования высокопроизводительных вычислений (HPC - High Performance Computing) определяются надежность, качество, сроки и экономичность процессов создания наукоемкой высокотехнологичной и конкурентоспособной продукции.
Известно, что одной из основных проблем, возникающих при создании и использовании систем автоматизированного проектирования, является высокая вычислительная трудоемкость задач моделирования, многовариантного анализа и оптимизации, решение которых составляет основу схемотехнического проектирования.
АБРАМОВ Олег Васильевич - доктор технических наук, профессор, главный научный сотрудник, заведующий лабораторией (Институт автоматики и процессов управления ДВО РАН, Владивосток). E-mail: abramov@iacp.dvo.ru
К числу особо тяжелых, с точки зрения вычислительных затрат, относятся задачи проектирования с учетом стохастических закономерностей изменения параметров проектируемых устройств и требований надежности. Здесь к необходимости моделирования динамических и часто нелинейных систем добавляются моделирование случайных процессов изменения параметров этих систем, статистическое моделирование и оптимизация, которая должна осуществляться по вероятностным (стохастическим) критериям.
Несмотря на постоянное развитие и совершенствование инструментальных средств автоматизированного проектирования, примеры их успешного использования при проектировании достаточно сложных устройств, и особенно при оптимальном проектировании по критериям надежности, практически отсутствуют. Вместе с тем в последние годы успешно развивается достаточно радикальный путь повышения эффективности решения задач высокой вычислительной сложности, в основе которого - технология параллельных и распределенных вычислений. Представляется весьма интересным и перспективным создание систем автоматизированного проектирования (САПР), ориентированных на технологию параллельных вычислений.
В данной работе предпринята попытка очертить круг задач, которые возникают в процессе создания модификации САПР параллельного (распределенного) типа, и наметить пути их решения.
В качестве проблемной области рассмотрен оптимальный параметрический синтез аналоговых схем радиоэлектронной аппаратуры (РЭА) с учетом случайных процессов изменения их параметров и требований надежности.
Схема процесса проектирования
Известно, что задачи, решаемые в процессе проектирования, делятся на задачи анализа и синтеза. Задачи синтеза связаны с получением проектных вариантов, а задачи анализа - с их оценкой. Различают синтез структурный и параметрический.
Цель структурного синтеза состоит в выборе структуры объекта (схемы), т.е. состава его элементов и способа их связи между собой.
Цель параметрического синтеза - определение числовых значений параметров элементов.
Задачи анализа при проектировании сводятся обычно к исследованию модели проектируемого объекта. В САПР используются математические модели, которые представляют собой совокупность математических объектов (переменных, векторов, множеств и т.п.) и отношений между ними, которые (модели) адекватно отражают свойства проектируемых схем, интересующих разработчика.
Фигурирующие в математических моделях проектируемых объектов величины называют параметрами. Различают параметры, характеризующие свойства элементов - внутренние параметры х = (х1, ..., хи), параметры, характеризующие свойства объекта, - выходные параметры у = (у ..., ут) и параметры внешней по отношению к рассматриваемой системе среды - внешние параметры 2.
Очевидно, что выходные параметры связаны определенными соотношениями с параметрами элементов х и внешних воздействий 2. Если эта связь может быть представлена в явной форме
У = F(х, 2), (1)
то (1) называют аналитической моделью.
В задачах проектирования РЭА чаще всего не удается построить аналитические модели, поэтому обычно используются алгоритмические, в которых отображение (1) задается в виде алгоритма.
Анализ по своим задачам можно разделить на одновариантный, в процессе которого исследуются свойства проектируемого объекта в одной точке пространства параметров,
и многовариантный, при котором свойства объекта исследуют на множестве значений внутренних параметров. К задачам одновариантного относится анализ статических состояний, переходных процессов, устойчивости. Многовариантный может быть детерминированным или статистическим (вероятностным) в зависимости от того, какие характеристики являются результатом его реализации. Названия анализов - одно- и многовариантный - подчеркивают то обстоятельство, что для их проведения обычно требуется соответственно один или много вариантов решения уравнений математической модели.
Исходные данные для проектирования зафиксированы в техническом задании (ТЗ), включающем перечисление функций объекта, технические требования (ограничения) на выходные параметры и допустимые пределы изменения внешних параметров. Требуемые соотношения между выходными параметрами у и техническими требованиями называют условиями работоспособности:
а. < у(х). < Ь., ] = 1, т , (2)
где у = { у.} т=1 - вектор выходных параметров устройства, причем у. = FJ(x1, ..., хи), а Fj -известный оператор, зависящий от топологии исследуемого устройства.
Процесс проектирования носит итерационный характер и состоит из нескольких этапов. Синтезируется исходный вариант структуры, для него составляется математическая модель и выбираются исходные параметры элементов. Проводятся расчет выходных параметров и анализ работоспособности выбранного варианта проектируемого объекта. Если получена приемлемая степень выполнения условий работоспособности, то синтезируемый вариант считается на данном этапе проектирования окончательным. Если удовлетворительный вариант не достигнут, то принимается решение о путях дальнейшего улучшения объекта. Для обеспечения требуемой или наибольшей степени выполнения условий работоспособности при заданной структуре объекта необходимо решить задачу оптимального параметрического синтеза [1].
Задачи оптимального параметрического синтеза
Задача оптимального параметрического синтеза (ОПС) состоит в выборе номинальных значений внутренних параметров исследуемого объекта (устройства) -х = (х, , ..., х ), обеспечивающих максимум вероятности выполнения условий рабо-
ном у 1ном ^ ^ ином' ^ 1 1
тоспособности в течение заданного времени:
Хном = а^тахР^х^ , О е V I е [0,Т]} (3)
где Х(хном , /) - случайный процесс изменения параметров; Д - область работоспособности [3]; Т - заданное время эксплуатации устройства.
Область допустимых вариаций внутренних параметров Д как правило, неизвестна, поэтому условия работоспособности обычно задаются системой неравенств (2).
Обычная процедура получения оценок вероятности безотказной работы связана со статистическим моделированием процессов изменения параметров Х(0 и вычислением методом Монте-Карло вероятности
Р(0 = Р{Х(хном , 0 е Д, V I е [0,7]}. (4)
Основные трудности при решении задачи параметрического синтеза технических систем с учетом случайных вариаций их параметров связаны с высокой вычислительной трудоемкостью решения возникающих при этом задач многовариантного анализа и оптимизации по стохастическим критериям. На каждом шаге оптимизации возникает необходимость проведения статистического анализа для получения оценки критерия оптимальности. При этом на основе метода статистических испытаний (Монте-Карло) многократно рассчитывается исследуемая система (устройство) при различных значениях параметров
элементов [5]. Число расчетов М, равное числу реализаций случайного вектора параметров, определяется из условия обеспечения необходимой точности оценки критерия, а для выполнения этого условия нужно на каждом шаге поиска проводить полный расчет системы от нескольких сотен до тысячи раз.
Алгоритм параметрического синтеза, основанный на методе прямого статистического моделирования и технологии последовательных вычислений, выглядит следующим образом:
1) задаем исходный вектор номиналов параметров х
2) исходя из заданных законов распределения параметров хр ..., хп генерируем реализацию случайного вектора параметров Хк>;
3) для заданной реализации значений параметров вычисляем выходные параметры У У = Р ( > ) , у = 1, т .
Этот этап наиболее трудоемкий, поскольку вычисление выходных параметров связано нередко с решением систем дифференциальных (и не всегда линейных) уравнений;
4) проверяем условия работоспособности уу = Р (*(к) ) е Dy , где Dy - известная область допустимых значений выходных параметров у, заданная, например, соотношениями (2). Генерируем следующую реализацию Хк+Г>, проходим пункты 3 и 4 и т.д. до тех пор, пока число реализаций не станет равным заданному числу М;
5) вычисляем вероятность выполнения условий работоспособности (4) при выбранном векторе номиналов внутренних параметров х^м, а точнее, оценку этой вероятности Р = —, где пх - число «хороших» (принадлежащих области работоспособности) реализаций из общего числа N испытаний.
Общее число испытаний N определяется необходимой точностью оценки вероятности нахождения параметров в области работоспособности. Не останавливаясь на известных процедурах определения числа испытаний М, обеспечивающих требуемую точность оценки вероятности Р, отметим только, что обычно N > 100.
Отметим также, что для вычисления оценки вероятности безотказной работы в течение определенного времени Р(/) указанные выше процедуры 2-4 осуществляются несколько раз, определяемых необходимым числом временных сечений случайного процесса Х(/), так называемых /-сечений [1];
6) сравниваем полученное значение Р(/) с требуемым. Если оно меньше требуемого, возвращаемся к пункту 1 и проводим все необходимые расчеты для нового вектора номиналов;
7) заканчиваем расчет, если найдены номинальные значения внутренних параметров, при которых обеспечивается требуемая или максимальная вероятность безотказной работы (4).
Параллельные алгоритмы параметрического синтеза
Рассмотрим возможные пути повышения эффективности решения задач параметрического синтеза (снижения трудоемкости вычислений, уменьшения временных затрат) на базе технологии параллельных (распределенных) вычислений.
При программной реализации параллельных алгоритмов представляется целесообразным использование возможностей вычислительных кластеров и распределенных многомашинных комплексов, связанных локальной сетью. При этом в распределенных гетерогенных средах необходимо самостоятельно реализовать механизмы загрузки данных, синхронизации процессов и балансировки вычислительной нагрузки между компонентами комплекса. Главным критерием качества распараллеливания вычислений является сокращение общего времени решения задачи. Возможности для распараллеливания вычислений ограничиваются не только числом имеющихся процессоров, но и
особенностями вычислительного алгоритма, который может оказаться принципиально последовательным.
В задачах параметрического синтеза обычно используется SPMD модель передачи сообщений и так называемая master-slave парадигма параллельного программирования. Один из процессоров назначается главным (master), он производит динамическую балансировку загрузки, рассылает задания остальным подчиненным процессорам (slave), формирует результаты. Распараллеливание базируется на декомпозиции последовательного алгоритма вычислений, в качестве единицы параллелизма выступает задача однократного расчета модели системы (моделирования системы) [1, 2].
Параллельный алгоритм расчета (оценки) параметрической надежности является модификацией метода статистических испытаний (Монте-Карло) [2, 5]. С помощью специальной подпрограммы - генератора случайных реализаций моделируются реализации случайного процесса изменения параметров исследуемой технической системы. Число моделируемых реализаций N (как отмечалось выше) определяется необходимой точностью оценки вероятности безотказной работы.
Общее число реализаций делится на к пакетов, равное числу процессоров (клиентов) вычислительной сети, которые рассылаются по узлам вычислительной сети. Для каждой из реализаций производится проверка выполнения условий работоспособности в течение заданного времени T. Оценка вероятности безотказной работы (4) рассчитывается по формуле:
¡=i
где nxj - количество «хороших» реализаций в j-том пакете (для которых выполняются условия работоспособности), N - требуемое число испытаний.
Использование параллельных вычислений в методе статистических испытаний (метод Монте-Карло) является вполне логичным, поскольку идея параллелизма - повторения некоторого типового процесса с различными наборами данных - заложена в самой структуре метода. Интуитивно понятно, что использование к независимых процессоров и распределение между ними независимых испытаний уменьшат трудоемкость статистического моделирования почти в к раз, поскольку затраты на заключительное суммирование и осреднение результатов, а также коммуникационные потери при использовании такой эффективной модели передачи сообщений, как SPMD, не столь несущественны.
Универсальным и достаточно эффективным путем решения задачи оптимального выбора номинальных значений параметров (оптимизации параметрической надежности) может стать применение параллельного аналога метода сканирования [2].
Сущность метода заключается в том, что вся допустимая область пространства параметров разбивается на элементарные ячейки, в каждой из которых по определенному алгоритму выбирается точка: в центре ячейки, на ребрах или вершинах. В каждой ячейке осуществляются последовательный просмотр значений целевой функции и нахождение среди них экстремального значения. Точность метода, естественно, определяется тем, насколько плотно располагаются выбранные точки в области поиска. Основным достоинством метода сканирования является то, что при его использовании с достаточно густым расположением точек всегда гарантируется отыскание глобального экстремума. Однако для этого в данном методе требуется значительный объем вычислений, снизить который можно путем распараллеливания алгоритма. Наиболее простой алгоритм поиска экстремума методом сканирования (поиска на сетке переменных) заключается в том, что по каждой независимой переменной задаются приращения в порядке, обеспечивающем заполнение всей исследуемой области равномерной и достаточно густой сеткой.
Поскольку часто номинальные значения параметров схемных элементов хн должны принадлежать ряду стандартных значений, регламентированных техническими условиями или ГОСТами, иногда предпочтительнее искать оптимальный вектор номиналов
параметров на дискретном множестве номиналов, соответствующем стандартным значениям и ограниченном областью допустимых значений Б .
Пусть известен вектор номиналов внутренних параметров х™е Б . Тогда в каждой точке дискретного множества ПЦ1 = {х™/х е Б } необходимо найти оценку Р{х™ ,Т). Искомый оптимальный вектор номиналов дс"""1 находим, решая задачу
xonm = arg maxp (х'н",Т).
В простейшем случае нахождение решения задачи сводится к полному перебору элементов множества D™, для каждого из которых ищется оценка вероятности Р(х™,Т). Формирование D™ можно осуществить как предварительную процедуру и элементы DH поместить в базу данных исходной информации. Общая схема параллельного алгоритма оптимизации надежности имеет следующий вид. *
Множество D™ разбивается на непересекающиеся подмножества D™ = при
м
этом каждому j-му процессору назначается свое подмножество и„ j исходных данных. Таким образом, каждый j-й процессор осуществляет расчет целевой функции для всех элементов множества и„} и находит оптимальный вектор номиналов параметров для своей подобласти. Результаты передаются главному процессору, который производит выбор оптимального вектора номиналов по всей области D™ . Разбиение всего множества поиска на непересекающиеся подмножества составляет суть блока диспетчеризации параллельного (распределенного) процесса.
Для однородной вычислительной среды, состоящей из к равных по мощности вычислительных узлов, общее число точек разбивается на равные количества для каждого из подчиненных процессов. В случае неоднородной необходимо провести предварительную процедуру оценки трудоемкости типовой процедуры метода оптимизации, в качестве которой выступают однократное моделирование работы системы, проверка условий работоспособности и вычисление значений критерия оптимальности. При этом вычислительная нагрузка делится между компонентами комплекса пропорционально их производительности [4].
По окончании работы программы диспетчеризации вычислительного процесса каждому вычислительному компоненту комплекса рассылаются границы его подмножества D""j исходных данных. По окончании счета главный процессор получает результаты от подчиненных и проводит формирование окончательных результатов дискретной оптимизации
на всем множестве Dm..
н j
Данный параллельный подход обладает достаточно высокими характеристиками производительности, так как обмен между процессорами сводится к минимуму - назначению заданий и заключительной передаче результатов. Выполнение испытаний на процессорах не синхронизируется. При одинаковых мощностях подобластей Z)™. и равных временных затратах на вычисление целевой функции в однородной вычислительной среде ускорение параллельного алгоритма сканирования практически достигает линейного. Наличие внутренних циклов порождает высокую масштабируемость алгоритма, главным условием эффективной реализации которого является пропорциональная загрузка всех участвующих в вычислениях процессоров.
Распределенная вычислительная среда
Представим программную среду для решения задач ОПС в виде следующего набора взаимосвязанных программно-алгоритмических модулей.
1. Модуль ввода описания проектируемой схемы в ЭВМ. Этот модуль должен обеспечить простоту описания для пользователя и простоту перевода описания с языка пользователя на язык ЭВМ.
2. Средства преобразования описания проектируемой системы в математическую модель. В их основе процедуры составления, формирования уравнений, образующих описание процессов функционирования системы.
3. Модуль детерминированного анализа. Для выбранной структуры (топологии) и заданных значений внутренних параметров хном = (х1ном , ..., хжом) здесь происходит вычисление значений выходных параметров системыy = {yj}"j.=1,yj = Fj(x1, ..., xn). Этот этап, по сути, состоит в решении систем уравнений, при этом может возникнуть необходимость выбора метода решения и параметров вычислительного алгоритма (шага интегрирования, параметров остановки, т.д.). Поскольку обращение к этому модулю производится многократно, здесь уместны диалоговый (интерактивный) режим организации вычислительного процесса на стадии настройки и организация параллельного процесса вычислений, что особенно важно для последующих этапов статистического анализа и оптимизации.
4. Модуль статистического анализа. Он включает в себя алгоритмические и программные средства генерации случайных процессов изменения внутренних параметров X(t) и вычисления целевой функции (4) методом статистических испытаний (Монте-Карло).
5. Модуль оптимизации. Он включает в себя набор алгоритмических и программных средств для решения задачи (3).
При реализации распределенных вычислений, основанных на локальных вычислительных сетях (ЛВС), необходима разработка модуля с клиент-серверной архитектурой, контролирующего вычислительные мощности существующей ЛВС, передающего параметры расчета и собирающего результаты. Сервер будет раздавать задания каждой клиентской машине, которые, завершив их, передадут результаты обратно серверу. Сервер должен предоставлять удобную систему ввода проектируемой системы (электронной схемы) с необходимым набором элементов и осуществлять контроль существующих клиентских станций. Клиентские станции с установленной системой моделирования и системой алгоритмов детерминированного (статистического) анализа и оптимизации принимают задания от сервера, выполняют их и отсылают результат по сети серверу.
На моделирующих машинах можно использовать ОС Unix, будь то различные версии BSD или Solaris, и систему моделирования NgSpice с открытым исходным кодом. Использование юниксоподобных операционных систем обусловлено доступностью, простотой и в своем большинстве открытым исходным кодом многих сервисов самой ОС. Это позволит оптимизировать ОС для большей производительности, ориентируясь на выполнение приложений и передачу данных, используя сетевые протоколы.
После того как схема подготовлена к расчетам, ее параметры передаются моделирующей программе.
Основу моделирующей системы в большинстве САПР РЭА составляет программа SPICE (Simulation Program with Integrated Circuit Emphasis), разработанная в Калифорнийском университете г. Беркли (США). В последнее время она практически стала эталонной программой моделирования электрических схем. Математические модели полупроводниковых приборов этой системы используются во многих аналогичных программах, а списки соединений в формате SPICE - большинством пакетов САПР (Micro-Cap, Dr. Spice, OrCAD, P-CAD, ACCEL EDA, Viewlogic, COMPASS, Design Architect и др.). В большинстве своем они используют те же алгоритмы, что и SPICE, тот же формат представления входных данных.
SPICE - система, предназначенная для моделирования нелинейных электрических схем в статическом режиме, временной и частотной областях. Электрическая схема может содержать резисторы, конденсаторы, индуктивности, независимые источники напряжения и тока, несколько типов зависимых источников, длинные линии, ключи и пять типов полупроводниковых приборов: диоды, биполярные транзисторы, полевые транзисторы, арсенид-галлиевые транзисторы, МОП-транзисторы.
Первой задачей создания распределенной вычислительной среды является подключение к серверу необходимого количества клиентов. Тем самым мы регулируем объем вычислительных ресурсов сети.
Передача сетевой информации основана на протоколе SSH. Этот протокол обеспечивает возможность удаленного выполнения команд и копирования файлов с аутентификацией клиента и сервера, шифрованием, сжатием передаваемых данных (пароли также шифруются). Дополнительно обеспечивается перенаправление любых TCP-соединений.
Набор средств SSH представляет собой протоколы транспортного уровня, аутентификации и соединения, а также программные средства безопасного доступа к компьютерам по небезопасным каналам связи. Клиентская программа sftp позволяет пересылать файлы в интерактивном режиме подобно FTP, однако осуществляет все операции поверх защищенного транспорта SSH, который, собственно, и вызывается. Пакетный режим позволяет копировать файлы без ручного вмешательства при условии неинтерактивной аутентификации. Программа sftp имеет интерактивные команды, аналогичные обычному FTP.
Можно рассмотреть расширенную модель сетевых взаимодействий. Любая ЛВС представляет собой множество клиентов, подключенных посредством коммутирующего устройства. Соединения для передачи данных могут быть установлены между любыми ЭВМ, т.е. сеть представляет собой полный граф, и использовать сервер для коммутации блоков данных нецелесообразно для большого количества клиентов. В этом случае для повышения быстродействия сети следует устанавливать соединения между клиентами, это уменьшит объем информации, проходящей в сети. При этом возникает необходимость организации определенных правил подключения:
установка единого соединения между двумя отдельными ЭВМ (при необходимости); деление на подключающегося и ожидающего клиента (распределение ролей клиент-сервера между клиентами).
Задачи, выполняемые сервером:
генерация исходной схемы в соответствии с определенными требованиями либо предоставление удобного ручного ввода;
получение информации о клиентских станциях, IP адресах и производительности; разбиение (декомпозиция) схемы с помощью специальных алгоритмов на куски для проведения моделирования;
передача информации на клиентские станции и запуск проектирования; получение конечных оптимизированных частей схемы и объединение в единую схему. Задачи, выполняемые клиентскими станциями:
получение информации от сервера и отправка сигнала о готовности приступить к проектированию;
выполнение проектирования на основе выбранного алгоритма; передача результатов серверу.
В заключение можно отметить, что вариант САПР распределенного (сетевого) типа, использующий мощности ЛВС, намного дешевле и во многих случаях наиболее приемлем, поскольку высокопроизводительные многопроцессорные кластерные системы доступны пока далеко не всем проектно-конструкторским организациям.
Последнее десятилетие сопровождается быстрым развитием сетевых технологий. Пропускная способность каналов связи неуклонно растет, латентность взаимодействия компьютеров снижается, коммуникационные характеристики многих сетей уже достигают параметров первых кластерных систем. Обладая целым рядом положительных свойств, сети создают основу для нового поколения компьютерных систем - распределенных вычислительных сред [6]. Суммарная производительность компьютеров сети может быть достаточно высокой, и, следовательно, существует необходимый потенциал для создания инструмента решения больших задач. В отличие от суперкомпьютеров, этот инструмент не является уникальной единичной установкой, он дешев и доступен всем. Среды формируются на основе имеющихся компьютеров сети, новых затрат практически не требуется,
что и делает такой подход экономически оправданным. Кроме того, развитие и модернизация вычислительных сред происходит автоматически по мере обновления компьютерного парка сети. Нельзя не учитывать и возможность использования распределенных САПР в вычислительных средах, основанных на GRID технологиях и облачных вычислениях.
Заключение
Обсуждена идея создания параллельного аналога САПР, ориентированного на использование в распределенной вычислительной среде. Предложены и исследованы параллельные алгоритмы метода статистических испытаний, многомерного зондирования и дискретного поиска оптимальных значений параметров проектируемых устройств, предоставляющих максимум вероятности безотказной работы.
Результаты получены с использованием оборудования ЦКП «Дальневосточный вычислительный ресурс» ИАПУ ДВО РАН (https://cc.dvo.ru).
ЛИТЕРАТУРА
1. Абрамов О.В. Методы и алгоритмы параметрического синтеза стохастических систем // Проблемы управления. 2006. № 4. С. 3-8.
2. Абрамов О.В. Параллельные алгоритмы расчета и оптимизации надежности по постепенным отказам // Автоматика и телемеханика. 2010. № 7. С. 126-135.
3. Абрамов О.В., Назаров Д.А. Программно-алгоритмический комплекс построения, анализа и использования областей работоспособности // Информ. технологии и вычислительные системы. 2015. № 2. С. 3-13.
4. Абрамов О.В., Катуева Я.В. Технология параллельных вычислений в задачах анализа и оптимизации // Проблемы управления. 2003. № 4. С. 11-15.
5. Абрамов О.В. Эффективный метод статистического моделирования в задачах оптимального параметрического синтеза // Информатика и системы управления. 2008. № 1. С. 12-16.
6. Воеводин В.В. Решение больших задач в распределенных вычислительных средах // Автоматика и телемеханика. 2007. № 5. С. 32-45.
7. Шагалиев Р.М. НРС. Что нужно сделать? // Суперкомпьютеры. 2010. № 2. С. 42-45.
