CC BY
5
АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ ТЕХНОЛОГИЧЕСКИМИ ПРОЦЕССАМИ И ПРОИЗВОДСТВАМИ / AUTOMATION AND CONTROL OF TECHNOLOGICAL PROCESSES AND PRODUCTION
ОСОБЕННОСТИ РАЗРАБОТКИ МЕТОДИКИ АВТОМАТИЗАЦИИ РАЗМЕЩЕНИЯ ИМЭ С ИСПОЛЬЗОВАНИЕМ ГРАФОВОЙ СТРУКТУРЫ
Обзор
Можжухина А.В.1' *, Гагарина Л.Г.2
1 ORCID : 0000-0001-5480-3157;
1 2 Московский институт электронной техники, Москва, Российская Федерация
* Корреспондирующий автор (reania[at]rambler.ru)
Аннотация
Проектирование изделий микроэлектроники (ИМЭ) - сложный и длительный процесс. С течением времени разработчики стремятся сделать ИМЭ все более компактными, но при этом быстродействующими и обладающими низким энергопотреблением. Таким образом, растут затраты, связанные с производством, в том числе и временные. В связи с этим необходимо прибегать к автоматизации на каждом уровне проектирования. Вследствие этого требуется совершенствовать отдельные этапы автоматизированных систем, поддерживая методы и алгоритмы в актуальном состоянии. Одним из этапов, требующих улучшений, является этап, размещения изделий. В данной статье рассматривается формализация задачи с обоснованием использования графовой нейронной сети при обучении агента глубокого обучения с подкреплением. Также приведен вариант решения задачи о размещении ИМЭ путем применения новейших методов машинного обучения с помощью разработанной методики на основе глубокого обучения с подкреплением.
Ключевые слова: ИМЭ, автоматизация, размещение, GNN, обучение с подкреплением, глубокое обучение.
THE SPECIFICS OF DEVELOPING A METHODOLOGY FOR AUTOMATING THE PLACEMENT OF MICROELECTRONICS PRODUCTS USING A GRAPH STRUCTURE
Review article
Mozhzhukhina A.V.1' *, Gagarina L.G.2
1 ORCID : 0000-0001-5480-3157;
1 2 Moscow Institute of Electronic Technology, Moscow, Russian Federation
* Corresponding author (reania[at]rambler.ru)
Abstract
Designing microelectronics products (MEPs) is a complex and time-consuming process. Over time, designers are striving to make them more and more compact, but also faster and more energy-efficient. Thus, the costs associated with production, including time, are increasing. This necessitates automation at every level of design. As a result, it is necessary to improve the individual stages of automated systems, keeping methods and algorithms updated. One of the phases requiring improvements is the product placement phase. This article discusses the formulation of the problem with a rationale for the use of a graph neural network in the training of a deep learning agent with reinforcement. A variant of solving the MEPs placement problem by applying the latest machine learning methods using the developed technique based on deep learning with reinforcement is also presented.
Keywords: MEP, automation, placement, GNN, reinforcement learning, deep learning.
Введение
Все больше направлений науки и производства стремятся внедрить достижения сферы искусственного интеллекта в свои процессы. Не стала исключением и сфера электроники, где множество процессов проектирования связаны с автоматизацией [1], [2]. Методы искусственного интеллекта помогают ускорить анализ данных и принятие решений, повысить точность получаемых решений и пр. Его применение в различных сферах обусловлено необходимостью обработки больших массивов информации и поиска сложных зависимостей в сложноформализуемых задачах. В частности, в настоящее время много исследований проводится по внедрению искусственного интеллекта в процесс проектирования микросхем [3], [4], [5].
Так как техпроцессы производства микросхем уменьшаются, а количество компонентов возрастает, то усложняется и дорожает процесс разработки [6], [7]. В текущих реалиях стандартные алгоритмы даже при использовании распараллеливания оказываются слишком долгими и неэффективными и кроме того, усложняются устройством самих ИМЭ.
В сфере отечественного производства ИМЭ [8] требуется улучшение средств автоматизации с использованием современных методов и средств. Одной из задач, при решении которой специалисты сталкиваются с рядом проблем при применении классических методов и алгоритмов, является размещение ИМЭ. В процессе размещения необходимо соблюдать определенный набор правил и ограничений, что существенно замедляет производство. В связи с ростом числа правил и входящих в состав изделий и связей между ними, а также сложностью оценки эффективности получаемых размещений, возрастает время проектирования и объем информации на этом шаге. В связи с тем, что размещение напрямую связано с проверкой характеристик перед производством, увеличение скорости будет способствовать уменьшению времени на означенные проверки.
Формализованное представление задачи размещения ИМЭ
Для решения задачи необходимо выполнить формализацию. В качестве начального приближения используются следующие множества [9]:
1. E = {ei, e2, ..., en ..., eN} - множество ИМЭ для размещения;
2. P = {p1; p2, ..., pm, ..., pM} - фиксированный набор позиций, в которые должны быть размещены изделия из множества E.
В формальном представлении задачи:
Т = F(n, тт) —> min (1)
где T - время размещения ИМЭ; n - количество элементов; ж - стратегия размещения; F - функция времени.
Общий процесс сводится к конечному марковскому процессу приятия решений [10]. Среда в этом процессе эпизодическая, детерминированная, стационарная и дискретная с доступом алгоритма размещения (агента) к полной информации среды. Текущие действия агента влияют и на текущую награду Rt+1, и на последующие принимаемые решения. Для решения задачи в этом случаем следует прибегнуть к обучению с подкреплением с целью обучения параметров д аппроксимирующей оптимальную стратегию размещения функции [11]:
/(0, G{E Р}) = Вжв [i?p>G] = Zp Щ{p\G)qPtG (2)
где ß - веса аппроксимирующей функции, т.е. глубокой нейронной сети [12], щ - политика агента, G - граф, представляющий размещение элементов множества E в ячейки множества P, Rp,G - награда, qp,G - функция ценности. Использование нейронной сети позволит выявить различные зависимости и схожести между состояниями среды, что даст как минимум не худший вариант решения из всего возможного спектра вариантов размещения.
В связи с тем, что процесс размещения элементов является сложным процессом, влияющим на многие компоненты, связанные между собой, необходимо особым образом представлять входные данные. Для представления элементов ИМЭ и их связей, а также для наиболее корректного и эффективного рассмотрения их связей между собой, был выбран ориентированный взвешенный граф с векторами характеристик вершин [13]. В соответствии с этим в качестве отдельных слоев на входе в архитектуре нейронной сеть необходимо использовать слои графовой нейронной сети - GNN, которая поможет перевести граф микросхемы в вектора связанных характеристик ребер и вершин.
Методика размещения ИМЭ на основе обученного агента RL и GNN
На основе требований отечественного технологического процесса и проведенного анализа существующих стандартных методов разработана методика размещения ИМЭ. Ниже приведены основные этапы.
Этап 1: начинается с перебора изделий и записи в список соединений по направлениям от выходов к входам, используя данные ИМЭ. После записи всех соединений для каждого ИМЭ, являющегося вершиной ориентированного графа, создаются вектора характеристик. Также перебирается список ребер, и каждому ребру присваивается соответствующий вес. Таким образом создается графовая структура и параметры окружающей среды.
Этап 2: размещение ИМЭ из созданной очереди. Создание очереди учитывает физические размеры изделий, размещая от большего к меньшему. Если были размещены не все ИМЭ, то размещение начинается заново с генерации очереди. После этого размещение передается другому алгоритму для проведения соединений.
Этап 3: состоит в оценке конечного размещения после выполнения соединений. По результатам выполнения соединения ИМЭ проверяется, хватило ли свободного места между изделиями, рассчитываются задержки и плотность размещения. На основе этих показателей выполняется сравнение с размещениями, сохраненными в базе. Если показатели размещения слишком низкие, может быть осуществлен возврат на этап 2.
Этап 4: размещение добавляется в общую базу для ведения статистики и внесения корректировок. Если обнаружены какие-то отклонения, то по запросу из базы извлекаются данные размещений, снова проходит размещение в режиме обучения (этапы 2 и 3), и на основе этого выполняются корректировки гиперпараметров агента и нейросети.
Направления последующего исследования
На основе проведенного анализа было выявлено, что на данный момент технологии обучения с подкреплением не используются в задаче о размещения ИМЭ. В основном используемые решения связаны с алгоритмами, производными от алгоритмов полного перебора возможной расстановки ИМЭ, что занимает достаточно много времени и ресурсов компьютера. Кроме этого, независимо от количества запусков, отсутствует возможность их обучения тупиковым вариантам решений. Использование обучения с подкреплением при решении задач связанных с накоплением, усреднением и использованием прошлого опыта позволяет повысить эффективность и снизить временную ресурсоемкость процесса решения.
Таким образом, основной целью будущих исследований является повышение скорости и качества размещения ИМЭ на основе разработанной методики поиска аппроксимированной оптимальной стратегии размещения с применением методов машинного обучения, в частности, глубокого обучения с подкреплением. В рамках достижения поставленных целей необходимо решить следующие задачи.
1. Разработать реализующие методику алгоритмы формирования размещения ИМЭ для снижения ресурсоемкости этапа.
2. Разработать специальную систему хранения и обработки данных ИМЭ для корректной работы с машинным обучением на основе графовой структуры.
3. Разработать методы и алгоритм для оценивания конечного размещения.
4. Разработать базу данных для сбора, хранения, сортировки и группировки, а также быстрого получения информации о размещениях ИМЭ за все время работы алгоритмов.
5. Выполнить программную реализацию для верификации результатов.
Заключение
В настоящее время в микроэлектронике России возросла потребность в импортозамещении, а также улучшении средств автоматизации. В связи с невозможностью использования зарубежных программных средств, а также из-за отсутствия конкурентоспособных отечественных средств автоматизации проектирования сопоставимых по мощности и функционалу, необходимо не только разрабатывать надежные и проверенные отечественные средства, но и поддерживать входящие в них методы и алгоритмы современными и быстродействующими. Данная методика размещения призвана сократить время размещения ИМЭ в процессе разработки за счет использования современных технологий на базе искусственного интеллекта.
Основываясь на результатах научных исследований [14], связанных с внедрением искусственного интеллекта в смежных областях, а также на анализе различных методов и средств, использование глубокого обучения с подкреплением приведет к значительным улучшениям в области автоматизации размещения ИМЭ.
Конфликт интересов
Не указан.
Рецензия
Все статьи проходят рецензирование. Но рецензент или автор статьи предпочли не публиковать рецензию к этой статье в открытом доступе. Рецензия может быть предоставлена компетентным органам по запросу.
Conflict of Interest
None declared.
Review
All articles are peer-reviewed. But the reviewer or the author of the article chose not to publish a review of this article in the public domain. The review can be provided to the competent authorities upon request.
Список литературы / References
1. Гагарина Л.Г. Алгоритмы и структуры данных / Л.Г. Гагарина, В.Д. Колдаев — М.: Финансы и статистика, 2009.
— 482 c.
2. Макушин М.В. Искусственный интеллект и рентабельность как движущие факторы развития САПР. / М.В. Макушин, А.В. Фомина // Электроника: наука, технология, бизнес. — 2019. — 4. — c. 90-100.
3. Иванова Е. Synopsys: тренды, решения, мифы. / Е. Иванова // Электроника: наука, технология, бизнес. — 2019.
— 7. — c. 16-21.
4. Абасов Р.К. Анализ методов искусственного интеллекта САПР технологических процессов производства электронной аппаратуры. / Р.К. Абасов, А. Силла // Молодой ученый. — 2016. — 24. — c. 41-48.
5. Познер М. «Переплетение» трендов создает фантастические возможности для микроэлектроники. / М. Познер // Электроника: наука, технология, бизнес. — 2019. — 10. — c. 12-16.
6. Lu G. An island-based GA implementation for VLSI standard-cell placement. / G. Lu, S. Areibi // Genetic and Evolutionary Computation Conference; — Issue 3103. — Berlin: Springer, 2004. — p. 1138-1150. doi: 10.1007/978-3-540-24855-2_123
7. Goldie A. Placement Optimization with Deep Reinforcement Learning. / A. Goldie, A. Mirhoseini // Proceedings of the International Symposium on Physical Design; — New York: Association for Computing Machinery, 2020. — p. 2-7. doi: 10.1145/3372780.3378174
8. Гаврилов С.В. Система автоматизированного проектирования «Ковчег 2.1» / С.В. Гаврилов, А.Н. Денисов, В.В. Коняхин — М.: Микрон-Принт, 2001. — 210 c.
9. Nam Gi-Joon Modern Circuit Placement. Best Practices and Results / Gi-Joon Nam, Jason Cong — New York: Springer New York, NY, 2007. — 324 p. doi: 10.1007/978-0-387-68739-1
10. Sutton R.S. Reinforcement learning : an introduction / R.S. Sutton, A.G. Barto — London: Cambridge, MA : The MIT Press, 2018. — 526 p.
11. Morales M. grokking Deep Reinforcement Learning / M. Morales — New York: Manning Publications Co., 2020. — 447 p.
12. Николенко С. Глубокое обучение. Погружение в мир нейронных сетей. / С. Николенко, А. Кадурин, Е. Архангельская — СПб: Питер, 2018. — 480 c.
13. Ma Yao Deep Learning on Graphs. / Yao Ma, Jiliang Tang — New York: Cambridge University Press, 2021. — 400 p. doi: 10.1017/9781108924184
14. Zhang J. FPGA Placement Optimization with Deep Reinforcement Learning. / J. Zhang, F. Deng, X. Yang // 2021 2nd International Conference on Computer Engineering and Intelligent Control (ICCEIC); — Los Alamitos: IEEE Computer Society, 2021. — p. 73-76. doi: 10.1109/ICCEIC54227.2021.00022
Список литературы на английском языке / References in English
1. Gagarina L.G. Algoritmy' i struktury' danny'x [Algorithms and data structures] / L.G. Gagarina, V.D. Koldaev — M.: Finansy' i statistika, 2009. — 482 p. [in Russian]
2. Makushin M.V. Iskusstvenny'j intellekt i rentabel'nost' kak dvizhushhie faktory' razvitiya SAPR [Artificial intelligence and profitability as driving factors of CAD development]. / M.V. Makushin, A.V. Fomina // E'lektronika: nauka, texnologiya, biznes [Electronica NTB]. — 2019. — 4. — p. 90-100. [in Russian]
3. Ivanova E. Synopsys: trendy', resheniya, mify' [Synopsys: trends, solutions, myths]. / E. Ivanova // E'lektronika: nauka, texnologiya, biznes [Electronica NTB]. — 2019. — 7. — p. 16-21. [in Russian]
4. Abasov R.K. Analiz metodov iskusstvennogo intellekta SAPR texnologicheskix processov proizvodstva e'lektronnoj apparatury' [Analysis of artificial intelligence methods of CAD of technological processes of production of electronic equipmen]. / R.K. Abasov, A. Silla // Molodoj ucheny'j [Young scientist]. — 2016. — 24. — p. 41-48. [in Russian]
5. Pozner M. «Perepletenie» trendov sozdaet fantasticheskie vozmozhnosti dlya mikroe'lektroniki ["Merging" of trends creates fantastic opportunities for microelectronics]. / M. Pozner // E'lektronika: nauka, texnologiya, biznes [Electronica NTB]. — 2019. — 10. — p. 12-16. [in Russian]
6. Lu G. An island-based GA implementation for VLSI standard-cell placement. / G. Lu, S. Areibi // Genetic and Evolutionary Computation Conference; — Issue 3103. — Berlin: Springer, 2004. — p. 1138-1150. doi: 10.1007/978-3-540-24855-2_123
7. Goldie A. Placement Optimization with Deep Reinforcement Learning. / A. Goldie, A. Mirhoseini // Proceedings of the International Symposium on Physical Design; — New York: Association for Computing Machinery, 2020. — p. 2-7. doi: 10.1145/3372780.3378174
8. Gavrilov S.V. Sistema avtomatizirovannogo proektirovaniya «Kovcheg 2.1» [CAD system «Kovcheg 2.1» ] / S.V. Gavrilov, A.N. Denisov, V.V. Konyaxin — M.: Mikron-Print, 2001. — 210 p. [in Russian]
9. Nam Gi-Joon Modern Circuit Placement. Best Practices and Results / Gi-Joon Nam, Jason Cong — New York: Springer New York, NY, 2007. — 324 p. doi: 10.1007/978-0-387-68739-1
10. Sutton R.S. Reinforcement learning : an introduction / R.S. Sutton, A.G. Barto — London: Cambridge, MA : The MIT Press, 2018. — 526 p.
11. Morales M. grokking Deep Reinforcement Learning / M. Morales — New York: Manning Publications Co., 2020. — 447 p.
12. Nikolenko S. Glubokoe obuchenie. Pogruzhenie v mir nejronny'x setej. [Deep learning. Dive into the world of neural networks.] / S. Nikolenko, A. Kadurin, E. Arxangel'skaya — SPb: Piter, 2018. — 480 p. [in Russian]
13. Ma Yao Deep Learning on Graphs. / Yao Ma, Jiliang Tang — New York: Cambridge University Press, 2021. — 400 p. doi: 10.1017/9781108924184
14. Zhang J. FPGA Placement Optimization with Deep Reinforcement Learning. / J. Zhang, F. Deng, X. Yang // 2021 2nd International Conference on Computer Engineering and Intelligent Control (ICCEIC); — Los Alamitos: IEEE Computer Society, 2021. — p. 73-76. doi: 10.1109/ICCEIC54227.2021.00022
