CC BY
25УДК 004.383.8.032.26
ПЕРСПЕКТИВНАЯ ЭЛЕМЕНТНАЯ БАЗА СПЕЦИАЛИЗИРОВАННЫХ ЭВМ СОВРЕМЕННЫХ РЛС НА ОСНОВЕ МЕМРИСТОРОВ
Данилин Сергей Николаевич
кандидат технических наук, доцент Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected].
Щаников Сергей Андреевич
кандидат технических наук Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected].
Адрес: 602264, Владимирская область, г. Муром, ул. Орловская, д.23.
Аннотация: Проведен анализ отечественных и зарубежных публикаций по вопросам разработки, моделирования, функционирования, практического применения мемристоров и технических средств на их основе. Определены перспективные направления исследования. Сформулированы задачи, решение которых необходимо для разработки методов инженерного проектирования технических средств с нейросетевой архитектурой или работающих в нейросетевом логическом базисе (искусственных нейронных сетей) на основе мемристоров с заданной точностью функционирования.
Ключевые слова: нейрокомпьютеры, искусственные нейронные сети, мемристоры, проектирование, точность, дестабилизирующие воздействия, показатели качества.
Введение
Перспективным направлением построения систем с нейросетевой архитектурой или работающих в нейросетевом логическом базисе (искусственных нейронных систем - ИНС) является применение мемристоров (рис. 1, 2). Использование мемристоров позволяет выйти на новый этап развития сверхвысокопроизводительных универсальных и специализированных вычислительных средств на базе ИНС за счет перехода от амплитуды токов и напряжений, как носителя информации в электрических цепях, к их частоте [1].
VW-*
ш А ш
Resistor dl/ = Rdi
ч>
Inductor
d <р = ldj
НИ
Capacitor dg = Cdi/
dg = ;'d(
КО
Memristor dip = mdq
1 r
Memristive systems
Рис. 1. Место мемристора среди основных пассивных элементов [2]
о
vol läge
Рис.2. Идеальная ВАХ мемристора при переменном входном напряжении [2]
Состояние исследований в области создания мемристоров и технических средств на их основе
Основополагающая работа в области теории пассивных элементов с эффектом памяти, в которой было введено понятие «мемристор» была опубликована в 1971 г. [3] Леоном Чуа. Ведущие исследовательские центры в ходе работ, направленных на создание новой архитектуры ЭВМ (в последние 5-6 лет), пришли к выводу о перспективности использования мемри-стивных элементов [4, 5]. Способность мемристора изменять свое сопротивление в зависи-
мости от протекшего через него заряда позволяет использовать его как естественную физическую модельную замену синаптической связи. Массив искусственных нейронов, соединенных между собой мемристорными связями, представляет собой максимально приближенную к реальной биологической сети систему. Причина этого заключается в том, что синапти-ческий контакт на основе мемристоров предоставляет естественную возможность описания веса связи дробным числом в отличие от предыдущих бистабильных искусственных синапсов на основе диодов или туннельных контактов. Кроме того, была показана возможность эмуляции на сети с мемристорами характерных для биологических нейронов явлений [4].
С момента создания первого физического твердотельного мемристора (рис.1, 2) в лаборатории HP в 2008 году [2] появилась серия работ, посвященных возможности реализации сетей нейронов, соединенных между собой при помощи мемристивных элементов. Например, Снайдер предложил использовать стандартную КМОП технологию для создания нейронов, а соединения между ними сделать при помощи мемристоров. Этот подход поддержали также и другие исследовательские группы, такие как группа Струкова, Чо и др. [2,6]. Примером альтернативного подхода может послужить работа Intel, в которой вместо КМОП технологии использованы нейроны и синапсы, созданные на основе спиновых вентилей [7]. Так или иначе, сеть с мемристорами на пересечении линий над массивом нейронов на основе КМОП или спиновых вентилей реализует межнейронные связи, а также служит весовыми коэффициентами синапсов. Кроме того, принципиальной является теоретическая возможность связать все нейроны между собой без обращения к общей памяти, что позволит снизить энергопотребление и повысить скорость распределенной работы. Однако на практике создание полносвязной системы достаточно проблематично. В работах [8,9] на связь нейрона со всеми остальными нейронами сети тратится один слой металлизации в планарном процессе. Таким образом, при построении сети большого размера технологическая сложность создания
структуры даже из нескольких десятков слоев сильно ограничивает количество нейронов. Фактически на настоящий момент известна лишь одна публикация, в которой был представлен один слой пересечений размером 40х40 нанопроводов, соединенных мемристив-ными элементами [9].
В настоящее время многие научные коллективы в области микроэлектроники ведут разработки технологии создания мемристора, а также возможности его интеграции в существующую КМОП-технологию. Впервые в мировой практике в России был получен мемри-стор на основе оксида титана, обладающий высокой устойчивостью к процессу циклического резистивного переключения. Проведенные исследования показали, что отношение максимального значения сопротивления элемента к минимальному слабо изменяется для числа переключений до 3x103. Такие элементы могут лечь в основу технологии создания инновационных электронных устройств: энергонезависимых модулей памяти, программируемых логических интегральных схем и нейро-чипов нового поколения [10,11].
Перечень перспективных направлений научно-практических исследований включает в себя разработку и исследование:
- технологии изготовления мемристоров, исследование свойств применяемых и поиск новых материалов изготовления;
- структур нейронов на базе мемристоров;
- архитектур искусственных нейронных сетей на базе мемристоров;
- алгоритмов настройки искусственных нейронных сетей на базе мемристоров;
- структур и архитектур вычислительных систем с применением мемристоров;
- методов оценки качества вычислительных систем с применением мемристоров.
Проведенный обзор научно-технических публикаций показывает актуальность проведения исследований в области создания технических средств на основе мемристоров и, в частности ИНСМ, которые активно проводятся в настоящее время научными коллективами как крупных компаний (Hewlett-Packard, Intel, IBM и т.д.), так и научно-исследовательских цен-
тров и высших учебных заведений (ФГБУ НИЦ «Курчатовский институт», Stanford University, University of Michigan и др.) по всему миру.
Программное и аппаратное моделирование искусственных нейронных сетей на основе мемристоров
Как показал анализ научно-технических источников, до настоящего времени не разработана инструментальная система исследования мемристоров, которая бы позволила исследовать реальные возможности вычислительных
устройств на их основе [10]. Известные материалы для изготовления мемристоров (оксид титана, оксид тантала и т.д.) сохраняют свои физико-химические свойства при числе переключений не более 106 [11]. Поэтому наиболее рациональным подходом для изучения технических возможностей устройств на основе мемри-сторов является исследование их моделей.
Представленное Леоном Чуа первое аналитическое описание принципов работы элемента с эффектом памяти [3] в настоящее время является базовым при создании моделей мемристоров, которые, как показал обзор научно технических публикаций, можно разделить на две большие группы: аппаратные и программные.
Аппаратные модели реализуются на GPU и FPGA [8]. Также в работе [12] представлен вариант модели мемристора в виде описания на языке Verilog, используемом для программирования БМК и ПЛИС. Названные модели могут использоваться как самостоятельные компоненты современной высокопроизводитель-
ной вычислительной техники [1], однако их создание для решения исследовательских задач связано с дополнительными затратами финансовых и временных ресурсов.
Программному моделированию мемристор-ных систем посвящены работы [13,14] зарубежных авторов. В большинстве из них приведены модели мемристоров на основе аналитического описания [3], созданные в пакетах прикладных программ Simulink МА^АВ и PSpice OrCAD, для которых описаны преимущества и недостатки при выполнении конкретных исследовательских или практических задач. Следует отметить публикацию [13], в которой авторы предлагают свой вариант САПР мемристоров. Предложенная система позволяет проектировщику выбирать и параметризировать модель мемристора, которая лучше всего подходит для конкретного применения. Последующее расширение функционала данной системы и обеспечение совместимости с высокопроизводительными исследовательскими пакетами программ делает ее перспективной.
Кроме того, опубликована статья российских авторов [14] по моделированию мемри-сторов и искусственных нейронов на их основе. Аналитическое описание мемристора, адекватное его физической реализации как нано-размерного элемента, в котором функциональные зависимости между основными параметрами обеспечиваются за счёт ионного дрейфа в полупроводниковых плёнках толщиной D (рис.
(1) (2)
<t )= ron V ^) + roff 'l - w(t)J )
w(t ) = „^{t),
M (q )= R,
off
1 -
^D^q(t))^ (3)
где ¡у - подвижность ионов, RON - наименьшее сопротивление мемристора, ROFF - наивысшее сопротивление мемристора, w(t)/D - перемен-
ная состояния мемристора (при w(t)/D^1, M(q)^RoN, при w(t)/D^0, M(q)^RoFF).
Таким образом, компьютерное моделирование в современной программной среде является необходимой частью процесса разработки и исследования мемристоров и устройств на их основе. Анализ научно-технических источни-
ков и собственный опыт авторов показывает, что наиболее оптимальными для решения сформулированных исследовательских задач являются пакеты прикладных программ Sim-иНпк МА^АВ и PSpice OrCAD. В качестве базовой для исследования авторами выбраны модели (рис. 3, 4), представленные в работах [2,14,15].
Общие подходы к определению и обеспечению необходимой точности функционирования искусственных нейронных сетей на основе мемристоров
В работе [16] авторы предлагают свой вариант архитектуры нейросетевого устройства с си-наптическими элементами на базе мемристор-ных матриц для вычисления булевых функций, точность работы которого обеспечивается в пределах заданного значения при уровне отказов до 13% от общего числа элементов (1012 нано-элементов). Данный уровень отказо-
устойчивости достигается за счет добавления лишних нейронов в ИНС и использования алгоритма соревновательного обучения. Внедрение избыточности является одним из наиболее часто используемых подходов к повышению отказоустойчивости электронных средств с фон-неймановской архитектурой (triple
modular redundancy, NAND multiplexing method, reconfigurable computers). Однако его эффективность проявляется именно при разработке устройств с классической архитектурой, так как реконфигурация подразумевает перераспределение ресурсов для параллельного выполнения нескольких задач. Как показывают исследования, принудительная избыточность ИНС приводит к снижению обобщающей способности [1]. Кроме того, синапсы ИНС, выполняемые на основе мемристорной матрицы, имеют высокую плотность размещения на наноуровне, что затрудняет построения карты отказов.
Методы отказоустойчивого обучения широко применяются при настройке ИНС [16,17] и позволяют разрабатывать нейросетевые вычислительные устройства с учетом известных условий, налагаемых ресурсами устройств их реализации, типом решаемых задач и параметрами входной информации. Предложенный в работе [16] алгоритм соревновательного обучения адаптирован для мемристорной архитектуры разрабатываемой ИНС и позволяет частично компенсировать влияние избыточности на снижение обобщающей способности. Исходным параметром для настройки является заданная производственными условиями вероятность отказов (заедания) части элементов мемристорной решетки от их общего числа [18]. При этом не учитывается степень влияния конкретных
Active Load
Рис. 4. Схема электрическая принципиальная нейрона на основе мемристора [15]
нейронов на способность обеспечения заданного уровня точности.
Необходимо отметить предложенный в работе [18] подход к моделированию отказов в мемристорной решетке (заедание открытия, заедание закрытия) и их вариаций. Учет отказов связей безусловно является необходимым, но не достаточным для оценки общего уровня отказоустойчивости и точности всей нейронной сети вследствие влияния отказов дополнительных элементов ее структуры (КМОП элементы, АЦП, ЦАП).
Проведенный анализ научно-технических источников показывает высокий уровень интереса зарубежных авторов к задаче оценки качества вычислительных систем на базе мемри-сторов. Особенно важно использование разрабатываемых методик применительно к устройствам с повышенными требованиями к точности, отказоустойчивости и надежности (системы обработки информации и управления в биоинформатике, криптографии, аэродинамики, гидродинамики, при ядерных исследованиях, в потенциально опасных для окружающей среды и человека условиях). Работ российских авторов по данному вопросу в открытых источниках найти не удалось.
На основе вышеизложенного сформулированы задачи, которые необходимо решить для разработки методов инженерного проектирования искусственных нейронных сетей на базе мемристоров:
- синтезировать математическую модель современного мемристора;
- синтезировать математическую модель искусственной нейронной сети на базе мемри-сторов (ИНСМ);
- разработать методы определения точности работы, анализа и синтеза функциональных допусков ИНСМ;
- разработать методы определения точности работы, анализа и синтеза функциональных допусков ИНСМ в условиях дестабилизирующих воздействий;
- предложить методы оптимизации точности работы и функциональных допусков ИНСМ по имеющимся ограничениям.
Методы и подходы инженерного проектирования произвольных ИНС, предложенные авторами, на НТК, научных семинарах, в рецензируемых журналах были оценены как новые, оригинальные и перспективные в применении к ИНСМ [19,20].
Литература
1. Галушкин А.И. На пути к нейрокомпьютерам с использованием мемристоров // Приложение к журналу "Информационные технологии". - 2014. -№4. С.2-19.
2. Strukov, D. B. The missing memristor found // Nature, vol 453, no 7191. - 2008. - pp. 80-83.
3. Chua L.O. Memristor - the missing circuit element // IEEE Trans. Circuit Theory. 1971. Vol. 18. PP. 507.
4. Thomas A. Memristor-based neural networks // Journal of physics D: Applied Physics, 46 (2013) 093001 (12pp).
5. Likharev K.K. CrossNets: Neuromorphic Hybrid CMOS / Nanoelectronic Networks // Sci. Adv. Mater. 2011. Vol. 3. PP.322-331
6. Jo S. H., Chang T., Ebong I., Bhadviya B. B. Na-noscale memristor device as synapse in neuromorphic systems // Nano Lett. 2010. Vol. 10. PP. 1297-1301.
7. Sharad M., Augustine C., Panagopoulos G., Roy K. Proposal For Neuromorphic Hardware Using Spin Devices // arXiv.org. 2012. URL: http://arxiv.org/abs/1206.3227.
8. Strukov D. Monolithically Stackable Hybrid FPGA // Design, Automation & Test in Europe Conference & Exhibition. Santa Barbara, CA. 2010. PP. 661666.
9. Kim K.-H., Gaba S., Wheeler D. A Functional Hybrid Memristor Crossbar-Array/CMOS System for Data Storage and Neuromorphic Applications // Nano-lett. 2012. Vol. 12. PP. 389-395.
10. Храповицкая Ю.В., Маслова Н.Е., Занавес-кин М.Л., Марченков А.Н. Перспективные структуры с эффектом памяти, созданные на основе неорганических материалов // Наука и образование. -2013. - № 12. - С.329-366.
11. Галушкин А.И. Перспективы развития высокопроизводительной вычислительной техники с применением мемристоров (Пленарный доклад) // XII Всероссийская научная конференция «Нейрокомпьютеры и их применение». 2014. с. 137.
12. Shahar S. Kvatinsky K. Talisveyberg, D. Fliter, E. G. Friedman, A. Kolodny, and U. C. Weiser, "Veri-log-A for memristors models," in CCIT Tech. Rep. 801, Dec. 2011.
13. F. Garcia-Redondo, M. Lopez-Vallejo, P. Ituer-to, C. L. Barrio: A CAD Framework for the Characterization and Use of Memristor Models. 2012 International Conference on Synthesis, Modeling, Analysis and
Simulation Methods and Applications to Circuits Design (SMACD), 2012. PP. 25-28.
14. Kirilov S.M., Galushkin A.I., Pantiukhin D.V., Mladenov V. M Application of a new Modified Memris-tor Model with Nonlinear ionic Drift in the neural synapses // International Conference "Engineering & Telecommunication - En&T 2014". 2014. pp. 192-196.
15. Adhikari et al.: Memristor Bridge Synapse-Based Neural Network and Its Learning IEEE Transactions on neural networks and learning systems, vol. 23, no. 9, 2012.
16. D. Chabi and J.-O. Klein, "Hight fault tolerance in neural crossbar," in Design and Technology of Integrated Systems in Nanoscale Era (DTIS). IEEE, Mar 2010, pp. 1-6. [Online]. Available: http://ieeexplore.ieee.org/lpdocs/ ep-ic03/wrapper. htm?arnumber=5487552.
17. DeHon A and Naeimi H Seven Strategies for Tolerating Highly Defective Fabrication, IEEE Design & Test 22, 2005. PP. 306-315.
18. Morgado Dias F, Antunes A. A global model for fault tolerance of feedforward neural networks // International Conference on Automation and Information (2008), 272-275.
19. Данилин С.Н., Щаников С.А. Исследование точности функционирования нейросетевых компонентов РТС на основе мемристоров // Радиотехнические и телекоммуникационные системы. 2015. №1. С. 39-48.
20. Danilin S.N., Shchanikov S.A., Galushkin A.I. The research of memristor-based neural network components operation accuracy in control and communication systems // Control and Communications (SIB-CON), 2015 International Siberian Conference on. 2015. pp. 1-6. (DOI: 10.1109/SIBC0N.2015.7147034)
Поступила 07 апреля 2015 г.
English
Perspective element base of specialized computers of today's radar stations on the basis of memristors
Sergey Nikolaevich Danilin - Candidate of Engineering, Associate professor of CAD Murom Institute (branch) "Vladimir State University named after Alexander and Nickolay Stoletov".
E-mail: [email protected].
Sergey Andreevich Shchanikov - Candidate of Engineering, Associate professor of IMS Murom Institute (branch) "Vladimir State University named after Alexander and Nickolay Stoletov".
E-mail: [email protected].
Address: Orlovskaya st., 23. Vladimir region, Murom, 602264, Russia.
Abstract: Use of memristors is upcoming trend in making information processing systems with neural network framework or operating in neural network logical frame (artificial neural networks - ANN). Use of memristors enables coming to a new development phase of superhigh-performance universal and specialized INS based computing facilities due to transition from amplitude of currents and voltages to their frequency as data carrier in electric circuits. The conducted survey of scientific and technical published papers manifests the relevance of carrying out researches in making memristors based technical facilities which are actively performed now by research teams as well as in the big companies (Hewlett-Packard, Intel, IBM, etc.), and also in research centers and higher educational institutions (Federal State Budgetary Institution Research Center Kurchatov Institute, Stanford University, University of Michigan, etc.) worldwide. Tasks which are to be solved for engineering methods development of design of memristors based artificial neural networks (MANN) are formulated. The methods and approaches of engineering design of optional ANN proposed by authors were recognized as new, original and perspective in regard to INSM at STC, scientific seminars, in the reviewed journals. It was recommended to continue this work in regard to nano-memristors' ANN. The group of authors started to work as per advised guidelines taking into account new scientific results in adjacent scientific areas: circuit technique, information systems, designing radar stations. The work was conducted with the grant support RFFI No. 15-07-08330.
Key words: neurocomputers, artificial neural networks, memristors, designing, accuracy, destabilizing factors, quality parameters.
References
1. Galushkin, A.I. On the way to neurocomputers with use of memristors. - Prilozheniye k zhurnalu "Infor-matsionnye tekhnologii". - 2014. - No. 4.p.2-19.
2. Strukov, D. B. The missing memristor found/Nature, vol 453, no 7191. - 2008. - pp. 80-83.
3. Chua, L.O. Memristor - the missing circuit element. - IEEE Trans. Circuit Theory. 1971. Vol. 18. PP. 507.
4. Thomas A. Memristor-based neural networks. - Journal of physics D: Applied Physics, 46 (2013) 093001 (12pp).
5. Likharev K.K. CrossNets: Neuromorphic Hybrid CMOS/Nanoelectronic Networks. - Sci. Adv. Mater. 2011. Vol. 3. PP. 322-331
6. Jo S. H., Chang T., Ebong I., Bhadviya B. B. Nanoscale memristor device as synapse in neuromorphic systems. - Nano Lett. 2010. Vol. 10. PP. 1297-1301.
7. Sharad M., Augustine C., Panagopoulos G., Roy K. Proposal For Neuromorphic Hardware Using Spin Devices. - arXiv.org. 2012. URL: http://arxiv .org/abs/1206.3227.
8. Strukov D. Monolithically Stackable Hybrid FPGA//Design, Automation & Test in Europe Conference & Exhibition. Santa Barbara, CA. 2010. PP. 661-666.
9. Kim K. - H., Gaba S., Wheeler D. A Functional Hybrid Memristor Crossbar-Array. CMOS System for Data Storage and Neuromorphic Applications. - Nanolett. 2012. Vol. 12. PP. 389-395.
10. Hrapovitskaya Yu.V., Maslova N.E., Zanaveskin M.L., Marchenkov A.N. Prospective structures with memory effect made on the basis of inorganic materials. - Nauka i obrazovaniye. - 2013. - No. 12. - P. 329-366.
11. Galushkin A.I. Prospects of development of high-performance computer facilities with use of memristors (Plenary paper). - XII All-Russian scientific conference "Neyrokompyutery i ikh primeneniye". 2014. P. 137.
12. Shahar S. Kvatinsky K. Talisveyberg, D. Fliter E.G. Friedman, A. Kolodny, and U. C. Weiser Verilog-A for memristors models in CCIT Tech. Rep. 801, Dec. 2011.
13. F. Garcia-Redondo, M. Lopez-Vallejo, P. Ituerto, C. L. Barrio: A CAD Framework for the Characterization and Use of Memristor Models. 2012 International Conference on Synthesis, Modeling, Analysis and Simulation Methods and Applications to Circuits Design (SMACD), 2012. PP. 25-28.
14. Kirilov, S. M., Galushkin, A. I., Pantiukhin, D.V., Mladenov, V. M Application of a new Modified Memristor Model with Nonlinear ionic Drift in the neural synapses. - International Conference "Engineering & Telecom-munication-En&T 2014". 2014. pp. 192-196.
15. Adhikari et al.: Memristor Bridge Synapse-Based Neural Network and Its Learning IEEE Transactions on neural networks and learning systems, vol. 23, no. 9, 2012.
16. D. Chabi and J. - O. Klein, "Hight fault tolerance in neural crossbar," in Design and Technology of Integrated Systems in Nanoscale Era (DTIS). IEEE, Mar 2010, pp. 1-6. [Online]. Available: http://ieeexplore.ieee.org/lpdocs/epic03/wrapper.htm? arnumber=5487552.
17. DeHon A and Naeimi H, "Seven Strategies for Tolerating Highly Defective Fabrication", IEEE Design & Test 22, 2005. PP. 306-315.
18. Morgado Dias F, Antunes A, A global model for fault tolerance of feedforward neural networks. - International Conference on Automation and Information (2008), 272-275.
19. Danilin S.N., Shchanikov S. A. The research of memristor-based neural network components operation accuracy in control and communication systems. - Radiotekhnicheskiye i telekommunikatsionnye sistemy. 2015. No. 1. P. 39-48.
20. Danilin S.N., Shchanikov S.A., Galushkin, A.I. The research of memristor-based neural network components operation accuracy in control and communication systems. - Control and Communications (SIBCON), 2015 International Siberian Conference on. 2015. pp. 1-6. (DOI: 10.1109/SIBCON.2015.7147034)
