CC BY
8DOI УДК 004.383.8.032.26
ОЦЕНКА ТОЧНОСТИ РАБОТЫ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА БАЗЕ МЕМРИСТОРОВ С ПРИМЕНЕНИЕМ МОДЕЛЕЙ НА ОСНОВЕ ДАННЫХ
Борданов Илья Алексеевич
инженер-исследователь лаборатории разработки систем искусственного интеллекта, Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected]
Щаников Сергей Андреевич
кандидат технических наук, доцент, научный руководитель лаборатории разработки систем искусственного интеллекта, Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени Александра Григорьевича
и Николая Григорьевича Столетовых».
E-mail: [email protected]
Адрес: 602264, Российская Федерация, Владимирская обл., г. Муром, Орловская ул., д. 23.
Нейронные сети и интеллектуальные системы
Аннотация: Искусственные нейронные сети (ИНС) в настоящее время используются для решения различных задач, таких как обработка естественного языка, распознавание изображений, классификация объектов и т.д. Аппаратная аналоговая реализация искусственных нейронных сетей на базе мемристивных устройств (ИНСМ) имеет ряд преимуществ, таких как более низкое энергопотребление, высокая производительность и т.д., по сравнению с исполнением на архитектуре фон Неймана. Однако, помимо явных преимуществ, у такой реализации есть и недостатки, связанные с вариациями сопротивлений мемристивных устройств, которые могут приводить к снижению качества функционирования ИНСМ. В данной работе предложен подход к оценке точности функционирования ИНСМ с учётом влияния вариаций сопротивлений мемристивных устройств с использованием моделей на основе данных.
Ключевые слова: искусственные нейронные сети, мемристивные устройства, имитационное моделирование, погрешность вычисления, модели на основе данных.
Введение
Искусственные нейронные сети (ИНС) хорошо зарекомендовали себя в решении различных задач, таких как обработка естественного языка, распознавание изображений, классификация объектов и т.д. [1, 2] При этом с каждым годом эффективность функционирования ИНС возрастает не только за счёт качественных изменений в теории их создания, таких как разработка новых архитектур и подходов к обучению, но и через увеличение количества обучаемых параметров, что влечёт за собой увеличение энергопотребления и требуемой вычислительной мощности устройств, на которых
они исполняются. В связи с растущим спросом на вычислительные мощности классические компьютеры, построенные на основе архитектуры фон Неймана, имеют низкую энергоэффективность и высокие временные задержки при исполнении ИНС [3]. Это связано с тем, что доступ к внекристальной памяти выполняется за сотни или тысячи тактов процессора, поэтому потребляется на порядки больше энергии и составляет более 90% от общего энергопотребления [4]. Современные чипы для реализации ИНС в основном используют статическую оперативную память (SRAM), чтобы уменьшить доступ к внешней памяти, но у неё
есть недостатки, связанные с большим размером ячейки и высокой стоимостью.
Одним из возможных решений сложившейся проблемы, является переход от архитектуры фон Неймана к архитектурам, основанным на вычислениях в памяти, в которых одно и то же устройство осуществляет хранение и обработку информации [5]. Системы, основанные на принципах вычислений в памяти, состоящие из искусственных нейронов и синаптических устройств, являются перспективными кандидатами для аппаратной реализации ИНС на их основе.
Мемристивные устройства или, как их ещё называют, резисторы с эффектом памяти являются наиболее перспективными устройствами на роль аппаратных синапсов, так как они обеспечивают энергонезависимое хранение весовых коэффициентов, могут модулировать проводимость в электрических полях, а также имеют высокомасштабируемую архитектуру [6]. Кроме того, мемристивные устройства также могут имитировать биологическую си-наптическую пластичность: краткосрочная / долгосрочная пластичность, пластичность, зависящая от времени спайка (STDP) и т. д. [7]. Объединение мемристивных устройств в кроссбар массивы (массивы мемристивных устройств, в которых они располагаются на пересечении входных и выходных шин) позволяет выполнять операцию матричного умножения (одну из наиболее частых и энергозатратных операций в ИНС) за один раз благодаря естественным физическим законам Ома и Киргофа [5].
Однако помимо явных преимуществ мемристивных устройств в роли аппаратных компонентов для реализации синапсов, они имеют существенный недостаток, связанный с вариациями сопротивлений от цикла к циклу переключения и от устройства к устройству в кроссбар массиве, которые приводят к погрешности записи весовых коэффициентов. Это может значительно повлиять на точность работы искусственных нейронных сетей на базе мемристивных устройств (ИНСМ) как при
маппировании (переносе значений из модели в кроссбар массивы) весовых коэффициентов (в случае, когда обучение ИНСМ выполнятся программно и полученные значения весов переносятся на аппаратную элементную базу) так и при непосредственном аппаратном обучении.
В настоящее время для решения проблемы обеспечения требуемой точности функционирования ИНСМ существует множество различных подходов начиная от поиска материалов и структур мемристивных устройств и заканчивая подходами к их программированию [8] (заданию нужного значения проводимости путём подачи определённой последовательности импульсов). Однако универсального подхода к обеспечению требуемой точности не существует, поэтому для каждой конкретной ИНСМ приходится проверять эффективность различных подходов, которая выполняется на ранних стадиях проектирования с помощью имитационного моделирования её работы.
В основе имитационного моделирования ИНСМ лежит модель мемристивного устройства. От её реализации зависит не только адекватность модели ИНСМ, но и время выполнения имитационного моделирования. При этом важно также отметить, что универсальной модели мемристивного устройства не существует и для каждой новой структуры и конструкции мемристивного устройства нужно создавать новую модель или выполнять калибровку имеющейся на основании измеренных вольт-амперных характеристик. При этом физические модели требуют знаний о лежащих в их основе физических явлений и механизмов обеспечения резистивного переключения [9], определение которых требует времени и, таким образом, может задержать исследование. Атомистические модели, основанные на принципах первого порядка, могут дать значительное представление о поведении устройства и его изменчивости [10], но требуют очень больших вычислительных затрат и не могут применятся для моделирования ИНСМ.
Путём преодоления указанных проблем является моделирование мемристивных
Рис. 1. Параметры импульсного сигнала, влияющие на сопротивление мемристора: а) обобщённая схема импульсного сигнала; б) пример сигнала для снятия вольт-амперной характеристики
мемристора; в) пример сигнала для оценки времени удержания сопротивления мемристивным устройством («retention»); г) пример сигнала для оценки количества циклов резистивного переключения мемристора («endurance»); д) пример сигнала записи заданного резистивного состояния мемристора
устройств на основе полученных данных об их работе без учёта физических особенностей функционирования. При данном подходе предполагается создание поведенческой модели, описывающей вероятностные распределения проводимостей в зависимости от заданных наборов входных и выходных сигналов, подаваемых на устройство. В данной работе рассмотрено применение предложенного автор а-ми подхода к созданию модели на основе данных о функционировании металл-оксидного мемристивного устройства и проанализированы возможности применения таких моделей для оценки точности работы ИНСМ.
Метод
Для создания модели мемристивного устройства на основе данных будет применяться метод, частично описанный в работах [11, 12] и заключающийся в выполнении следующих шагов:
1) Определяется диапазон сопротивлений мемристивного устройства в виде средних значений минимального Яшт и максимального Яшах сопротивления, а также параметры сигнала сброса, гарантированно переводящего сопротивление мемристивного устройства к одному
из этих значений.
2) Выполняется формирование плана эксперимента, а именно выбираются так называемые факторы — параметры сигнала, влияющие на сопротивление мемристора. Для импульсного сигнала (рис. 1) в общем случае таких факторов может быть три: амплитуда импульса и, количество импульсов п, длительность импульса t. Длительность импульса — это параметр, который связан с частотой и скважностью 8. Возможно, что частота и скважность 8 также влияют на динамику резистивного переключения при одинаковом значении ^ поэтому с точки зрения рассматриваемой методики они могут выступать как дополнительные факторы, увеличивающие количество возможных комбинаций сигналов. Кроме того, факторами могут являться не сами параметры импульсов, а параметры функций, которыми они описываются. Например, при линейном изменении амплитуды импульса факторами могут быть тангенс угла наклона функции и смещение по амплитуде. Для каждого фактора задаётся количество уровней и формируется план эксперимента в соответствии с теорией планирования эксперимента. План
эксперимента может быть сформирован как для режима SET (изменение сопротивления из большей в меньшую сторону), так и для режима RESET (изменение сопротивления из меньшей в большую сторону).
3) В соответствии с планом эксперимента проводится накопление статистик по влиянию каждого из факторов на конечное распределение сопротивления мемристора или случайной функции изменения сопротивления в процессе подачи сигнала. Для этого формируется выборочная совокупность мемристивных устройств и эксперимент проводится H раз. Для каждого эксперимента из плана выполняется статистическая обработка экспериментальных данных и подбирается закон распределения, который далее будет использован для создания модели мемристора, а также определяются значения его параметров.
4) Выполняется интерполяция зависимости параметров закона распределения сопротивления мемристора от параметров сигнала, изменяющего его сопротивление, а также интерполяция обратной функции, позволяющей определить какие значения должны иметь параметры сигнала, чтобы с рассчитанной вероятностью обеспечить нужное сопротивление.
Таким образом, полученные модели могут быть использованы как для определения того, какое сопротивление будет у мемристора в результате подачи сигнала с выбранными значениями параметров u, n, t, так и для определения требуемых значений данных параметров сигнала программирования для достижения конкретного значения сопротивления. Модели могут описывать вероятности получения конкретных значений сопротивлений в режимах SET и RESET, как для конечного значения, достигнутого из максимального или минимального сопротивления, так и для функции изменения сопротивления из одного из промежуточных состояний.
Для моделирования работы ИНСМ требуется ещё модель веса, которая связывает информационный уровень ИНСМ (весовые коэффициенты синапсов нейронов) и физический уро-
вень (сопротивления мемристивных устройств, совокупность которых определяет значение веса). Метод создания модели весового коэффициента ИНСМ основан на предыдущем методе и заключается в выполнении следующих шагов:
1) Выбор типовой схемы электрической принципиальной для аппаратной реализации весового коэффициента синапса нейрона. Выбранная типовая схема определяет формулу, по которой рассчитывается значение весового коэффициента, а также сопротивления мемри-стивных устройств при маппировании.
2) Создание модели мемристивного устройства в случае ее отсутствия. Для этого задаётся список сопротивлений мемристора вида Rme[Rmm, ..., Rmid, •••, Rmax], где Rmid - промежуточное значение сопротивления. Для каждого сопротивления из списка создаётся модель мемристора с использованием вышеописанного метода моделирования на основе данных.
3) Проводится моделирование весового коэффициента в соответствии с формулой, описывающей функционирование выбранной типовой схемы, и моделью мемристора, а также выполняется накопление статистики по влиянию вариации сопротивления на вариации весового коэффициента. На основе полученных результатов определяется закон распределения, а также значения его параметров для каждого весового коэффициента.
4) Выполняется интерполяция функции зависимости параметров закона распределения весового коэффициента относительно сопротивления мемристивного устройства, а также интерполяция обратной функции, описывающей зависимость сопротивления относительно параметров закона распределения весового коэффициента.
Использование данных моделей мемри-стивного устройства и весового коэффициента позволяет провести имитационное моделирование и оценить, какая погрешность будет у ИНСМ после маппирования весов, и, соответственно, оценить точность её работы с учётом
л \ з \ у
3
у
Ъ С? \
а) примеры изображений из датасета MNIST
с) 1.0-
0.8-
0.6-
0.4-
0.2
0
10
Входной слой (784 нейрона)
Скрытый слой (128 нейрона)
Выходной слой (10 нейронов)
б) ИНС
20
25
15 Эпохи
в) кривая обучения (верхняя линия показывает точность, нижняя потери) Рис. 2. Экспериментальный набор
30
данной погрешности в реальном устройстве.
Для имитационного моделирования необходимо выполнить следующие шаги:
1) Обучить программно ИНС решению требуемой задачи.
2) Создать модель мемристивного устройства на основе данных о программировании резистивных состояний.
3) Создать модель весового коэффициента на основе данных о маппировании.
4) Выполнить имитационное моделирование работы ИНСМ, используя полученные модели, и оценить точность её работы с учётом вариаций сопротивлений мемристивных устройств.
Эксперимент
Рассмотрим возможности применения разработанного подхода на примере оценки точно-
сти работы ИНСМ, обученной решению задачи классификации рукописных цифр на наборе данных MNIST. Датасет MNIST включает 60000 черно-белых изображений цифр от 0 до 9 размером 28 на 28 пикселей каждое, при этом 50000 изображений использовались для обучения ИНС, а 10000 для тестирования её работы. ИНСМ по архитектуре представляет собой двухслойную полносвязную ИНС прямого распространения. По структуре она имеет 784 входа, 128 нейронов в скрытом слое и 10 выходных нейронов, что соответствуют количеству классов. Для обучения используется фреймворк Keras Tensorflow. После программного обучения точность классификации на тестовой выборке составила 97,83% (рис. 2).
Теперь имея обученную ИНС, можно оценить точность её работы при аппаратной реализации с применением мемристивных
0.9 1.0 1.1 1.2 1.3 1.4 1.5 Напряжение. В
Рис. 3. График интерполяции МО и СКО сопротивления мемристивного устройства в зависимости от подаваемого напряжения программирования
Рис. 4. График интерполяции напряжения программирования мемристивного устройства в зависимости от МО его резистивного состояния
устройств.
Для того чтобы это сделать необходимо сначала в соответствии с описанным подходом создать их модель. Создание модели мемристивного устройства на основе оксида циркония выполнялось следующим образом:
- Программирование резистивных состояний выполнялось одним импульсом длиной 1 мкс в диапазоне от 0,91 В до 1,51 В. При этом длина импульса составляла 1 мкс. Программирование каждого резистивного состояния выполнять 200 раз. После каждого программирования мемристивное устройство сбрасывалось в минимальное низкоомное состояние одним импульсом длиной 1 мкс и амплитудой 2 В.
- Для полученных в результате программирования данных был определен закон распределения. В данном случае вариации сопротивления соответствуют нормальному закону распределения.
- Выполнена кусочно-линейная интерполяция математического ожидания (МО) и среднеквадратического отклонения (СКО) сопротивления отно-
сительно напряжения программирования, а также обратная интерполяция.
Результаты интерполяции сопротивления мемристивного устройства представлены на рис. 3 и рис. 4.
Разработка модели весового коэффициента состояла из следующих этапов:
- В качестве аппаратной реализации синапса была выбрана схема, включающая два мемристивных устройства на вес. На рис. 5 показа схема реализации такого синапса.
- Маппирование весовых коэффициентов синапсов нейронов выполнялось в диапазоне от 10 кОм до 60 кОм по формуле (1). Маппи-
Рис. 5. Схема пяти синапсов нейрона, в которой каждый из них состоит из двух мемристивных устройств. Дифференциальный усилитель, на вход которому подключается пара инвертирующих сумматоров используется для реализации функции разности входных сигналов
Сопротивление мемристивного устройства, кОм
Рис. 6. График интерполяции МО и СКО значения весового коэффициента синапса в зависимости от сопротивления мемристивного устройства
у 60-О Ч -МО напряжения \ • Обучающие данные
ю | 50 \
1 I
§ 40. £ а \
I 30- V ж
г £ 20В
о | 10
0.0 0.2 0.4 0.6 0.8 1.0 1.2
Вес синапса нейрона
Рис. 7. График интерполяции сопротивления
мемристивного устройства в зависимости
от МО значения весового коэффициента
синапса
рование каждого веса выполнялось 200 раз.
где ^ — значение веса синапса нейрона; Л/ — коэффициент масштабирования (Ом); Ль Л2 — сопротивления мемристоров синапса.
- Для полученных в результате маппирова-ния данных был определён закон распределения. В данном случае вариации соответствует логнормальному закону распределения.
- Выполнена кусочно-линейная интерполяция МО и СКО веса относительно резистивно-го состояния мемристивного устройства, а также обратная интерполяция.
Результаты интерполяции весового коэффициента синапса нейрона представлены на рис. 6 и рис. 7.
Используя полученные модели, было вы-
полнено имитационное моделирование работы ИНСМ, обученной решению задачи распознавания рукописных цифр на протяжении 1000 раз. Результаты имитационного моделирования представлены в таблице 1.
Сравнение точности разработанной модели было осуществлено с подходом к моделированию — чип-в-цикле [13]. Суть данного подхода заключалась в том, что для моделирования использовались реальные данные, полученные непосредственно с мемристивных устройств, подключенных к плате, которая в реальном времени собирала данные о значениях их сопротивлений. Результаты применения данного подхода представлены также в таблице 1.
Таким образом, из результатов, представленных в таблице 1 , видно, что модель, разработанная с применением описанного в данной
Таблица 1. Сравнение результатов моделирования работы ИНСМ
Вид моделирования ИНСМ Точность работы ИНСМ Время моделирования
Без учёта изменчивости мемристивных устройств 97,83% 53 сек.
С применением модели мемристивного устройства на основе данных 86,9% 1 мин. 2 сек.
Чип-в-цикле 89,99% 81 мин. 16 сек.
работе подхода немного уступает в точности по сравнению с подходом к моделированию, в котором используются реальные устройства. Однако одним из основных преимуществ данных моделей является невысокая вычислительная сложность, что позволило обеспечить выигрыш по времени моделирования, что является немаловажным фактором. Соответственно подобные модели могут применяться на ранних стадиях проектирования для оценки влияния вариаций на точность ИНСМ, а также для оценки применимости различных подходов повышения их точности.
Кроме того, ещё одним преимуществом данных моделей, которое отличает их от других моделей на основе данных является возможность определения требуемых параметров программирования, которые соответственно приводят к желаемому резистивному состоянию мемристивного устройства.
Заключение
Таким образом, в результате выполнения данной работы был представлен подход к созданию моделей на основе данных и показаны возможности применения данного подхода на примере оценки точности работы ИНСМ, обученной решению задачи классификации данных.
Дальнейшие работы авторов будут направлены на развитие данного подхода к созданию моделей мемристивных устройств путём исследования различных алгоритмов интерполяции, а также других параметров моделей и их влияния на качество полученных моделей для обеспечения наиболее эффективной совокупности параметров с точки зрения вычислительной сложности и адекватности.
Работа выполнена при поддержке стипендии Президента РФ СП-3988.2022.5.
Литература
1. Wu L. et al. Graph neural networks for natural language processing: A survey // Foundations and
Trends® in Machine Learning. 2023. Vol. 16. No. 2. Pp. 119-328.
2. Yang J., Li J. Application of deep convolution neural network // 2017 14th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP). IEEE, 2017. Pp. 229-232.
3. Ielmini D. and Wong H. S. P. In-memory computing with resistive switching devices // Nature electronics. 2018. Vol. 1. No. 6. Pp. 333-343.
4. Chen T. et al. Diannao: A small-footprint high-throughput accelerator for ubiquitous machine-learning // ACM SIGARCH Computer Architecture News. 2014. Vol. 42. No. 1. Pp. 269-284.
5. Amirsoleimani A. et al. In-Memory Vector-Matrix Multiplication in Monolithic Complementary Metal-Oxide-Semiconductor-Memristor Integrated Circuits: Design Choices, Challenges, and Perspectives // Advanced Intelligent Systems. 2020. Vol. 2. No. 11. P. 2000115.
6. Wang T. Y. et al. Three-dimensional nanoscale flexible memristor networks with ultralow power for information transmission and processing application // Nano letters. 2020. Vol. 20. No. 6. Pp. 4111-4120.
7. Guo Y. et al. Unsupervised learning on resistive memory array based spiking neural networks // Frontiers in neuroscience. 2019. Vol. 13. P. 812.
8. Борданов И. А., Щаников С. А., Данилин С. Н. Современное состояние в области аппаратной реализации искусственных нейронных сетей на базе мемристоров // Телекоммуникации. 2020. №. 8. С. 35-48.
9. González-Cordero G. et al. A new compact model for bipolar RRAMs based on truncated-cone conductive filaments—a Verilog-A approach // Semiconductor Science and Technology. 2016. Vol. 31. No. 11. Pp. 115013.
10. Aldana S. et al. Resistive switching in HfO2 based valence change memories, a comprehensive 3D kinetic Monte Carlo approach // Journal of Physics D: Applied Physics. 2020. Vol. 53. No. 22. P. 225106.
11. Bordanov I., Antonov A., Korolev L. Simulation of calculation errors in memristive crossbars for artificial neural networks // 2023 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM). IEEE, 2023. Pp. 1008-1012.
12. Danilin S.N. et al. Determining the fault tolerance of memristorsbased neural network using simulation and design of experiments // 2018 Engineering and telecommunication (EnT-MIPT). IEEE, 2018. Pp. 205-209.
13. Qi D. et al. A hybrid dual-CMOS/memristor synapsebased neural network with its applications in image super-resolution // IET Circuits Devices Syst. 2019. Vol. 13.Pp. 1241-1248.
Поступила 20 февраля 2024 г.
Engli sh
EVALUATION OF THE ACCURACY OF ARTIFICIAL NEURAL NETWORKS BASED ON MEMRISTORS USING DATA-DRIVEN MODELS
Ilya Alekseevich Bordanov — Research engineer, Laboratory for the Development of Artificial Intelligence Systems, Murom Institute (branch) "Vladimir State University named after A.G. and N.G. Stoletovs".
E-mail: bordanov2011 @yandex.ru
Sergey Andreevich Shchanikov — PhD, Associate Professor, Scientific Director, Laboratory for the Development of Artificial Intelligence Systems, Murom Institute (branch) "Vladimir State University named after A.G. and N.G. Stoletovs". E-mail: [email protected]
Address: 602264, Russian Federation, Vladimir region, Murom, Orlovskaya St., 23. Abstract: Various models of memristive devices can be used at the design stage for evaluating the accuracy of artificial neural networks based on memristors (ANNM). In this paper, an approach to creating models of memristive devices based on data is proposed. To create such models, knowledge of physical phenomena and mechanisms of resistive switching is not required, unlike physical models, and also large computing power is not required, unlike the run of atomic models. The construction of a model of a memristive device is carried out on the basis of data obtained as a result of its programming in a certain range of resistances and the accumulation of statistics. For the received data, you determine the distribution law and the values of its parameters, and then interpolation of both direct and inverse dependencies is performed. Thus, the resulting model can be used both to determine what resistance error a memristive device will have, and to find the parameters of the programming signal that need to be set to achieve it. Similarly, it is proposed to build a model of the weight coefficient of the synapse of a neuron, which connects the information and physical level of data and signal processing in the ANNM. Having models of the memristive device and the weight coefficient of the neuron synapse, it is possible to use simulation modeling to evaluate the accuracy of the ANNM, taking into account resistance variations. The approbation of this approach was carried out using the example of an ANNM trained to solve the problem of image classification, while metal-oxide memristive devices were used as an element base. As a result of evaluating the accuracy of the ANNM using the developed data-based models, it was revealed that the accuracy of its operation in these conditions may decrease by ~ 10% from the initial ~97%. The results obtained, with a difference of about ~3%, are consistent with another more resource-intensive approach to modeling, which is also described in this paper.
Keywords: artificial neural networks, memristive devices, simulation, calculation error, data-driven models.
The work was supported by the scholarship of the President of the Russian Federation SP-3988.2022.5.
References
1. Wu L. et al. Graph neural networks for natural language processing: A survey. Foundations and Trends® in Machine Learning. 2023. Vol. 16. No. 2. Pp. 119-328.
2. Yang J., Li J. Application of deep convolution neural network. 2017 14th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP). IEEE, 2017. Pp. 229-232.
3. Ielmini D., Wong H.S.P. In-memory computing with resistive switching devices. Nature electronics. 2018. Vol. 1. No. 6. Pp. 333-343.
4. Chen T. et al. Diannao: A small-footprint high-throughput accelerator for ubiquitous machine-learning. ACM SIGARCH Computer Architecture News. 2014. Vol. 42. No. 1. Pp. 269-284.
5. Amirsoleimani A. et al. In-Memory Vector-Matrix Multiplication in Monolithic Complementary Metal-Oxide-Semiconductor-Memristor Integrated Circuits: Design Choices, Challenges, and Perspectives. Advanced Intelligent Systems. 2020. Vol. 2. No. 11. P. 2000115.
6. Wang T. Y. et al. Three-dimensional nanoscale flexible memristor networks with ultralow power for information transmission and processing application. Nano letters. 2020. Vol. 20. No. 6. Pp. 4111-4120.
7. Guo Y. et al. Unsupervised learning on resistive memory array based spiking neural networks. Frontiers in neuroscience. 2019. Vol. 13. P. 812.
8. Bordanov I.A., Shchanikov S.A., Danilin S.N. The current state in the field of hardware implementation of artificial neural networks based on memristors. Telekommunikacii. 2020. No. 8. Pp. 35-48.
9. González-Cordero G. et al. A new compact model for bipolar RRAMs based on truncated-cone conductive filaments — a Verilog-A approach. Semiconductor Science and Technology. 2016. Vol. 31. No. 11. Pp. 115013.
10. Aldana S. et al. Resistive switching in HfO2 based valence change memories, a comprehensive 3D kinetic Monte Carlo approach. Journal of Physics D: Applied Physics. 2020. Vol. 53. No. 22. P. 225106.
11. Bordanov I., Antonov A., Korolev L. Simulation of calculation errors in memristive crossbars for artificial neural networks. 2023 International Conference on Industrial Engineering, Applications and Manufacturing (ICI-EAM). IEEE, 2023. Pp. 1008-1012.
12. Danilin S.N. et al. Determining the fault tolerance of memristorsbased neural network using simulation and design of experiments. 2018 Engineering and telecommunication (EnT-MIPT). IEEE, 2018. Pp. 205-209.
13. Qi D. et al. A hybrid dual-CMOS/memristor synapsebased neural network with its applications in image super-resolution. IET Circuits Devices Syst. 2019. Vol. 13 Pp. 1241-1248.
