CC BY
23УДК 004.383.8.032.26
ПРОЕКТИРОВАНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ МЕМРИСТОРОВ
С ЗАДАННОЙ ОТКАЗОУСТОЙЧИВОСТЬЮ
Данилин Сергей Николаевич
кандидат технических наук, доцент, доцент кафедры «Программная инженерия» Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет имени
Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected].
Щаников Сергей Андреевич
кандидат технических наук, доцент, декан факультета информационных технологий Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected].
Зуев Антон Дмитриевич
инженер кафедры «Программная инженерия» Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет имени Александра Григорьевича и
Николая Григорьевича Столетовых».
E-mail: [email protected].
Борданов Илья Алексеевич
студент бакалавриата по направлению подготовки «Прикладная информатика» Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет имени Александра
Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected].
Сакулин Александр Евгеньевич
студент бакалавриата по направлению подготовки «Информационные системы и технологии» Муромского института (филиала) ФГБОУ ВО «Владимирский государственный университет имени
Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected]. Адрес: 602264, г. Муром, ул. Орловская, 23. Аннотация: В статье сформулирован и применён общий подход к проектированию искусственных нейронных сетей на основе мемристоров (ИНСМ) с заданной отказоустойчивостью (ОУ). Показано, что решение задачи обеспечения требуемой ОУ ИНСМ связано с решением задач обеспечения заданной точности их функционирования на всех уровнях структурно-функциональной иерархии. На практических примерах показано, что, вопреки утверждению некоторых исследователей, потенциально высокая ОУ ИНСМ не обеспечивается автоматически применением нейросетевого логического базиса решения задач, а зависит от многих факторов и требует реализации специальных физическо-информационных технологий на всех этапах жизненного цикла ИНСМ. Предложен модифицированный вариант количественного критерия ОУ, на основании значений которого можно строить схемы надёжности ИНСМ, рассчитывать и оптимизировать их надёжность по действующим российским и межгосударственным стандартам. Работа выполнена при поддержке гранта РФФИ 19-07-01215.
Ключевые слова: искусственные нейронные сети, мемристоры, нейрокомпьютеры, инженерное проектирование, точность, отказоустойчивость, надёжность, производительность.
Введение
Параметры вычислительных средств определяют тактико-технические характеристики всех современных систем строящейся в про-
мышленно развитых странах цифровой индустрии - инфотелекоммуникационных, радиотехнических, радиолокационных, бортовых и промышленных систем управления. По этой
причине в настоящее время все мировые крупнейшие производители вычислительной техники ведут интенсивные работы в области создания суперкомпьютеров экзафлопного уровня производительности. В России развёрнуты масштабные работы в данном направлении, ход которых был обсуждён представителями ведущих научных центров 24.01.18 на научном семинаре «Нейроморфные системы и их реализация» [1].
Вычислительные средства обработки информации с нейросетевой архитектурой или работающие в нейросетевом логическом базисе (искусственные нейронные сети - ИНС), потенциально обладают рядом значительных преимуществ перед своими аналогами с классическими принципами функционирования фон Неймана по точности, отказоустойчивости, быстродействию, надёжности и являются перспективной основой вычислительной инфраструктуры всех структурно-функциональных уровней цифровой индустрии. Подавляющее большинство вычислительных задач, возникающих при организации и функционировании цифровой индустрии в настоящее время успешно решаются только с применением ИНС и машинного обучения [2,3].
Публикации ведущих зарубежных и российских экспертов и исследователей показывают, что наиболее перспективными элементами технической базы реализации суперкомпьютеров нового поколения являются создаваемые в последнее время наномемристоры. Основная причина этого явления заключается в том, что новая элементная база позволяет создавать сверхвысокопроизводительные вычислительные средства с техническими, энергетическими и экономическими параметрами на несколько порядков превышающими существующие [1-8]. По мнению ведущих специалистов в данной сфере, актуальным новым этапом работ является освоение новых алгоритмов и подходов к их системному проектированию [3].
Данную статью авторы посвящают разработке новых алгоритмов и подходов в области системного инженерного проектирования ИНСМ, отнесённого в аналитической работе [3] к перспективным, а в работах [9, 10] - к приоритетным. Важнейшими из нерешённых задач в данной области является разработка подходов и методов определения и обеспечения необходимой точности вычислений при переходе в ИНСМ к аналоговой обработке, а также определение и обеспечение отказоустойчивости и надёжности технических средств их реализации [4, 11-13].
1 Метод 1.1 Общий подход
Проведённый авторами работы анализ возможных дестабилизирующих факторов, влияющих на точность функционирования ИНСМ показал, что большинство из них приводит к возникновению погрешностей весового коэффициента синапса нейрона. В связи этим обстоятельством, при исследовании отказоустойчивости ИНСМ на информационном структурно-функциональном уровне иерархии, причины и природа дестабилизирующих воздействий не важны, а важны результаты их воздействия. Элементарной единицей ИНСМ является нейрон, состоящий из весовых коэффициентов и функции активации. Точность его выходной информации будет зависеть от точности входной информации, погрешностей весовых коэффициентов и функции активации. Поэтому независимо от причин и природы дестабилизирующих воздействий последствиями их влияния будут погрешности входной информации, весовых коэффициентов и функций активации (рис. 1).
1.2 Количественный критерий отказоустойчивости
Авторы статьи в работе [14] опубликовали численный критерий ОУ ИНСМ - и. Применение его на практике выявило ряд недостат-
Рис. 1. Погрешности весовых коэффициентов приводят к погрешностям выходной информации нейрона ИНСМ
ков, которые устранены в модифицированном системном варианте Щ,^,^
ицк, 1,т/ = 1 - (Х/,ук, 1,т/ - Хдос) / (Хдоп - Xдос), при
X > X
Лдоп Лдоа
и^,к,у- = 1 - (Хдос - X ц,к,1,т/ ) / (Хдос - Хдоп), при X < X
^доп Лдоа
где Хдоп - допускаемое значение (допуск) показателя качества работы ИНС; Хдос - значение показателя качества работы ИНС, достигнутое при обучении; X\jxmf - значение показателя качества работы ИНС, при вариации параметра /-ой структуры, у-го нейрона, к-го элемента, 1-ой характеристики входной информации, т-го критерия качества программного обеспечения (ПО), ^го параметра шумов и помех от номинального значения.
Рассмотрим примеры применения предложенного модифицированного варианта критерия и,, к 1, для определения и обеспечения ОУ
Таблица 1. Результаты экспериментального определения ОУ ИНСМ при отказах отдельных синапсов нейронов
W ИНСМ 1 ИНСМ 2 ИНСМ 3
+ Am % - Am % + Am % - Am % + Am % - Am %
Слой 1
w1 1,08 1,12 1,76 1,87 0,85 0,82
w2 1,05 1,00 0,33 0,32 1,00 0,97
w3 0,21 0,21 0,65 0,65 0,96 0,93
w4 0,42 0,42 0,12 0,12 0,78 0,80
w5 0,39 0,39 0,11 0,11 0,45 0,47
Слой 2
w1 0,28 0,28 0,57 0,57 0,52 0,55
w2 0,27 0,27 0,11 0,11 0,61 0,65
w3 0,12 0,12 0,60 0,60 0,59 0,62
w4 0,19 0,19 0,06 0,06 0,34 0,35
w5 0,33 0,33 0,05 0,05 0,45 0,47
нескольких ИНСМ в составе авторского пакета ПО имитационного моделирования.
2 Эксперименты (1)
Эксперимент №1. Исследование влияния на ОУ ИНСМ погрешностей отдельных вес2>)зых коэффициентов синапсов нейронов. Алгоритм следующий:
1. Формулируем задачу и указываем допустимый уровень точности Хдоп;
2. Синтезируем модель ИНСМ информационного уровня, обучаем её и тестируем;
3. Фиксируем достигнутое значение точности
Хдос < Хдоп;
4. В цикле по синапсам нейронов ИНСМ моделируем вариации значений весовых коэффициентов на ± Am % с заданным шагом до достижения отказа ИНСМ по критерию U (U < 0) с фиксацией максимального значения Am для
каждого синапса; 5. Проводим визуализацию и анализ результатов исследования.
По условию эксперимента задача для ИНСМ — аппроксимировать функцию j=0,5sin(x). Допуск на точность аппроксимации по критерию суммы квадратов ошибок SSE = 0,1. Модель ИНСМ: двухслойный персеп-трон, 5 нейронов в скрытом слое, 1 нейрон в выходном слое, функция активации гиперболический тангенс. Обучающая вы-
борка содержит 20 сетов при x = [0; 2п], тестовая 60 сетов.
Обучим синтезированную модель для трёх разных случаев:
1. алгоритм Бройдена-Флетчера-Гольдфарба-Шанно, Хдос = 0,00566;
2. алгоритм Бройдена-Флетчера-Гольдфарба-Шанно, Хдос = 0,00535;
3. алгоритм Resilient Backpropagation, Хдос = 0,01259.
В первом и втором случае использовался одинаковый алгоритм обучения, но при разных начальных значениях весовых коэффициентов нейронов ИНСМ, третий случай отличается так же алгоритмом обучения. Условно назовем их ИНСМ 1, ИНСМ 2, ИНСМ 3. В таблице 1 представлены максимально допустимые погрешности синапсов нейронов, при которых наступает отказ ИНСМ.
На рис. 2-4 представлено изменение значений критерия ОУ U для ИНСМ 1-3. На рисунках а) - для синапсов скрытого слоя, на рисунках б) - для синапсов выходного слоя.
Из данного эксперимента можно сделать следующие выводы:
1. ОУ ИНСМ не обеспечивается автоматически. Для рассматриваемой задачи допускаемые погрешности весовых коэффициентов оказались очень маленькими, порядка 1%, что не достижимо на современной элементной
базе.
2. Две одинаковые по всем параметрам ИНСМ (1 и 2), обученные одним и тем же алгоритмом, но при разных начальных значениях инициализированных весовых коэффициентов показали разную ОУ. ОУ ИНСМ 3, обученной другим алгоритмом, так же отличается.
3. Разброс максимально допустимых отклонений по каждому синапсу при наступлении отказа отличается для каждой ИНСМ. Меньший интервал означает более равномерно распределённую вычислительную нагрузку на каждый синапс. Меньший интервал наблюдался у ИНСМ 3.
4. ОУ изменяется на информационном уровне.
Эксперимент №2. Исследование ОУ ИНСМ при моделировании погрешности всех весовых коэффициентов синапсов нейронов. Алгоритм следующий:
1. Моделируем вариации весовых коэффициентов синапсов нейронов на фиксированное значение ± Am % для всех одновременно;
2. Рассчитываем ОУ ИНСМ по критерию U;
3. Проводим визуализацию и анализ результатов исследования.
В первом случае для каждого синапса изменим весовой коэффициент на значения, приведённые в таблице 1, то есть допуск будет различным. Во втором случае изменим весовые
1.0
0.8
0.6
0.4
0.2
0.0 -
— W2 иЗ W4 WÜ
«I -
-1.0
-0 5
0.5
1.0
0.0 т, %
а) б)
Рис. 2. График изменения и при вариации весовых коэффициентов синапсов нейронов ИНСМ 1. Из графиков видно, что ИНСМ по-разному реагирует на возникновение погрешностей отдельных синапсов и разброс составляет от 0,12 до 1,12%.
0 6
0.4
0.2
1 —
— *а - <нЪ - 1Л14
- 1«5
\
\ \
-20 -1.5 -1.0
-0.5 0.0 т. %
0.5 1.0 1.5
-0.6 -0.4 —0.2 0.0 0.2
0.4 0.6
а) б)
Рис. 3. График изменения и при вариации весовых коэффициентов синапсов нейронов ИНСМ 2. Из результатов видно, что ОУ и допустимые пределы вариации весовых коэффициентов ИНСМ 2 отличаются от ИНСМ 1, не смотря на то, что у них одинаковый алгоритм обучения. Разброс составляет от 0,05 до 1,87%.
1.0
-1.00 -0.75 -0.50 -0.25 0.00 0.25 0.50 0.75 1.00 ш, %
а) б)
Рис. 4. График изменения и при вариации весовых коэффициентов синапсов нейронов ИНСМ 3. Разброс допустимых погрешностей составляет от 0,35 до 1,0%.
коэффициенты на минимальное значение допуска из таблицы 1, одинаковое для каждого синапса. На рис. 5 приведены результаты эксперимента.
Из рис. 5, а) видно, что значение коэффициента ОУ и, хотя и отличается для каждой ИСНМ, однако в целом его значение положительно и близко к 1. Это говорит о том, что в данном случае произошла взаимная компенсация погрешностей синапсов. Данный факт вносит дополнительные ограничения на определение ОУ ИНСМ аналитически, т. к. учесть взаимную компенсацию погрешностей всех нейронов - является очень сложной задачей. Из рис. 5, б) видно, что при одинаковых значе-
ниях допуска на весовые коэффициенты взаимной компенсации не произошло, и наступил отказ ИНСМ.
Теперь смоделируем случайное распределение погрешностей весовых коэффициентов ИНСМ в интервалах значений из таблицы 1 по нормальному закону. Повторим эксперимент 10000 раз и построим гистограмму распределения значений критерия ОУ и. Из рис. 6 видно, что для ИНСМ 3 примерно в 45% случаев отказ не наступил. ИНСМ 1 и ИНСМ 2, абсолютно идентичные по параметрам, показывают очень большую (в 5,5 раз) разницу в ОУ.
Из данного эксперимента можно сделать следующие выводы:
1,0000 0,9000 0,8000 0,7000 0,6000 * 0,5000 0,1000 0,3000 0,2000 0,1000 0,0000
0.9459
+ ÜIT1 - йгг
■ Ami BANN 1 1ANN3
-25,10
-2,51
262,/Ю
■721,11^^736,!ß ■801,90
а) б)
Рис. 5. ОУ ИНСМ по критерию V: а) в случае моделирования погрешностей синапсов в соответствии с таблицей 1; б) в случае моделирования погрешностей синапсов на одинаковое значение.
1. Критерий и можно использовать как меру сравнения разных вариантов ИНСМ по ОУ. Из всех трёх ИНСМ видно, что наибольшая ОУ у ИНСМ 3.
2. Меры по обеспечению надежности и ОУ ИНСМ необходимо применять при реализации не только к аппаратным и (или) программным средствам, но и на функциональном уровне при создании модели.
3. Разные подходы к определению функциональных допусков ИНСМ приводят к разным значениям их ОУ. Необходимо разрабатывать методы, которые позволят устанавливать допуски на элементы ИНСМ, при которых она сможет функционировать с заданной ОУ.
Эксперимент №3. Теперь рассмотрим, как погрешности весовых коэффициентов ИНСМ на информационном уровне согласуются с погрешностями физических параметров мемри-сторов. Имитационная модель ИНСМ представлена на рис. 7. Эксперимент проведём на примере синапса с весовым коэффициентов w = 0,1 и допуском Дт = ±1,0 %. Результаты эксперимента занесём в таблицу 2.
Каждый синапс ИНСМ реализован из четырёх мемристоров в виде моста. Данная структура предложена в работе [15]. Значения мем-ристивности связаны со значением весового коэффициента для данной ИНСМ соотношением (1) [15]
W = -
M,
M„
M+M2
M3 + M4
(1)
-500 -400 -300 -200 -100 О
б)
3000 7000 6000 5000 4000 3000 2000 1000
-50 -40 -30 -20 -10 0
в)
Рис. 6. Гистограммы распределения значений коэффициента V:
а) ИНСМ 1, К > 0 ~ 1100 раз (в 11% случаев);
б) ИНСМ 2, К > 0 ~ 270 раз (в 2,7% случаев); в) ИНСМ 3, К > 0 ~ 4350 (в 43,5% случаев)
V1
>-Ч>
Input signal generator
О
Controlled Voltage Source
Out1 Inp1
Out2 Inp2
Inp Gut3 Inp3 Out
Qut4 Inp4
Out5 Inp5
M>
PS S —► ь. Outputs
Output Voltage
Hidden layer Output layer
Output Signal To Workspace
— end
Рис. 7. Имитационная модель ИНСМ в MATLAB
Scope
на нелинейность изменения весового коэффициента синапса нейрона (рис. 8)
где
[ ш)
ш D
Fp (ш) = 1-|2-Ш-1| (2)
,2p
D
отношение пере-
где М\, М2, М3, М4 - мемристивности четырёх мемристоров моста.
В соответствии с таблицей 2, если принять все мемристоры идеальными, то максимальное отклонение мемристивности в 200 ОМ приведёт к изменению весового коэффициента равного 0,1 на 1%. Это означает, что если допуск на изменение весового коэффициента менее 1%, то при изменении мемристивности мемри-сторов синапса на 200 Ом в случае влияния непредусмотренных дестабилизирующих факторов приведет к отказу ИНСМ.
Производственные погрешности мемристо-ров смоделируем в соответствии с соотношением (2) [15]. Значение параметра р влияет
Таблица 2. Результаты экспериментального определения допуска на физические параметры ИНСМ
Мемристор Мемристивность, Ом
W W± Ада % AW
М1 18180 17980 200
М2 22200 22400 200
М3 22200 22400 200
М4 18180 17980 200
менной состояния мемри-стора к его толщине.
Смоделируем случайное распределение погрешностей весовых коэффициентов синапсов нейронов ИНСМ изменяя значение параметра р в разных пределах. Результаты эксперимента представлены на рис. 9.
Задав различные значения параметра р для каждого мемристора можно оценить ОУ ИНСМ по критерию и. При случайно заданном коэффициенте р от 1 до 10 мемристивно-сти отклонились от номинальных теоретических значений в интервале от 100 до 500 ОМ. В результате эксперимента в работоспособном состоянии осталась только ИНСМ 3 так как значение и для всех трёх случаев > 0 (рис. 9 а-в).
Из данного эксперимента можно сделать следующие выводы:
1. Значение допуска на весовой коэффициент синапса ИНСМ позволит установить допуски на параметры его элементов.
2. Необходимо разработать методы и средства оценки распределения погрешностей параметров мемристоров, для согласования с допусками на весовые коэффициенты.
3. На этапе конструирования ИНСМ, инженеру следует выбрать такие параметры мемристоров, чтобы учесть допуск на весовые коэффициенты.
4. Необходимо разработать комплекс мер по обеспечению потенциальной ОУ ИНСМ, полученной на их функциональных моделях в процессе производства и эксплуатации (аппаратное дообучение,
I ANN 1 ■ ANN 2 ■ ANN 3 Я ANN 1 ■ ANN 2 ■ ANN 3 ■ ANN 1 ■ ANN 2 ■ ANN 3
а) б) в)
Рис. 9. ОУ ИНСМ 1, 2, 3 по критерию U при различных значениях параметра p
а) [8-10]; б) [5-7]; в) [1-4]
методы и регламент тестирования, технической диагностики и др.).
Заключение
В работе сформулирован и применен общий подход к проектированию ИНСМ с заданной ОУ. Показано, что решение задачи обеспечения заданной ОУ ИНСМ связано с решением задач обеспечения заданной точности их функционирования на всех уровнях структурно-функциональной иерархии. На практических примерах показано, что, вопреки утверждению некоторых исследователей, потенциально высокая ОУ ИНСМ не обеспечивается автоматически, зависит от многих факторов и требует реализации специальных технологий на этапах создания численной модели, проектирования, производства и эксплуатации ИНСМ. Предложен модифицированный вариант количественного критерий ОУ, на основании значений которого можно строить схемы надежности ИНСМ, рассчитывать и оптимизировать их надежность по действующим межгосударственным и российским стандартам. Для повышения ОУ ИНСМ необходимо либо увеличивать разницу между допустимым и достигнутым при обучении значениями показателя качества работы, либо снижать изменение показателя качества работы ИНСМ при отказе каждого структурного элемента (его физической и (или) информационной составляющей) за счёт уменьшения значения соответствующе-
го коэффициента влияния дестабилизирующего фактора на функциональные параметры. Количественный критерий отказоустойчивости позволяет получить дополнительную информацию о свойствах ИНСМ и может быть рекомендован для применения как в теоретических исследованиях, так и в инженерной практике.
Работа выполнена при поддержке гранта РФФИ 19-07-01215.
Литература
1. Научный семинар «Нейроморфные системы и их реализация» [Электронный ресурс] // НИИ Молекулярной электроники. 2018. 24 января. URL: http://www.niime.ru/press-center/news/440-nauchnyy-seminar-neyromorfnye-sistemy-i-ikh-realizatsiya-proshel-v-niime-/ (дата обращения: 5.09. 2018).
2. Merritt R. AI Becomes the New Moore's Law [Электронный ресурс] // EE Times. 2018. 13 июля. URL: https://www.eetimes.com/document.asp?doc_id= 1333471 (дата обращения: 3.09.2018).
3. Derbyshire K. Integrating Memristors for Neuromorphic Computing [Электронный ресурс] // Semiconductor Engineering. 2018. 16 мая. URL: https://semiengineering.com/integrating-memristors-for-neuromorphic-computing/ (дата обращения: 25.03.2019)
4. Старовойтов А.В., Галушкин А.И. Новые технологии микроэлектроники и разработки перспективных нейрокомпьютеров // Информатизация и связь. 2017. №1. С. 7-17.
5. Chua L. Five non-volatile memristor enigmas solved // Applied Physics. 2018. 124. Pp. 563-606. DOI: 10.1007/s00339-018-1971-0.
6. Mario Lanza et al. Recommended Methods to Study Resistive Switching Devices // Adv. Electron. Mater. 2019, 5. 1800143. DOI: 10.1002/aelm.20180 0143.
7. Merrikh Bayat F., Prezioso M., Chakrabarti B., Kataeva I., Strukov D. Implementation of Multilayer Perceptron Network with Highly Uniform Passive Memristive Crossbar Circuits // Nature communications. 2018. No. 9 (1). 2331.
8. Степанов А.В., Белов А.И., Окулич Е.В., Шуйский Р.А., Королев Д.С., Михайлов А.Н. Улучшение параметров мемристоров на основе оксида кремния методом ионного облучения // Вестник Чувашской государственной сельскохозяйственной академии. 2018. № 1 (4). С. 87-91.
9. Galushkin A.I., Danilin S.N., Shchanikov S.A. The research of memristor-based neural network components operation accuracy in control and communication systems // 2015 International Siberian Conference on Control and Communications, SIBCON 2015 - Proceedings. 2015. Pp. 1-6. DOI: 10.1109/SIBC0N. 2015.7147034.
10. Галушкин А.И. Нейронные сети: основы теории. М.: Горячая линия - Телеком, 2013. 496 с.
11. Данилин С.Н., Щаников С.А., Сакулин А.Е. Определение функциональных допусков искусст-
Поступила 22 апреля 2019 г.
венных нейронных сетей на основе наномемристо-ров // Вестник Рязанского государственного радиотехнического университета. 2017. № 3 (61). С. 25-31. DOI: 10.21667/1995-4565-2017-1-3-25-31.
12. Жиганов С.Н., Гашин И.В. Построение модели тестового изображения // Радиотехнические и телекоммуникационные системы. 2012. № 2 (6). С. 31-35.
13. Хлебнов Е.С., Жиганов С.Н. Исследование работы алгоритма классификации Байеса // Методы и устройства передачи и обработки информации. 2014. № 16. С. 67-69
14. Danilin S.N, Shchanikov S.A., Panteleev S.V. Determining Operation Tolerances of Memristor-Based Artificial Neural Networks // Engineering and Telecommunication (EnT), 2016 International Conference on. 2016. Pp. 34-38. D0I:10.1109/EnT.2016.016.
15. Adhikari et al. Memristor Bridge Synapse-Based Neural Network and Its Learning // IEEE Transactions on neural networks and learning systems. 2012. Vol. 23. No. 9. Pp. 1426-1435.
English
ENGINEERING OF MEMRISTOR-BASED ARTIFICIAL NEURAL NETWORKS WITH PRESET FAULT TOLERANCE
Danilin Sergey Nikolayevich - Candidate of Technical Sciences, Associate Professor, Department of Computer-aided Designing System of Electronic Devices, Murom Institute (Branch) "Vladimir State University named after A.G. and N.G. Stoletov".
E-mail: [email protected].
Shchannikov Sergey Andreyevich - Candidate of Technical Sciences, Associate Professor, Dean of Information Technologies Department, Murom Institute (Branch) "Vladimir State University named after A.G. and N.G. Stoletov".
E-mail: [email protected].
Zuyev Anton Dmitriyevich - Engineer, Department of Computer-aided Designing System of Electronic Devices, Murom Institute (Branch) "Vladimir State University named after A.G. and N.G. Stoletov".
E-mail: [email protected].
Bordanov Ilya Alexeyevich - Fourth-year Undergraduate Student in major "Applied Information Science", Murom Institute (Branch) "Vladimir State University named after A.G. and N.G. Stoletov".
E-mail: [email protected].
Sakulin Alexander Yevgenyevich - Fourth-year Undergraduate Student in major "Information Systems and Technologies", Murom Institute (Branch) "Vladimir State University named after A.G. and N.G. Stoletov".
E-mail: [email protected].
Address: 602264, Russia, Vladimirskaya Oblast, Murom, Orlovskaya, 23. Abstract: Publications of leading foreign and Russian experts and researchers manifest that the most promising elements of the technical aids for the implementation of next-generation supercomputers that are being created lately are nanomemristors. The main reason for this phenomenon is that the new hardware components enable to make ultra-high-performance computing aids with technical, power and economic features that exceed the existing ones by a huge ratio. Vital and new stage of work is mastering new algorithms and approaches to their system engineering according to the leading experts in this field. The paper defines and applies general ap-
proach to engineering nanomemristor-based artificial neural network-based (NMANN) with preset fault tolerance, (FT). It is shown that problem solution of ensuring the preset FT for NMANN is related to problem solution of ensuring the preset accuracy of their functioning at all levels of the structural and functional hierarchy. The given practice-oriented examples testify contrary to the statement of some researchers and potentially high FT for NMANN is not provided automatically, and depends on many factors and requires the implementation of special technologies at the stages of creating a numerical model, engineering, manufacturing and operation of NMANN. A modified version of the quantitative criterion of FT is proposed, on the basis of which it is possible to construct NMANN reliability diagrams, to calculate and optimize their reliability according to the current interstate and Russian standards. To raise FT for NMANN it is necessary either to increase the gap between admissible and achieved indicator values in operation quality when learning, or to reduce the indicator variation in NMANN operation quality in case of failure of each structural element (its physical and (or) information component) by reducing the indicator value of corresponding influence coefficient of destabilizing factor on functional parameters. The quantitative criterion of fault tolerance provides additional information about NMANN properties and it can be recommended for use in both theoretical research and engineering practice. The research work is carried out with assistance of RFBR grant 19-07-01215.
Keywords: artificial neural networks, memristors, neurocomputers, engineering, accuracy, fault tolerance, reliability, performance.
References
1. Merritt R. AI Becomes the New Moore's Law [Electronic resource]. EE Times. 2018. July 13th. URL: https://www.eetimes.com/document.asp?doc_id=1333471 (Access date: 03.09.2018).
2. Scientific Seminar "Neuromorphic systems and their implementation" [Electronic resource]. Research Institute of Molecular Electronics. 2018. Jan. 24th URL: http://www.niime.ru/press-center/news/440-nauchnyy-seminar-neyromorfnye-sistemy-i-ikh-realizatsiya-proshel-v-niime-/ (Access date 5.09. 2018).
3. Derbyshire K. Integrating Memristors for Neuromorphic Computing [Electronic resource]. Semiconductor Engineering. 2018, May 16th. URL: https://semiengineering.com/integrating-memristors-for-neuromorphic-computing/ (Access date: 25.03.2019).
4. Starovoitov A.V., Galushkin A.I. New technologies of microelectronics and development of advanced neurocomputers. IT and communication. 2017. No. 1. Pp. 7-17.
5. Chua L. Five non-volatile memristor enigmas solved. Applied Physics. 2018. 124. Pp. 563-606. DOI: 10.1007/s00339-018-1971-0.6.
6. Mario Lanza et al. Recommended Methods to Study Resistive Switching Devices. Adv. Electron. Mater. 2019, No. 5. 1800143. DOI: 10.1002/aelm.201800143.
7. Merrikh Bayat F., Prezioso M., Chakrabarti B., Kataeva I., Strukov D. Implementation of multiplayer Percep-tron Network with Highly Uniform Passive Memorial Crossbar Circuits. Nature communications. 2018. No. 9 (1). 2331.
8. Stepanov A.V., Belov A. I., Okulich E. V., Shuisky R.A., Korolev D.S., Mikhailov A.N. Parameter improvement of silicon oxide-based memristors through ion irradiation. Bulletin of Chuvash State Agricultural Academy. 2018. No. 1 (4). P. 87-91.
9. Galushkin A.I., Danilin S.N., Shchanikov S.A. The research of memory-based neural network components operation accuracy in control and communication systems // 2015 International Siberian Conference on Control and Communications, SIBCON 2015 - Proceedings. 2015. Pp. 1-6. D0I:10.1109/SIBC0N.2015.7147034.
10. Galushkin A.I. Neural networks: Theory fundamentals. Moscow: Goryachaya liniya - Telekom, 2013. 496 p.
11. Danilin S.N., Shchanikov S.A., Sakulin A.E. Defining functional tolerances of nanomemristor-based artificial neural networks. Bulletin of Ryazan State Radio Engineering University. 2017. No. 3 (61). Pp. 25-31. DOI: 10.21667/1995-4565-2017-1-3-25-31.
12. Zhiganov S.N., Gashin I. V. Modelling of test image. Radio Engineering and telecommunication systems. 2012. No. 2(6). Pp. 31-35.
13. Klebnov E.S. Zhiganov S.N. Investigation of Bayes classification algorithm. Methods and devices of transmitting and processing information. 2014. No. 16. Pp. 67-69
14. Danilin S.N., Shchanikov S.A., Panteleev S. V. Determining Operation Tolerances of Memory-Based Artificial Neural Networks. Engineering and Telecommunication (EnT), 2016 International Conference on. 2016. Pp. 34-38. DOI: 10.1109/EnT.2016.016.
15. Adhikari et al. Memristor Bridge Synapse-Based Neural Network and Its Learning. IEEE Transactions on neural networks and learning systems. 2012. Vol. 23. No. 9. Pp. 1426-1435.
