CC BY
33Методы машинного обучения для оптимизации проектирования нейроморфных систем
Агарков Юрий Юрьевич
инженер-исследователь, yura.agarkov@gmail.com
Применение методов машинного обучения (1^) для оптимизации проектирования нейроморфных систем показало значительный потенциал. В этой статье исследуется успешное использование контролируемых, неконтролируемых алгоритмов обучения и алгоритмов обучения с подкреплением для повышения производительности, энергоэффективности и адаптивности нейроморфных конструкций. Однако необходимо решить такие проблемы, как требования к данным, переоснащение, вычислительная сложность, интерпретируемость, чувствительность к гиперпараметрам и адаптация к реальным условиям. Будущие направления исследований включают разработку продвинутых алгоритмов обучения, которые могут работать с ограниченными данными и предоставлять интерпретируемые модели. Кроме того, необходимы адаптивные алгоритмы обучения, способные корректироваться в режиме реального времени, и эффективные вычислительные подходы. Интеграция предварительных знаний в алгоритмы обучения и повышение устойчивости к шуму и выбросам являются важными областями для изучения. Кроме того, интеграция процессов обучения и проектирования открывает многообещающие возможности для улучшения оптимизации системы. Решая эти задачи и исследуя направления на будущее, мы можем еще больше расширить применение в проектировании нейроморфных систем, что приведет к инновационным решениям в области электроники и микроэлектроники. Ключевые слова: методы машинного обучения, проектирование, нейроморфные системы, нейронные сети, генетические алгоритмы, оптимизация с подкреплением.
Введение
Нейроморфные системы - это аппаратные системы, которые спроектированы на основе современных знаний о том, как функционирует биологическая нервная система. Такие системы позволяют применять методы и технологии искусственного интеллекта в био-подобной аппаратной среде с существенными преимуществами относительно современных вычислительных устройств (CPU, GPU, TPU и т.д.) [1]. Термин "нейроморфные" происходит от латинского слова "neuro" (нерв) и греческого слова "morphe" (форма), и описывает модели и системы, которые имеют форму или структуру, аналогичную нервной системе [3].
Нейроморфные системы могут применяться в обработке сенсорной информации, распознавании образов, классификации данных, обучении, адаптации и принятии решений, используя искусственные нейронные сети, вдохновленные (inspired) архитектурой и функционированием мозга. Нейро-морфные системы могут быть представлены электронными схемами специфического назначения, вычислителей общего назначений, например, нейроморфные чипы или системы на кристалле (SoC), которые могут выполнять вычисления с низким энергопотреблением и имитировать функции нервной системы.
Одной из основных целей разработки нейроморфных систем является создание энергоэффективных, более быстрых и гибких систем искусственного интеллекта, которые могут имитировать сложные когнитивные функции биологических организмов [2]. Нейроморфные системы находят применение в различных областях, таких как компьютерное зрение, робототехника, автономные транспортные средства, медицина и другие, и могут предложить новые возможности для решения сложных задач и проблем [4].
Обзор литературы
В этом разделе мы рассмотрим основные работы в области применения методов машинного обучения для оптимизации проектирования нейроморфных систем.
Ранние работы. Использование машинного обучения для оптимизации нейроморфных конструкций восходит к некоторым из самых ранних работ в этой области. Например, новаторская работа Мида в 1980-х и начале 1990-х годов по использованию технологий СБИС (очень крупномасштабной интеграции) для построения нейроморфных систем заложила основу для последующих разработок в этой области [5].
Исследования в области нейроморфных вычислительных систем (NCS) и мемристоров. Были проведены значительные исследования, изучающие потенциал нейроморфных вычислительных систем (NCS), вдохновленных работой человеческого мозга. Одним из основных технологических достижений, которые еще больше стимулировали развитие NCS, стало открытие мемристоров. Исследования, проведенные на NCS на основе мемристоров, показали потенциал в преодолении нескольких проблем, связанных с современной структурой мемристорных поперечин. Например, были предложены надежные методы проектирования для эффективного смягче-
X X
о го А с.
X
го m
о
2 О
м
CJ
fO CS
о
CS
to
о ш m
X
<
m О X X
ния воздействия шумов, создаваемых изменениями технологического процесса и перепадом инфракрасного излучения через перекладину [6].
AutoNCS - платформа EDA. Кроме того, еще одним значительным вкладом в исследования в этой области является разработка AutoNCS - платформы EDA, которая может автоматизировать проектирование NCS, сочетая мемристорные перемычки и дискретные синапсовые модули. Эта инновационная работа рассматривала проблему эффективности при сопоставлении нейронной сети со структурой ригелей и продемонстрировала, что эффективность использования мемри-сторных ригелей может быть существенно повышена при одновременном сокращении длины провода, площади и задержки физических конструкций NCS [7].
Контролируемое обучение в нейроморфных системах. Многочисленные исследования изучали применение методов контролируемого обучения для оптимизации нейроморфных конструкций. Например, Lee et al. (2016) продемонстрировали, как обратное распространение может быть адаптировано для использования с спайковыми нейронными сетями, предоставляя средства для обучения этих сетей для выполнения различных задач [8].
Неконтролируемое обучение в нейроморфных системах. Также широко изучалось обучение без присмотра. Например, Дил и Кук (Diehl and Cook, 20l5) показали, как неконтролируемое обучение может быть использовано для обучения нейронной сети с высокой скоростью распознавания образов, что является наглядным примером того, как неконтролируемое обучение может быть применено к нейроморфным системам [9].
Обучение с подкреплением в нейроморфных системах. Использование обучения с подкреплением в нейроморфных системах было исследовано такими исследователями, как Дэвис и др. (2018), которые показали, как нейроморфная система может научиться играть в теннис с помощью обучения с подкреплением, продемонстрировав потенциал этого подхода для интерактивных приложений в режиме реального времени [10].
Машинное обучение для оптимизации дизайна. Также было изучено применение методов машинного обучения специально для оптимизации проектирования. Например, Шуман и др. (2020) использовали генетические алгоритмы, разновидность машинного обучения, для оптимизации дизайна нейро-морфной системы для конкретной задачи [11].
Последние достижения. Недавно началась работа по изучению более продвинутых методов машинного обучения и их применению к нейроморфным системам. Например, Нефтчи и др. (2020) исследовали использование методов глубокого обучения для оптимизации нейроморфных систем, показав, как эти методы могут быть использованы для повышения эффективности и быстродействия таких систем [12].
Таким образом, литература по использованию методов машинного обучения для проектирования нейроморфных систем обширна и продолжает расти. В настоящем обзоре представлен обзор ключевых работ в этой области и освещается значительный прогресс, который был достигнут, а также проблемы и возможности, которые ждут нас впереди.
Методы машинного обучения в оптимизации проектирования нейроморфных систем
Разновидности методов машинного обучения представлены на рисунке 1.
1. Контролируемое обучение и его применимость к нейроморфным системам.
Алгоритмы контролируемого обучения предназначены для изучения помеченных наборов данных с целью прогнозирования результатов на основе входных данных. Они являются эф-
фективным способом обучения моделей, когда желаемые результаты известны и четко определены. В контексте нейроморфных систем алгоритмы контролируемого обучения могут играть существенную роль в настройке и оптимизации производительности динамических нейронных сетей (SNNS), которые являются ключевым элементом многих нейроморфных систем. Сопоставляя входные данные (такие как нейронные связи, синаптические веса или пороговые значения срабатывания) с желаемыми выходными данными (такими как энергоэффективность или вычислительная мощность), контролируемое обучение может направлять процесс проектирования для достижения оптимальной производительности [13].
Контролируемое Неконтролируемое обучение обучение
Обучение с подкреплением
Рисунок 1 - Методы машинного обучения
2. Неконтролируемое обучение и его применимость к нейроморфным системам.
Неконтролируемое обучение, в отличие от контролируемого обучения, работает с немаркированными данными и направлено на обнаружение скрытых закономерностей или структур в этих данных. Это чрезвычайно полезно, когда неясно, что искать в наборе данных. При оптимизации нейро-морфного дизайна могут использоваться неконтролируемые алгоритмы обучения для выявления закономерностей или тенденций в данных, которые могут привести к улучшению стратегий проектирования. Например, эти алгоритмы могут быть использованы для обнаружения оптимальных синаптических конфигураций в SNNS или извлечения соответствующих функций для проектирования нейроморфных систем, что приводит к созданию более эффективных и высокопроизводительных нейроморфных архитектур [14].
3. Обучение с подкреплением и его применимость к нейроморфным системам.
Обучение с подкреплением - это разновидность машинного обучения, при котором агент учится принимать решения, предпринимая действия в среде для достижения максимального вознаграждения. Процесс обучения включает в себя систему поощрений и штрафов, которые помогают агенту оптимизировать свои решения с течением времени. В контексте нейроморфных систем обучение с подкреплением может быть использовано для итеративного улучшения дизайна и производительности нейроморфных систем в динамичной среде. Это особенно применимо при проектировании нейроморфных систем для приложений реального времени, где система должна постоянно адаптироваться и оптимизировать свою производительность в зависимости от меняющейся среды и требований задач [15].
Таким образом, каждый из этих различных методов машинного обучения обладает уникальными возможностями, которые можно использовать для улучшения дизайна и производительности нейроморфных систем. Их уместность и эффективность будут зависеть от конкретной задачи проектирования и имеющихся данных. Тщательно выбирая и применяя эти методы, можно значительно повысить эффективность, быстродействие и адаптивность нейроморфных систем.
Применение методов для оптимизации проектирования нейроморфных систем.
Контролируемое обучение может быть использовано для оптимизации проектирования нейроморфных систем, предоставляя надежный метод корреляции параметров проектирования с желаемыми результатами производительности. Благодаря использованию помеченных обучающих данных эти алгоритмы могут научиться предсказывать результаты производительности на основе входных проектных параметров. Эти изученные модели затем могут направлять процесс проектирования, позволяя проектировщикам разумно выбирать параметры, оптимизирующие производительность системы. Например, используя контролируемый подход к обучению, мы можем настроить нейронные связи и синаптические веса в динамичной нейронной сети для оптимизации под конкретную задачу, такую как распознавание образов или обработка сенсорных данных [16].
Неконтролируемые алгоритмы обучения могут дать представление о базовых закономерностях в немаркированных проектных данных. Это делает их особенно полезными при проектировании нейроморфных систем, где понимание сложных, часто многомерных данных имеет решающее значение. Например, неконтролируемое обучение может быть использовано для идентификации кластеров или групп сходных нейро-морфных структур на основе общих характеристик. Затем эта информация может быть использована для обоснования проектных решений. Кроме того, неконтролируемые методы обучения, такие как уменьшение размерности, могут быть полезны для упрощения сложных задач проектирования, делая их более управляемыми и понятными [17].
Обучение с подкреплением характеризуется исследованием методом проб и ошибок и получением знаний на основе обратной связи. Этот итеративный процесс делает его очень подходящим для оптимизации конструкций нейроморфных систем, которые часто требуют многих циклов проектирования, тестирования и доработки. Например, алгоритм обучения с подкреплением может корректировать синаптические веса и пороговые значения срабатывания нейронов в динамичной нейронной сети в ответ на обратную связь о производительности системы при выполнении конкретной задачи. Со временем алгоритм может научиться вносить коррективы, которые улучшают производительность системы, приводя к более оптимальному дизайну [18].
Таким образом, каждый из этих методов машинного обучения предлагает различные и ценные способы оптимизации проектирования нейроморфных систем. Контролируемое обучение обеспечивает способ оптимизации параметров проектирования непосредственно на основе результатов производительности, неконтролируемое обучение может выявить основные закономерности в проектных данных, которые могут служить основой для принятия проектных решений, а обучение с подкреплением предлагает итеративный подход к оптимизации проектирования, основанный на обратной связи. Понимая и применяя эти методы надлежащим образом, можно значительно повысить эффективность и быстродействие нейро-морфных систем.
Примеры успешного применения этих методов в оптимизации проектирования нейроморфных систем.
Примером успешного применения контролируемого обучения в оптимизации нейроморфного дизайна является использование обратного распространения при обучении спайковых или искусственных нейронных сетей (SNNS). SNNS, которые имитируют поведение биологических нейронов, продемонстрировали значительный потенциал в области энергоэффек-
тивных вычислений. Обратное распространение, распространенный метод обучения под наблюдением, был адаптирован для использования в SNNS (несмотря на их недифференциру-емую природу) и привел к повышению производительности в таких задачах, как распознавание изображений и обработка сенсорных данных.
Неконтролируемое обучение также нашло свое применение в нейроморфных системах. Ключевым примером является использование самоорганизующихся карт (SOMS) в нейро-морфном дизайне. SOMs, тип искусственной нейронной сети, которая обучается с использованием неконтролируемого обучения, может быть использован для создания топологически упорядоченных карт входных данных. Это было эффективно применено в нейроморфных системах, разработанных для таких задач, как обнаружение аномалий в потоках данных и распознавание образов, что привело к созданию систем, способных адаптироваться к их входным данным и обеспечивать эффективные и высококачественные выходные данные.
Обучение с подкреплением показало особые перспективы в нейроморфных системах управления. Примечательным примером является использование Q-leaming, безмодельного алгоритма обучения с подкреплением, для оптимизации политики управления нейроморфными системами. Это было продемонстрировано в таких задачах, как навигация роботов, где нейроморфная система управления смогла методом проб и ошибок выработать оптимальную навигационную политику, что привело к высокой эффективности навигации.
Таким образом, эти примеры подчеркивают потенциал методов машинного обучения в оптимизации проектирования нейроморфных систем. Каждый метод обладает уникальными преимуществами, и их успешное применение может значительно повысить эффективность, адаптивность и быстродействие этих систем. По мере продолжения исследований в этой области мы можем ожидать более инновационного применения этих методов, еще больше расширяя границы того, чего могут достичь нейроморфные системы.
Проблемы и ограничения
Хотя методы машинного обучения обладают значительным потенциалом для оптимизации проектирования нейро-морфных систем, существует ряд проблем и ограничений в их применении (рис. 2):
Требования к данным
Проблемы и ограничения
Переоснащение и обобщение
Вычислительная сложность
Интерпретируемость и прозрачность
Чувствительность к гиперпараметрам
* Адаптация к реальному миру Рисунок 2 - Проблемы и ограничения
1. Требования к данным: Алгоритмы машинного обучения обычно требуют больших объемов высококачественных данных для эффективного обучения. В контексте проектирования
X X
о
го А с.
X
го т
о
2 О
м
Сл>
fO
сч о cs
иэ
о ш m
X
<
m о х
X
нейроморфных систем эти данные не всегда могут быть легкодоступны. Кроме того, маркировка данных для обучения под наблюдением может быть длительным и трудоемким процессом, который может оказаться неосуществимым во всех ситуациях [19].
2. Переоснащение и обобщение: Алгоритмы машинного обучения, особенно сложные, такие как глубокие нейронные сети, подвержены переобучению, когда они хорошо работают с обучающими данными, но плохо с новыми, невидимыми данными. Это может быть особенно проблематично при проектировании нейроморфных систем, где часто важна способность к обобщению для новых задач или условий.
3. Вычислительная сложность: Некоторые алгоритмы машинного обучения требуют значительных вычислительных ресурсов для обучения и применения. Это может сделать их применение неосуществимым в определенных контекстах, особенно в приложениях реального времени или при ограниченных вычислительных ресурсах [20].
4. Интерпретируемость и прозрачность: Алгоритмы машинного обучения, особенно те, которые основаны на сложных нейронных сетях, часто критикуются за то, что они являются "черными ящиками", а это означает, что их внутреннюю работу трудно интерпретировать. Такое отсутствие прозрачности может затруднить понимание и объяснение того, как алгоритм принимает свои решения, что может быть проблематичным в определенных контекстах, особенно при отладке или улучшении дизайна [21].
5. Чувствительность к гиперпараметрам: Алгоритмы машинного обучения часто включают в себя несколько гиперпараметров, которые необходимо правильно настроить для достижения оптимальной производительности. Выбор правильных гиперпараметров может оказаться сложной задачей и может существенно повлиять на производительность алгоритма [22].
6. Адаптация к реальному миру: Хотя алгоритмы машинного обучения могут хорошо работать в контролируемых средах или при выполнении конкретных задач, им может быть трудно адаптироваться к сложности и непредсказуемости условий реального мира. Это может представлять серьезную проблему для нейроморфных систем, предназначенных для применения в реальном мире [23].
В заключение, хотя машинное обучение предоставляет мощные инструменты для оптимизации нейроморфных систем, необходимо тщательно учитывать эти проблемы и ограничения. Для решения этих проблем и полной реализации потенциала машинного обучения в этой захватывающей области требуются дальнейшие исследования и разработки.
Практический пример реализации алгоритма машинного обучения
Алгоритмы машинного обучения (1^) могут быть применены на всех уровнях предложенной схемы (рис. 3).
Печатная плата
> О
> СП
Нейровычислитель
Топология ядра
\3 /
Рисунок 3 - Области применения методов машинного обучения для оптимизации проектирования нейроморфных систем
Рассмотрим, как алгоритмы ML могут быть применены на каждом уровне:
1. Электрическая схема (уровень печатных плат):
• Подбор компонентов по метрикам: Можно использовать алгоритмы ML для анализа различных метрик, таких как стоимость, энергопотребление, скорость и производительность компонентов, и рекомендовать оптимальные компоненты для заданной схемы.
• Рекомендации по подключению: Алгоритмы ML могут анализировать существующие электрические схемы и предлагать оптимальные варианты подключения компонентов с целью улучшения производительности, снижения помех и других характеристик.
• Автотрассировка: Алгоритмы ML могут использоваться для автоматической трассировки печатных плат, оптимизации расположения проводников и минимизации помех, с учетом заданных ограничений и требований.
2. Нейровычислители (уровень электронных компонент):
• Подбор и оптимизация параметров запуска нейросе-тей: Алгоритмы ML могут помочь определить оптимальные параметры запуска нейронных сетей на микросхеме, такие как оптимальные параметры входа и выхода, расположение слоев нейросети в памяти нейровычислителей, и другие гиперпараметры, чтобы достичь наилучшей производительности и эффективности.
3. Топология ядра (уровень архитектуры ядра):
• Подбор и оптимизация параметров топологии: Алгоритмы ML могут использоваться для анализа и оптимизации параметров топологии ядра, таких как плотность размещения компонентов, тепловыделение, производительность, потребление энергии и другие параметры, с учетом заданных ограничений и требований.
4. Ячейка (базовые элементы топологии ядра):
• Подбор и оптимизация параметров ячейки: Алгоритмы ML могут помочь в оптимизации параметров отдельных ячеек, таких как размеры и формы ячеек, материалы, используемые в ячейках, и другие параметры, чтобы достичь оптимальной производительности, энергоэффективности и других требуемых характеристик.
Общая схема показывает, что алгоритмы машинного обучения могут быть применены на каждом уровне для оптимизации и улучшения различных параметров и характеристик, а также для предоставления рекомендаций, которые могут помочь в проектировании электрических схем, разработке микросхем и оптимизации параметров топологии и ячеек. Применение этих алгоритмов на всех уровнях схемы имеет значительный потенциал для ускорения процесса разработки, улучшения производительности и эффективности системы, а также способствует созданию более надежных и оптимальных решений. Таким образом, алгоритмы машинного обучения играют ключевую роль в преодолении вызовов, связанных с проектированием и оптимизацией схем, и внедрении инноваций в области электроники и микроэлектроники.
Для наглядной демонстрации применения методов ML, рассмотрим уровень нейровычислителя, как самого доступного для разработчиков. На рисунке 4.a изображена структурная схема последовательности действий для реализации аппаратного решения, на рисунке 4.b приведен результат пространственной оптимизации нейросети в ячейках нейровычис-лителя.
Входные параметры для работы алгоритма оптимизации
1. Архитектура нейросети (Neuronet architecture) - на вход алгоритма подается описание того, как представлена нейросеть, сколько слоев и их параметры.
2. Аппаратные блоки (IP blocks): Нейровычислитель представляет собой набор различных IP блоков (т.н. компонент) из которых может быть построена интегральная схема аппаратного решения для ускорения нейросети. На вход алгоритма оптимизации указываются, какие блоки могут быть использованы для автоматизированного проектирования и какие ограничения на их использование.
3. Обученная нейросеть и размеченный пакет данных: На вход алгоритма оптимизации подается веса обученной нейросети и размеченный датасет для пространственного размещения в ячейках нейровычислителя. Также могут быть учтены функции активации и другие параметры.
Hardware solution
Hardware solution
Neuronet Layers:
Core 1
Core 2
Core 3
i
Core 4
H Layer 1
■■ Layer 2
■■ Layer 3
Layer 4
Layer 5
■■ Layer 6
Layer 7
b)
Рисунок 4 - Подбор и оптимизация параметров запуска нейросетей
Описание процесса на картинке 4:
1. "Архитектура + блоки -> Аппаратная оптимизация = Системное архитектура решение"
В процессе разработки эффективного системного архитектурного решения важнейший первый шаг включает в себя объединение определенной архитектуры с назначенными функциональными блоками. Эта процедура инициирует фазу оптимизации аппаратного обеспечения, которая направлена на повышение эффективности и быстродействия базовой вычислительной инфраструктуры. Результатом этого комплексного процесса является оптимизированная архитектура системы, которая обеспечивает надежное и эффективное решение, способное соответствовать заданным вычислительным требованиям и спецификациям.
2. "Нейронная сеть + данные -> Квантизация нейронной сети = Квантизированная нейронная сеть"
В области искусственного интеллекта, особенно при развертывании нейронных сетей, ассимиляция нейронной сети и входных данных составляет основу системы. Следующим этапом является квантование нейронной сети. Это метод, используемый для снижения числовой точности весов и смещений сети, что позволяет значительно сократить использование памяти модели и вычислительные требования. Результатом этого процесса является квантованная нейронная сеть, которая сохраняет предсказательную способность исходной модели, используя при этом значительно меньше ресурсов.
3. Размещение системной архитектуры и квантизованной нейросети в блоках нейровычислителя.
После того, как системное архитектурное решение и квантованная нейронная сеть были созданы, они затем помещаются в вычислительные блоки нейропроцессора. Такое распо-
ложение обеспечивает оптимальное использование аппаратных ресурсов и облегчает эффективные вычислительные операции. Организация архитектуры системы и квантованной нейронной сети внутри этих вычислительных блоков играет решающую роль в максимизации общей производительности системы.
4. Симуляция с обратной связью в процесс проектирования, либо развертка аппаратного решения.
Заключительный этап включает в себя либо моделирование с обратной связью в процессе проектирования, либо развертывание аппаратного решения. В сценарии моделирования производительность системы оценивается в различных условиях, и любая обратная связь используется для уточнения и улучшения конструкции. Напротив, если проект соответствует требуемым критериям производительности, можно приступать непосредственно к развертыванию аппаратного решения. Выбранный путь зависит от конкретных целей проекта, требований и доступности ресурсов.
Таким образом, алгоритмы машинного обучения могут быть применены для подбора и оптимизации параметров запуска нейросетей на уровне нейровычислителя, что помогает достичь оптимальной производительности и эффективности модели на конкретной аппаратной платформе.
Будущие направления исследований
Учитывая обсуждаемые проблемы и ограничения, будущие исследования в области применения методов машинного обучения для проектирования нейроморфных систем, вероятно, будут сосредоточены на нескольких ключевых областях:
Продвинутые алгоритмы обучения. Новые алгоритмы обучения, которые могут эффективно обучаться с меньшим коли-
X X
о го А с.
X
го m
о
ю
2 О M
со
fO
es о es
<0
о ш m
X
3
<
m О X X
чеством данных, противостоять переобучению и предоставлять интерпретируемые модели, были бы полезны в этой области. Будущие исследования могли бы быть сосредоточены на разработке таких алгоритмов, возможно, черпая вдохновение из новых разработок в других областях машинного обучения или из процессов биологического обучения.
Адаптивное обучение. Разработка алгоритмов обучения, способных адаптироваться к изменяющимся условиям в режиме реального времени, была бы весьма полезна для многих нейроморфных приложений. Это может включать исследования алгоритмов онлайн-обучения, трансферного обучения или методов обучения на протяжении всей жизни, которые могут постоянно обучаться и адаптироваться с течением времени.
Эффективное обучение. Вычислительная эффективность алгоритмов обучения является серьезной проблемой, особенно для обучения на чипе в нейроморфных системах. Будущие исследования могли бы изучить более эффективные алгоритмы обучения или методы аппаратного ускорения обучения, возможно, используя присущий нейроморфному оборудованию параллелизм.
Учет предшествующих знаний. Чтобы устранить ограничения в данных, в будущих исследованиях можно было бы изучить методы включения предварительных знаний в алгоритмы обучения. Это может включать в себя использование методов обучения с полууправлением, которые позволяют извлекать уроки из комбинации помеченных и немаркированных данных, или использование знаний предметной области для руководства процессом обучения.
Надежное обучение. Повышение устойчивости алгоритмов обучения к шуму, выбросам и другим формам неопределенности является еще одной важной областью будущих исследований. Это может включать методы надежного обучения, оценки неопределенности или обнаружения выбросов.
Интеграция обучения и дизайна. Существует значительный потенциал для более тесной интеграции процессов обучения и проектирования в нейроморфных системах. Это может включать разработку методологий проектирования, которые явно включают обучение с самого начала, или изучение стратегий совместного проектирования, которые совместно оптимизируют дизайн и обучение.
В заключение, хотя использование методов машинного обучения при проектировании нейроморфных систем уже дало впечатляющие результаты, в этой области имеются значительные возможности для будущих исследований. Направления, изложенные выше, открывают захватывающие возможности для углубления нашего понимания и возможностей в этой важной области.
Заключение
Применение методов машинного обучения при проектировании нейроморфных систем продемонстрировало значительный потенциал. Различные методы, включая контролируемое обучение, обучение без присмотра и обучение с подкреплением, были успешно применены для оптимизации различных аспектов проектирования нейроморфных систем. Эти методы показали себя многообещающими в повышении энергоэффективности, адаптивности и производительности в таких задачах, как распознавание изображений, обнаружение аномалий и навигация роботов.
Однако необходимо устранить ряд проблем и ограничений. Требования к большим объемам высококачественных данных, потенциальная возможность переобучения, вычислительная сложность, проблемы с интерпретируемостью, чувствительность к гиперпараметрам и адаптация к условиям ре-
ального мира являются одними из ключевых проблем. Преодоление этих проблем и ограничений требует дальнейших исследований и разработок в этой области.
Будущие исследования в области применения методов машинного обучения для проектирования нейроморфных систем, вероятно, будут сосредоточены на нескольких ключевых областях. Были бы полезны продвинутые алгоритмы обучения, которые могут эффективно обучаться с ограниченными данными, бороться с переобучением и предоставлять интерпретируемые модели. Адаптивные алгоритмы обучения, способные адаптироваться к изменяющимся условиям в режиме реального времени, могли бы принести большую пользу различным нейроморфным приложениям. Кроме того, крайне важно изучить более эффективные в вычислительном отношении алгоритмы обучения и методы аппаратного ускорения, используя присущий нейроморфному оборудованию параллелизм.
Интеграция предварительных знаний в алгоритмы обучения могла бы помочь преодолеть ограничения данных. Это может включать в себя внедрение методов обучения под наблюдением или использование знаний предметной области для руководства процессом обучения. Повышение устойчивости алгоритмов обучения к шуму, выбросам и другим формам неопределенности является еще одной важной областью будущих исследований. Методы надежного обучения, оценки неопределенности и обнаружения выбросов необходимы для практического применения.
Более того, существует значительный потенциал в интеграции процессов обучения и проектирования в нейроморф-ных системах. Разработка методологий проектирования, которые явно включают обучение с самого начала, или изучение стратегий совместного проектирования и оптимизации могли бы привести к более эффективным решениям.
В заключение, хотя машинное обучение предоставляет мощные инструменты для оптимизации нейроморфных систем, решение вышеупомянутых проблем и изучение будущих направлений крайне важны. Выявленные области исследований открывают захватывающие возможности для углубления нашего понимания и возможностей в этой важной области. Продолжая продвигать применение машинного обучения в проектировании нейроморфных систем, мы можем раскрыть новые возможности, раздвинуть границы и создать инновационные решения в области электроники и микроэлектроники.
Литература
1. Аггарвал К. С. Нейронные сети и глубокое обучение. -Спрингер, 2018. - 497 с.
2. Асаи Т. Нейроморфная инженерия: от нейронных систем к инженерным системам, подобным мозгу. - Спрингер, 2020. - 192 с.
3. Жерон А. Практическое машинное обучение с помощью Scikit-Learn, Keras и TensorFlow. - О'Рейли Медиа, 2019. -856 с.
4. Гудфеллоу И., Бенжио Ю., Курвиль А. Глубокое обучение. - MIT Press, 2016. - 800 с.
5. Мид С. Нейроморфные электронные системы. Труды IEEE. - IEEE, 1990. - Том 78, № 10. - С. 1629-1636.
6. Вэй Вэнь, Чи-Руо Ву, Сяофан Ху, Бейе Лю, Цзун-И Хо, Синь Ли, Иран Чен. Фреймворк EDA для крупномасштабных гибридных нейроморфных вычислительных систем. Доклад конференции, 2015. Doi: 10.1145/2744769.2744795
7. Бейе Лю, Вэй Ван, Иран Чен, Синь Ли, Чи-Руо Ву, Цзун-И Хо. Задачи EDA для нейроморфных вычислений на основе мемристорных перекладин.
8. Ли Дж. Х., Дельбрук Т., Пфайффер М. Обучение нейронных сетей с глубокими скачками с использованием обратного распространения. Границы в нейробиологии. - Границы, 2016. - Том 10. - С. 508.
9. Диль П. У., Кук М. Неконтролируемое обучение распознаванию цифр с использованием пластичности, зависящей от времени скачка. Границы в вычислительной нейронауке. - Границы, 2015. - Том 9. - С. 99.
10. Дэвис М., Шриниваса Н., Лин Т. Х., Чинья Г., Цао Ю., Чодай С. Х., Димоу Г., Джоши П., Имам Н., Джейн С., Ляо Ю. С., Лин К. К., Лайнс А., Лю Р., Матайкутти Д., Маккой Д., Пол А., Цзе Дж., Венкатараманан Г., Венг Ю. Х., Уайлд А., Ян Х., Ван Х. Лойхи: нейроморфный многоядерный процессор с обучением на кристалле. IEEE Micro. - IEEE, 2018. - Том 38, № 1. - С. 82-99.
11. Шуман К. Д., Планк Дж. С., Дисней А., Рейнольдс Дж., Менденхолл М., Филлипс А., Бруер Г., Джеймс Дж., Роуз Г., Дин М., Даггер Дж., Минц М., Хербордт М. Исследование сложных сетей глубокого обучения на высокопроизводительных, нейро-морфных и квантовых компьютерах. Материалы Международной конференции ACM/IEEE по высокопроизводительным вычислениям, сетям, хранилищам и анализу (SC). - ACM/IEEE, 2020. - С. 1-14.
12. Нефтчи Э., Мостафа Х., Зенке Ф. Суррогатное градиентное обучение в пикирующих нейронных сетях. Журнал IEEE по обработке сигналов. - IEEE, 2020. - Том 37, № 6. - С. 51-63.
13. Бишоп, К. М. "Распознавание образов и машинное обучение". - Спрингер, 2006. - 738 с.
14. Мерфи К. П. "Машинное обучение: вероятностная перспектива" - MIT Press, 2012. - 1104 с.
15. Саттон Р. С., Барто А. Г. "Обучение с подкреплением: введение" - MIT Press, 2018. - 552 с.
16. Хасти, Т., Тибширани, Р., Фридман, Дж. "Элементы статистического обучения: интеллектуальный анализ данных, логический вывод и прогнозирование". - Серия Springer в статистике, 2009. - 745 с.
17. Хинтон Г. Э., Салахутдинов Р. Р. "Уменьшение размерности данных с помощью нейронных сетей". - Наука, 2006. -Том 313, № 5786. - С. 504-507.
18. Сильвер, Д., Шритвизер, Дж., Симонян, К., Антоноглу, И., Хуан, А., Гез, А., Хьюберт, Т., Бейкер, Л., Лай, М., Болтон, А., Чен, Ю., Лилликрап, Т., Хуэй, Ф., Сифре, Л., ван ден Дрише, Г., Грэпел Т., Хассабис Д. "Овладение игрой в Го без ведома человека". - Nature, 2017. - Том 550, № 7676. - С. 354-359.
19. Гудфеллоу И., Бенгио Ю., Курвиль А. "Глубокое обучение" - MIT Press, 2016. - 800 с.
20. Чолле, Ф. "Глубокое обучение с помощью Python". -Manning Publications, 2017. - 384 с.
21. Зедник, С. "Решение проблемы черного ящика: нормативная база для объяснимого искусственного интеллекта". -Философия и технологии, 2019. - Том 32, № 4. - С. 767-785.
22. Коциантис С. Б., Захаракис И., Пинтелас П. "Машинное обучение: обзор методов классификации и комбинирования". -Обзор искусственного интеллекта, 2006. - Том 26, № 3. - С. 159190.
23. Дуда, Р. О., Харт, П. Э., Сторк, Д. Г. "Классификация паттернов". - Уайли-Интернаука, 2000. - 680 с.
Machine learning methods for optimizing the design of neuromorphic systems
Agarkov Yu.Yu.
JEL classification: C01, C02, C1, C4, C5, C6, C8_
The application of machine learning (ML) methods in optimizing the design of neuromorphic systems has shown significant potential. This paper explores the successful utilization of supervised, unsupervised, and reinforcement learning algorithms in enhancing the performance, energy efficiency, and adaptability of neuromorphic designs. However, challenges such as data requirements, overfitting, computational complexity, interpretability, hyperparameter sensitivity, and real-world adaptation need to be addressed. Future research directions include the development of advanced learning algorithms that can operate with limited data and provide interpretable models. Additionally, adaptive learning algorithms capable of real-time adjustments and efficient computational approaches are necessary. The integration of prior knowledge into learning algorithms and the enhancement of robustness against noise and outliers are important areas for exploration. Furthermore, the integration of learning and design processes offers promising opportunities for improved system optimization. By addressing these challenges and exploring future directions, we can further enhance the application of ML in neuromorphic system design, leading to innovative solutions in the fields of electronics and microelectronics.
Keywords: machine learning methods, design, neuromorphic systems, neural networks, genetic algorithms, optimization with reinforcement.
References
1. Aggarwal C. C. Neural Networks and Deep Learning. - Springer, 2018. - 497 p.
2. Asai T. Neuromorphic Engineering: From Neural Systems to Brain-Like Engineered Systems. - Springer, 2020. - 192 p.
3. Geron A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow.
- O'Reilly Media, 2019. - 856 p.
4. Goodfellow I., Bengio Y., Courville A. Deep Learning. - MIT Press, 2016. - 800 p.
5. Mead C. Neuromorphic electronic systems. Proceedings of the IEEE. - IEEE, 1990. - Vol. 78, No. 10. - Pp. 1629-1636.
6. Wei Wen, Chi-Ruo Wu, Xiaofang Hu, Beiye Liu, Tsung-Yi Ho, Xin Li, Yiran Chen. An EDA Framework for Large Scale Hybrid Neuromorphic Computing Systems. Conference Paper. 2015. Doi: 10.1145/2744769.2744795
7. Beiye Liu, Wei Wen, Yiran Chen, Xin Li, Chi-Ruo Wu, Tsung-Yi Ho. EDA Challenges for Memristor-Crossbar based Neuromorphic Computing.
8. Lee J. H., Delbruck T., Pfeiffer M. Training deep spiking neural networks using backpropagation. Frontiers in Neuroscience. - Frontiers, 2016. - Vol. 10. - P. 508.
9. Diehl P. U., Cook M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity. Frontiers in Computational Neuroscience. -Frontiers, 2015. - Vol. 9. - P. 99.
10. Davies M., Srinivasa N., Lin T. H., Chinya G., Cao Y., Choday S. H., Dimou G., Joshi P., Imam N., Jain S., Liao Y. C., Lin C. K., Lines A., Liu R., Mathaikutty D., McCoy D., Paul A., Tse J., Venkataramanan G., Weng Y. H., Wild A., Yang H., Wang H. Loihi: A neuromorphic manycore processor with on-chip learning. IEEE Micro. - IEEE, 2018. - Vol. 38, No. 1. - Pp. 82-99.
11. Schuman C. D., Plank J. S., Disney A., Reynolds J., Mendenhall M., Phillips A., Bruer G., James J., Rose G., Dean M., Dugger J., Mintz M., Herbordt M. A study of complex deep learning networks on high-performance, neuromorphic, and quantum computers. Proceedings of the ACM/IEEE International Conference for High Performance Computing, Networking, Storage, and Analysis (SC). -ACM/IEEE, 2020. - Pp. 1-14.
12. Neftci E., Mostafa H., Zenke F. Surrogate gradient learning in spiking neural networks. IEEE Signal Processing Magazine. - IEEE, 2020. - Vol. 37, No. 6. - Pp. 51-63.
13. Bishop, C. M. "Pattern recognition and machine learning." - Springer, 2006. - 738 p.
14. Murphy, K. P. "Machine Learning: A Probabilistic Perspective" - MIT Press, 2012.
- 1104 p.
15. Sutton, R. S., Barto, A. G. "Reinforcement Learning: An Introduction" - MIT Press, 2018. - 552 p.
16. Hastie, T., Tibshirani, R., Friedman, J. "The Elements of Statistical Learning: Data Mining, Inference, and Prediction." - Springer Series in Statistics, 2009. -745 p.
17. Hinton, G. E., Salakhutdinov, R. R. "Reducing the Dimensionality of Data with Neural Networks." - Science, 2006. - Vol. 313, No. 5786. - Pp. 504-507.
18. Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M., Bolton, A., Chen, Y., Lillicrap, T., Hui, F., Sifre, L., van den Driessche, G., Graepel, T., Hassabis, D. "Mastering the game of Go without human knowledge." - Nature, 2017. - Vol. 550, No. 7676. - Pp. 354-359.
19. Goodfellow, I., Bengio, Y., Courville, A. "Deep Learning" - MIT Press, 2016. - 800 p.
20. Chollet, F. "Deep Learning with Python." - Manning Publications, 2017. - 384 p.
21. Zednik, C. "Solving the black box problem: A normative framework for explainable artificial intelligence." - Philosophy & Technology, 2019. - Vol. 32, No. 4. - Pp. 767-785.
22. Kotsiantis, S. B., Zaharakis, I., Pintelas, P. "Machine Learning: A Review of Classification and Combining Techniques." - Artificial Intelligence Review, 2006.
- Vol. 26, No. 3. - Pp. 159-190.
23. Duda, R. O., Hart, P. E., Stork, D. G. "Pattern Classification." - Wiley-Interscience, 2000. - 680 p.
X X О го А С.
X
го m
о
2 О
м
CJ
