CC BY
39
УДК 004.85
DOI: 10.14529/ctcr210402
ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ ИНКРЕМЕНТНОГО ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ
Е.С. Абрамова, А.А. Орлов, К.В. Макаров
Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, г. Владимир, Россия
Настоящее время характеризуется беспрецедентным ростом объемов информационных потоков. Обработка информации лежит в основе решения многих практических задач. Спектр приложений интеллектуальных информационных систем чрезвычайно обширен: от управления непрерывными технологическими процессами в реальном времени до решения коммерческих и административных задач. Интеллектуальные информационные системы должны обладать таким основным свойством, как способность быстро обрабатывать динамические входящие данные в реальном времени. Кроме того, интеллектуальные информационные системы должны уметь извлекать знания из ранее решенных задач. В последние годы инкрементное обучение нейронной сети стало одной из актуальных тем в области машинного обучения. По сравнению с традиционным машинным обучением, инкрементное обучение позволяет усваивать новые знания, поступающие постепенно, и сохранять старые знания, полученные от предыдущих задач. Такое обучение должно быть полезно в интеллектуальных системах, где данные поступают динамически. Цель исследования. Рассмотреть концепции, проблемы и методы инкрементного обучения нейронной сети, а также оценить возможность его использования при разработке интеллектуальных систем. Материалы и методы. Рассматривается идея инкрементного обучения, полученная при анализе обучения человека в течение жизни. Представлены термины, которыми описывается инкрементное обучение в литературе. Описаны препятствия, которые возникают при достижении цели инкрементного обучения. Приводится описание трех сценариев инкрементного обучения, среди которых выделяют инкрементное обучение по классам. Дается анализ методов инкрементного обучения, сгруппированных в семейство техник в соответствие с решением проблемы катастрофического забывания. Представлены возможности, которые дает инкрементное обучение в сравнении с традиционным машинным обучением. Результаты. В статье делается попытка оценить текущее состояние и возможность использования инкрементного обучения нейронной сети, выявить отличия от традиционного машинного обучения. Заключение. Инкрементное обучение полезно для будущих интеллектуальных систем, поскольку оно позволяет поддерживать существующие знания в процессе обновления, избегать обучения с нуля, динамически регулировать способность модели к обучению в соответствии с новыми доступными данными.
Ключевые слова: нейронные сети, инкрементное обучение, машинное обучение, катастрофическое забывание.
Введение
Благодаря длительному нейрофизиологическому эволюционному прогрессу мозг человека имеет способность постепенно приобретать и хранить знания по последовательно выполняемым задачам. Наблюдая за обучением человека, можно заметить, что оно происходит постепенно. Люди приобретают и интегрируют новые знания. Вновь полученная информация используется для уточнения моделей знаний и редко приводит к их переформулировке [1, 2].
Данные принципы обработки знаний мозга, изучаемые биологическими способами, играют важную роль при разработке интеллектуальных систем. Обучение на постоянно меняющихся данных актуально в сферах мониторинга данных, распознавания образов, прогнозирования и компьютерного зрения.
Модели машинного обучения, особенно искусственные нейронные сети, показывают высокую точность при обучении одной поставленной задачей [3-5], однако они ограничены в своей способности учиться на развивающихся потоках обучающих данных. При обучении новым зада-
чам их точность резко падает, что делает их непригодными к использованию при решении многих различных практических задач.
Классическая модель обучается с помощью статических, одинаково распределенных и хорошо размеченных обучающих данных. Однако внешняя среда реального мира динамически меняется, что требует от интеллектуальных систем способности непрерывного обучения и запоминания. Следовательно, в нестационарных средах система не может обрабатывать все обучающие выборки одинаково.
В этой статье будет рассмотрена возможность использования инкрементного обучения нейронной сети, позволяющая непрерывно изучать новые задачи и сохранять большую часть знаний от ранее изученных задач. В первом разделе будет представлена идея и цель инкрементного обучения, его отличия от традиционного обучения. Во втором разделе будут описаны препятствия, возникающие при инкрементном обучении. Третий раздел будет содержать информацию о трех сценариях и методах инкрементного обучения. В четвертом разделе будут представлены способы оценки инкрементного обучения.
1. Идея инкрементного обучения
Анализ научной литературы показывает, что за последние пять лет сильно вырос интерес к разработке и исследованию инкрементных методов обучения нейронных сетей [6, 7].
Инкрементное обучение направлено на разработку систем с искусственным интеллектом, которые могут непрерывно учиться решать новые задачи на основе новых данных, сохраняя при этом знания, полученные от ранее изученных задач.
Первая статья, содержащая идею инкрементного обучения, была опубликована в 1962 году [8]. Точного определения инкрементному обучению до сих пор не дано, но в научной литературе выделяют следующие критерии инкрементного обучения [1, 9]:
1) регулирование способности модели к обучению при появлении новых немаркированных данных;
2) обучение новым задачам должно иметь минимальные расходы;
3) возможность поддерживать существующие знания в процессе обновления, избегать обучения с нуля.
Большая часть работ по инкрементному обучению начинается с конца 1980-х годов [10]. Например, в работе [11] предложили алгоритм под названием ID4, создающий дерево решений и обновляющий разбиения, которые уже не были лучшими в новых примерах. Авторы работы [12] предложили структуру, называемую обучением на основе экземпляров, для решения задач ин-крементного обучения с использованием только определенных экземпляров.
В литературе термин «инкрементное обучение» (Incremental Learning) относится к инкрементальному росту, сокращению сети или онлайн-обучению. Также используются другие термины, такие как обучение на протяжении всей жизни, конструктивное обучение и эволюционное обучение, пошаговое и непрерывное обучение [13].
Цель инкрементного обучения - позволить модели машинного обучения сохранить существующие знания и в то же время адаптироваться к новым данным [9]. Методы инкрементного обучения должны уравновешивать сохранение знаний из предыдущих задач и изучение новых знаний для текущей задачи.
Во время инкрементного обучения необработанные данные, поступающие из среды, с которой взаимодействует интеллектуальная система, становятся доступными постепенно. Модель инкрементного обучения позволяет усваивать новые знания и сохранять старые на протяжении всей жизни. Она работает как мозговая система организма и является одной из конечных целей систем искусственного интеллекта.
Наиболее заметное отличие инкрементного обучения от традиционного машинного обучения заключается в том, что оно не предполагает наличия достаточного объема обучающих данных до начала процесса обучения, а примеры обучения появляются со временем. Таким образом, инкре-ментное обучение фундаментально отличается от традиционного процесса обучения, когда репрезентативное распределение данных доступно во время обучения для определения границ принятия решения.
2. Препятствия к инкрементному обучению
Основные препятствия на пути к эффективному инкрементному обучению концептуально просты, но на практике их очень сложно преодолеть. Эти проблемы возникают из-за последовательного обучения задач и требования, что в любой задаче должна быть возможность классифицировать все классы из всех ранее изученных задач. Резкое падение производительности при выполнении ранее изученных задач называется проблемой катастрофического забывания.
Проблема катастрофического забывания признана уже много лет и относится к обучению систем новым навыкам без потери ранее изученных функций. Катастрофическое забывание в основном изучается в нейронных сетях с прямой связью. Методы инкрементного обучения направлены на предотвращение катастрофического забывания.
Чтобы преодолеть катастрофическое забывание, модель должна быть как пластичной, чтобы приобретать новые знания, так и стабильной, чтобы консолидировать существующие знания. Это явление получило название дилеммы стабильности-пластичности.
Модель требует достаточной пластичности для освоения новых задач, но большие изменения веса вызовут забывание, нарушая ранее изученные представления. Сохранение стабильных весов сети предотвращает забывание ранее изученных задач, но слишком высокая стабильность не позволяет модели учиться новым задачам.
Дилемма стабильности-пластичности является одной из самых сложных и труднорешаемых. Характер восприятия получаемой информации постоянно связан с решением дилеммы: является ли некоторый образ новой информацией, и, следовательно, реакция на него должна быть поисково-познавательной, с сохранением этого образа в памяти, либо этот образ является вариантом старой, уже запомненной информации, и в этом случае реакция должна соответствовать ранее накопленному опыту. Специальное запоминание этого образа в последнем случае не требуется. Таким образом, такое восприятие одновременно пластично, адаптировано к новой информации, и при этом оно стабильно, то есть не разрушает память о старых образах [14].
Таким образом, при достижении цели инкрементного обучения возникает проблема катастрофического забывания и дилемма стабильности-пластичности. В следующем разделе будут представлены методы, позволяющие решить данные проблемы при инкрементном обучении.
3. Сценарии инкрементного обучения
В работах [15, 16] выделяют три сценария инкрементного обучения, основанные на том, предоставляется ли идентификация задачи во время тестирования и - если это не так - необходимо ли это делать.
В первом сценарии модель всегда информируется о том, какую задачу необходимо выполнить, и ей предоставляется идентификатор задачи. Это самый простой сценарий обучения - Task-IL.
Во втором сценарии - Domain-IL - идентификация задачи недоступна во время тестирования. Однако модель должна решать только поставленную задачу; от нее не требуется делать вывод о том, какая это задача.
Совсем недавно модели начали работать с более сложным сценарием инкрементного обучения по классам (Class-IL), когда метод нацелен на использование знаний из предыдущих классов для улучшения обучения новым, а также на использование новых данных для повышения производительности при выполнении предыдущих задач [17].
Большинство методов инкрементного обучения можно сгруппировать в семейства техник с учетом различных точек зрения на решение проблемы катастрофического забывания, обладающих схожими характеристиками.
1. Методы на основе масок (Mask-based methods) уменьшают или полностью исключают катастрофическое забывание путем применения масок к каждому параметру или к представлениям каждого слоя. Однако, изучая полезные пути для каждой задачи в сетевой структуре, одновременная оценка всех изученных задач невозможна. Необходимо несколько проходов вперед с разными масками, что делает такие методы непрактичными при настройке сети, не зависящей от задачи.
В работе [18] представлен метод адаптации одной фиксированной глубокой нейронной сети к нескольким задачам, не влияющий на производительность уже изученных задач. На основании идей квантования и отсечения сети изучаются двоичные маски, которые накладываются на сущест-
вующую сеть или применяются к немодифицированным весам этой сети для обеспечения хорошей производительности при выполнении новой задачи.
В статье [19] представлен метод добавления нескольких задач в одну глубокую нейронную сеть, позволяющий избежать при этом катастрофического забывания. Используется избыточность в больших глубоких сетях, чтобы освободить параметры, которые затем можно использовать для изучения новых задач.
2. Методы расширения архитектуры (Dynamic architectures) динамически увеличивают пропускную способность сети, чтобы уменьшить катастрофическое забывание. Эти методы основаны на модели, способной поддерживать предыдущие знания о задачах, в то же время расширяя эту модель для изучения новых задач.
В работе [13] предлагается расширять глубокую сверточную нейронную сеть, используя метод «клонирования и ветвления», который позволяет сети изучать новые задачи одну за другой без потери производительности в старых задачах.
В статье [9] представлена структура инкрементного обучения, основанная на парадигме синтеза нейронных сетей с расширением и сокращением. Когда поступают новые данные, нейронная сеть сначала создает новые соединения на основе градиентов, чтобы увеличить пропускную способность сети для размещения новых данных. Затем структура итеративно удаляет соединения в зависимости от величины весов, чтобы повысить компактность сети и, следовательно, восстановить эффективность. Предлагаемая структура повышает точность, уменьшает размер сети и значительно снижает затраты на дополнительное обучение для входящих данных по сравнению с традиционными подходами.
3. Методы регуляризации (Regularization Strategy). Эти методы смягчают катастрофическое забывание, добавляя специальный член регуляризации к функции потерь. Основная идея состоит в том, чтобы ограничить обновление параметров для улучшения стабильности модели и уменьшения катастрофического забывания. В соответствии с различными соображениями, методы регуляризации можно разделить на два типа: методы регуляризации веса и методы дистилляции [20-23]. Стратегии регуляризации привлекательны, поскольку они эффективны и не требуют дополнительного хранилища.
Метод SI был предложен в работе [24]. О важности веса судили путем расчета совокупного изменения разницы расстояний в евклидовом пространстве после обучения новым задачам. Чем больше значение, тем больше вес влияет на эту задачу.
Метод LwF был предложен в работе [25]. Метод основан на обучении отдельного классификатора для каждой входящей задачи. Данные новой задачи были помечены на основе результатов, полученных с помощью старой модели (классификатора), и эти метки использовались для ограничения обновления параметра модели для дистилляции знаний.
Авторы статьи [26] предложили алгоритм, основанный на векторах динамической коррекции, для решения проблем отклонения от дистилляции знаний и переобучения модели. В [27] объединили корректировку веса и извлечение знаний, чтобы сбалансировать новые и старые знания. В работе [28] был предложен метод динамического сдвига порога для улучшения ограничений отклонения в модели дистилляции общих знаний.
4. Псевдорепетиционные методы (Pseudo-rehearsal methods). Метод репетиции позволяет модели анализировать старые знания всякий раз, когда она изучает новые данные, сохраняя подмножество предыдущих данных. Метод псевдорепетиции создает генератор для изучения распределения входных данных. Чтобы избежать хранения образов и проблем с конфиденциальностью, присущих репетиции, некоторые методы учатся генерировать примеры из предыдущих задач. Стратегия псевдорепетиций имеет больше возможностей благодаря развитию генеративно-состязательных нейросетей [29-32].
iCaRL был предложен в [33], который сочетал в себе технологии извлечения знаний и репетиции прототипов. Он был разработан для сценария с добавлением классов. Образы отбирались исходя из ближайшего расстояния до прототипов.
В [34] предложили метод кластеризации подпространств на основе набора примеров. В статье [35] использовали модель на основе автокодировщика для поддержки масштабируемого хранения и поиска масштабируемых старых данных.
Авторы статьи [16] предложили сбалансировать сгенерированные и новые поступающие выборки данных путем корректировки обучающего пакета. В работе [36] был предложен алгоритм, основанный на совместном использовании атрибутов.
5. Онлайн-методы (Online Incremental learning) основаны на потоковых структурах, где разрешается наблюдать пример только один раз [37].
В работе [17] предложен набор показателей для оценки обучения моделей по континууму данных. Эти метрики характеризуют модели не только точностью тестирования, но и способностью передавать знания между задачами. Также представлена модель непрерывного обучения, называемая градиентной эпизодической памятью (GEM), которая облегчает забывание, позволяя при этом передавать знания для решения предыдущих задач.
В статье [38] был введен новый протокол оценки, в соответствии с которым модель наблюдает каждый пример только один раз, а выбор гиперпараметров выполняется для небольшого и непересекающегося набора задач, не используемого для фактического опыта обучения и оценки. Также была представлена улучшенная версия GEM, получившая название Averaged GEM (A-GEM).
4. Возможности инкрементного обучения
Рассмотрев методы инкрементного обучения, можно выделить возможности, которые дает инкрементное обучение в сравнении с традиционным машинным обучением.
1. Позволяет избегать забывания ранее изученных задач. Традиционная модель обучения страдает катастрофическим забыванием, и последовательное добавление новых классов приводит к резкому снижению точности.
2. Не требует предварительной информации о топологической структуре соответствующей прикладной среды, а также о статистических свойствах данных.
3. Методы инкрементного обучения могут постепенно настраивать архитектуру сети, что снижает вычислительные затраты на обучение.
4. Позволяет начать обучение при отсутствии достаточного объема репрезентативной обучающей выборки.
5. Сокращает вычислительные затраты, так как методы учатся генерировать примеры из предыдущих задач. Это позволяет избежать хранения образов и проблем с конфиденциальностью.
6. Дает возможность анализировать старые задачи, когда изучаются новые, т. е. поддерживает существующие знания в процессе обновления.
С ростом требований интеллектуальных систем к методам машинного обучения инкремент-ное обучение может успешно применяться в областях, где целевые концепции изменяются с течением времени, где используются временные ряды и где объем обучающей выборки слишком большой. Наибольшее внимание инкрементное обучение получило в области робототехники, больших данных и обработки изображений.
В области больших данных важное значение приобретают интеллектуальный анализ и обработка разнообразных высокоскоростных потоков данных, которые все чаще выполняются с помощью инкрементного обучения.
Окружающая среда вокруг робота часто меняется. Для выполнения поставленных задач робот должен уметь адаптироваться к новой среде и правильно реагировать на изменения, что представляет собой инкрементное обучение.
В области обработки изображений с течением времени внешний вид изучаемого объекта обычно сильно меняется, например объект деформируется, изменяется освещение и т. д. Для обновления данных об объекте в реальном времени могут применяться методы инкрементного обучения.
5. Способы оценки инкрементного обучения
Для оценки инкрементного обучения используют точность задачи k после задачи обучения t, которая предоставляет детальную информацию об инкрементном процессе обучения. Также используют дополнительный показатель, основанный на проблеме катастрофического забывания. Оценка забывчивости показывает, насколько модель забыла о предыдущей задаче k в текущей задаче t. Чем ниже показатель, тем меньше происходит забвения во время инкрементно-го обучения.
Чтобы получить больше информации о производительности классификатора, можно использовать матрицу ошибок, которая дает информацию о неправильной классификации между каждой парой классов. Несмотря на то, что это не однозначная метрика, она часто используется для обобщения поведения классификатора во многих дополнительных задачах.
В работе [39] авторы предложили три критерия для оценки метода инкрементного обучения: количество обучающих примеров, вычислительные расходы на обучение и качество усвоения новой задачи.
Авторы работы [40] также предлагают три критерия: точность на тестовом наборе данных не должна сильно меняться на каждом шаге инкрементного обучения, повышение точности при увеличении обучающих данных, алгоритм должен иметь возможность восстановить предыдущую полученную точность, если она была выше.
Принимая во внимание масштабируемость системы инкрементного обучения, комплексные метрики оценки для инкрементного обучения также могут включать [41, 42]: точность, время обучения/тестирования, размер хранилища (включая размер модели и размер хранилища образов).
Заключение
При разработке интеллектуальных систем желательно использовать инкрементное обучение, поскольку оно позволяет эффективно использовать вычислительные ресурсы за счет устранения необходимости переобучения при получении новых данных, избежать хранения образов и проблем с конфиденциальностью, поскольку методы учатся генерировать примеры из предыдущих задач, динамически регулировать способность модели к обучению в соответствии с новыми доступными данными. Также этот вид обучения больше напоминает обучение человека, что делает его более понятным.
По сравнению с традиционным машинным обучением, для которого требуется заранее подготовленный обучающий набор данных, инкрементное обучение имеет несколько преимуществ: может обучаться на малом объеме обучающей выборки, может постоянно обучаться, когда система работает, может адаптироваться к изменениям в полученной задаче, требует меньше вычислительных ресурсов.
Литература/References
1. Ade R.R., Deshmukh P.R. Methods for Incremental Learning: A Survey. International Journal of Data Mining & Knowledge Management Process, 2013, vol. 3, pp. 119-125. DOI: 10.5121/ijdkp.2013.3408
2. Luo Y., Yin L., Bai W., Mao K. An Appraisal of Incremental Learning Methods. Entropy, 2020, vol. 22, pp. 1-27. DOI: 10.3390/e22111190
3. Yacim J.A., Boshoff D.G.B. Impact of Artificial Neural Networks Training Algorithms on Accurate Prediction of Property Values. Journal of Real Estate Research, 2018, vol. 40, pp. 375-418. DOI: 10.1080/10835547.2018.12091505
4. Gu J., Wang Z., Kuen J., Ma L., Shahroudy A., Shuai B., Liu T., Wang X., Wang G., Cai J., Chen T. Recent Advances in Convolutional Neural Networks. Pattern Recognition, 2018, vol. 77, pp. 354-377. DOI: 10.1016/j.patcog.2017.10.013
5. Baptista D., Morgado-Dias F. A Survey of Artificial Neural Network Training Tools. Neural Computing and Applications, 2013, vol. 23, pp. 609-615. DOI: 10.1007/s00521-013-1408-9
6. Ganguly S., Chatterjee A., Bhoumik D., Majumdar R. An Empirical Study of Incremental Learning in Neural Network with Noisy Training Set // Lecture Notes in Networks and Systems, 2021, pp. 72-77.
7. Wang J., Wang H., Chen Y., Liu C. A Constructive Algorithm for Unsupervised Learning with Incremental Neural Network. Journal of Applied Research and Technology, 2015, vol. 13, pp. 188-196. DOI: 10.1016/j.jart.2015.06.017
8. Gao F., Mei J., Sun J., Wang J., Yang E., Hussain A. A Novel Classification Algorithm Based on Incremental Semi-Supervised Support Vector Machine. PLoS One, 2015, vol. 10. DOI: 10.1371/journal.pone.0135709
9. Dai X., Yin H., Jha N.K. Incremental Learning Using a Grow-and-Prune Paradigm with Efficient Neural Networks. IEEE Trans. Emerg. Top. Comput, 2020.
10. Geng X., Smith-Miles K. Incremental Learning. Encyclopedia of Biometrics, 2015. DOI: 10.1007/978-0-387-73003-5_304
11. Schlimmer J.C., Fisher D. A Case Study of Incremental Concept Induction. Am. Artif. Intel. Proc., 1986, pp. 496-501.
12. Aha D.W., Kibler D., Albert M.K. Instance-Based Learning Algorithms. Mach. Learn., 1991, vol. 6, pp. 37-66.
13. Sarwar S.S., Ankit A., Roy K. Incremental Learning in Deep Convolutional Neural Networks Using Partial Network Sharing. IEEE Access, 2019, vol. 8, pp. 4615-4628. DOI: 10.1109/ACCESS.2019.2963056
14. Dmitrienko V.D., Zakovorotniy A.Y. Architecture and Algorithms of Neural Networks Hamming and Hebb, Capable Learn and Identify New Information. Radio Electron. Comput. Sci. Control, 2014. DOI: 10.15588/1607-3274-2014-2-15
15. Coop R., Mishtal A., Arel I. Ensemble Learning in Fixed Expansion Layer Networks for Mitigating Catastrophic Forgetting. IEEE Trans. Neural Networks Learn. Syst., 2013, vol. 24, pp. 1623-1634. DOI: 10.1109/TNNLS.2013.2264952
16. Li H., Dong W., Hu B.-G. Incremental Concept Learning via Online Generative Memory Recall. IEEE Trans. Neural Networks Learn. Syst., 2020, vol. 32, pp. 3206-3216.
17. Lopez-Paz D., Ranzato M. Gradient Episodic Memory for Continual Learning. Advances in Neural Information Processing Systems. Neural Information Processing Systems Foundation, 2017, pp. 6468-6477.
18. Mallya A., Davis D., Lazebnik S. Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2018, pp. 72-88. DOI: 10.1007/978-3-030-01225-0_5
19. Mallya A., Lazebnik S. PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2018. pp. 7765-7773. DOI: 10.1109/CVPR.2018.00810
20. Li P., Chen Z., Yang L.T., Gao J., Zhang Q., Deen M.J. An Incremental Deep Convolutional Computation Model for Feature Learning on Industrial Big Data. IEEE Trans. Ind. Informatics, 2019, vol. 15, pp. 1341-1349. DOI: 10.1109/TII.2018.2871084
21. Paik I., Oh S., Kwak T., Kim I. Overcoming Catastrophic Forgetting by Neuron-Level Plasticity Control. Proc. AAAI Conf. Artif. Intell, 2020, vol. 34, pp. 5339-5346. DOI: 10.1609/AAAI.V34I04.5981
22. Masse N.Y.; Grant G.D.; Freedman D.J. Alleviating Catastrophic Forgetting Using Context-Dependent Gating and Synaptic Stabilization. Proceedings of the National Academy of Sciences of the United States of America, 2018, vol. 115. DOI: 10.1073/pnas.1803839115
23. Gaurav A., Abdelzad V., Vernekar S., Czarnecki K., Lee J., Sedwards S. Simple Continual Learning Strategies for Safer Classifers. CEUR Workshop Proceedings, 2020, vol. 2560, pp. 96-104.
24. Zenke F., Poole B., Ganguli S. Continual Learning Through Synaptic Intelligence. 34th International Conference on Machine Learning, ICML 2017, 2017, vol. 8, pp. 6072-6082.
25. Li Z., Hoiem D. Learning without Forgetting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018. vol. 40, pp. 2935-2947. DOI: 10.1109/TPAMI.2017.2773081
26. Xiang Y., Miao Y., Chen J., Xuan Q. Efficient Incremental Learning Using Dynamic Correction Vector. IEEE Access, 2020, vol. 8, pp. 23090-23099. DOI: 10.1109/ACCESS.2019.2963461
27. Zhao B., Xiao X., Gan G., Zhang B., Xia S. Maintaining Discrimination and Fairness in Class Incremental Learning. Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit, 2020, pp. 13205-13214. DOI: 10.1109/CVPR42600.2020.01322
28. Javed K., Shafait F. Revisiting Distillation and Incremental Classifier Learning. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), 2018, vol. 11366 LNCS, pp. 3-17. DOI: 10.1007/978-3-030-20876-9_1
29. Stojanov S., Mishra S., Thai N., Dhanda N., Humayun A., Yu C., Smith L.B., Rehg J.M. Incremental Object Learning from Contiguous Views. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019, pp. 8777-8786. DOI: 10.1109/CVPR.2019.00898
30. Xiong W., Wang Y., Cheng L. Fisher Discriminant Analysis Random Forest for Online Class Incremental Learning. 2018 IEEE Intl Conf Parallel Distrib. Process. with Appl. Ubiquitous Comput.
Commun. Big Data Cloud Comput. Soc. Comput. Networking, Sustain. Comput. Commun, 2018, pp. 597-604. DOI: 10.1109/BDCloud.2018.00093
31. Tasar O., Tarabalka Y., Alliez P. Incremental Learning for Semantic Segmentation of Large-Scale Remote Sensing Data. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens, 2019, vol. 12, pp. 3524-3537. DOI: 10.1109/JSTARS.2019.2925416
32. Nakano S., Hattori M. Characteristics of Contrastive Hebbian Learning with Pseudorehearsal for Multilayer Neural Networks on Reduction of Catastrophic Forgetting. International Journal of Computational Intelligence Studies, 2018, vol. 7, p. 289. DOI: 10.1504/IJCISTUDIES.2018.096184
33. Rebuffi S.A., Kolesnikov A., Sperl G., Lampert C. iCaRL: Incremental Classifier and Representation Learning. Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017, pp. 5533-5542.
34. Guo L., Xie G., Xu X., Ren J. Exemplar-Supported Representation for Effective Class-Incremental Learning. IEEE Access, 2020, vol. 8, pp. 51276-51284. DOI: 10.1109/ACCESS.2020.2980386
35. Riemer M., Klinger T., Bouneffouf D., Franceschini M. Scalable Recollections for Continual Lifelong Learning. 33rd AAAI Conference on Artificial Intelligence, AAAI2019, 31st Innovative Applications of Artificial Intelligence Conference, IAAI 2019 and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI2019, 2019, pp. 1352-1359. DOI: 10.1609/aaai.v33i01.33011352
36. Kim B., Lee J., Kim K., Kim S., Kim J. Collaborative Method for Incremental Learning on Classification and Generation. Proceedings - International Conference on Image Processing, ICIP, 2019, pp. 390-394.
37. Castro F.M., Marín-Jiménez M.J., Guil N., Schmid C., Alahari K. End-to-End Incremental Learning. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif Intell. Lect. Notes Bioinformatics), 2018, vol. 11216 LNCS, pp. 241-257. DOI: 10.1007/978-3-030-01258-8_15
38. Chaudhry A., Marc'Aurelio R., Rohrbach M., Elhoseiny M. Efficient Lifelong learning with A-GEM. 7th International Conference on Learning Representations, ICLR 2019, 2019.
39. Schlimmer J.C., Granger R.H. Incremental Learning from Noisy Data.Mach. Learn., 1986, vol. 1, pp. 317-354. DOI: 10.1023/A:1022810614389
40. Syed N.A., Liu H., Sung K.K. Handling Concept Drifts in Incremental Learning with Support Vector Machines. Association for Computing Machinery (ACM), 1999, pp. 317-321. DOI: 10.1145/312129.312267
41. Díaz-Rodríguez N., Lomonaco V., Filliat D., Maltoni D. Don't Forget, There is More than Forgetting: New Metrics for Continual Learning, 2018.
42. She Q., Feng F., Hao X., Yang Q., Lan C., Lomonaco V., Shi X., Wang Z., Guo Y., Zhang Y., Qiao F., Chan R.H.M. OpenLORIS-Object: A Robotic Vision Dataset and Benchmark for Lifelong Deep Learning. Proceedings - IEEE International Conference on Robotics and Automation. Institute of Electrical and Electronics Engineers Inc., 2020, pp. 4767-4773. DOI: 10.1109/ICRA40945.2020.9196887
Абрамова Елена Сергеевна, аспирант кафедры информационных систем и программной инженерии, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, г. Владимир; [email protected].
Орлов Алексей Александрович, д-р техн. наук, доцент, заведующий кафедрой физики и прикладной математики, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, г. Владимир; [email protected].
Макаров Кирилл Владимирович, канд. техн. наук, доцент, доцент кафедры физики и прикладной математики, Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых, г. Владимир; [email protected].
Поступила вредакцияю 24 августа 2021 г.
DOI: 10.14529/ctcr210402
POSSIBILITIES OF USING NEURAL NETWORK INCREMENTAL LEARNING
E.S. Abramova, [email protected], A.A. Orlov, [email protected], K.V. Makarov, [email protected]
Vladimir State University named after Alexander and Nicolay Stoletovs, Vladimir, Russian Federation
The present time is characterized by unprecedented growth in the volume of information flows. Information processing underlies the solution of many practical problems. The intelligent information systems applications range is extremely extensive: from managing continuous technological processes in real-time to solving commercial and administrative problems. Intelligent information systems should have such a main property, as the ability to quickly process dynamical incoming data in real-time. Also, intelligent information systems should be extracting knowledge from previously solved problems. Incremental neural network training has become one of the topical issues in machine learning in recent years. Compared to traditional machine learning, incremental learning allows assimilating new knowledge that comes in gradually and preserving old knowledge gained from previous tasks. Such training should be useful in intelligent systems where data flows dynamically. Aim. Consider the concepts, problems, and methods of incremental neural network training, as well as assess the possibility of using it in intelligent systems development. Materials and methods. The idea of incremental learning, obtained in the analysis of a person's learning during his life, is considered. The terms used in the literature to describe incremental learning are presented. The obstacles that arise in achieving the goal of incremental learning are described. A description of three scenarios of incremental learning, among which class-incremental learning is distinguished, is given. An analysis of the methods of incremental learning, grouped into a family of techniques by the solution of the catastrophic forgetting problem, is given. The possibilities offered by incremental learning versus traditional machine learning are presented. Results. The article attempts to assess the current state and the possibility of using incremental neural network learning, to identify differences from traditional machine learning. Conclusion. Incremental learning is useful for future intelligent systems, as it allows to maintain existing knowledge in the process of updating, avoid learning from scratch, and dynamically adjust the model's ability to learn according to new data available.
Keywords: neural networks, incremental learning, machine learning, catastrophic forgetting.
Received 24 August 2021
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Абрамова, Е.С. Возможности использования инкрементного обучения нейронной сети / Е.С. Абрамова, А.А. Орлов, К.В. Макаров // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». - 2021. - Т. 21, № 4. - С. 19-27. DOI: 10.14529Мсг210402
FOR CITATION
Abramova E.S., Orlov A.A., Makarov K.V. Possibilities of Using Neural Network Incremental Learning. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics, 2021, vol. 21, no. 4, pp. 19-27. (in Russ.) DOI: 10.14529/ctcr210402
