CC BY
226
doi: 10.24411/2409-5419-2018-10190
V V
ОБОСНОВАНИЕ АРХИТЕКТУРЫ СВЕРТОЧНОИ НЕЙРОННОЙ СЕТИ ДЛЯ АВТОНОМНОГО РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ БОРТОВОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМОЙ
ХОМОНЕНКО Анатолий Дмитриевич1
ЯКОВЛЕВ
Евгений Леонидович2
Сведения об авторах:
1д.т.н., профессор, заведующий кафедрой информационные и вычислительные системы Петербургского государственного университета путей сообщения Императора Александра I, г. Санкт-Петербург, Россия, [email protected]
2адъюнкт Военно-космической академии имени А.Ф.Можайского г. Санкт-Петербург, Россия, [email protected]
АННОТАЦИЯ
Предлагается подход к обоснованию архитектуры сверточной нейронной сети, обеспечивающий улучшение характеристик по числу весовых коэффициентов, соединений при сохранении точности распознавания объектов на изображениях. Обучение сверточной нейронной сети с выбранной архитектурой реализуется на Земле. После обучения нейронная сеть используется в бортовых вычислительных системах для автономного распознавания объектов на изображениях. Проводится анализ особенностей построения сверточной нейронной сети для распознавания объектов на изображениях, и на его основе формулируются ограничения и правила разработки новых сверточных нейронных сетей. Сформулирована постановка комбинаторной задачи оптимизации, предлагается эвристический алгоритм для решения этой задачи на основе правил компоновки и отсечения неперспективных конфигураций сверточной нейронной сети. Для тестовых наборов данных Р1аг^вг^ и MNIST приведены результаты компьютерных экспериментов и выполнено сравнение с существующими архитектурами сверточной нейронной сети по числу весовых коэффициентов, соединений и точности в % ошибок на тестовом множестве. Показано, что предложенный алгоритм позволяет выбрать вариант архитектуры сверточной нейронной сети с меньшим числом весовых коэффициентов и соединений при практически той же точности в % ошибок решения задачи распознавания объектов на изображении.
КЛЮЧЕВЫЕ СЛОВА: сверточная нейронная сеть; автономное распознавание объектов на изображениях; бортовая вычислительная система.
Для цитирования: Хомоненко А.Д., Яковлев Е.Л. Обоснование архитектуры сверточной нейронной сети для автономного распознавания объектов на изображениях бортовой вычислительной системой // Наукоемкие технологии в космических исследованиях Земли. 2018. Т. 10. № 6. С. 86-93. Со1: 10.24411/2409-5419-2018-10190
Введение
Задачи автономного распознавания объектов на изображениях с помощью бортовых вычислительных систем летательных аппаратов имеют большую практическую значимость, В частности, задачи распознавания объектов требуется решать при дистанционном зондировании Земли с помощью авиации, космических средств и беспилотных летательных аппаратов (БЛА). Подавляющее большинство современных БЛА управляются человеком-оператором с помощью информационных каналов, самые «продвинутые» системы управления БЛА поддерживают режимы полета по заданным точкам, используя информацию от глобальных навигационных спутниковых систем.
Развитие быстродействующей вычислительной техники, совершенствование оптико-электронных датчиков определяет целесообразность исследования вопросов автономного анализа изображений на борту БЛА, с возможностью распознавания заранее определенных объектов, с дальнейшим использованием полученной информации для решения задач управления.
Решению задач распознавания изображений посвящено большое число публикаций, однако до сих пор эта проблема не решена полностью. Это связано с большой информационной емкостью и априорной неопределенностью, присущей изображениям, а также с большой изменчивостью изображений за счет изменение ракурса или освещения, что приводит к изменению значений одновременно во всех элементах изображения. В качестве наиболее эффективных методов следует указать:
- методы, основанные на шаблонах [1];
- методы с использованием контурных моделей [2-3];
- метод Виолы-Джонса и его комбинации [4-5];
- статистические методы (инварианты моментов) [6-7];
- нейросетевые методы [8].
Основной мировой тренд в области обнаружения и распознавания изображений заключается в применении сверточных нейронных сетей (СНС). Главным преимуществом такого подхода в сравнении с признаковым описанием, реализуемым первыми четырьмя методами в указанном списке, является то, что алгоритм по сути сам выделяет информативные признаки.
Для создания системы автономного распознавания объектов на изображениях бортовой вычислительной системой (на основе данных, получаемых с помощью оптических датчиков) предлагается использовать базу данных из СНС, заранее обученных на Земле. После обучения СНС используются для обработки входного потока изображений на борту летательного аппарата.
Проведенные эксперименты показали, что изменения высоты полета, ракурса съемки приводят к сильному ухудшению результативности распознавания, появляется необходимость адаптации изображений, получаемых оптиче-
скими датчиками, к разрешению входных окон обученных СНС. При уменьшении пространственного пиксельного разрешения изображения для сетей для более высоких высот такой подход реализуется успешно. Наоборот, при увеличении разрешения изображений различными методами распознавание объектов происходит неэффективно.
Для каждого конкретного распознаваемого класса объектов целесообразно эмпирически подобрать архитектуру СНС, причем объем вычислений должен не превышать возможности вычислительных устройств на борту БЛА. Такой подход значительно увеличивает время построения классификатора и/или внесения в него изменений. Из отмеченного следует целесообразность обоснования архитектуры СНС, оптимальной или близкой к оптимальной по вероятности распознавания при ограниченной производительности бортовой вычислительной системы.
1. Основные особенности построения СНС
для задач распознавания объектов
Рассмотрим особенности эволюции современных сверточных сетей на примерах LeNet-5, А1ех№^ VGG16, GoogLeNet, ResNet — перечисленные СНС в разное время становились лидерами в решении задач распознавания изображений.
Прежде всего рассмотрим обобщенную архитектуру СНС [9], использовавшуюся для распознавания
рукописных цифр ММБТ [10], являющуюся классическим вариантом архитектуры СНС (рис. 1). Сводные данные по этой архитектуре приведены в табл. 1.
На основе анализа архитектуры LeNet-5 можно отметить следующие ее особенности:
• в составе нейронной сети имеет место чередование слоев сверток (фильтров) и слоев субдискредитации;
• перед выходным (классифицирующим) слоем используются полносвязные слои;
• основное количество весовых коэффициентов приходится на полносвязные слои;
• порядок числа связей сохраняется и уменьшается от входа к выходу.
Особенностью архитектуры сети AlexNet [11] (рис. 2) является использование фильтров 11х11, 5х5 и 3х3. В качестве функции активации здесь впервые использовалась линейная функция ReLU. Сеть AlexNet разработана для тестового набора данных конкурса ImageNet и одержала победу в номинации распознавания рукописных цифр.
В архитектуре VGG16 [10] (рис. 3) использовались фильтры размерностью 3*3.
В СНС GoogLeNet [12], ResNet [13], используются типовые модули, последовательный набор которых определяет конфигурацию сети. Такие модули являются полноценными, но маленькими сверточными сетями, из которых строятся очень глубокие сети—до нескольких сотен слоев,
Таблица 1
Сводные данные по архитектуре СНС LeNet-5
Слои, № Размер фильтра X нейронов Смещение Выход слоя Веса Соединения
1 5х5 6 1 6@28x28 5*5*1*6+6=156 28*28*156=122304
2 2х2 2 6@14x14 12 14*14*30=5880
3 5х5 16 1 16@10x10 5*5*6*10=1516 10*10*1516=151600
4 2х2 2 16@5x5 32 5*5*80=2000
5 полносвязный 120 120 (400*120)+120=48120 48000
6 полносвязный 84 84 120*84+84=10164 10080
7 полносвязный 10 10 84*10+10=850 840
6@28*28 6@14х14 16(310x10 16@5х5
Свертка Су<щисхредитация Свертка Субдискредитзцня
Рис. 1. Архитектура СНС LeNet-5
получает как бы маленькая вложенная сеть в большую. Название Inception (Начало) (рис. 4) отражает не только «глубину» из фильма «Inception», но и развитую там идею «вложенной» архитектуры: сон внутри сна внутри сна ....
Название Residual (остаточный), в свою очередь, по существу означает, что в блоке Residual (рис. 5) слой из нейронов можно обойти. Для этого есть специальная связь между выходом предыдущего слоя X и следующего слоя Y = F(X)+X, которая идет напрямую, а не через вычисляющий что-то слой.
Такая связь необходима для обучения сети — градиент во время обратного распространения сможет проходить через такой блок беспрепятственно, что решает проблему затухающих градиентов.
Анализ основных конфигураций СНС позволяет выделить основные особенности построения СНС:
1) вход и выход каждого элемента свертки связаны соотношениями:
y, j = h
У W X
/ , a,b i+a,j +b
+ C '
где у,] — выход свертки на уровне I, х!} — вход, h — функция активации, С1^ — смещение, С—размер окна свертки;
2) при прохождении информации в целом по слоям сохраняется порядок числа соединений (кроме первого и последнего);
3) полносвязные слои обладают очень большим количеством параметров, их допустимо использовать только в выходном слое;
4) субдискредитация уменьшает количество соединений, элементы субдискредитации связаны соотношениями:
/+1 i x . = max v . .,
J - d < a <d ,-d <Ь<^г+' J +4'
где d—размер окна субдискредитации;
W: Ч ( s <• 1 > ( ■ ■ f ' ■ > f ч ( -V f
3x3 conV, 64 —► CD > С о о со X го 2. 5. со од > С О о го X го со (N г> С о о го X го S Й. CD Ю C\J > С о о го X го СО Ю СМ > с о о го X го СО Ю C\J > с о о со X со £ <N1 Т"" Ю > С о и со X со см 1Л > с о о го X го C\J if? ю > с о о со X го ш см V ю > с о о со X со см т— ю > с о и со X со —► см Т- ю > с о о го X го S ir СО О) о nt £ —► СО СП о £ о о о г— а
^ >
Рис. 3. Архитектура СНС VGG16
Рис. 4. Схема модуля Inception
Рис. 5. Схема модуля Residual
5) использование фильтров меньшего размера 1х1, 3^3, а также модулей на их основе, ведет к уменьшению количества весовых коэффициентов, но увеличивает глубину сети, что приводит к трудностям при обучении;
6) использование фильтров большего размера 5*5, 7x7, 9x9, 11x11 ведет к увеличению числа весовых коэффициентов, но уменьшает глубину сети, что упрощает обучение;
При компоновке архитектуры предлагается использовать первые три правила, как ограничения, а ранжируя 4, 5, 6 правила в различном порядке — проводить поиск оптимальной конфигурации.
В ряде работ ставилась задача синтеза архитектуры нейронной сети [14-15] для прогнозирования параметров технического состояния и решения различных оптимизационных задач. В работе [16] предлагается подход на основе генетического алгоритма, но, несмотря на достижения в решении задач обучения нейронных сетей с помощью графических ускорителей, такой подход не позволяет найти требуемую архитектуру за приемлемое время.
2. Постановка задачи выбора конфигурации СНС
Дано:
- обучающая база: набор изображений X=<m, n, ch> и соответствующие им классы Y = {y | i=1,..., r}, где r — число классов изображений;
- множество допустимых типов структурных элементов СНС A = {a. | i=1,..., n}, где n — число типов, в качестве элементов рассматриваются отдельные нейроны и базовые построения на основе нейронов в виде модулей Inception и Residual;
- у5, s е [1:3] — правила компоновки;
- модель распознавания F(ACHC): X ^ Y, где AŒC — конфигурация структуры сверточной нейронной сети, задаваемая как состав элементов, матрица связей, количество связей будем считать равным количеству операций, необходимых для реализации F;
- процессы задания начальных весовых коэффициентов и смещений, обучения конфигураций СНС происходят одинаково;
Ограничения:
- /, ße [1: 3] — ограничения на компоновку;
- Q — вычислительная трудоемкость, представленная количеством операций, необходимых на реализацию F(ACHC);
- M — используемая память, необходимая на реализацию F(Achc).
Требуется:
Из множества ACHC альтернативных конфигураций СНС найти конфигурацию A снс, обеспечивающую максимальный ожидаемый целевой эффект F:
Л*СНС ГА, лСНСч-,
A =arg max[F(A )].
Постановка задачи компоновки, в общем виде, похожа на классическую задачу о многомерном рюкзаке, однако в исходных данных отсутствует ценность каждого элемента из множества А.
Для решения такой задачи невозможно использовать классические методы дискретного нелинейного программирования, так как целевой функционал в данном случае стохастический (вероятность распознавания объектов из тестового множества), и его определение (обучение СНС) занимает значительное время. Нами предлагается использовать алгоритм направленно-случайного поиска, подобный эвристическому алгоритму, описанному в [17].
3. Алгоритм выбора конфигурации СНС
Перед реализацией алгоритма необходимо ввести понятие частичного разбиения, в качестве которого будем понимать совокупность слоев СНС 2 ={г,..., 2]}, где I — количество слоев СНС, задается экспертным путем. Основной идеей алгоритма является перебор комбинаторного множества конфигураций, ограниченных заданными ограничениями и правилами компоновки. Для уменьшения пространства перебора, по аналогии с методом ветвей и границ, для отсечения неперспективных альтернатив, будем использовать следующее правило:
Если из конфигурации СНС 21 = {2\,..., 2\} при обучении которой достигнута точность (погрешность) Р1, получается конфигурация 22 = {2],...,2]'} путем изменения в одном произвольном слое 2\ = к\а1 элемента а. на другой элемент а.+1 2] = к^а.+1, где е е [1,...,I], к — число элементов в слое, причем Р2 < Р1. Тогда для конфигурации СНС 23 с 2\ = (к2 + 1)а,.+1, погрешность будет еще ниже Р 3 < Р 2 < Р 1 и обучать дальше эту ветвь не надо.
Алгоритм компоновки конфигурации СНС предлагается в следующем виде:
1. В зависимости от обучающей базы задаются входной и выходной векторы нейронной сети они будут соответственно входным и выходным слоями искомой архитектуры:
- х1 у = т * п * ск;
I
- у. . = г .
2. Задаются произвольное число слоев I и счетчик компоновок j = 1. Определяется множество Ашс.
3. б*=о, М=о, г, г,..,= 0,j = j + 1,А"снс = 0 —
множество неперспективных архитектур.
4. п = 1 — счетчик слоев.
5. к = 1 — счетчик элементов в слое.
6. Проверка условия п < I, если выполняется, то переход на шаг 7, иначе переход на шаг 13.
7. В качестве правила выбора кандидата а. из множества элементов А назначаются последовательно у5.
Сравнение вычислительной сложности обучения СНС
Таблица 2
Набор данных СНС Веса Соединения % ошибок на тестовом множестве
Planetsnet Planetsnet 264k 2324k 2.4
СНС_1 150k 1670k 2.5
MNIST LeNet-5 60k 340k 0.8
СНС_2 42k 256k 0.7
1. Согласно правилу у5 выбирается элемент a и за-
носится в Z,,
9. Вычисляется число соединений:
Q* =TWAj, Q' = Q' + Q*,
число используемых весов:
M = WaAj , M' = M' + M*.
10. Проверка условия Q ^ Q, если выполняется, то к = к + 1, переход к шагу 6, если не выполняется, то n = n + 1, переход на шаг 5.
11. В подмножество Zj заносится l полносвязных выходных нейронов, Z ={Zj,..., ZJ.
12. Проверка модели на условие отсечения, если да, то Z ={Z,..., Zj} заносится вА~снс, нет переход на шаг 13.
13. Полученная модель Z ={Zj,..., Zj} исключается из множества Ашс, обучается на тестовом наборе данных, модель и результаты обучения P, P P2 сохраняются в базу данных под обозначением Aj
14. Проверяется наличие неисследованных альтер-
«CHC т
натив А , если выполняется, переход на шаг 3, «нет» продолжение.
15. Выбирается конфигурация из базы данных А, для которой P — max.
4. Результаты экспериментов
Для проведения эксперимента выбраны получившие широкое распространение наборы обучающих данных MNIST и Planetsnet. Сравнения проводились на СНС LeNet-5 и СНС, представленной с набором данных Planetsnet. При создании СНС_1 и СНС_2 использовался предложенный алгоритм, в качестве элементов компоновки фильтры размерами 1*1, 3*3, 5*5, 7*7, Пх11, полносвязные слои, субдискредитация 2*2. Результаты экспериментов представлены в таблице 2.
Из табл. 2 видно, что представленный алгоритм позволяет автоматически подбирать состав архитектуры СНС. Большая разница по количеству весовых коэффициентов и соединений с сетью LeNet-5, объясняется прежде всего использованием приемов построения СНС, появившихся после создания LeNet-5. На наборе данных
Planetsnet алгоритм показывает практически такую же точность, при меньшей вычислительной сложности.
Заключение
Предложенный алгоритм целесообразно использовать для автоматического подбора составных элементов СНС для решения различных задач, так как именно ручное проектирование конфигурации СНС занимает значительное время. Алгоритм предлагается использовать на Земле для подготовки СНС. Полученные нейронные сети затем переносятся в бортовую вычислительную систему, для автономного распознавания объектов на изображениях, получаемых оптическими датчиками. Наличие такой информации позволяет снизить зависимость бортовой системы управления БЛА от использования информационных каналов.
Одним из не очень существенных недостатков предложенного алгоритма является необходимость многократного обучения СНС при выборе конфигурации, оптимальной для используемого набора данных. Отметим, что использование распараллеливания обучения на современных видеокартах Nvidia позволяет значительно уменьшить время обучения нейронной сети. Кроме того, обучение СНС проводится на Земле и, как следствие, к длительности обучения СНС не предъявляются жесткие требования.
Дальнейшие исследования целесообразно продолжить в направлениях совершенствование правил компоновки элементов и отсечения неперспективных архитектур для уменьшения количества обучаемых сетей.
Литература
1. Chitade A. Z. Colour based image segmentation using k-means clustering // International Journal of Engineering Science and Technology. 2010. Vol. 2(10). Pp. 5319-5325.
2. Методы компьютерной обработки изображений / под ред. В. А. Сойфера. 2-е изд. М.: Физматлит, 2003. 784 с.
3. Яковлев Е.Л., Хомоненко А. Д., Арчаков С. Н., Ерин А. А. О выделении контуров объектов на изображениях при дистанционном зондировании Земли для обеспечения безопасности на транспорте // Сборник трудов Всероссийской научно-практической конференции
«Августин Бетанкур: от традиций к будущему инженерного образования». Санкт-Петербург, 2018. С. 6-10.
4. Viola P., Jones M.J. Robust Real-Time Face Detection // International Journal of Computer Vision. 2004. Vol. 57(2). Pp. 137-154.
5. Гонсалес Р., Вудс Р. Цифровая обработка изображений: пер с англ. М.: Техносфера, 2005. 1072 с.
6. Hu M. Visual Pattern Recognition by Moment Invariants // IRE Trans. Inf. Theory. 1962. Vol. 8. Pp. 179-187.
7. Старобинец Д.Ю., ХомоненкоА. Д., Гаврилова Н. А. Автоматический выбор параметров сжатия изображений с потерями на основе инвариантных моментов при дистанционном зондировании Земли // Современные проблемы дистанционного зондирования Земли из космоса. 2017. Т. 14. № 5. С. 26-36.
8. КруглоеВ.В., ДлиМ.И., ГолуновР.Ю. Нечеткая логика и искусственные нейронные сети. М.: Физматлит, 2001. 224 с.
9. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based LearningApplied to Document Recognition // Proceedings of the IEEE. 1998. Vol. 86. No. 11. Pp. 2278-2324.
10. LeCun Y, Cortes С., Burges C. J.C. The MNIST database of handwritten digits. URL: http://yann.lecun.com/ exdb/mnist/ (дата обращения 01.11.2018).
11. Krizhevsky А., Sutskever I., Hinton G. Е. ImageNet Classification with Deep Convolutional Neural Networks //
Proceedings of the 25th International Conference on Neural Information Processing Systems (NIPS'12). Advances in Neural Information Processing Systems 25 (Lake Tahoe, Nevada, 0306 December 2012). 2012. Pp. 1097-1105.
12.Szegedy C., Liu W., Jia Y., Sermanet P., ReedS. E., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going Deeper with Convolutions / Cornel University Library. 2014. URL: http://arxiv.org/abs/ 1409.4842 (дата обращения 01.11.2018).
13. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. 2015. arXiv:1512.03385.
14.Назаров А.В., Лоскутов А. И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и Техника, 2003. 384 с.
15. Смолицкий Х.Л., Ефимов В. В., Горбулин В. И. и др. Методы синтеза структур нейронных сетей. СПб.: ВИККИ им. А. Можайского. 1993. 54 с.
16.КоролевД.А., Суфиянов В. Г. Нейроэволюционный подход к оптимизации внутренней структуры нейронных сетей // Вестник ТОГУ. 2007. № 4(7). С. 107-122.
17. Тимофеева Н. К. Один алгоритм компоновки БЭ корпуса ИМС // Алгоритмы и программы решения задач дискретной оптимизации. К.: ИК АН УССР, 1980. С. 2-14. URL: https://github.com/rhammell/planesnet-detector (дата обращения 01.11.2018).
THE RATIONALE FOR THE ARCHITECTURE OF THE CONVOLUTIONAL NEURAL NETWORK FOR OBJECT RECOGNITION ON IMAGES ON-BOARD COMPUTER SYSTEM
ANATOLIY D. KHOMONENKO KEYWORDS: convolutional neural network; autonomous recogni-
St-Petersburg, Russia, [email protected] tion of objects on images; onboard computer system.
EVGENY L. YAKOVLEV
St-Petersburg, Russia, [email protected]
ABSTRACT
An approach is proposed to substantiate the architecture of a convolutional neural network (SNS), which provides improved performance in the number of weighting factors and connections while maintaining the accuracy of object recognition in images. Learning SNA with the selected architecture is implemented on Earth. After training, the neural network is used in onboard computing systems for autonomous recognition of objects in images. The analysis of the features of the construction of the SNA for the recognition of objects in images is carried out, and on its basis, limitations and rules
for the development of new SNA are formulated. The formulation of the combinatorial optimization problem is formulated, a heuristic algorithm is proposed for solving this problem based on the rules of layout and cutting off unpromising SNA configurations. For the Planetsnet and MNIST test datasets, the results of computer experiments are presented and compared with existing SNA architectures by the number of weights, connections, and accuracy in% of errors on the test set. It is shown that the proposed algorithm allows you to choose a variant of the SNA architecture with a smaller number
of weighting factors and compounds with almost the same accuracy in% error solving the problem of recognizing objects in the image.
REFERENCES
1. Chitade A. Z. Colour based image segmentation using k-means clustering. International Journal of Engineering Science and Technology. 2010. Vol. 2(10). Pp. 5319-5325.
2. Soyfera V.A. (Ed.). Metody komp'yuternoy obrabotki izobrazheniy [Methods of computer image processing]. 2nd edition. Moscow: Fizmatlit, 2003. 784 p. (In Russian)
3. Yakovlev E.L., Khomonenko A. D., Archakov S. N., Erin A. A. O vydelenii konturov ob''ektov na izobrazheniyakh pri distantsionnom zondirovanii Zemli dlya obespecheniya bezopasnosti na transporte [About allocation of contours of objects on images at remote sensing of the Earth for safety on transport]. Sbornik trudov Vserossiyskoy nauchno-prakticheskoy konferentsii "Avgustin Betankur: ot traditsiy k budushchemu inzhener-nogo obrazovaniya" [Proceedings of the all-Russian scientific-practical conference "Augustine Betancourt: from traditions to the future of engineering education"]. St. Petersburg, 2018. Pp. 6-10. (In Russian)
4. Viola P., Jones M. J. Robust Real-Time Face Detection. International Journal of Computer Vision. 2004. Vol. 57(2). Pp. 137-154.
5. Gonzalez R.C., Woods R. E. Digital Image Processing. 3rd edition. Prentice-Hall, 2007. 976 p.
6. Hu M. Visual Pattern Recognition by Moment Invariants. IRE Trans. Inf. Theory. 1962. Vol. 8. Pp. 179-187.
7. Starobinets D. Yu., Khomonenko A. D., Gavrilova N.A. Avtoma-ticheskiy vybor parametrov szhatiya izobrazheniy s poteryami na osnove invariant-nykh momentov pri distantsionnom zondirovanii Zemli [Automatic selection of lost image compression options based on invariant moments in remote sensing of the Earth]. Sovremennye problemy distantsionnogo zondirovaniya Zemli izkosmosa [Modern problems of remote sensing of the Earth from space]. 2017. Vol. 14. No. 5. Pp. 26-36. (In Russian)
8. Kruglov V.V., Dli M. I., Golunov R. Yu. Nechetkaya logika i iskusst-vennye neyronnye seti [Fuzzy logic and artificial neural networks]. Moscow: Fizmatlit, 2001. 224 p. (In Russian)
9. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE. 1998. Vol. 86. No. 11. Pp. 2278-2324.
10. LeCun Y, Cortes C., Burges C. J.C. The MNIST database of handwritten digits. URL: http://yann.lecun.com/exdb/mnist/ (date of accessed 01.11.2018).
11. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks. Proceedings of the 25th International Conference on Neural Information Processing Systems (NIPS'12). Advances in Neural Information Processing Systems 25 (Lake Tahoe, Nevada, 03-06 December 2012). 2012. Pp. 1097-1105.
12. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S. E., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going Deeper with Convolutions / Cornel University Library. 2014. URL: http://arxiv.org/ abs/ 1409.4842 (date of access 01.11.2018).
13. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. 2015. arXiv:1512.03385.
14. Nazarov A.V., Loskutov A.I. Neyrosetevye algoritmy prog-nozirovaniya i optimizatsii sistem [Neural network algorithms of forecasting and optimization of systems]. St. Petersburg: Nauka iTekhnika, 2003. 384 p. (In Russian)
15. Smolitskiy Kh.L., Efimov V. V., Gorbulin V. I. et al. Metody sinteza struktur neyronnykh setey [Methods for synthesis of structures of neural networks] St. Petersburg: VIKKI im. A. Mozhayskogo. 1993. 54 p. (In Russian)
16. Korolev D.A., Sufiyanov V. G. The neuroevolutionary ap-proach to optimization of inner structure of neural nets. Bulletin of TOGU. 2007. No. 4(7). Pp. 107-122. (In Russian)
17. Timofeeva N. K. Odin algoritm komponovki BE k korpusa IMS [One algorithm of be layout to the case of IC]. [Algorithms and programs for solving discrete optimization problems]. Kiev: IK AN USSR, 1980. Pp. 2-14. URL: https://github.com/rhammell/planesnet-detec-tor (date of accessed 01.11.2018). (In Russian)
INFORMATION ABOUT AUTHORS:
Khomonenko A.D., PhD, Professor, Head of the Department of Information and Computing systems of Emperor Alexander I St. Petersburg state transport university, professor at the Department of mathematical and software of Military Space Academy; Yakovlev E.L., Adjunct at the Department of mathematical and software of Military Space Academy.
For citation: Khomonenko A.D., Yakovlev E.L. The rationale for the architecture of the convolutional neural network for object recognition on images on-board computer system. H&ES Research. 2018. Vol. 10. No. 6. Pp. 86-93. doi: 10.24411/2409-5419-2018-10190 (In Russian)
