CC BY
16Научная статья УДК 004.032.26
doi: 10.34822/1999-7604-2022-3-84-98
СРАВНЕНИЕ ТИПОВ ЯДЕР В СВЕРТОЧНЫХ СЛОЯХ НЕЙРОННЫХ СЕТЕЙ
Вахит Мансурович Гиниятуллин1Александр Владимирович Хлыбов 2,
Михаил Андреевич Федоров 3, Тамерлан Азаматович Асадуллин 4,
Андрей Сергеевич Крутин 5, Илья Андреевич Осипов 6, Дамир Мунзирович Зарипов 7
1, г 3, 4,5, б, 7 уфимсКий государственный нефтяной технический университет, Уфа, Россия
1 [email protected]в, https://orcid.org/0000-0002-4686-2752
2 [email protected], https://orcid.org/0000-0002-9586-0681
[email protected], https://orcid.org/0000-0002-6762-7831 4 [email protected], https://orcid.org/0000-0002-6660-6158 [email protected], https://orcid.org/0000-0001-7412-2391 [email protected], https://orcid.org/0000-0002-3570-6738 [email protected], https://orcid.org/0000-0001-8912-0321
Аннотация. Рассмотрена процедура использования фиксированных задаваемых сверточных ядер. Расчеты проведены с изменением их размерности и шага сдвига. Для исследований взяты четыре различных набора изображений и структур нейронных сетей. В рамках статьи обсуждается четыре вида задаваемых ядер: вертикальные, горизонтальные, диагональные и кольцевые. Исследовалась зависимость точности распознавания изображений в монохромном и цветном представлениях. При дообучении фиксированных ядер наблюдается сдвиг в положительную сторону.
Ключевые слова: сверточное ядро, размер и шаг ядра, воспроизводимость результатов, глубокое обучение, первоначальное приближение, дискретность
Благодарности: работа выполнена при поддержке федерального государственного бюджетного учреждения «Фонд содействия развитию малых форм предприятий в научно-технической сфере» (Фонд содействия инновациям).
Для цитирования: Гиниятуллин В. М., Хлыбов А. В., Федоров М. А., Асадуллин Т. А., Крутин А. С., Осипов И. А., Зарипов Д. М. Сравнение типов ядер в сверточных слоях нейронных сетей // Вестник кибернетики. 2022. № 3 (47). С. 84-98. DOI 10.34822/1999-7604-2022-3-84-98.
Original article
COMPARING TYPES OF KERNELS IN CONVOLUTIONAL LAYERS
OF NEURAL NETWORKS
Vakhit M. Giniyatullin m, Aleksandr V. Khlybov 2, Mikhail A. Fedorov 3, Tamerlan A. Asadullin 4, Andrey S. Krutin 5, Ilya A. Osipov 6, Damir M. Zaripov 7
1 2 3, l4, i5, 6 7 Ufa State Oil Technical University, Ufa, Russia
1 [email protected], https://orcid.org/0000-0002-4686-2752
2 [email protected], https://orcid.org/0000-0002-9586-0681
[email protected], https://orcid.org/0000-0002-6762-7831 4 [email protected], https://orcid.org/0000-0002-6660-6158 [email protected], https://orcid.org/0000-0001-7412-2391 [email protected], https://orcid.org/0000-0002-3570-6738 [email protected], https://orcid.org/0000-0001-8912-0321
Abstract. The article studies the process of using fixed specified convolutional kernels. The calculations are conducted considering the change in filter size and stride. In the course of the study, four different
sets of images and structures of neural networks are selected. The article discusses four types of specified kernels: vertical, horizontal, diagonal, and ring. The dependency of the accuracy of image recognition in monochrome and color is analyzed. A positive shift is observed when training fixed kernels.
Keywords: convolutional kernel, kernel's size and stride, reproducibility, deep learning, initial approximation, discreteness
Acknowledgments: the article is funded by the Fund for Assistance to Small Innovative Enterprises (Innovation Assistance Fund).
For citation: Giniyatullin V. M., Khlybov A. V., Fedorov M. A., Asadullin T. A., Krutin A. S., Osipov I. A., Zaripov D. M. Comparing Types of Kernels in Convolutional Layers of Neural Networks // Proceedings in Cybernetics. 2022. No. 3 (47). P. 84-98. DOI 10.34822/1999-7604-2022-3-84-98.
ВВЕДЕНИЕ
Применение сверточных слоев в искусственной нейронной сети (далее - ИНС) в задачах распознавания образов весьма популярно. Обычно в парадигме глубокого обучения (deep learning) [1-3] используются десятки обучаемых ядер. В большинстве случаев их разносят по нескольким подряд идущим слоям. Размер ядер 3 х 3 или 5 х 5, шаг по умолчанию равен 1, затем следуют полносвязные нейронные слои.
В полносвязном слое обучаемые веса нейронной сети представляют собой вектор вещественных значений. В сверточных слоях вектор весов заменен на плоскую (двумерную) матрицу и называется ядром свертки. Сверточное ядро сдвигается по изображению, преобразованному в числовую матрицу, с некоторым шагом, сокращая (сворачивая) его исходную размерность в меньшую. Сокращение размерности зависит как от размера сверточного ядра, так и от значения его шага.
Известно, что можно обойтись и без свер-точных слоев, но тогда количество нейронов полносвязного слоя и количество обучаемых параметров растет пропорционально площади входного изображения [1, 2]. При использовании ядер большого размера (в работе [3] упоминаются ядра размером 22 х 22) за счет увеличения шага свертки можно радикально
(пропорционально квадрату шага) сократить размер выходного вектора.
Таким образом, задача состоит в сокращении вычислительных затрат как при обучении искусственной нейронной сети, так и на этапе рабочего хода, при этом вероятность удачного исхода обучения должна увеличиться.
В работе [4] было показано, что коэффициенты ядер можно задавать дискретными (использовались значения -1, 0, +1) в некоторой переборной процедуре, а в работе [5] упоминается большая дискретность значений весов сверточного слоя. Количество итераций в процедуре полного перебора -это степенная функция от размерности ядра, следовательно, перебор многозначных ядер большого размера практически невыполним.
Авторы статьи видоизменяли коэффициенты ядер только первого сверточного слоя и решили ограничиться:
- размером ядер от 5 х 5 до 9 х 9;
- значениями коэффициентов ядер в пятизначном диапазоне (-2, -1, 0, +1, +2);
- четырьмя структурами ядер (вертикальные, горизонтальные, диагональные и кольцевые).
«Вертикальные», «горизонтальные» и «диагональные» ядра можно отнести к типу «линейных» ядер (рис. 1).
-2 -1 0 1 2
-2 -1 0 1 2
-2 -1 0 1 2
-2 -1 0 1 2
-2 -1 0 1 2
Вертикальное
-2 -2 -2 -2 -2
-1 -1 -1 -1 -1
0 0 0 0 0
1 1 1 1 1
2 2 2 2 2
Горизонтальное
0 1 1 2 2
-1 0 1 1 2
-1 -1 0 1 1
-2 -1 -1 0 1
-2 -2 -1 -1 0
2 2 1 1 0
2 1 1 0 -1
1 1 0 -1 -1
1 0 -1 -1 -2
0 -1 -1 -2 -2
Левая диагональ
Правая диагональ
Рис. 1. Линейные задаваемые ядра
Примечание: составлено авторами.
Генерация большей размерности таких ядер происходит путем последовательного добавления для каждой большей размерности значений из выбранного диапазона дискретности с сохранением симметрии на нечетных размерах. Например, из размерности 5 х 5 (рис. 1) можно получить ядра размер-
ности 6 х 6 путем добавления дополнительных строк/столбцов и диагоналей со значением «1». Для следующего нечетного размера (7 х 7) добавляются элементы со значением «-1» (рис. 2). Дальнейшее масштабирование происходит аналогичным образом, добавлением «двоек».
6 х 6
-1 -1 -1 -1_-1_-1
_о_о_о_о_о_о
_L _1_1_1_1_1
111111
7 х 7
2_-1_-1_0_1_1_2
2__±_-J__О_1_1_2
J_-1_ I _0_1_1_2
_2_-1_-1__0_1_1_2
2-1-101 1 2
Рис. 2. Масштабирование линейных ядер
Примечание: составлено авторами.
Генерация «кольцевых» ядер происходила налей по часовой стрелке (рис. 3). На рис. 3
в обратном порядке. Бралось ядро большой зеленым цветом отмечены диагонали, кото-
размерности (например, 9 х 9), и уменьшался рые будут удалены на следующем шаге. его размер за счет удаления двойных диаго-
-2 -2 -2 -2 -2 -2 -2 -2 -2
-2 -1 -1 -1 -1 -1 -2
-2 0 0 0 0 0 -2
-2 0 1 1 1 0 -2
-2 0 1 2 1 0 -2
-2 0 1 1 1 0 -2
-2 0 0 0 0 0 -2
-2 -1 -1 -1 -1 -1 -2
-2 -2 -2 -2 -2 -2 -2 -2 -2
—>
9 х 9
-2 -2 -2 -2 -2 -2 -2 -2
-2 -1 -1 -1 -1 -1 -2
-2 0 0 0 0 -1 -2
-2 0 1 1 1 0 -2
-2 0 1 2 1 0 -1
-2 0 1 1 1 0 -2
-2 0 0 0 0 -1 -2
-2 -1 -1 -1 -1 -1 -2
-2 -2 -2 -2 -2 -2 -2 -2
9 х 8
—>
-2 -2 -2 -2 -2 -2 -2 -2
-2 -1 -1 -1 -1 -1 -2
-2 0 0 0 0 -1 -2
-2 0 1 1 1 0 -2
-2 0 1 2 1 0 -1
-2 0 1 1 1 0 -2
-2 -1 0 0 0 -1 -2
-2 -2 -2 -2 -1 -2 -2 -2
'8 х 8
Рис. 3. Масштабирование кольцевых ядер
Примечание: составлено авторами.
Поскольку для последующих слоев используются стандартные процедуры обучения, общий результат является невоспроизводимым, авторы в результате обсуждения пришли к выводу, что можно принять отклонение в расчетах менее 4 % за несущественную разницу.
МАТЕРИАЛЫ И МЕТОДЫ
Проведенные исследования были выполнены на четырех наборах данных (датасетах) [6-9] и заранее заданных структурах нейронных сетей [10-13].
Характеристики датасетов представлены в табл. 1.
В табл. 2 предпринята попытка обобщения структур используемых нейронных сетей. В структуре ИНС PneumoniaDetection, в отличие от всех остальных, после каждого свер-точного слоя присутствует слой BatchNormali-zation (для экономии пространства он не включен в табл. 2). Знак «+» в ячейках таблицы означает наличие слоя в структуре.
На рис. 4 приведен пример задания структуры нейронной сети для датасета Fruits 360.
Таблица 1
Описание наборов данных
Датасет Fruits 360 Chest X-Ray Images (Pneumonia) Malaria Dataset Fashion MNIST
Краткое описание Набор изображений фруктов Рентгенограммы грудной клетки Изображения клеток для прогнозирования заболевания малярией Черно-белые изображения одежды
Размерность изображений, px 100 х 100 150 х150 130 х 130 28 х 28
Количество цветовых
каналов, однотонное / 3 1 3 1
RGB
Обучающая выборка, шт 4306 5216 27600 60000
Тестовая выборка, шт 1445 624 15832 10000
Примечание: составлено авторами.
Таблица 2
Структуры нейронных сетей
CNN Fruit Classification Pneumonia Detection Detecting Malaria Fashion MNIST -Keras CNN
Размерность входного изображения (100, 100, 3) (150, 150, 1) (130, 130, 3) (28, 28, 1)
Сверточный слой 8 ядер 3 х 3 32 ядра 3 х 3 32 ядра 3 х 3 16 ядер 2 х 2
Maxpooling Ядро 2х2, шаг 1 Ядро 2х2, шаг 2 Ядро 2х2, шаг 2 Ядро 2х2, шаг 2
Dropout +
Сверточный слой 16 ядер 3 х 3 64 ядра 3 х 3 64 ядра 3 х 3 32 ядра 2 х 2
Dropout +
Maxpooling Ядро 2 х 2, шаг 2 Ядро 2 х 2, шаг 2 Ядро 2 х 2, шаг 2 Ядро 2 х 2, шаг 2
Dropout +
Сверточный слой 32 ядер 3 х 3 64 ядра 3 х 3 64 ядра 3 х 3
Maxpooling Ядро 2 х 2, шаг 2 Ядро 2 х 2, шаг 2 Ядро 2 х 2, шаг 2
Dropout +
Сверточный слой 128 ядер 3 х 3
Dropout +
Maxpooling Ядро 2 х 2, шаг 2
Сверточный слой 256 ядер 3 х 3
Dropout +
Maxpooling Ядро 2 х 2, шаг 2
Flatten + + + +
Полносвязный слой 512 нейронов 128 нейронов 128 нейронов 1024 нейрона
Dropout + + + +
Полносвязный слой 128 нейронов
Dropout +
Полносвязный слой 9 нейронов 1 нейрон 1 нейрон 10 нейронов
Количество выходных классов 9 (Apple, Avocado, Banana, Cherry, Cocos, Kiwi, Lemon, Mango, Orange) 2 (Normal, Pneumonia) 2 (Parasitized, Uninfected) 10 (T-shirt/top, Trouser, Pullover, Dress, Coat, Sandal, Shirt, Sneaker, Bag, Ankle boot)
Количество эпох обучения 10 5 5 7
Точность по обучающей выборке, % 95,15 98,14 94,45 92,26
Точность по тестовой выборке, % 94,60 78,69 93,61 91,96
Примечание: составлено авторами.
model=Sequential()
model.add(Conv2D(filte rs=S,kernel_size=(3,3),padding="Same",activation="relu",input_shape=(100,100,3))) model.add(MaxPool2D(pool_size=(2,2))) model.add(Dropout(0.35))
model.add(Conv2D(filte rs=16,kernel_size=(3,3),padding="Same",activation="relu")) model.add(MaxPool2D(pool_size=(2,2),strides=(2,2))) model, add(Dropout(0.35))
model.add(Conv2D(filters=32,kernel_size=(3,3),padding="Same",activation="relu")) model.add(MaxPool2D(pool_size=(2,2),strides=(2,2))) model.add(Dropout(0.35)) model.add(Flatten())
model.add(Dense(512,activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(9,activation= "softmax"))
Рис. 4. Задание структуры нейронной сети
Примечание: снимок экрана [10].
Conv2D, MaxPool2D и Dropout - это, соответственно, сверточный, maxpooling- и drop-out-слои. Dense - полносвязный нейронный слой. Flatten - слой, преобразующий двумерную матрицу в вектор. В скобках задаются различные параметры для каждого из слоев: filters - количество ядер в сверточном слое, kernel_size и pool_size - размер ядер в свер-точном и maxpooling-слоях соответственно. Для установления шага сдвига ядер используется параметр strides, где в скобках через запятую задается значение шага по горизонтали (первое значение) и вертикали (второе значение). На рис. 4 в сверточных слоях не указано значение шага, по умолчанию оно устанавливается в 1 по горизонтали и вертикали. В параметре input_shape задан размер исходного изображения и количество цветовых каналов (на рисунке размерность изображения 100 на 100 пикселей, 3 цветовых канала RGB). Учет цветовой многоканальности происходит за счет установки ядер в каждый цветовой канал. Первый параметр полносвязного слоя - это количество нейронов, второй - вид функции активации.
Все структуры ИНС поддаются сокращению. В табл. 2 красным цветом выделены ячейки, в которых были проведены дальнейшие упрощения структур ИНС.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
Для представленных выше структур были выполнены следующие основные шаги:
- обучение исходной структуры нейронной сети;
- упрощение и обучение структур нейронных сетей с одним фиксированным задаваемым сверточным ядром с изменением шага его сдвига и фиксированием точности распознавания;
- выбор размерности ядра и шага;
- перебор комбинаций ядер;
- для цветных изображений проводилась проверка влияния трехканальности на точность результатов обучения.
Для FruitClassification исходная структура нейронной сети на выходе имеет девять классов. Изображения представлены в трех-канальном виде по цветовым плоскостям RGB. Точность по обучающей и тестовой выборке исходной структуры ~ 95 %.
На рис. 5 представлен пример вывода результатов расчета нейронной сети для дата-сета Fruits 360 [10].
Для каждой эпохи выводится количество итераций, время в миллисекундах, значения потерь, а также точности по обучающей (acc) и валидационной/тестовой выборкам (val_acc). Точность вычисляется как отношение правильно распознанных ИНС экземпляров исходной выборки к общему их количеству. Результаты вычисления точности, представленные в дальнейших таблицах, переведены в проценты.
Epoch 1/10 191/191 [=== Epoch 2/10 191/191 [=== Epoch 3/10 191/191 [=== Epoch 4/10 191/191 [=== Epoch 5/10 191/191 [=== Epoch 6/10 191/191 [=== Epoch 7/10 191/191 [=== Epoch 8/10 191/191 [=== Epoch 9/10 191/191 [=== Epoch 10/10 191/191 [===
- 16s 52ms/step - loss: 1.9696 - acc: 0.2173 - val_loss: 1.4683 - val_acc: 0.3B05
- 9s 46ms/step - loss: 1.2587 - acc: 0.4538 - val_loss: 0.8938 - val_acc: 0.4861
- 9s 46ms/step - loss: 0.6846 - acc: 0.7132 - val_loss: 0.2742 - val_acc: 0.8666
- 9s 46ms/step - loss: 0.4171 - acc: 0.8546 - val.loss: 0.1499 - val_acc: 0.9594
- 10S 51ms/step - loss: 0.2394 - acc: 0.9177 - val_loss: 0.1827 - vaLacc: 6.9374
- 9s 49ms/step - loss: 0.1967 - acc: 0.9273 - val.loss: 0.0950 - val_acc: 0.9733
- 9s 47ms/step - loss: 0.1768 - acc: 0.9378 - val_loss: 0.0885 - val_acc: 0.9559
- 9s 46ms/step - loss: 0.1270 - acc: 0.9540 - val.loss: 0.0464 - val_acc: 0.9872
- 9s 47ms/step - loss: 0.1257 - acc: 0.9575 - val_loss: 0.0423 - val_acc: 0.9861
- 9s 46ms/step - loss: 0.1401 - acc: 0.9555 - val_loss: 0.0655 - val_acc: 0.9791
Рис. 5. Задание структуры нейронной сети
Примечание: снимок экрана [10].
Для упрощения переборной процедуры трехканальная цветовая схема была переведена в одноканальную с помощью функции grayscale [14], при этом снизилась точность как по обучающей (90,35 %), так и по тестовой выборке (85,96 %). Такое изменение входных данных также позволило сократить время обучения с 9,5 сек до 5,25 сек на одну эпоху.
Далее был усечен первый сверточный слой с восьми ядер до одного, убраны drop-out-слои, удален второй maxpooling-слой. Точность такой упрощенной структуры составила по обучающей выборке = 82,56 %, по тестовой = 80,69 %.
Была проведена переборная процедура задаваемых ядер с размерностями от 5 х 5 до 9 х 9, которая состояла в том, что в одноядерный первый сверточный слой упрощенной архитектуры нейронной сети устанавливались фиксированные ядра одной из заранее заданных структур (вертикальное, горизонтальное, диагональное или кольцевое) и происходило обучение сети с изменением шага сдвига этого сверточного ядра по изображению (табл. 3). В табл. 3 представлены точности нейронной сети, получаемые с применением ядер различного размера и типа.
Таблица 3
Точность распознавания для задаваемых ядер (CNNFruitClassification), в %
^^^^^^ Шаг Ядро 1 2 3 4 5 6 7 8 9
5 х 5
Вертикальное (v) 76,65 61,47 46,70 39,43 42,53
Горизонтальное (h) 81,55 67,60 55,22 47,17 46,12
Правая диагональ (rd) 81,03 64,48 53,33 42,56 46,96
Левая диагональ (ld) 86,89 77,03 65,09 54,79 54,47
Кольцо (r) 12,46 12,11 11,65 11,79 12,00
6 х 6
Вертикальное (v) 67,40 59,49 53,15 52,34 41,71 40,28
Горизонтальное (h) 64,83 60,36 58,84 52,66 40,83 41,45
Правая диагональ (rd) 63,49 58,61 53,59 50,41 39,38 41,74
Левая диагональ (ld) 63,40 63,86 61,73 56,60 46,15 45,30
Кольцо (r) 11,44 11,70 11,79 11,70 11,65 11,73
Окончание табл. 3
—Шаг Ядро ^—__ 1 2 3 4 5 6 7 8 9
7 х 7
Вертикальное (у) 59,57 55,63 52,66 45,10 35,90 32,28 29,48
Горизонтальное (И) 76,81 67,63 62,07 61,82 55,31 38,40 39,31
Правая диагональ (гф 80,37 70,60 67,04 62,83 54,89 45,29 43,35
Левая диагональ (И) 79,19 72,13 78,30 67,59 60,90 53,49 50,70
Кольцо (г) 11,16 11,89 11,98 12,14 11,74 10,84 12,24
8 х 8
Вертикальное (у) 76,86 66,15 73,28 65,23 60,86 57,84 58,22 50,04
Горизонтальное (И) 74,54 64,75 72,47 67,43 62,65 60,09 57,59 51,33
Правая диагональ (гф 69,47 70,76 55,83 54,04 46,68 48,74 44,19 40,16
Левая диагональ (И) 69,10 73,23 63,40 67,22 62,98 52,79 49,52 45,86
Кольцо (г) 11,23 11,24 11,20 11,93 10,90 10,80 11,08 11,61
9 х 9
Вертикальное (у) 68,45 60,88 52,38 46,11 44,69 40,91 41,37 34,29 30,73
Горизонтальное (И) 67,92 66,42 58,59 55,76 49,12 45,59 42,35 40,14 31,26
Правая диагональ (гф 63,33 68,58 52,66 53,89 49,41 48,80 41,92 40,94 33,89
Левая диагональ (И) 78,62 69,88 64,74 56,09 58,71 58,12 53,39 50,56 41,66
Кольцо (г) 11,71 11,42 10,75 11,12 11,63 12,15 11,41 10,62 12,35
Примечание: составлено авторами.
Из табл. 3 заметно уменьшение точности с ростом размера ядер. Снижение точности наблюдается и при увеличении шага сдвига сверточного ядра, при этом резкое падение прослеживается на шаге, примерно равном половине размерности исходного ядра.
Далее были составлены комбинации лево-диагональной матрицы 5 х 5 с тремя остальными. Комбинации ядер и получаемый прирост точности сведены в табл. 4.
Таблица 4
Точность для комбинаций ядер (CNNFruitClassification)
Комбинация Точность по обучающей выборке, %
ld + rd 85,84
ld + h 89,36
ld + v 82,49
ld + rd + h 85,33
ld + rd + v 89,14
ld + h + v 87,53
ld + rd + h + v 91,80
Примечание: составлено авторами.
Наибольшая точность достигается в комбинации всех четырех матриц (точность по обучающей выборке = 91,80 %).
Для проверки влияния количества цветовых каналов на результаты были проведены дополнительные расчеты. Одно сверточное ядро в трех цветовых каналах фактически представляет собой три ядра. В табл. 5 представлены результаты для трех случаев:
1) изображения преобразованы в одно-канальный вид (операция grayscale [14]), а в единственное ядро первого сверточно-
го слоя устанавливается леводиагональ-ное ядро;
2) изображения трехканальные, в три цветовых канала заданы одинаковые ядра -леводиагональные;
3) изображения трехканальные, в три цветовых канала заданы три разных ядра -леводиагональное, праводиагональное, вертикальное.
Преобразование цветного изображения в одноканальный вид осуществляется с помощью операции grayscale, по формуле:
У = 0,299хЯ + 0,587 х в + 0,114х В, (1)
где Я, G и В - соответствующие компоненты красного, зеленого и синего цвета.
Во всех случаях размер ядра равен 5 х 5 с шагом 1.
Оказалось (табл. 5), что для данного набора изображений цвет оказывает серьезное влияние на результаты обучения, особенно на тестовой выборке.
Датасет Malaria также имеет трехканаль-ные (RGB) цветные изображения (рис. 6).
Таблица 5
Проверка влияния трехканальности на точность распознавания
(CNNFruitClassification)
Каналы/точность Точность по обучающей выборке, % Точность по тестовой выборке, %
ld - 1 канал 86,60 76,75
ld, ld, ld - 3 канала 65,93 57,72
ld, v, rd - 3 канала 88,99 85,26
Примечание: составлено авторами.
Рис. 6. Примеры изображений из MalariaDataset (слева - зараженная клетка, справа - здоровая)
Примечание: изображения сгенерированы из датасета при помощи исходной структуры НС.
В исходной структуре ИНС Бйесй^Ма-1апа были проведены следующие сокращения: уменьшено количество ядер во всех сверточных слоях (в первом - с 32 ядер до одного, во втором и третьем слое - с 64 ядер до 16 в каждом из слоев), убраны ёгороШ;-слои [15]. Исходная точность такой сокра-
Точность распознавания для зад;
щенной структуры составила: по обучающей выборке = 94,13 %, по тестовой = 93,97 %. Также проведена аналогичная предыдущему примеру переборная процедура задаваемых ядер, результаты по получаемым точностям сведены в табл. 6.
Таблица 6
аемых ядер (MalariaDataset), в %
^^^^^^ Шаг Ядро ^^^^^ 1 2 3 4 5 6 7 8 9
5 х 5
Вертикальное (у) 92,67 90,29 84,10 84,22 80,17
Горизонтальное (И) 92,81 90,08 85,54 84,16 79,55
Левая диагональ (И) 93,14 91,16 85,88 84,83 80,12
Правая диагональ (М) 92,53 90,45 86,99 85,09 79,26
Кольцо (г) 55,56 53,64 54,74 52,91 52,47
Окончание табл. 6
^^^^^^ Шаг Ядро ^^^^^^ 1 2 3 4 5 6 7 8 9
6 х 6
Вертикальное (у) 92,60 90,86 89,75 88,93 84,07 81,76
Горизонтальное (И) 92,59 90,74 89,23 87,23 83,86 81,24
Левая диагональ (И) 92,61 90,96 86,79 83,64 80,91 81,95
Правая диагональ (гф 96,20 91,16 86,84 84,22 80,94 82,69
Кольцо (г) 55,17 53,86 54,41 53,58 51,34 51,24
7 х 7
Вертикальное (у) 92,56 89,77 85,62 83,77 80,31 82,52 84,70
Горизонтальное (И) 92,25 92,40 91,01 87,87 85,43 83,71 84,99
Левая диагональ (И) 92,64 92,50 91,38 89,85 86,63 84,53 84,70
Правая диагональ (гф 92,66 92,22 91,67 90,76 87,35 86,01 85,93
Кольцо (г) 51,43 52,40 51,40 50,38 50,18 50,47 50,62
8 х 8
Вертикальное (у) 89,84 91,01 89,69 89,01 87,29 82,96 87,71 83,97
Горизонтальное (И) 91,62 90,84 89,70 89,92 87,75 85,30 88,09 84,55
Левая диагональ (1ф 92,46 92,29 89,93 89,46 86,31 83,50 82,88 82,36
Правая диагональ (гф 92,20 92,18 90,62 89,50 86,39 84,83 84,57 83,69
Кольцо (г) 49,42 50,48 50,46 50,44 49,95 50,22 49,92 49,10
9 х 9
Вертикальное (у) 90,96 91,52 88,35 87,08 85,81 84,28 84,68 83,34 82,88
Горизонтальное (И) 91,17 91,62 90,36 86,89 85,68 84,41 85,00 82,87 83,68
Левая диагональ (1ф 91,86 90,97 88,71 86,87 85,57 83,19 84,44 83,05 82,36
Правая диагональ (гф 92,03 91,33 89,94 88,38 86,60 84,88 82,11 83,36 81,44
Кольцо (г) 50,36 49,44 50,19 50,15 49,69 49,56 49,71 49,67 49,83
Примечание: составлено авторами.
Как и в предыдущем примере, с увеличением размера ядра и шага его сдвига наблюдается некоторое снижение точности.
По табл. 6 было выбрано леводиагональ-ное ядро 7 х 7 с шагом 3 (в табл. 6 красным
Точность для комбина]
цветом выделена соответствующая ячейка). К нему подбирались комбинации оставшихся ядер (табл. 7). В результате было получено, что комбинация из четырех разных ядер дает наибольший прирост точности.
Таблица 7
й ядер (MalariaDataset)
Комбинация Точность по обучающей выборке, %
ld + rd 92,83
ld + h 92,79
ld + v 93,02
ld + rd + h 93,72
ld + rd + v 93,81
ld + h + v 93,77
ld + rd + h + v 93,86
Примечание: составлено авторами.
При проверке влияния трехканальности на конечный результат выяснилось, что цвет в данном случае практически не влияет на исходный результат (табл. 8).
Для датасета Pneumonia в результате упрощения структуры НС в первом сверточ-ном слое вместо 32 ядер 3 х 3 было оставлено одно ядро. В последующих сверточных
слоях количество ядер было уменьшено в 2 раза. Также были удалены ёгорои1;-слои. Точность такой упрощенной структуры составила 99,79 % по обучающей выборке и 76,28 % по тестовой выборке. Результаты точности в процессе перебора задаваемых ядер сведены в табл. 9.
Таблица 8
Проверка влияния трехканальности на точность распознавания (MalariaDataset)
Каналы/точность Точность по обучающей выборке, % Точность по тестовой выборке, %
И - 1 канал 93,01 92,62
И, Ш, Ш - 3 канала 92,33 91,82
И, V, М - 3 канала 93,16 92,86
Примечание: составлено авторами.
Таблица 9
Точность распознавания для задаваемых ядер (PneumoniaDetection), в %
^^^^^^ Шаг Ядро ^^^^^^ 1 2 3 4 5 6 7 8 9
5 х 5
Вертикальное (V) 98,98 99,05 98,79 98,77 98,14
Горизонтальное (И) 98,91 99,21 98,66 98,36 97,98
Левая диагональ (И) 99,13 98,76 98,99 98,61 98,13
Правая диагональ (гф 99,23 99,44 99,14 98,9 98,35
Кольцо (г) 87,34 83,98 82,83 78,13 73,59
6 х 6
Вертикальное (V) 98,51 98,97 98,51 98,27 97,97 97,84
Горизонтальное (И) 98,85 98,58 98,84 98,27 98,11 97,46
Левая диагональ (И) 99,21 99,09 98,85 98,73 98,18 98,10
Правая диагональ (гф 98,74 99,07 99,07 98,85 98,6 97,95
Кольцо (г) 83,42 78,62 76,06 75,12 74,92 73,42
7 х 7
Вертикальное (V) 98,69 98,96 98,79 98,18 98,05 97,73 97,26
Горизонтальное (И) 99,11 98,68 98,72 98,49 98,13 98,11 97,36
Левая диагональ (И) 98,88 99,08 99,24 98,45 98,30 98,02 97,24
Правая диагональ (гф 99,14 98,99 98,72 98,85 98,29 98,32 97,20
Кольцо (г) 81,09 78,32 74,20 74,38 73,28 73,19 73,00
8 х 8
Вертикальное (V) 98,53 98,69 98,60 98,41 98,13 97,54 97,22 96,95
Горизонтальное (И) 98,38 98,77 98,81 98,63 97,94 97,55 98,36 96,49
Левая диагональ (И) 98,50 98,91 98,75 98,35 98,51 98,17 97,63 97,04
Правая диагональ (гф 98,66 99,02 99,18 98,86 98,38 97,93 97,13 96,73
Кольцо (г) 80,59 77,67 77,48 74,21 75,44 74,65 73,59 74,32
9 х 9
Вертикальное (V) 98,38 99,02 98,56 98,43 98,25 97,94 97,27 96,61 95,77
Горизонтальное (И) 98,80 98,71 98,83 98,25 98,22 98,09 97,53 96,49 96,37
Левая диагональ (1ф 98,84 98,97 98,74 98,76 98,01 97,63 97,80 96,40 95,70
Правая диагональ (гф 98,72 99,09 99,12 98,66 98,41 98,16 97,52 96,68 94,59
Кольцо (г) 79,77 77,64 74,89 74,16 74,00 75,31 73,27 74,80 75,09
Примечание: составлено авторами.
Поскольку точность результатов во всех случаях при использовании линейно заданных ядер > 98 %, что, вероятнее всего, связано с большой размерностью входных изображений, были проведены дополнительные расчеты для нахождения размерности ядра, на которой точность начинает снижаться в большем диапазоне с увеличением шага.
Для дальнейших расчетов было выбрано вертикальное ядро (табл. 10).
Расчет комбинаций ядер происходил на размерности 11 х 11 с шагом 5 (табл. 11). В табл. 10 красным цветом выделена соответствующая точность для вертикального ядра по обучающей выборке.
Таблица 10
Точность для «вертикального» ядра (PneumoniaDetection), в %
Размер^^^^ 1 2 3 4 5 6 7 8 9 10 11 12
10х10 98,1 98,6 98,3 98,3 98,0 97,7 97,3 96,4 96,2 95,2
11х11 98,0 98,5 98,0 98,3 98,4 98,0 97,0 97,2 96,4 95,1 94,5
12х12 98,3 98,1 98,2 97,8 97,5 98,0 97,2 97,0 96,2 95,4 94,7 93,0
Примечание: составлено авторами.
Таблица 11
Точность для комбинаций ядер (Pneumonia)
Комбинация Точность по обучающей выборке, %
v + h 98,77
v + ld 98,38
v + rd 98,76
v + h + ld 98,50
v + h + rd 98,81
v + rd + ld 98,87
v + ld + rd + h 98,63
Примечание: составлено авторами.
В данном случае комбинация из трех ядер (вертикального и двух диагональных) показала наилучшие результаты по точности распознавания.
На датасете Pneumonia достигается высокая точность на обучающей выборке и значительно меньшая на тестовой выборке (< 80 %). Было выдвинуто предположение, что кольцевой тип ядер, возможно, увеличит прирост точности на тестовой выборке в комбинации с некоторым линейным ядром. Взято вертикальное ядро и кольцевое размерности 7 х 7 с шагом 6 (табл. 9, выделено красным цветом) с целью сравнения результатов улучшений.
В табл. 12 сведены результаты определения необходимости использования кольцевого ядра в комбинации с линейным. Результаты представлены для исходной максимально
упрощенной структуры, состоящей из одного сверточного слоя, содержащего два ядра (кольцевое и вертикальное), и одного полносвязного. По данным из табл. 12 можно сделать вывод, что кольцевой тип сверточных ядер не дает прироста точности в комбинации с линейным.
В табл. 13 представлены результаты при дообучении матриц первого сверточного слоя при различном количестве эпох обучения. Предполагается, что большее количество эпох изменит заданные в сверточном слое ядра в большем диапазоне. Из рис. 7 видно, что наиболее сильно изменилось кольцевое ядро. Шаг изменения вертикального ядра практически одинаковый при разном количестве эпох. При этом как на кольцевом, так и на вертикальном ядре сдвиг происходит в положительную область.
Таблица 12
Влияние кольцевого ядра на точность распознавания
Тип ядра Точность по обучающей выборке, % Точность по тестовой выборке, %
Исходная структура ИНС
Вертикальное 98,04 73,24
Кольцевое 74,79 62,50
Вертикальное + кольцевое 98,35 84,29
1 сверточный слой + 1 полносвязный слой
Вертикальное 97,41 78,53
Кольцевое 75,69 62,66
Вертикальное + кольцевое 97,34 78,53
Примечание: составлено авторами.
Точности в таблицах 9 и 12 расходятся нием и отсутствием воспроизводимости ре-по вертикальному ядру на 0,31 % и по коль- зультатов в моделях глубокого обучения. цевому на 1,6 % в связи с повторным обуче-
Таблица 13
Изменения точности после дообучения
Количество эпох Точность по обучающей выборке, % Точность по тестовой выборке, %
Исходная структура ИНС
5 99,71 76,76
10 99,58 76,76
20 99,92 79,81
25 99,96 79,49
1 сверточный слой + 1 полносвязный слой
5 97,41 78,53
10 99,02 79,33
20 99,46 74,84
25 100 78,85
Примечание: составлено
-2 -1 0 1 1 2
-2 -1 0 1 1 2
-2 -1 0 1 1 2
-2 -1 0 1 1 2
-2 -1 0 1 1 2
-2 -1 0 1 1 2
-2 -1 0 1 1 2
-2 -2 -1 -2 -2 -2
-1 0 0 0 -1 -2
0 1 1 1 0 -2
-1 0 1 2 1 0 -1
-2 0 1 1 1 0 -2
-2 -1 0 0 0 -1 -2
-2 -2 -2 -1 -2 -2 -2
Исходные ядра
-1.95 -0,94 -0,93 0,06 1,06 1,06 2,07
4,94 -0.94 -0,03 0,07 1,06 1,06 2,07
4.94 0,93 -0,93 0,07 1.06 1.06 2,06
4.94 -0.93 -0.93 0.07 1.06 1.06 2,06
4.94 -0.94 -0.93 0.06 1.05 1.05 2,06
4,94 -0.94 -0.94 0.06 1.05 1.06 2,06
4.95 -0.94 -0.94 0.06 1.05 1.06 2.07
4,81 -1,82 1,84 -0,80 1,88 -1,88 1,94
4,81 -0,84 0,14 0,17 0,16 -0,52 1,95
4,81 0,14 1,23 1,19 1.14 0.15 -1.96
-0.85 0.12 1.14 2,19 1,16 0.09 -0.95
-1,87 0,10 1,13 1.13 1.14 0.09 -1.99
-1,90 -0.93 0.05 0.11 0.09 -0.98 -1.94
4,81 -1,89 -1.89 -0.88 -1,91 -1.89 -1.94
После дообучения (5 эпох)
-1,55 -0,91 -0,90 0,09 1,09 1,09 2,11
1,95 -0,91 -0,90 0,11 1,10 1,08 2,09
1,93 0,90 0,90 0,10 1.08 1.08 2.09
-1.94 -0,91 -0.91 0.08 1.06 1.07 2,10
-1.95 -093 -0.93 0.06 1.04 1.05 2.08
-1.97 -0.95 -0.94 0.05 1.04 1.05 2.06
-1.94 -0,92 -0.91 0.07 1.08 1,07 2,10
-1,36 4,36 -1,38 -0,33 -1,61 4,58 4,12
-1,36 -0,17 0,56 0,66 0,62 -0,66 4,17
-1,41 0,78 1,71 1,73 1.50 0.50 1,18
-0.50 0.58 1.46 2.71 1.51 0.39 -0.32
-1,62 0.57 1.38 1.32 1.33 0,24 -1.30
-1.75 -0.51 0,17 0.25 0.35 -0.88 -1,47
-1.31 -1,81 -1.59 -0.77 -1,67 -1.68 -1.22
После дообучения (25 эпох)
Рис. 7. Дообучение сверточных ядер при разном количестве эпох (на примере структуры с одним сверточным + одним полносвязным слоем)
Примечание: составлено авторами.
Датасет ЕавЫопМШБТ является вариацией широко используемого набора черно-белых изображений рукописных цифр. В данном случае вместо цифр представлены различные типы одежды. Структура сети ЕавЫопМШБТ была подвергнута следующему сокращению:
- 1 ядро в первом сверточном слое вместо 16;
- удален второй сверточный слой;
- удалены второй шахрооНп§-слой и ёгор-ои1;-слои;
- два полносвязных слоя с общим количеством нейронов 1024 + 128 сведены в один с количеством нейронов 512.
В табл. 14 представлены результаты для задаваемых ядер.
На основании табл. 14 комбинации ядер были рассмотрены на размерности 5*5 с шагом 2 (табл. 15).
Таблица 14
Точность распознавания для задаваемых ядер (FashionMNIST), в %
^^^^^^ Шаг Ядро 1 2 3 4 5 6 7 8 9
5 х 5
Вертикальное (V) 98,85 97,76 93,68 88,57 86,13
Горизонтальное (И) 99,27 98,58 95,98 91,18 85,42
Правая диагональ (гф 99,24 96,48 91,08 83,71 76,92
Левая диагональ (1ф 99,20 97,96 94,39 85,73 81,04
Кольцо (г) 80,64 59,90 44,87 30,83 29,53
6 х 6
Вертикальное (V) 98,08 96,86 95,42 91,33 89,69 83,72
Горизонтальное (И) 98,37 96,31 94,75 92,47 89,35 82,18
Правая диагональ (гф 98,98 97,22 94,11 88,84 85,36 78,86
Левая диагональ (1ф 98,82 97,73 94,59 88,35 83,64 71,35
Кольцо (г) 58,97 40,21 29,37 22,79 19,11 16,67
7 х 7
Вертикальное (V) 98,40 96,39 94,06 91,03 85,73 81,95 80,10
Горизонтальное (И) 98,58 97,23 94,68 92,16 87,72 81,46 77,39
Правая диагональ (гф 98,94 96,92 95,17 90,38 85,69 79,64 79,10
Левая диагональ (1ф 99,06 96,00 94,22 88,78 84,90 73,81 77,61
Кольцо (г) 31,24 19,16 16,82 14,59 12,38 11,16 15,55
8 х 8
Вертикальное (V) 95,45 95,55 91,60 91,66 87,20 86,85 78,90 78,93
Горизонтальное (И) 96,89 94,98 92,73 90,33 89,18 84,23 76,74 76,53
Правая диагональ (гф 98,21 95,71 92,59 91,50 86,29 81,03 72,46 70,66
Левая диагональ (1ф 98,04 96,29 91,64 90,29 84,92 76,65 55,30 57,99
Кольцо (г) 17,20 13,72 12,02 11,73 11,06 10,59 10,14 10,24
9 х 9
Вертикальное (V) 95,89 93,25 91,80 88,61 83,50 82,58 76,65 73,48 70,46
Горизонтальное (И) 97,91 96,06 93,69 88,07 82,10 81,79 72,79 73,50 70,74
Правая диагональ (гф 96,40 94,41 92,03 86,94 81,19 82,60 73,76 70,68 69,86
Левая диагональ (1ф 96,35 93,56 92,27 81,11 70,33 78,08 59,08 59,73 64,07
Кольцо (г) 11,48 10,75 10,41 10,18 10,10 10,12 10,03 10,04 10,06
Примечание: составлено авторами.
Таблица 15
Точность для комбинаций ядер (FashionMNIST)
Комбинация Точность по обучающей выборке, %
v + h 98,85
v + ld 98,74
v + rd 98,82
h + ld 99,03
h + rd 99,05
ld + rd 98,59
v + h + ld 98,75
v + h + rd 98,80
h + ld + rd 98,73
v + ld + rd 99,01
v + h + ld + rd 98,91
Примечание: составлено авторами.
Комбинация горизонтального и праводиа-гонального ядра дала наибольшую точность: по обучающей выборке = 99,05 %, по тестовой = 90,11 %.
Из полученных результатов по четырем датасетам можно сделать выводы:
- предположительно, при увеличении размера сверточных ядер первого сверточного
слоя требуется установление соответствующей размерности ядер в последующих слоях нейронной сети для избегания снижения точности при установлении ядер большего размера;
- с увеличением шага сдвига сверточного ядра по изображению наблюдается уменьшение точности нейронной сети, при этом в большинстве случаев на шаге, равном половине размерности ядра, происходит существенное снижение точности выходного результата;
- использование представленных в работе кольцевых типов ядер во всех случаях давало наименьшие результаты точности в сравнении с линейно заданными (вертикальными, горизонтальными, диагональными). Возможно, авторами неудачно сформированы такие виды ядер, и необходима другая методика их генерации. На каждой из структур нейронных сетей показана возможность
Список источников
1. Mahajan P. Fully Connected vs Convolutional Neural Networks. URL: https://medium.com/swlh/fully-connected-vs-convolutional-neural-networks-813ca7 bc6ee5 (дата обращения: 25.07.2022).
2. Lin Z., Memisevic R., Konda K. How Far Can We Go without Convolution: Improving Fully-Connected Networks // arXiv. 2015. URL: https://arxiv.org/abs/ 1511.02580 (дата обращения: 25.07.2022).
3. Vajpayee S. License Plate Recognition Using CNN. URL: https://www.kaggle.com/code/sarthakvajpayee/ license-plate-recognition-using-cnn/notebook (дата обращения: 25.07.2022).
4. Гиниятуллин В. M., Ермолаев Е. В., Хлыбов А. В. Формализация процедуры подбора сверточных ядер // Вест. кибернетики. 2022. № 2. С. 66-74.
5. Хлыбов А. В., Ермолаев Е. В., Зеленов А. С., Ко-няева Е. Э., Фаррахова К. А., Хужиахметов В. Э., Яковлев А. С. Преобразование весов матриц сверточных нейронных сетей // Теория и практика процессов хим. технологии (Mарушкинские чтения) : материалы VI Mеждунар. науч. конф. Уфа, 2021. С. 269-270.
6. CNN Fruit Classification. Data. URL: https://www.kag gle.com/etatbak/cnn-fruit-classification/ data (дата обращения: 25.07.2022).
7. Pneumonia Detection Using CNN (92.6 % Accuracy). Data. URL: https://www.kaggle.com/madz2000/ pneumonia-detection-using-cnn-92-6-accuracy/data (дата обращения: 25.07.2022).
8. Detecting Malaria j Keras j CNN. Data. URL: https://www.kaggle.com/miracle9to9/detecting-malaria-keras-cnn/data (дата обращения: 25.07.2022).
использования заранее фиксированных ядер в ограниченном количестве.
ЗАКЛЮЧЕНИЕ
На различных примерах приведено обоснование возможности использования дискретных фиксированных сверточных ядер в виде заранее заданных «шаблонов», которые формируются на основании особенностей входного набора изображений. Применение таких ядер позволит сократить потребление вычислительных ресурсов как при обучении нейронных сетей, так и на этапе рабочего хода.
Таким образом, для получения требуемого результата необходимо подбирать предпочтительные «шаблоны» сверточных ядер, их размер и шаг сдвига по изображению, количество этих ядер и соответствующие комбинации.
References
1. Mahajan P. Fully Connected vs Convolutional Neural Networks. URL: https://medium.com/swlh/ fUlly-connected-vs-convolutional-neural-networks-813 ca7bc6ee5 (accessed: 25.07.2022).
2. Lin Z., Memisevic R., Konda K. How Far Can We Go without Convolution: Improving Fully-Connected Networks // arXiv. 2015. URL: https://arxiv.org/abs/ 1511.02580 (accessed: 25.07.2022).
3. Vajpayee S. License Plate Recognition Using CNN. URL: https://www.kaggle.com/code/sarthakvajpayee/ license-plate-recognition-using-cnn/notebook (accessed: 25.07.2022).
4. Giniyatullin V. M., Ermolaev E. V., Khlybov A. V. Characterizing a Procedure for Searching Convolution Kernels // Proceedings in Cybernetics. 2022. No. 2. P. 66-74. (In Russian).
5. Khlybov A. V., Ermolaev E. V., Zelenov A. S., Konyaeva E. E., Farrakhova K. A., Khuzhiakhme-tov V. E., Yakovlev A. S. Preobrazovanie vesov matrits svertochnykh neironnykh setei // Teoriia i praktika protsessov khimicheskoi tekhnologii (Marushkinskie chteniia) : Proceedings of the VI International Scientific Conference. Ufa, 2021. P. 269270. (In Russian).
6. CNN Fruit Classification. Data. URL: https://www.kag gle.com/etatbak/cnn-fruit-classification/data (accessed: 25.07.2022).
7. Pneumonia Detection Using CNN (92.6 % Accuracy). Data. URL: https://www.kaggle.com/madz2000/ pneumonia-detection-using-cnn-92-6-accuracy/data (accessed: 25.07.2022).
9. Fashion MNIST - Keras CNN. Data. URL: https://www.kaggle.com/vishnu0399/fashion-mnist-keras-cnn/data (дата обращения: 25.07.2022).
10. CNN Fruit Classification. Notebook. URL: https://www.kaggle.com/etatbak/cnn-fruit-classification/ notebook (дата обращения: 25.07.2022).
11. Pneumonia Detection Using CNN (92.6 % Accuracy). Notebook. URL: https://www.kaggle.com/ madz2000/pneumonia-detection-using-cnn-92-6-ac-curacy/notebook (дата обращения: 25.07.2022).
12. Detecting Malaria | Keras | CNN. Notebook. URL: https://www.kaggle.com/miracle9to9/detecting-malaria-keras-cnn/notebook (дата обращения: 25.07.2022).
13. Fashion MNIST - Keras CNN. Notebook. URL: https://www.kaggle.com/vishnu0399/fashion-mnist-keras-cnn/notebook (дата обращения: 25.07.2022).
14. Understand How Color to Gray Scale Works Using OpenCV. URL: https://www.learnpythonwithrune.org/ understand-how-color-to-gray-scale-works-using-opencv/ (дата обращения: 25.07.2022).
15. Tf.keras.layers.Dropout. URL: https://www.tensor flow.org/api_docs/python/tf/keras/layers/Dropout (дата обращения: 25.07.2022).
Информация об авторах
В. М. Гиниятуллин - кандидат технических наук, доцент.
А. В. Хлыбов - аспирант. М. А. Федоров - студент. Т. А. Асадуллин - студент. А. С. Крутин - студент. И. А. Осипов - студент.
Д. М. Зарипов - кандидат физико-математических наук, доцент.
8. Detecting Malaria | Keras | CNN. Data. URL: https://www.kaggle.com/miracle9to9/detecting-malaria-keras-cnn/data (accessed: 25.07.2022).
9. Fashion MNIST - Keras CNN. Data. URL: https://www.kaggle.com/vishnu0399/fashion-mnist-keras-cnn/data (accessed: 25.07.2022).
10. CNN Fruit Classification. Notebook. URL: https://www.kaggle.com/etatbak/cnn-fruit-classifica-tion/notebook (accessed: 25.07.2022).
11. Pneumonia Detection Using CNN (92.6 % Accuracy). Notebook. URL: https://www.kaggle.com/ madz2000/pneumonia-detection-using-cnn-92-6-ac-curacy/notebook (accessed: 25.07.2022).
12. Detecting Malaria | Keras | CNN. Notebook. URL: https://www.kaggle.com/miracle9to9/detecting-ma-laria-keras-cnn/notebook (accessed: 25.07.2022).
13. Fashion MNIST - Keras CNN. Notebook. URL: https://www.kaggle.com/vishnu0399/fashion-mnist-keras-cnn/notebook (accessed: 25.07.2022).
14. Understand How Color to Gray Scale Works Using OpenCV. URL: https://www.learnpythonwithrune.org/ understand-how-color-to-gray-scale-works-using-opencv/ (accessed: 25.07.2022).
15. Tf.keras.layers.Dropout. URL: https://www.tensor flow.org/api_docs/python/tf/keras/layers/Dropout (accessed: 25.07.2022).
Information about the authors
V. M. Giniyatullin - Candidate of Sciences (Engineering), Associate Professor.
A. V. Khlybov - Postgraduate. M. A. Fedorov - Student. T. A. Asadullin - Student. A. S. Krutin - Student. I. A. Osipov - Student.
D. M. Zaripov - Candidate of Sciences (Physics and Mathematics), Associate Professor.
