CC BY
34
22. Бесекерский В.А., Попов Е.П. Теория систем автоматического регулирования. М.: Наука, 1978. 786 с.
23. Зубков Л.А., Силаев В.И., Ененков Б.И. Аппаратура автоматизации очистных комбайнов. М.: Недра, 1979. 112 с.
24. Изерман Р. Цифровые системы управления: пер. с англ. М., Мир, 1984. 541 с.
25. Клюев А.С. Автоматическое регулирование: учеб. для сред. спец. учеб. заведений. М.: Высш. шк., 1986. 351 с.
26. Воронова А.А. Теория автоматического управления. Теория линейных систем автоматического управления: учеб. пособие для вузов. М.: Высш. школа, 1986. 303 с.
27. Востриков А.С., Французова Г.А. Теория автоматического регулирования: учеб. пособие для вузов. М.: Высш. шк., 2006. 365 с.
Фам Тхань Лием, аспирант, phamthanhliem1982@gmail.com, Россия, Тула, Тульский государственный университет
RESEARCH ON INFORMATION-MEASURING AND CONTROL SYSTEM OF A ROADHEADER
Pham Thanh Liem
The article presents an overview of the information-measuring and control systems of the working bodies of roadheader machines. The general structure of roadheader machines is presented, considering the inclusion of control systems in their composition. The analysis of drives used in mining equipment, including electric drive and hydraulic drive, was carried out. The design features and control systems of mining machines have been studied. It is shown that to increase productivity, it is necessary to improve automatic control.
Key words: roadheader, electric drive, hydraulic drive, control system.
Pham Thanh Liem, postgraduate, phamthanhliem1982@gmail.com, Russia, Tula, Tula State University
УДК 004.932.72'1
DOI: 10.24412/2071-6168-2022-9-52-56
ОБУЧЕНИЕ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ С АВТОМАТИЧЕСКИМ УЧЕТОМ ИСКАЖЕННОСТИ ВХОДНЫХ ДАННЫХ
И.М. Янишевский, В.В. Арлазаров
В статье изложен подход к обучению сверточной нейронной сети, отличающийся учетом информации о степени искажения входных данных, благодаря чему сверточная нейронная сеть, сохраняя качество обучения, дополнительно приобретает ряд важных свойств, обеспечивающих учет зависимости между данными и степенью их искажений, а также ненулевой уровень безошибочности.
Ключевые слова: сверточные нейронные сети, обучение нейронной сети, распознавание образов, машинное обучение, гауссово размытие.
Прогресс информационно-телекоммуникационных технологий обусловливает необходимость развития средств и методов обработки неформализованной и слабо формализованной информации, в том числе - основанных на применении искусственных нейронных сетей [1-3]. Одним из часто встречающимся на практике примером решения таких задач является распознавание образов и изображений в видеопотоке, частью которой является оптическое распознавание, реализуемое с помощью нейронной сети [4-6]. Применение нейросетевых технологий для решения таких задач обеспечивает рациональный баланс между вычислительной (аппаратной) сложностью и качеством распознавания [2].
На вход нейронной сети подаются цифровые изображения - фотоснимки, кадры из видеопотока и т.п. Такие изображения существенно отличаются от идеальных вследствие разности освещения при съемке, бликов от источников света, пространственных искажений изображений, помех матрицы камеры и т.д. [6]. Для повышения качества настройки (обучения) нейронной сети необходимо не только иметь достаточный (по объему) массив данных для обучения (репрезентативную обучающую выборку), но и обеспечить наличие в этом массиве примеров, соответствующими искажениям, присутствующим в реальных изображениях [7-10]. Результатом работы нейронной сети является набор оценок принадлежности изображения, подаваемого на вход нейронной сети, к одному из альтернативных классов [10].
Анализ опыта решения аналогичных по постановке задач показывает, что наиболее эффективные решения обеспечиваются с применением сверточных нейронных сетей. Такие нейронные сети обеспечивают устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям входных изображений [1-3].
Исследование методов обучения сверточных нейронных сетей показало, что они позволяют учесть искажения изображений, подаваемых на вход, только путем явного включения их в обучающую выборку. А это бывает затруднительно вследствие комбинированного влияния искажающих факторов широкого диапазона значений и интенсивностей.
Поэтому был разработан специальный метод обучения сверточной нейронной сети, предназначенной для обработки изображений, подвергающихся искажениям при их получении и передаче.
Постановка задачи. Пусть имеется сверточная нейронная сеть М, которая получает на входе объекты %1,1 Е 1...Ы, генерируя на выходе логит-вектор
=М(хд, ^ ЕИК,
где К - количество классов объектов (К> 1).
Функцией активации перед слоем Softmax, который формирует логит-вектор, является линейный выпрямитель ReLu6, то есть областью определения его выходов г^ является интервал [0; 6]. В общем случае
ЯеЪиХ(у) = тт(Хтах(0,у)). (1)
Используя логит-вектор, можно получить номер класса = argmaxs^ , к которому предпо-
к
ложительно относится объект {х£}, и ответ сети как показатель доверия отнесения входного объекта к каждому классу, где
т _ е*рЮ (2)
Модель сверточной нейронной сети изображена на рис. 1.
Рис. 1. Модель сверточной нейронной сети М
Каждый объект обладает некоторым свойством со значением qi Е[а,Ь] ей1, причем одним и тем же свойством ц могут обладать разные объекты.
Необходимо построить и обучить сверточную нейронную сеть М', которая содержит в себе исходную сеть М и обладает следующим свойством:
для любых двух свойств входных объектов со значениями цх,ц2 Е[а, Ъ] такими, что цг <ц2, "в среднем" выполняется неравенство Е§1(д1) где символ Е обозначает математическое ожида-
ние.
Модель сети М' изображена на рис. 2 и состоит из сети М с добавленным входным слоем свойств Q и дополнительным промежуточным слоем ИВЕ с параметрической функцией активации, зависящим от Q. Ответом сети М' является логит-вектор =м'({х^,^}).
ВходХ
Вход £>
Модель ЯеЬиб, г
т
Метка У
Расчет выхода
Рис. 2. Модель сверточной нейронной сети М' Последовательность построения сети М' заключается в следующем [6].
Шаг 1. Значения ртах,Ртт Е (0; 1.0) причем ртах >рт1П. Эти значения являются целевыми значениями для ц = аи ц = Ъ. Промежуточные значения qi Е(а, Ь), соответствующие р^ вычисляются с применением простой линейной интерполяции (3):
Р1 Ртах (Ртах Рт1п) , (3)
Таким образом, для каждого объекта х^ со свойством qi имеем значение р; из интервала [ртт';Ртах\- Эти значения интерпретируются как ориентировочные оценки доверия сети М для объекта X;. Шаг 2. Используя логит-функцию
ехр(Р (4)
и выбранные значения р;, рассчитываем набор значений
£ =Црг • (К- 1)) -Ы(1- рг). (5)
Можно заметить, что выражение (4) можно получить из (2) в предположении г® = 0,1 Ф к.
53
Шаг 3. Определим функцию ц(с() как суперпозицию функций р и
^(А) = & (6)
Шаг 4. Используя понятие поэлементного преобразования значений на слое RBF с радиально-базисной функции на основе функции Гаусса [11]
С&М,^),^ =А-вхр^-^^ | (7)
где А определяет высоту пика (А> 0). является центром пика >0) и а определяет ширину пика (а> 0).
Шаг 5. В качестве функции потерь используется кросс-энтропия:
иГ,о) = -Т«=1угО{з\) (8)
где У1 = 1 - для правильно определенного (совпавшего с априорно указанным) класса и 0 - в противном случае.
Построенная модель М' в процессе обучения приближает значение вектора {¿¿}. соответствующего верному классу. к центру пика. в результате чего показатель доверия модели М попадает в окрестность ориентировочной оценки доверия для соответствующего интервала. в котором находится qi. Оставшиеся значения изначально малы и не выходят за окрестности нуля вследствие монотонного убывания функции Гаусса от центра пика. После завершения процесса обучения ДВ-слой удаляется из полученной модели. тем самым получается сеть исходной архитектуры.
Модель данных. Данными для обучения сверточной нейросети были примеры из датасета рукописных цифр ММБТ [12]. В качестве модели искажения входных данных используется гауссово размытие [13]. Коэффициент искажения ^ принят равным коэффициенту стандартного отклонения ц= а.
Размеры обучающей и тестовых выборок с помощью искажений были увеличены равномерно на заданном интервале значений. для исходных данных коэффициент искажений принимался равным 0. В сумме размер обучающей выборки составил 600 тысяч примеров. тестовой (контрольной) - 100 тысяч примеров.
Следует отметить. что при малых значениях ^ искажение входных примеров практически не происходит. так как веса соседних пикселей. участвующих в свёртке. малы. Ввиду этого в обучающей выборке сохраняются только изображения. удовлетворяющие условию ц> 0.5.
Результаты эксперимента. Рассмотрим свёрточную нейронную сеть типа LeNet [14] с обучением на выбранной модели данных. Она представляет собой комбинацию следующих слоёв: сверточных. полносвязных и субдескритизации. В качестве функций активации используется обычный линейный выпрямитель ЯеЬи. на последнем слое - выпрямитель с ограничением максимального значения ЯеЬи6. Параметры обучения приведены в таблице.
Обучение проводилось в среде Keras с ограничением на число эпох. равным 200. Полученные результаты для модели М1 (в скобках - для модели М2 в составе модели М'):
точности - 99.08% (99.1%).
уровня безошибочности - 0% (34.14%).
коэффициента Спирмена - -0.12 (-0.86).
Оценки точности для обученных сетей Мг и М2 очень близки и. с учетом стохастичности обучения. могут считаться совпадающими.
Параметры обучения сверточной нейронной сети
Параметр Значение
Число классов К 10
Число обучаемых весов сети 46 680
Интервал искажений ц Г0;41
Интервал целевых значений р [0.3; 0.6]
Высота пика А 6
Ширина пика <г 0.7
Для тестовой выборки рассчитаны оценки порога безошибочности - максимальное значение показателя доверия ошибочных классификаций и уровень безошибочности - доля правильных классификаций с доверием выше порога безошибочности. Это значение характеризует степень доверия к реакциям сверточной нейронной сети и показывает наличие или отсутствие неправильных классификаций с аномально высоким уровнем доверия. Из табл.1 видно. что сеть М2 имеет высокий уровень безошибочности. тогда как Мг не имеет его вовсе.
В отличии от Мъ для сети М2 отмечена корреляция по Спирмену между степенью искажения входных данных и показателем доверия к результатам работы сверточной нейросети [15].
Заключение. В работе предложен метод обучения сверточных сетей с дополнительным учетом степени искажения входных данных. Результаты эксперимента показывают. что обученная подобным образом сверточная нейронная сеть не теряет в качестве и дополнительно приобретает ряд важных свойств - таких как зависимость между данными и степенью их искажений. а также ненулевой уровень безошибочности.
Многие авторы, применяющие сверточные нейронные сети, на сегодняшний день в качестве обучающих выборок используют полностью искусственно датасеты [16, 17], что позволяет строить сложные модели их искажен с последующим учетом их в процессе обучения (настройки) сверточной нейронной сети.
Этот подход, по нашему мнению, является весьма перспективным для синтеза надежных нейросетевых систем с высокой степенью уверенности в ответе.
Список литературы
1. Штанько А.Н. Анализ патентованных изобретений и полезных моделей, использующих сверточные нейронные сети // Нейрокомпьютеры: разработка, применение. 2022. Т. 24. № 4. С. 5-17.
2. Васкан В.Д. Обзор архитектур сверточных нейронных сетей для задачи классификации изображений // ИТ-Стандарт. 2021. № 3 (28). С. 34-39.
3. Бериков М.В., Гончаров А.С. Изучение технологий сверточных нейронных сетей разных поколений // Научно-исследовательский центр "Technical Innovations". 2021. № 5. С. 156-162.
4. Bulatov K.B., V.V. Arlazarov, T.S. Chernov, Slavin O.A., Nikolaev D.P., Smart IDReader: Document Recognition in Video Stream // ICDAR2017, IEEE Computer Society, 2017. P. 39-44.
5. Luqman M.M., Gomez-Kramer P., Ogier J.-M., Mobile Phone Camera-Based Video Scanning of Paper Documents // Cham: Springer International Publishing, 2014. Pp. 164-178.
6. Арлазаров В.В., Жуковский А.Е., Кривцов В.Е., Николаев Д.П., Полевой Д.В. Анализ особенностей использования стационарных и мобильных малоразмерных цифровых видео камер для распознавания документов // Информационные технологии и вычислительные системы. 2014. № 3. С. 71-81.
6. Янишевский И.М., Арлазаров В.В., Слугин Д.Г. Обучение свёрточной нейронной сети со статистической зависимостью ответа от степени аугментации входных данных // Методы и модели искусственного интеллекта и их приложения в компьютерной лингвистике, нейрофизиологических исследованиях и медицине фундаментальные проблемы группового взаимодействия роботов. М., 2019. С. 4452.
7. Gayer A.V., Sheshkus A.V., Chernyshova Y.S. Effective real-time augmentation of training dataset for the neural networks learning // ICMV 2018, vol. 11041, 2019. P. 2522969.
8. Щеглов И.Н., Богомолов А.В., Печатнов Ю.А. Алгоритм формирования обучающей выборки искусственной нейронной сети // Нейрокомпьютеры: разработка, применение. 2000. № 2. С. 12.
9. Perez L., Wang J. The effectiveness of data augmentation in image classification using deep learning, www.CoRR abs/1712.04621 (дата обращения - 17.08.2022).
10. Bulatov K.B., Lynchenko A.E., Krivtsov V.E. Optimal frame-by-frame result combination strategy for OCR in video stream // ICMV 2017. P. 758.
10. Щеглов И.Н., Богомолов А.В., Печатнов Ю.А. Исследование влияния репрезентативности обучающей выборки на качество работы методов распознавания образов // Нейрокомпьютеры: разработка, применение. 2002. № 9-10. C. 44-49.
11. Schaback R. A practical guide to Radial Basis Functions [Электронный ресурс]. URL: http://num.math.uni-g oettingen.de/schaback/teaching/texte/approx/sc.pdf (дата обращения 17.08.2022).
12. The mnist database of handwritten digits [Электронный ресурс]. URL: http://yann.lecun.com/ exdb/mnist (дата обращения 17.08.2022).
13. Gaussian blur [Электронный ресурс]. URL: https://en.wikipedia.org/wiki/Gaussian_blur (дата обращения 17.08.2022).
14. LeCun Y., Léon B., Yoshua B., Patrick H. Gradient-based learning applied to document recognition // Proceedings of the IEEE. 1998. No 86 (11). P. 2278-2324.
15. Spearman's rank correlation coefficient [Электронный ресурс]. URL: https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient (дата обращения 17.08.2022).
16. He XM, Zhu LX. A lack-of-fit test for quantile regression. Journal of the American Statistical Association (2003);98(1):1013-1022. DOI: 0.1198/016214503000000963
17. Ляпин А.А., Мельников М.А. Влияние аугментации набора данных сверточных нейронных сетей на точность классификации // Вопросы устойчивого развития общества. 2022. № 8. С. 869-874.
Янишевский Игорь Михайлович, канд. физ.-мат. наук, старший научный сотрудник, yanishevskiy@isa.ru, Россия, Москва, Федеральный исследовательский центр «Информатика и управление» РАН,
Арлазаров Владимир Викторович, канд. техн. наук, старший научный сотрудник, arlazarov@isa. ru, Россия, Москва, Федеральный исследовательский центр «Информатика и управление» РАН
TRAINING A CONVOLUTIONAL NEURAL NETWORK WITH AUTOMATIC CONSIDERATION OF INPUT
DISTORTION
I.M. Yanishevsky, V.V. Arlazarov 55
The article presents an approach to training a convolutional neural network, which differs by taking into account information about the degree of distortion of input data, due to which the convolutional neural network, while maintaining the quality of training, additionally acquires a number of important properties that take into account the relationship between data and the degree of their distortion, as well as non-zero the level of infallibility.
Key words: convolutional neural networks, neural network training, pattern recognition, machine learning, gaussian blur.
Yanishevsky Igor Mikhailovich, candidate of physical and mathematical sciences, senior researcher, yanishevskiy@isa.ru, Russia, Moscow, Federal Research Center «Informatics and Control» RAS,
Arlazarov Vladimir Viktorovich, candidate of technical sciences, senior researcher, arlaza-rov@isa.ru, Russia, Moscow, Federal Research Center «Informatics and Control» RAS
УДК 004.912
DOI: 10.24412/2071-6168-2022-9-56-64
МОДУЛЬ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА НА ОСНОВЕ ОБУЧЕННОЙ МОДЕЛИ НЕЙРОННОЙ СЕТИ С МЕХАНИЗМОМ ПОИСКА ИМЕНОВАННЫХ СУЩНОСТЕЙ
С.М. Макеев, С.В. Шекшуев, М.Г. Петров, С.Д. Зюзин
В работе описан модуль обработки естественного языка, позволяющий реализовать аналити-ко-семантическую обработку текста с последующей генерацией аннотации. Рассмотрены основные методы и средства автоматизации аннотирования текстов. Декомпозирован процесс автоматического аннотирования публикаций СМИ на составные процедуры. Описаны входные и выходные данные системы аннотирования.
Ключевые слова: аннотирование текста, информационные сущности, обработка естественного языка.
Введение. Стремительное увеличение и легкая доступность информации в сети интернет недавно привели к обновлению классической задачи лингвистики - конденсации информации текстовых документов. Эта задача - процесс обработки данных. Высокая скорость получения, обработки и распространения информации каждым интернет-пользователем, а также низкий порог входа в цифровую среду и отсутствие цензуры позволяют любому ее участнику задавать свой новостной тренд, не имея специального образования и профессионального оборудования для создания собственных информационных сюжетов [1]. В таких условиях особую важность приобретают новые эффективные методы борьбы с большими объемами информации. Одним из таких методов является автоматическое аннотирование как вид аналитико-синтетической обработки документов, позволяющий осуществлять требуемую информационную поддержку лиц, принимающих управленческие решения.
Существующий процесс аннотирования требует вовлечения специалистов различных областей знаний, которые, как правило, вручную производят процесс аннотирования первичного документа. Обработка информационного материала вручную требует колоссальных человеческих ресурсов, трудовых и временных затрат, поэтому и возникла задача создания методики для автоматизации аннотирования статей.
Потребности в средствах автоматического реферирования и аннотирования испытывают:
- корпоративные системы документооборота;
- поисковые машины и каталоги ресурсов Internet;
- автоматизированные информационно-библиотечные системы;
- каналы вещания, службы рассылки новостей и пр.
Данные рутинные задачи требуют автоматизации и разработки эффективного модуля обработки естественного языка, позволяющего решать задачи аннотирования первичных документов, выявление и распознавание именованных сущностей для упрощения дальнейшего анализа и включения этих материалов в информационно-аналитические документы.
Аннотирование - это процесс интеллектуальной обработки текстового документа или различных элементов его содержимого, включающий в себя анализ исходного текста и извлечение из него наиболее значимых по смыслу сведений: тему, проблему, объект, цели работы и результаты. Если увеличить информативность текста, возможно значительно уменьшить его первоначальный размер.
