Научная статья на тему 'ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ В УПРАВЛЕНИИ МАНИПУЛЯЦИОННЫМИ РОБОТАМИ'

ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ В УПРАВЛЕНИИ МАНИПУЛЯЦИОННЫМИ РОБОТАМИ Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

CC BY
294
27
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ГЛУБОКОЕ ОБУЧЕНИЕ / МАШИННОЕ ОБУЧЕНИЕ / ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ / ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ / УПРАВЛЕНИЕ РОБОТИЗИРОВАННЫМИ МАНИПУЛЯЦИЯМИ / ЭФФЕКТИВНОСТЬ ВЫБОРКИ / ОБОБЩЕНИЕ

Аннотация научной статьи по электротехнике, электронной технике, информационным технологиям, автор научной работы — Серебряков Михаил Юрьевич, Колесова София Васильевна, Зинченко Антон Александрович

Проблемы применения машинного обучения в области управления роботизированными манипуляциями являются одними из наиболее важных для современной робототехники. Сейчас наиболее перспективным видом обучения является глубокое обучение с подкреплением, которое совмещает в себе глубокое обучение, в основе которого лежат искусственные нейронные сети, и обучение с подкреплением, ищущее оптимальную модель поведения путем взаимодействия с окружающей средой.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по электротехнике, электронной технике, информационным технологиям , автор научной работы — Серебряков Михаил Юрьевич, Колесова София Васильевна, Зинченко Антон Александрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DEEP LEARNING WITH REINFORCEMENT IN CONTROLLING MANIPULATIVE ROBOTS

The problems of applying machine learning in the field of robotic manipulation control are among the most important for modern robotics. Currently, the most promising type of learning is deep reinforcement learning, which combines deep learning based on artificial neural networks, and reinforcement learning, looking for an optimal behavior model by interacting with the environment.

Текст научной работы на тему «ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ В УПРАВЛЕНИИ МАНИПУЛЯЦИОННЫМИ РОБОТАМИ»

11. Raymond H. Расширение для блокировки рекламы uBlock Origin в браузере Firefox. [Электронный ресурс] URL: https://addons.mozilla.org/en-Us/firefox/addon/ublock-origin (дата обращения: 05.09.2022).

12. Рудаков И.В., Васютович И.М. Исследование перцептивных хеш-функций изображений // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2015. № 8. С. 269-280. DOI 10.7463/0815.0800596.

13. Fei M., Ju Zh., Zhen X., Li J. Real-time visual tracking based on improved perceptual hashing. Multimedia Tools and Applications. Vol 76. Issue 3. P. 4617-4634. DOI: 10.1007/s11042-016-3723-5.

Привалов Александр Николаевич, д-р техн. наук, профессор, privalov. 61 @mail. ru, Россия, Тула, Тульский государственный педагогический университет им. Л.Н. Толстого,

Смирнов Вадим Анатольевич, аспирант, v.a.d.i.m@bk.ru, Россия, Шуя, Ивановский государственный университет (Шуйский филиал)

SEARCH FOR FAKE SITES USING THE METHOD OF DETERMINING THE VISUAL SIMILARITY OF PAGES

A.N. Privalov, V.A. Smirnov

The article shows the relevance of identifying fake websites of organizations created with the help of well-known online site designers (wix.com, Google.Sites, etc.). The peculiarity of such fake sites is that they are visually similar to the original site, but there are significant differences in the fragments of html code specifying this or that element, the domain names of the fake and genuine site. As a method of searching for such fake sites, a visual comparison of screenshots of site pages is proposed. At the same time, better results are achieved by pre-processing the page, which consists in removing ad blocks, images related more to a specific article on the site, rather than the layout of the web page.

Key words: site comparison, fake site, image comparison, perceptual hash, classification of web pages, Selenium WebDriver, information security

Privalov Aleksandr Nikolaevich, doctor of technical sciences, professor, privalov. 61@mail. ru, Russia, Tula, Tula State Pedagogical University. L.N. Tolstoy,

Smirnov Vadim Anatolyevich, postgraduate, v.a.d.i.m@bk.ru, Russia, Shuya, Ivanovo State University (Shuya Branch)

УДК 004.5

DOI: 10.24412/2071-6168-2022-9-265-268

ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ В УПРАВЛЕНИИ МАНИПУЛЯЦИОННЫМИ РОБОТАМИ

М.Ю. Серебряков, С.В. Колесова, А.А. Зинченко

Проблемы применения машинного обучения в области управления роботизированными манипуляциями являются одними из наиболее важных для современной робототехники. Сейчас наиболее перспективным видом обучения является глубокое обучение с подкреплением, которое совмещает в себе глубокое обучение, в основе которого лежат искусственные нейронные сети, и обучение с подкреплением, ищущее оптимальную модель поведения путем взаимодействия с окружающей средой.

Ключевые слова: глубокое обучение, машинное обучение, обучение с подкреплением, глубокое обучение с подкреплением, управление роботизированными манипуляциями, эффективность выборки, обобщение.

Введение. Изначально роботы были разработаны для помощи людям или замены их в случаях выполнения повторяющихся и/или опасных задач, которые люди обычно предпочитают не выполнять или они в принципе не в состоянии это сделать из-за определенных физических ограничений, накладываемых экстремальными условиями. К ним относится, например, ограниченная доступность узких, длинных труб, проложенных под землей, анатомического расположения частей человеческого тела при определенных малоинвазивных хирургических процедурах, объектов на дне океана. Благодаря постоянному развитию механики, сенсорных технологий [1], интеллектуального управления и других современных технологий роботы приобрели автономность, возможности которой значительно улучшились, а также

265

повысилась ловкость движений. В настоящее время широко используются коммерческие и промышленные роботы, применение которых обеспечивает снижение долгосрочных затрат, а также повышение точности и надежности в различных областях, таких как производство, сборка, упаковка, транспортировка, хирургия, исследование земли и космоса и т.д.

Нам уже доступны различные типы роботов, которые можно сгруппировать по нескольким категориям, в зависимости от их подвижности, степеней свободы и функций. Одними из самых распространенных на сегодняшний день являются шарнирные роботы. Внешне они похожи на человеческую руку и поэтому их также называют роботизированными руками или руками манипуляторами [2]. В некоторых конструкциях роботизированные руки могут быть лишь частью более сложного робота. Такая рука может быть описана, как цепь из звеньев, которые перемещаются в пространстве за счет шарниров, приводящихся в движение двигателями.

Строение шарнирного манипулятора. Начнем с краткого объяснения данных механических компонентов, свойственных типичному роботу манипулятору [3]. На рис. 1 показана принципиальная схема простого двухшарнирного манипулятора, который установлен на стационарном основании, расположенном на полу.

1) Суставы данной руки похожи по функционалу на суставы в человеческом теле, которые обеспечивают движение между двумя частями тела друг относительно друга. В робототехнике каждый сустав представляет собой отдельную ось, которые обеспечивают дополнительные степени свободы для контролируемых движений между соседними звеньями, как показано на рис. 1. Практически всегда число степеней свободы равно количеству суставов робота [4].

2) Рабочий орган представляет собой вспомогательное устройство или инструмент, который крепится к концу цепи из звеньев и, фактически, выполняет поставленную для робота задачу. Простейшим рабочим органом является зажимной захват, способный открываться и закрываться для захвата предметов, но орган может быть выполнен в виде любого механического устройства, выбор которого будет обусловлен поставленной перед ним задачей.

3) Звенья — это жесткие или почти жесткие компоненты робота, которые соединяют основание, шарниры и рабочий орган. На них же и приходится основная нагрузка цепи.

4) Привод - это устройство, которое преобразует электрическую, гидравлическую или пневматическую энергию в движение робота.

2

Рис. 1. Упрощенная принципиальная схема механических компонентов двухшарнирной

роботизированной руки

Принцип действия. В настоящее время последовательность управления роботом-манипулятором в основном достигается путем решения обратных кинематических уравнений для осуществления перемещения или позиционирования рабочего органа относительно фиксированной системы отсчета [5]. Информация сохраняется в памяти с помощью программируемого логического контроллера для фиксированных роботизированных задач [6]. Роботы могут управляться за счет разомкнутого цикла (без обратной связи) или экстероцептивной обратной связи. Система управления без обратной связи не имеет внешних датчиков или возможностей к определению окружающей среды, но в значительной степени зависит от сильно структурированных сред, которые очень чутко откадиброваны. Если какой-либо компонент будет немного смещен, то систему управления, вероятно, придется остановить и провести повторную калибровку. В соответствии с такой стратегией, манипулятор совершает перемещение, реализуя ряд положений, записанных в памяти, и переходит к ним в различное время, согласно запрограммированной последовательности. В более совершенных роботизированных системах используется управление с внешней обратной связью посредством применения датчиков контроля, силы, а иногда даже датчиков зрения и глубины, которые постоянно контролируют положение осей робота или рабочего органа, а также связанные с ними компоненты. Затем показания обратной связи сравнивают с уже сохраненной информацией о состоянии робота для обновления команды для привода, чтобы добиться желаемого поведения робота [7-10]. И после либо дополнительные компьютеры, либо встроенные микропроцессоры

266

применяются для взаимодействия с этими датчиками и выполнения необходимых вычислительных функций. Оба из вышеописанных сценариев управления сильно зависят от аппаратного обеспечения. Например, конвейерные ленты обычно используются для того, чтобы физически ограничить ситуацию.

Использование глубокого обучения. С развитием современных технологий в области искусственного интеллекта, таких как глубокое обучение, и последних разработок в области робототехники и мехатроники, различные исследования и промышленные сообщества требуют большее количество решений управления, в большей степени опирающихся не на аппаратное, а на программное обеспечение, использующих недорогие датчики, которые предъявляют меньшие требования к рабочей среде и калибровке. Суть состоит в том, чтобы выполнить минимальный, но эффективный выбор оборудования и сосредоточиться на надежных алгоритмах и программном обеспечении. Вместо того, чтобы строго прописывать указания для координации всех суставов, политика управления, в идеале, должна быть приобретена путем обучения, а затем соответствующим образом обновлена. Глубокое обучение с подкреплением (DRL) один из самых многообещающих алгоритмов для осуществления данной цели, поскольку он не требует заранее определенного набора обучающих данных, что идеально подходит для выполнения задач роботизированного управления, что продемонстрировано в таблице. Подход с использованием обучения с подкреплением может использовать входные данные из эксперимента с роботом манипулятором с различными последовательностями движений или из имитационных моделей. Любой тип динамически генерируемых эмпирических данных может быть собран и использован для обучения глубинной нейронной сети путем интерактивного обновления определенных параметров политики сети политики управления.

Сравнение традиционного управления и ожидаемого управления на основе DRL

Параметры Традиционное управление Ожидаемое управление на основе БЯЬ

Решение управления Основано на аппаратном обеспечении Основано на программном обеспечении

Датчики контроля Дорогие Бюджетные

Требования к окружающей среде Структурированная Неструктурированные ситуации

Аппаратная калибровка Чувствительно к калибровке Более терпимо реагирует на калибровку

Алгоритм управления Требуется ручное кодирование Управляется за счет данных

Выводы. Универсальность и масштабность DRL, обсужденная здесь, хорошо подходит для задач с многомерными данными, существующих в различных областях. В этой работе был предоставлен краткий обзор потенциала DRL для обнаружения политик в управлении роботизированными манипуляциями.

Список литературы

1. Dresp-Langley B., Nageotte F., Zanne P., Mathelin M.D. Correlating grip force signals from multiple sensors highlights prehensile control strategies in a complex task-user system. Bioengineering. 2020. № 7. С. 143.

2. Ivanov A.V., Zhilenkov A.A. Acquisition and processing data system based on technologies of in-ertial capture of the movement // Proceedings of the 2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2018, St. Petersburg and Moscow. St. Petersburg and Moscow: Institute of Electrical and Electronics Engineers Inc., 2018. P. 882-885.

3. Christ R.D., Wernli R.L. The ROV Manual: A User Guide for Remotely Operated Vehicles, 2nd ed.; Butterworth-Heinemann: Oxford, UK, 2013. P. 503-534.

4. Savatekar R.D., Dum A.A. Design of control system for articulated robot using leap motion sensor. Int. Res. J. Eng. Technol. 2016, 3. P. 1407-1417.

5. Popov A.V., Sayarkin K.S., Zhilenkov A.A. Analysis of perspective models of artificial neural networks for control of robotic objects // Proceedings of the 2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2018. St. Petersburg and Moscow: Institute of Electrical and Electronics Engineers Inc., 2018. P. 958-961. DOI 10.1109/EIConRus.2018.8317248.

6. Zhilenkov A.A., Denk D. Based on MEMS sensors man-machine interface for mechatronic objects control // Proceedings of the 2017 IEEE Russia Section Young Researchers in Electrical and Electronic Engineering Conference, ElConRus 2017. St. Petersburg, 2017. P. 1100-1103. DOI 10.1109/EIConRus.2017.7910747.

7. Черный С.Г., Соболев А.С., Зинченко А.А., Зинченко Е.Г., Чернобай К.С. Эксплуатации судового оборудования на платформе интеллектуальных систем для повышения надежности работы систем автоматики // Морской вестник. 2022. № 1 (81). С. 68-71.

8. Горячев И.С., Черный С.Г. АСУТП лоцманской проводки морских судов // Автоматизация в промышленности. 2022. № 6. С. 54-56.

9. Черный С.Г., Жуков В.А., Соболев А.С., Зинченко А.А., Зинченко Е.Г. Обзор эффективных методов идентификации параметров электрической сети судов для повышения эксплуатационных качеств // Морская радиоэлектроника. 2022. № 1 (79). С. 42-47.

10. Авдеев Б.А., Черный С.Г., Моисеев И.С., Жиленков А.А. Определение интергармоник тока асинхронного двигателя с переменной периодической нагрузкой // Электротехника. 2022. № 6. С. 39-44.

Серебряков Михаил Юрьевич, преподаватель, zhilenkovanton@gmail. com, Россия, Санкт-Петербург, Санкт-Петербургский государственный морской технический университет,

Колесова София Васильевна, магистрант, Россия, Санкт-Петердруг, Санкт-Петербургский государственный морской технический университет,

Зинченко Антон Александрович, инженер, esiap@mail.ru, Россия, Санкт-Петердруг, Санкт-Петербургский государственный морской технический университет

DEEP LEARNING WITH REINFORCEMENT IN CONTROLLING MANIPULATIVE ROBOTS M.Yu. Serebryakov, S.V. Kolesova, A.A. Zinchenko

The problems of applying machine learning in the field of robotic manipulation control are among the most important for modern robotics. Currently, the most promising type of learning is deep reinforcement learning, which combines deep learning based on artificial neural networks, and reinforcement learning, looking for an optimal behavior model by interacting with the environment.

Key words: deep learning, machine learning, reinforcement learning, deep reinforcement learning, robotic manipulation control, sample efficiency, generalization.

Serebryakov Mikhail Yuryevich, teacher, zhilenkovanton@gmail.com, Russia, Saint Petersburg, Saint Petersburg State Maritime Technical University,

Kolesova Sofia Vasilievna, master, Russia, Saint Petersburg, Saint Petersburg State Maritime Technical University,

Anton Alexandrovich Zinchenko, engineer, esiap@mail.ru, Russia, Saint Petersburg, Saint Petersburg State Maritime Technical University

УДК 662.215.121

DOI: 10.24412/2071-6168-2022-9-268-274

ВЛИЯНИЕ ПАРАМЕТРОВ БВР НА СКОРОСТЬ ДЕТОНАЦИИ ЗАРЯДА ВЗРЫВЧАТЫХ ВЕЩЕСТВ

Ал.А. Галимьянов, Д.Е. Герасимов, В.И. Мишнев, Е.Н. Казарина, Анд.А. Галимьянов, К.В. Гевало

При производстве взрывных работ важное значение имеет не только входной контроль взрывчатых материалов при поступлении на предприятие от поставщика, но и проведение измерений скорости детонации заряда в полевых условиях. Скорость детонации заряда взрывчатых веществ, как одна из важнейших его характеристик, влияющих на качество взрыва, зависит от многих факторов, основными из которых являются: качество приготовления взрывчатых веществ и их компонентов, плотность, диаметр и высота столба заряда, параметры промежуточного детонатора и его расположение по длине заряда. Правильный подход с применением соответствующих предварительных измерений, позволит повысить эффективность и безопасность подготовки горной массы к выемке буровзрывным способом. В статье приведена методика проведения измерений скоростей детонации сква-жинного заряда с соответствующими результатами и выводами.

Ключевые слова: измерение скорости детонации заряда, измерительные приборы, конструкция скважинного заряда, временные интервалы, импульсная рефлектометрия.

Скорость распространения детонационной волны - важнейший параметр, определяющий действие взрыва в режиме реального времени. С развитием систем мониторинга взрыва в последнее время стал доступен широкий спектр средств измерений, [1,2] основанных в том числе на методе импульсной рефлектометрии, а также реостатном, контактном и электромагнитном [3] принципах. Измерение скорости детонации (Э) в скважинах помогает сравнивать и оценивать относительные характеристики взрывчатых веществ (ВВ). На скорость детонации смесевых ВВ влияют параметры буровзрывных работ: плотность заряжания ВВ; диаметр и длина заряда; расположение боевиков по колонке заряда и их параметры [4,5], в том числе диаметр и высота промежуточного детонатора. Следует подчеркнуть, что в России и мире объем потребления смесевых ВВ (эмульсии, АС-ДТ), уступающих по устойчивости детонации индивидуальным ВВ [6], превышает 80% от общего объема потребления ВВ [7].

i Надоели баннеры? Вы всегда можете отключить рекламу.