CC BY
4314«Вопросы развития современной науки и техники» 2. Проектирование мехатронных систем. Системы технологических машин
[Текст]: учеб. пособие / Ал. Н. Тимофеев, А.Н. Попов, М.Н. Полищук и др.; СПб.:
Изд-во Политехн. ун-та, 2013. - 167 с.
© К.В. Капышева, А.А.Воронкова, Н.О.Тапеха, 2021
УДК 004.8
Котыга Майя Максимовна Kotyga Mayya
Студент Student
Российский государственный социальный университет
Russian State Social University
АНАЛИТИЧЕСКИЙ ОБЗОР ЛИТЕРАТУРЫ ЗА 2016-2021ГГ.
ПО ТЕМЕ: «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
ANALYTICAL REVIEW OF THE LITERATURE FOR 2016-2021 BY TOPIC: "ARTIFICIAL INTELLIGENCE"
Аннотация. В статье представлен аналитический обзор современного состояния исследований и разработок систем искусственного интеллекта (ИИ) за период. 2016-2021гг.; приведена краткая история работ в области ИИ; охарактеризованы направления ИИ; показаны возможности использования систем ИИ в различных областях науки.
Abstract: The article presents an analytical review of the current state of research and development of artificial intelligence (AI) systems for the period: 2016-2021; provides a brief history of work in the field of AI; describes the directions of AI; shows the possibilities of using AI systems in various fields of science.
Ключевые слова. искусственный интеллект, обзор, прогноз, анализ.
Key words: artificial intelligence, review, forecast, analysis.
VIII Международная научно-практическая конференция
Тема искусственного интеллекта набирает всё большую популярность в научном сообществе. В библиографической и реферативной базе данных Scopus.com проанализированы научные работы по тегам neural networks, recognition и прочие связанные темы за 2016 - 2021 годы.
На диаграмме ниже представлена зависимость количества публикаций по теме от года издания. Видна возрастающая монотонность с 2016 по 2020, 2020 году количество публикаций достигает своего пика, возможно, это связано с тотальным локдауном и появившимся временем для исследований. Далее по диаграмме идёт спад, но это связано с тем, что год только начался.
В перспективе - создание большего количества знаний в сфере искусственного интеллекта.
16000 й
К 14000 -
£
И 12000 -
и
лб10000 у
И 8000 -
о в
т 6000 с е
ч 4000
и
ло 2000 0
3730
2016
2017
2018
2019
2020
2021
Годы
По результатам литературного обзора выявлены тенденции направлений в сфере ИИ. К анализу были представлены 10 популярных работ, т.к. они отражают интересы не только года своего выпуска, но и перспективу развития.
2016
Deep residual learning for image recognition, He, K., Zhang, X., Ren, S., Sun, J., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2016-December, 7780459, [1, с. 770].
предметная область - компьютерное зрение;
«Вопросы развития современной науки и техники» новый подход в обучении;
большая глубина слоёв;
слои как обучающие остаточные функции со ссылкой на входные данные
слоя;
3,57% ошибки, лучший результат в сравнении с работами 2015г.; относительное улучшение на 28% по сравнению с набором данных обнаружения объектов coco;
1-е место по задачам обнаружения ImageNet, локализации ImageNet, определения COCO и сегментации COCO.
You only look once: Unified, real-time object detection, Redmon, J., Divvala, S., Girshick, R., Farhadi, A., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2016-December, 7780460, [2, с. 779]. предметная область - компьютерное зрение;
обнаружение объектов как задача регрессии к пространственно разделенным ограничивающим рамкам и связанным с ними вероятностям классов;
высокая скорость исполнения; делает больше ошибок локализации;
с меньшей вероятностью предсказывает ложные срабатывания; превосходит другие методы обнаружения при обработке естественных изображений и художественных произведений.
SSD: Single shot multibox detector, Liu, W., Anguelov, D., Erhan, D., (...), Fu, C.-Y., Berg, A.C., Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) [3]. предметная область - компьютерное зрение;
метод обнаружения объектов на изображениях с использованием единой глубокой нейронной сети;
прост по сравнению с методами;
исключает генерацию предложений и последующие этапы пересчета пикселей или объектов и инкапсулирует все вычисления в единую сеть;
VIII Международная научно-практическая конференция система проста в обучении и существенно проще для интеграции в
системы, требующие компонента обнаружения;
размещение кода на github.
Image Super-Resolution Using Deep Convolutional Networks, Dong, C., Loy, C.C., He, K., Tang, X., IEEE Transactions on Pattern Analysis and Machine Intelligence 38(2),7115171, [4, с. 295].
предметная область - компьютерное зрение;
изучает сквозное отображение между изображениями с низким/высоким разрешением;
отображение представлено в виде глубокой свёрточной нейронной сети (CNN);
легкая конструкция;
высокое качество «реставрации»;
высокая скорость, позволяющая работу в online;
расширение сети, чтобы справиться с тремя цветовыми каналами одновременно.
Learning Deep Features for Discriminative Localization, Zhou, B., Khosla, A., Lapedriza, A., Oliva, A., Torralba, A. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2016-December, 7780688, [5, с. 2921].
предметная область - компьютерное зрение;
выявление способностей сверточной нейронной сети (CNN) в локализации;
строит общее локализуемое глубокое представление; сеть способна локализовать области дискриминативного изображения. Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer Learning, Shin, H.-C., Roth, H.R., Gao, M., (...), Mollura, D., Summers, R.M., IEEE Transactions on Medical Imaging, 35(5),7404017, [6, с. 1285].
предметная область - компьютерное зрение;
«Вопросы развития современной науки и техники» модель обучалась для использования в сфере медицины. Real-Time Single Image and Video Super-Resolution Using an Efficient SubPixel Convolutional Neural Network, Shi, W., Caballero, J., Huszar, F., (...), Rueckert, D., Wang, Z., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2016-December,7780576, [7, с. 1874]. предметная область - компьютерное зрение;
доказательство неоптимальности метода бикубической интерполяции в обработке сверхразрешения изображения;
представлена первая свёрточная нейронная сеть (CNN), способная в реальном времени воспроизводить видео 1080p на одном графическом процессоре K2;
введение эффективного субпиксельного слоя свертки, который изучает массив фильтров масштабирования для масштабирования конечных карт объектов LR в вывод HR;
эффективная замена ручного бикубического фильтра в конвейере SR более сложными фильтрами масштабирования; быстрота и эффективность.
Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks, Zhang, K., Zhang, Z., Li, Z., Qiao, Y., IEEE Signal Processing Letters, 23(10), [8, с. 1499].
предметная область - компьютерное зрение; распознание лиц;
фреймворк использует каскадную архитектуру с тремя этапами тщательно разработанных глубоких свёрточных сетей для прогнозирования местоположения лица и ориентира грубым и точным способами; высокая скорость и производительность в реальном времени. Context Encoders: Feature Learning by Inpainting, Pathak, D., Krahenbuhl, P., Donahue, J., Darrell, T., Efros, A.A., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2016-December,7780647, [9, с. 2536].
VIII Международная научно-практическая конференция предметная область - компьютерное зрение;
генерация содержимого произвольной области изображения по контексту; контекстные кодеры могут использоваться для семантических задач рисования, как автономных, так и в качестве инициализации непараметрических методов.
Deep convolutional and LSTM recurrent neural networks for multimodal wearable activity recognition, Ordonez, F.J., Roggen, D., Sensors (Switzerland), 16(1), [10, c. 115].
предметная область - компьютерное зрение;
решение задач распознания человеческой деятельности.
2017
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, Ren, S., He, K., Girshick, R., Sun, J., IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6),7485869, [11, с. 1137]. предметная область - компьютерное зрение;
разделение сверточных функции полного изображения с сетью обнаружения;
обнаружение регионов и границ объектов; код стал общедоступным.
Photo-realistic single image super-resolution using a generative adversarial network, Ledig, C., Theis, L., Huszar, F., (...), Wang, Z., Shi, W., Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017-January, [12, с. 105].
предметная область - компьютерное зрение;
задача о восстановлении более тонких деталей текстуры при суперразрешении, используя больших факторах масштабирования;
сосредоточение на минимизации среднеквадратичной ошибок реконструкции;
функция потери восприятия.
«Вопросы развития современной науки и техники» PointNet: Deep learning on point sets for 3D classification and segmentation, Qi, C.R., Su, H., Mo, K., Guibas, L.J., Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recog-nition, CVPR 2017, 2017-January, [13, с. 77]. предметная область - компьютерное зрение; облако точек;
потребление облака точек, что хорошо учитывает инвариантность перестановок точек на входе, вместо преобразование данные в Bd-воксельные сетки или коллекции изображений; новая нейронная сеть.
Xception: Deep learning with depthwise separable convolutions, Chollet, F., Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017-January, [14, с. 1800].
интерпретация начальных модулей в волевых нейронных сетях как промежуточный шаг между регулярной сверткой и операцией глубинной сепарабельной свертки;
новая архитектура глубоких сверточных нейронных сетей; модули Inception были заменены глубокими разделяемыми сверточками, что позволило систему сделать лучше, чем Inception.
LSTM: A Search Space Odyssey, Greff, K., Srivastava, R.K., Koutnik, J., Steunebrink, B.R., Schmidhuber, J., IEEE Transactions on Neural Networks and Learning Systems, 28(10),7508408, [15, с. 2222].
анализ архитектуры long short-term memory (LSTM) для рекуррентных нейронных сетей.
Neural collaborative filtering, He, X., Liao, L., Zhang, H., (...), Hu, X., Chua, T.-S., 26th International World Wide Web Conference, WWW 2017, 3052569, [16, с. 173].
разработка методов, основанных на нейронных сетях, для решения ключевой проблемы в рекомендациях — коллаборативной фильтрации — на основе неявной обратной связи;
VIII Международная научно-практическая конференция использование более глубоких слоев нейронных сетей обеспечивает лучшую производительность.
Enhanced Deep Residual Networks for Single Image Super-Resolution, Lim, B., Son, S., Kim, H., Nah, S., Lee, K.M., IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2017-July, 8014885, [17, с. 1132]. предметная область - компьютерное зрение;
разработка расширенной сети глубокого сверхразрешения (EDSR) с производительностью, превышающей производительность современных методов SR;
значительное повышение производительности связано с оптимизацией за счет удаления ненужных модулей в обычных остаточных сетях, а также улучшается за счет увеличения размера модели и стабилизации процедуры обучения;
новая многомасштабная система глубокого сверхразрешения (MDSR); метод обучения, позволяющая реконструировать изображения высокого разрешения различных факторов масштабирования в одной модели.
Deep Learning in Medical Image Analysis, Shen, D., Wu, G., Suk, H.-I., Annual Review of Biomedical Engineering, 19, [18, с. 221]. предметная область - компьютерное зрение;
компьютерный анализ изображений в области медицинской визуализации; анализ существующих методов в медицинской области и предсказание будущих направлений.
A survey of deep neural network architectures and their applications, Liu, W., Wang, Z., Liu, X., (...), Liu, Y., Alsaadi, F.E., Neurocomputing, 234, [19, с. 11].
обзор четырех архитектур глубокого обучения, а именно: автоэнкодер, сверточная нейронная сеть, сеть глубокого убеждения и ограниченная машина Больцмана;
выделяются области применения методов глубокого обучения в некоторых определённых областях (распознавание речи, распознавание образов и компьютерное зрение);
«Вопросы развития современной науки и техники» приводится список будущих тем исследований с четкими обоснованиями.
Efficient Processing of Deep Neural Networks: A Tutorial and Survey, Sze, V.,
Chen, Y.-H., Yang, T.-J., Emer, J.S., Proceedings of the IEEE, 105(12), 8114708, [20,
с. 2295].
учебное пособие, обзор последних достижений в направлении обеспечения эффективной обработки DNN. 2018
Non-local Neural Networks, Wang, X., Girshick, R., Gupta, A., He, K., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 8578911, [21, с. 7794].
предметная область - компьютерное зрение;
нелокальные операции как общее семейство строительных блоков для захвата долгосрочных зависимостей;
вычисляет отклик в позиции как взвешенную сумму признаков во всех позициях;
доступность кода.
Learning Transferable Architectures for Scalable Image Recognition, Zoph, B., Vasudevan, V., Shlens, J., Le, Q.V., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 8579005, [22, с. 8697]. предметная область - компьютерное зрение;
метод изучения архитектуры моделей непосредственно на малом наборе данных;
дорогостоящий метод;
разработка нового пространства поиска;
достигает частоты ошибок 2,4%.
CBAM: Convolutional block attention module, Woo, S., Park, J., Lee, J.-Y., Kweon, I.S., Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11211 LNCS, [23, с. 3]. предметная область - компьютерное зрение;
VIII Международная научно-практическая конференция предлагается модуль сверточного блочного внимания (CBAM), простой,
но эффективный модуль внимания для сверточных нейронных сетей с обратной
связью.
Recent advances in convolutional neural networks, Gu, J., Wang, Z., Kuen, J., (...), Cai, J., Chen, T., Pattern Recognition, 77, [24, с. 354].
широкий обзор последних достижений в области сверточных нейронных
сетей.
X-Vectors: Robust DNN Embeddings for Speaker Recognition, Snyder, D., Garcia-Romero, D., Sell, G., Povey, D., Khudanpur, S., ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, 2018-April, 8461375, [25, с. 5329].
предметная область -машинный слух;
используется увеличение данных для повышения производительности глубоких нейронных сетей (DNN) для распознавания звуков;
DNN, обученный различать говорящих, сопоставляет высказывания переменной длины с вложениями фиксированной размерности.
Artificial intelligence for fault diagnosis of rotating machinery: A review, Liu, R., Yang, B., Zio, E., Chen, X., Mechanical Systems and Signal Processing, 108, [26, с. 33].
предметная область - компьютерное зрение;
диагностика неисправностей вращающихся машин с помощью искусственного интеллекта для обеспечения надежности и безопасности современных промышленных систем.
Deep Learning for Computer Vision: A Brief Review, Voulodimos, A., Doulamis, N., Doulamis, A., Protopapadakis, E., Computational Intelligence and Neuroscience, 2018, 7068349, [27]
предметная область - компьютерное зрение;
краткий обзор некоторых наиболее важных схем глубокого обучения. Deep learning models for plant disease detection and diagnosis, Ferentinos, K.P., Computers and Electronics in Agriculture, 145, [28, с. 311].
«Вопросы развития современной науки и техники» предметная область - компьютерное зрение;
разработка сверточных нейросетевых моделей для выявления и диагностики заболеваний растений.
Single-Shot Refinement Neural Network for Object Detection, Zhang, S., Wen, L., Bian, X., Lei, Z., Li, S.Z., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 8578540, [29, с. 4203]. предметная область - компьютерное зрение;
модель убирает отрицательные факторы для конкретизации изучаемого объекта.
код доступен на github.
Artificial intelligence in radiology, Hosny, A., Parmar, C., Quackenbush, J., Schwartz, L.H., Aerts, H.J.W.L., Nature Reviews Cancer, 18(8), [30, с. 500]. предметная область - компьютерное зрение; определение общего понимания методов ИИ;
анализ того, как эти методы могут повлиять на различные аспекты радиологии;
уделяется особое внимание применению в онкологии. 2019
Deep learning and its applications to machine health monitoring, Zhao, R., Yan, R., Chen, Z., (...), Wang, P., Gao, R.X., Mechanical Systems and Signal Processing, 115, [31, с. 213].
предметная область - компьютерное зрение;
обзор и обобщение новых исследований в области глубокого обучения по мониторингу работоспособности машин;
обсуждение новых тенденций в методах мониторинга работоспособности машин на основе DL.
Object Detection with Deep Learning: A Review, Zhao, Z.-Q., Zheng, P., Xu, S.-T., Wu, X., IEEE Transactions on Neural Networks and Learning Systems, 30(11),8627998, [32, с. 3212].
предметная область - компьютерное зрение;
VIII Международная научно-практическая конференция обзор фреймворков обнаружения объектов на основе DL. ArcFace: Additive angular margin loss for deep face recognition, Deng, J., Guo, J., Xue, N., Zafeiriou, S., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019-June,8953658, [33, с. 4685]. предметная область - компьютерное зрение;
представляется аддитивная потеря угловой маржи (ArcFace) для получения высоко дискриминативных признаков для распознавания лиц как новый метод в КЗ.
Deep learning for time series classification: a review, Ismail Fawaz, H., Forestier, G., Weber, J., Idoumghar, L., Muller, P.-A., Data Mining and Knowledge Discovery, 33(4), [34, с. 917].
изучается современное состояние работы алгоритмов глубокого обучения для анализа временных рядов (TSC);
представляется эмпирическое исследование самых последних DNN-архитектур для TSC.
HyperFace: A Deep Multi-Task Learning Framework for Face Detection, Landmark Localization, Pose Estimation, and Gender Recognition, Ranjan, R., Patel, V.M., Chellappa, R., IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(1),8170321, [35, с. 121].
предметная область - компьютерное зрение;
представляется алгоритм одновременного распознавания лиц, локализации ориентиров, оценки позы и распознавания пола с использованием глубоких сверточных нейронных сетей (CNN).
Mnasnet: Platform-aware neural architecture search for mobile, Tan, M., Chen, B., Pang, R., (...), Howard, A., Le, Q.V., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019-June, 8954198, [36, с. 2815].
предлагается подход автоматизированного поиска мобильной нейронной архитектуры (MNAS);
«Вопросы развития современной науки и техники»
включается задержка модели в основную цель, чтобы поиск мог идентифицировать модель, достигающую хорошего компромисса между точностью и задержкой;
код представлен на github.
One Pixel Attack for Fooling Deep Neural Networks, Su, J., Vargas, D.V., Sakurai, K., IEEE Transactions on Evolutionary Computation, 23(5), 8601309, [37, с. 828].
предметная область - компьютерное зрение;
новый метод генерации однопиксельных состязательных возмущений, основанный на дифференциальной эволюции (DE).
A state-of-the-art survey on deep learning theory and architectures, Alom, M.Z., Taha, T.M., Yakopcic, C., (...), Awwal, A.A.S., Asari, V.K., Electronics (Switzerland), 8(3), [38, c. 292].
краткий обзор достижений, которые произошли в области глубокого обучения (DL), начиная с Глубокой нейронной сети (DNN).
The Optoelectronic Nose: Colorimetric and Fluorometric Sensor Arrays, Li, Z., Askim, J.R., Suslick, K.S., Chemical Reviews, 119(1), [39, с. 231].
всесторонний обзор развития и современного состояния колориметрических и флуорометрических сенсорных матриц.
Data-Driven Deep Learning for Automatic Modulation Recognition in Cognitive Radios, Wang, Y., Liu, M., Yang, J., Gui, G., IEEE Transactions on Vehicular Technology, 68(4), 8645696, [40, с. 4074].
предлагается метод глубокого обучения, основанный на сочетании с двумя сверточными нейронными сетями (CNN), обученными на разных наборах данных, для достижения более высокой точности AMR.
2020
Focal Loss for Dense Object Detection, Lin, T.-Y., Goyal, P., Girshick, R., He, K., Dollar, P., IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2),8417976, [41, с. 318].
исследуется разница между двумя детекторами;
VIII Международная научно-практическая конференция самые высокоточные детекторы объектов на сегодняшний день основаны
на двухэтапном подходе, популяризированном R-CNN, где классификатор
применяется к разреженному набору возможных местоположений объектов;
одноступенчатые детекторы, применяемые на регулярной, плотной
выборке возможных местоположений объектов, потенциально могут быть более
быстрыми и простыми, но до сих пор уступают точности двухступенчатых
детекторов;
код доступен на github.
Mask R-CNN, He, K., Gkioxari, G., Dollar, P., Girshick, R., IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2), 8372616, [42, с. 386]. предметная область - компьютерное зрение;
представляется концептуально простая, гибкая и общая структура сегментации экземпляров объектов; код доступен на github.
Deep Learning for Generic Object Detection: A Survey, Liu, L., Ouyang, W., Wang, X., (...), Liu, X., Pietikäinen, M., International Journal of Computer Vision, 128(2), [43, с. 261].
предметная область - компьютерное зрение;
обзор включает более 300 научных работ, охватывающих многие аспекты общего обнаружения объектов: рамки обнаружения, представление признаков объектов, генерация предложений объектов, контекстное моделирование, стратегии обучения и метрики оценки;
выявление перспективных направлений для дальнейших исследований. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization, Selvaraju, R.R., Cogswell, M., Das, A., (...), Parikh, D., Batra, D., International Journal of Computer Vision, 128(2), [44, с. 336]. предметная область - компьютерное зрение;
методику получения "визуальных объяснений" для решений из большого класса моделей на основе сверточных нейронных сетей (CNN), что делает их более прозрачными и объяснимыми;
«Вопросы развития современной науки и техники» код доступен на github; демонстрация работы на youtube.
EfficientDet: Scalable and efficient object detection, Tan, M., Pang, R., Le, Q.V., Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 9156454, [45, с. 10778].
предметная область - компьютерное зрение;
изучается выбор архитектуры нейронной сети для обнаружения объектов и предлагается несколько ключевых оптимизаций для повышения эффективности;
код представлен на github.
Spatial Pyramid-Enhanced NetVLAD with Weighted Triplet Loss for Place Recognition, Yu, J., Zhu, C., Zhang, J., Huang, Q., Tao, D., IEEE Transactions on Neural Networks and Learning Systems, 31(2), 8700608, [46, с. 661]. предметная область - компьютерное зрение;
предлагается сквозная модель распознавания мест, основанная на новой глубокой нейронной сети.
Fully hardware-implemented memristor convolutional neural network, Yao, P., Wu, H., Gao, B., (...), Yang, J.J., Qian, H., Nature, 577(7792), [47, с. 641]. предметная область - компьютерное зрение;
сообщается о производстве высокодоходных, высокопроизводительных и однородных мемристорных поперечных решеток для реализации CNN, которые объединяют восемь мемристорных решеток с 2048 ячейками для повышения эффективности параллельных вычислений;
предлагается эффективный гибридный метод обучения для адаптации к несовершенствам устройства и повышения общей производительности системы;
построен пятислойный мемристорный CNN для распознавания изображений.
A survey of the recent architectures of deep convolutional neural networks, Khan, A., Sohail, A., Zahoora, U., Qureshi, A.S., Artificial Intelligence Review, 53(8), [48, с. 5455].
VIII Международная научно-практическая конференция исследовано несколько вдохновляющих идей для достижения прогресса в CNN, таких как использование различных функций активации и потерь, оптимизация параметров, регуляризация и архитектурные инновации.
An energy approach to the solution of partial differential equations in computational mechanics via machine learning: Concepts, implementation and applications, Samaniego, E., Anitescu, C., Goswami, S., (...), Zhuang, X., Rabczuk, T., Computer Methods in Applied Mechanics and Engineering, [49].
исследуются глубокие нейронные сети (DNNs) как вариант аппроксимации решения дифференциальных уравнений в частных производных.
A novel transfer learning based approach for pneumonia detection in chest X-ray images, Chouhan, V., Singh, S.K., Khamparia, A., (...), Damasevicius, R., de Albuquerque, V.H.C., Applied Sciences (Switzerland), 10(2), [50, c. 559]. Предметная область - компьютерное зрение;
упрощение процесса выявления пневмонии как для экспертов, так и для новичков;
предлагается новая система глубокого обучения для выявления пневмонии с использованием концепции трансферного обучения. 2021
A Comprehensive Survey on Graph Neural Networks, Wu, Z., Pan, S., Chen, F., (...), Zhang, C., Yu, P.S., IEEE Transactions on Neural Networks and Learning Systems, 32(1),9046288, [51, с. 4].
полный обзор графовых нейронных сетей (GNNS) в области интеллектуального анализа данных и машинного обучения;
предлагается новую таксономию для разделения современных GNN на четыре категории, а именно: рекуррентные GNN, сверточные GNN, графовые автоэнкодеры и пространственно-временные GNN.
Fault diagnosis of electric impact drills using thermal imaging, Glowacz, A., Measurement: Journal of the International Measurement Confederation, [52]. предметная область - компьютерное зрение;
«Вопросы развития современной науки и техники» описывается метод диагностики неисправностей, основанный на анализе
тепловизионных изображений.
Classification of COVID-19 in chest X-ray images using DeTraC deep
convolutional neural network, Abbas, A., Abdelsamea, M.M., Gaber, M.M., Applied
Intelligence, 51(2), [53, с. 854].
предметная область - компьютерное зрение;
проверяется глубокая CNN для классификации рентгеновских изображений грудной клетки COVID-19. DeTraC может справиться с любыми неровностями в наборе данных изображений, исследуя его границы классов с помощью механизма декомпозиции классов.
A multi-phase blending method with incremental intensity for training detection networks, Quan, Q., He, F., Li, H., Visual Computer, 37(2), [54, с. 245]. предметная область - компьютерное зрение; был изучен ряд подходов в обнаружении объектов;
представляет многофазный метод смешивания с инкрементной интенсивностью смешивания для повышения точности детекторов объектов и достижения улучшений.
Nighttime pedestrian detection based on faster region convolution neural network, Guolin, Y., Shaoyuan, S., Kaijun, G., Haitao, Z., Laser and Optoelectronics Progress, [55].
предметная область - компьютерное зрение;
быстрая свертка области нейросетевой структуры для реализации пешеходного обнаружения инфракрасного изображения в ночное время.
CNN-based encoder-decoder networks for salient object detection: A comprehensive review and recent advances, Ji, Y., Zhang, H., Zhang, Z., Liu, M., Information Sciences, 546, [56, с. 835].
предметная область - компьютерное зрение;
представляется более широкий взгляд с точки зрения фундаментальных архитектур ключевых модулей и структур в моделях кодер-декодер на основе CNN для задач плотного прогнозирования на уровне пикселей.
VIII Международная научно-практическая конференция Deep Learning for Multigrade Brain Tumor Classification in Smart Healthcare
Systems: A Prospective Survey, Muhammad, K., Khan, S., Ser, J.D., Albuquerque,
V.H.C.D., IEEE Transactions on Neural Networks and Learning Systems,
32(2),9129779, [57, с. 507].
предметная область - компьютерное зрение;
углубленный обзор опубликованных до сих пор обзоров и последних методов глубокого обучения для BTC.
Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes, Liao, M., Lyu, P., He, M., (...), Wu, W., Bai, X., IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(2),8812908, [58, с. 532].
предметная область - компьютерное зрение;
представлена сквозная обучаемая нейронная сеть для обнаружения и распознавания текста.
A Rapid Spiking Neural Network Approach with an Application on Hand Gesture Recognition, Cheng, L., Liu, Y., Hou, Z.-G., (...), Du, D., Fei, M., IEEE Transactions on Cognitive and Developmental Systems, 13(1), 8720035, [59, с. 151]. предметная область - машинная речь; создана настройка для SNN.
Evaluation of flow pattern recognition and void fraction measurement in two phase flow independent of oil pipeline's scale layer thickness, Roshani, M., Phan, G.T.T., Jammal Muhammad Ali, P., (...), Nazemi, E., Mostafa Kalmoun, E., Alexandria Engineering Journal, 60(1), [60, с. 1955].
исследования является объединением влияния толщины окалины на характер течения и характеристики двухфазного потока, используемого в нефтяной промышленности;
предлагается интеллектуальный неразрушающий метод, основанный на сочетании ослабления гамма-излучения и искусственного интеллекта, для определения типа структуры потока и процента объема газа в двухфазном потоке независимо от толщины слоя накипи нефтепровода.
«Вопросы развития современной науки и техники»
Вывод
Анализируя источники выше можно прийти к такому статистическому отображению:
|компьютерное зрение машинная речь приложение в медицине приложение в биологии
| машинным слух | обзоры
| приложение в промышленности | математика
Большей популярностью пользуется компьютерное зрение и его приложения. Также можно заметить, что в ранние годы выпускалось больше работ с созданием моделей, ближе к нынешнему году - обзоры.
Можно заметить, что в ранние годы были лишь модели без практического приложения. Сейчас ИИ применяется как для текстового анализа, так и для помощи в промышленности и медицине.
В предложенных работах ещё не решается вопрос о переобучаемости ИИ с последующим сохранением предыдущих навыков.
Библиографический список:
1. He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - С. 770-778.
2. Redmon J. et al. You only look once: Unified, real-time object detection //Proceedings of the IEEE conference on computer vision and pattern recognition. -2016. - С. 779-788.
VIII Международная научно-практическая конференция
3. Liu W. et al. Ssd: Single shot multibox detector //European conference on computer vision. - Springer, Cham, 2016. - С. 21-37.
4. Dong C. et al. Image super-resolution using deep convolutional networks //IEEE transactions on pattern analysis and machine intelligence. - 2015. - Т. 38. - №2. 2. - С. 295-307.
5. Zhou B. et al. Learning deep features for discriminative localization //Proceedings of the IEEE conference on computer vision and pattern recognition. -2016. - С. 2921-2929.
6. Shin H. C. et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning //IEEE transactions on medical imaging. - 2016. - Т. 35. - №. 5. - С. 1285-1298.
7. Shi W. et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - С. 1874-1883.
8. Zhang K. et al. Joint face detection and alignment using multitask cascaded convolutional networks //IEEE Signal Processing Letters. - 2016. - Т. 23. - №. 10. -С. 1499-1503.
9. Pathak D. et al. Context encoders: Feature learning by inpainting //Proceedings of the IEEE conference on computer vision and pattern recognition. -2016. - С. 2536-2544.
10. Ordonez F. J., Roggen D. Deep convolutional and lstm recurrent neural networks for multimodal wearable activity recognition //Sensors. - 2016. - Т. 16. - №2. 1. - С. 115.
11. Ren S. et al. Faster R-CNN: towards real-time object detection with region proposal networks //IEEE transactions on pattern analysis and machine intelligence. -2016. - Т. 39. - №. 6. - С. 1137-1149.
12. Ledig C. et al. Photo-realistic single image super-resolution using a generative adversarial network //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - С. 4681-4690.
«Вопросы развития современной науки и техники»
13. Qi C. R. et al. Pointnet: Deep learning on point sets for 3d classification and segmentation //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - С. 652-660.
14. Chollet F. Xception: Deep learning with depthwise separable convolutions //Proceedings of the IEEE conference on computer vision and pattern recognition. -2017. - С. 1251-1258.
15. Greff K. et al. LSTM: A search space odyssey //IEEE transactions on neural networks and learning systems. - 2016. - Т. 28. - №. 10. - С. 2222-2232.
16. He X. et al. Neural collaborative filtering //26th International World Wide Web Conference. - 2017. - C. 173-182.
17. Lim B. et al. Enhanced deep residual networks for single image superresolution //Proceedings of the IEEE conference on computer vision and pattern recognition workshops. - 2017. - С. 136-144.
18. Shen D., Wu G., Suk H. I. Deep learning in medical image analysis //Annual review of biomedical engineering. - 2017. - Т. 19. - С. 221-248.
19. Liu W. et al. A survey of deep neural network architectures and their applications //Neurocomputing. - 2017. - Т. 234. - С. 11-26.
20. Sze V. et al. Efficient processing of deep neural networks: A tutorial and survey //Proceedings of the IEEE. - 2017. - Т. 105. - №. 12. - С. 2295-2329.
21. Wang X. et al. Non-local neural networks //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - С. 7794-7803.
22. Zoph B. et al. Learning transferable architectures for scalable image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - С. 8697-8710.
23. Woo S. et al. Cbam: Convolutional block attention module //Proceedings of the European conference on computer vision (ECCV). - 2018. - С. 3-19.
24. Gu J. et al. Recent advances in convolutional neural networks //Pattern Recognition. - 2018. - Т. 77. - С. 354-377.
VIII Международная научно-практическая конференция
25. Snyder D. et al. X-vectors: Robust dnn embeddings for speaker recognition //2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - IEEE, 2018. - С. 5329-5333.
26. Liu R. et al. Artificial intelligence for fault diagnosis of rotating machinery: A review //Mechanical Systems and Signal Processing. - 2018. - Т. 108. - С. 33-47.
27. Voulodimos A. et al. Deep learning for computer vision: A brief review //Computational intelligence and neuroscience. - 2018. - Т. 2018.
28. Ferentinos K. P. Deep learning models for plant disease detection and diagnosis //Computers and Electronics in Agriculture. - 2018. - Т. 145. - С. 311-318.
29. Zhang S. et al. Single-shot refinement neural network for object detection //Proceedings of the IEEE conference on computer vision and pattern recognition. -2018. - С. 4203-4212.
30. Hosny A. et al. Artificial intelligence in radiology //Nature Reviews Cancer.
- 2018. - Т. 18. - №. 8. - С. 500-510.
31. Zhao R. et al. Deep learning and its applications to machine health monitoring //Mechanical Systems and Signal Processing. - 2019. - Т. 115. - С. 213237.
32. Zhao Z. Q. et al. Object detection with deep learning: A review //IEEE transactions on neural networks and learning systems. - 2019. - Т. 30. - №. 11. - С. 3212-3232.
33. Deng J. et al. ArcFace: Additive angular margin loss for deep face recognition, //Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 2019. - C. 4685-4694.
34. Fawaz H. I. et al. Deep learning for time series classification: a review //Data Mining and Knowledge Discovery. - 2019. - Т. 33. - №. 4. - С. 917-963.
35. Ranjan R., Patel V. M., Chellappa R. Hyperface: A deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition //IEEE transactions on pattern analysis and machine intelligence. - 2017.
- Т. 41. - №. 1. - С. 121-135.
«Вопросы развития современной науки и техники»
36. Tan M. et al. Mnasnet: Platform-aware neural architecture search for mobile //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2019. - С. 2820-2828.
37. Su J., Vargas D. V., Sakurai K. One pixel attack for fooling deep neural networks //IEEE Transactions on Evolutionary Computation. - 2019. - Т. 23. - №. 5.
- С. 828-841.
38. Alom M. Z. et al. A state-of-the-art survey on deep learning theory and architectures //Electronics. - 2019. - Т. 8. - №. 3. - С. 292.
39. Li Z., Askim J. R., Suslick K. S. The optoelectronic nose: colorimetric and fluorometric sensor arrays //Chemical reviews. - 2018. - Т. 119. - №. 1. - С. 231-292.
40. Wang Y. et al. Data-driven deep learning for automatic modulation recognition in cognitive radios //IEEE Transactions on Vehicular Technology. - 2019.
- Т. 68. - №. 4. - С. 4074-4077.
41. Lin T. Y. et al. Focal loss for dense object detection //Proceedings of the IEEE international conference on computer vision. - 2020. - С. 2980-2988.
42.He K. et al. Mask r-cnn //Proceedings of the IEEE international conference on computer vision. - 2020. - С. 2961-2969.
43. Liu L. et al. Deep learning for generic object detection: A survey //International journal of computer vision. - 2020. - Т. 128. - №. 2. - С. 261-318.
44. Selvaraju R. R. et al. Grad-cam: Visual explanations from deep networks via gradient-based localization //Proceedings of the IEEE international conference on computer vision. - 2020. - С. 336-359.
45. Tan M., Pang R., Le Q. V. Efficientdet: Scalable and efficient object detection //Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2020. - С. 10781-10790.
46. Yu J. et al. Spatial pyramid-enhanced NetVLAD with weighted triplet loss for place recognition //IEEE transactions on neural networks and learning systems. -2020. - Т. 31. - №. 2. - С. 661-674.
47. Yao P. et al. Fully hardware-implemented memristor convolutional neural network //Nature. - 2020. - Т. 577. - №. 7792. - С. 641-646.
VIII Международная научно-практическая конференция
48. Khan A. et al. A survey of the recent architectures of deep convolutional neural networks //Artificial Intelligence Review. - 2020. - Т. 53. - №. 8. - С. 54555516.
49. Samaniego E. et al. An energy approach to the solution of partial differential equations in computational mechanics via machine learning: Concepts, implementation and applications //Computer Methods in Applied Mechanics and Engineering. - 2020. - Т. 362. - С. 112790.
50. Chouhan V. et al. A novel transfer learning based approach for pneumonia detection in chest X-ray images //Applied Sciences. - 2020. - Т. 10. - №. 2. - С. 559.
51. Wu Z. et al. A comprehensive survey on graph neural networks //IEEE transactions on neural networks and learning systems. - 2021.
52. Glowacz A. Fault diagnosis of electric impact drills using thermal imaging //Measurement. - 2021. - Т. 171. - С. 108815.
53. Abbas A., Abdelsamea M. M., Gaber M. M. Classification of COVID-19 in chest X-ray images using DeTraC deep convolutional neural network //Applied Intelligence. - 2021. - Т. 51. - №. 2. - С. 854-864.
54. Quan Q., He F., Li H. A multi-phase blending method with incremental intensity for training detection networks //The Visual Computer. - 2021. - Т. 37. - №. 2. - С. 245-259.
55. Guolin Y., Shaoyuan, S. Kaijun, Nighttime pedestrian detection based on faster region convolution neural network //2021 25th International Conference on Pattern Recognition (ICPR). - IEEE, 2021. - С. 9180-9187.
56. Ji Y. et al. CNN-based encoder-decoder networks for salient object detection: A comprehensive review and recent advances //Information Sciences. - 2021. - Т. 546. - С. 835-857.
57. Muhammad K. et al. Deep learning for multigrade brain tumor classification in smart healthcare systems: A prospective survey //IEEE Transactions on Neural Networks and Learning Systems. - 2021.
«Вопросы развития современной науки и техники»
58. Liao M., Lyu P., Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2021. - С. 532-548.
59. Cheng L. A Rapid Spiking Neural Network Approach with an Application on Hand Gesture Recognition, //IEEE Transactions on Cognitive and Developmental Systems. - 2021. - С. 151-161.
60. Roshani M. et al. Evaluation of flow pattern recognition and void fraction measurement in two phase flow independent of oil pipeline's scale layer thickness //Alexandria Engineering Journal. - 2021. - Т. 60. - №. 1. - С. 1955-1966.
