CC BY
14
проточную часть. Т.1. Изд-во СумГУ, 2004.- С. 155-161.
8. Степанов А.И. О применении испарительного охлаждения центробежных компрессоров. Химическое и нефтяное машиностроение.- 2000 г. С.4-6.
9. Писарев Ю.Г., Лебедев Л.Б., Довбиш А.Л. Совершенствование системы предварительного охлаждения воздухоразделительных установок//Технические газы.-2004. С. 18-23.
© Кутлиахметов М.Ф., 2023
УДК 004.896
Левасюк Д.Ю.
магистрант 1 курса, кафедра ИВТиПМ, ЗабГУ, г. Чита, РФ
ПРИМЕНЕНИЕ ЯЗЫКОВЫХ МОДЕЛЕЙ В ЗАДАЧЕ ОБНАРУЖЕНИЯ НЕПРИЕМЛЕМОГО КОНТЕНТА
Аннотация
Статья исследует применение языковых моделей для обнаружения неприемлемого контента в онлайн-среде. Рассмотрены методы, включая рекуррентные и сверточные нейронные сети, а также трансформеры. Приведены примеры систем и платформ, использующих языковые модели для фильтрации контента. Основное внимание уделено преимуществам и ограничениям языковых моделей в обнаружении неприемлемого контента. Работа также указывает на возможные направления дальнейших исследований и развития данной области.
Ключевые слова
Языковые модели, обнаружение неприемлемого контента, сверточные нейронные сети, рекуррентные нейронные сети, трансформеры.
APPLICATION OF LANGUAGE MODELS IN THE PROBLEM OF DETECTING UNACCEPTABLE CONTENT
Annotation
The article explores the use of language models to detect inappropriate content in the online environment. Methods are considered, including recurrent and convolutional neural networks, as well as transformers. Examples of systems and platforms using language models for content filtering are given. The main attention is paid to the advantages and limitations of language models in detecting inappropriate content. The work also indicates possible directions for further research and development in this area.
Keywords
Language models, inappropriate content detection, convolutional neural networks, recurrent neural networks, transformers.
Введение
В настоящее время существует ряд методов и подходов для обнаружения неприемлемого контента в онлайн-среде. Традиционные подходы, такие как ключевые слова, правила и фильтры, широко использовались в прошлом, однако они имеют свои ограничения. Одним из основных ограничений традиционных методов является их низкая гибкость и способность адаптироваться к новым формам и видам неприемлемого контента. Также сложно учесть контекст и семантику высказываний, что может
приводить к ложным срабатываниям или упущению неприемлемого контента.
С развитием машинного обучения и глубоких нейронных сетей стали доступны новые методы обнаружения неприемлемого контента, основанные на использовании языковых моделей.
RNN, CNN и трансформеры
Рекуррентные нейронные сети (RNN), сверточные нейронные сети (CNN) и трансформеры предоставляют более точные и гибкие способы анализа и обработки текстовых данных.
RNN представляют собой тип нейронных сетей, способных учитывать последовательность слов в тексте. Они обладают способностью сохранять и передавать информацию о предыдущих словах, что позволяет учесть контекст при анализе текстового контента. Это особенно полезно при обнаружении неприемлемого контента, так как позволяет понять связь между словами и распознать выражения, содержащие оскорбления, ненависть или дискриминацию.
CNN, в свою очередь, способны выявлять локальные и глобальные особенности текста. Они могут обнаруживать паттерны, специфичные для неприемлемого контента, и выделять ключевые признаки. Такой подход особенно полезен при выявлении нежелательных выражений и признаков насилия.
Трансформеры — это более новое развитие в области языковых моделей. Они используют механизм внимания, который позволяет эффективно обрабатывать текстовые данные и выделять их семантические особенности. Трансформеры показывают превосходные результаты в множестве задач обработки естественного языка, включая обнаружение неприемлемого контента.
Применение языковых моделей, таких как RNN, CNN и трансформеры, в задаче обнаружения неприемлемого контента позволяет повысить точность и эффективность систем фильтрации. Однако, необходимо учитывать, что эти модели требуют большого объема размеченных данных для обучения и имеют свои ограничения, такие как сложность интерпретации результатов и универсальность для разных языков и культур.
Примеры систем и платформ, использующих языковые модели для фильтрации контента.
Различные онлайн-сферы используют языковые модели для фильтрации неприемлемого контента. Примеры включают: социальные сети Facebook (Meta Platforms Inc. запрещено на территории России), Twitter, YouTube; платформы онлайн-игр Steam, Xbox Live; платформы электронной коммерции Amazon, eBay и медиасервисы Netflix, Twitch.
Развитие и совершенствование подобных систем и платформ играет важную роль в обеспечении безопасности и комфорта пользователей в онлайн-среде.
Существуют решения по обнаружению неприемлемого контента, которые доступны для широкого применения. Многие из них предоставляют API или платформы, которые позволяют анализировать тексты и определять наличие неприемлемого содержания.
Некоторые из таких решений включают Perspective API от Google, который предоставляет оценки для различных типов неприемлемого контента [1], и Content Moderator API от Microsoft, который предлагает обнаружение оскорбительного, сексуального и прочего нежелательного контента. Также существуют коммерческие платформы, такие как OpenAI's Content Filter и Two Hat's Community Sift.
Эти решения могут быть интегрированы в различные онлайн-платформы и сервисы. Они предоставляют эффективные инструменты для фильтрации и обеспечения безопасности контента в онлайн-среде.
Преимущества и ограничения языковых моделей
Далее мы рассмотрим преимущества, которые делают языковые модели эффективным инструментом, и ограничения, которые требуют дальнейших исследований и разработок.
Преимущества языковых моделей:
1. Высокая точность: Языковые модели обладают способностью анализировать и понимать сложные языковые конструкции, что позволяет достичь высокой точности в обнаружении неприемлемого контента.
2. Адаптивность: Языковые модели могут быть обучены на различных языках и культурных контекстах, что позволяет адаптировать системы обнаружения неприемлемого контента для разных регионов и аудиторий.
3. Способность к обработке больших объемов данных: Языковые модели могут обрабатывать большие объемы текстовой информации, что позволяет эффективно сканировать и анализировать огромные объемы контента в реальном времени.
Ограничения языковых моделей:
1. Недостаток контекста: Языковые модели могут столкнуться с трудностями в интерпретации смысла, особенно в случаях, когда требуется учет контекста или идиоматических выражений. Это может привести к ложноположительным или ложноотрицательным результатам обнаружения неприемлемого контента.
2. Проблемы с разметкой данных: требуется большое количество размеченных данных для обучения языковых моделей, однако разметка данных может быть трудоемким и затратным процессом, особенно при обнаружении различных типов неприемлемого контента.
3. Возможность обхода систем: Авторы неприемлемого контента постоянно ищут способы обойти системы обнаружения. Это может создавать проблемы, так как языковые модели могут оказаться недостаточно гибкими для обнаружения новых и неизвестных форм неприемлемого контента.
Несмотря на ограничения, языковые модели все еще представляют мощный инструмент для обнаружения неприемлемого контента.
Направления дальнейших исследований
Дальнейшие исследования и разработки в области применения языковых моделей для обнаружения неприемлемого контента направлены на улучшение моделей в нескольких аспектах.
Во-первых, исследователи стремятся улучшить точность классификации и распознавания неприемлемого контента путем дальнейшей оптимизации архитектур и параметров моделей.
Во-вторых, внимание уделяется разработке методов для лучшего обучения моделей на ограниченных или дисбалансированных данных.
Кроме того, с целью повышения интерпретируемости моделей, исследователи работают над разработкой методов объяснения принятия решений моделями и их выводов.
Наконец, активно исследуется адаптация и применение языковых моделей для обнаружения неприемлемого контента в разных языках и культурных контекстах.
Усовершенствование моделей и методов обнаружения неприемлемого контента является важным направлением для создания более эффективных систем фильтрации и поддержания безопасности в онлайн-среде.
В целом, развитие и совершенствование языковых моделей для обнаружения неприемлемого контента является активным и перспективным направлением исследований. Он требует совместных усилий со стороны исследователей, разработчиков и общества в целом, чтобы создать безопасную и устойчивую онлайн-среду для всех пользователей.
Заключение
Использование языковых моделей для обнаружения неприемлемого контента представляет собой важное направление в обеспечении безопасной и здоровой онлайн-среды. Путем продолжения исследований и разработок в этой области мы сможем создать более эффективные и надежные системы, которые будут способствовать более точному обнаружению неприемлемого контента. Это, в свою
очередь, поможет снизить негативное воздействие такого контента на пользователей и создать более безопасное и дружественное онлайн-пространство. Список использованной литературы:
1. Критические перспективы: эталонный тест, выявляющий подводные камни в Ре^ресШеАР! / Пьедрас Л., Розенблатт Л., Уилкинс Д. // НЛП для положительного воздействия на ЕМ^Р. 2022. № 1. С. 15-24.
2. Методы детоксификации текстов для русского языка / Дементьева Д. [и др.] // Мультимодальные технологии и взаимодействие. 2021. № 5. С. 54-63.
3. Николаенко С.И., Архангельская Е.В., Кадурин А. Глубокое обучение. Погружение в мир нейронных сетей - С-П.: 2018. - 480с.
© Левасюк Д.Ю., 2023
УДК 004
Мамедова Г.
Студент 2 курса кафедры информационных систем Туркменский государственный институт экономики и управления
г. Ашхабад, Туркменистан
СОЗДАНИЕ САЙТА БЕЗ НАВЫКОВ ПРОГРАММИРОВАНИЯ
Аннотация
В статье рассматриваются способы создания собственного сайта без необходимости изучения языков программирования. Создание своего сайта - это отличный способ продвижения бизнеса в интернете, и данный материал помогает начинающим пользователям освоить эту задачу.
Ключевые слова сайт, CMS, конструктор сайтов, создание.
Mamedova G.
Turkmen State Institute of Economics and Management,
Ashgabat, Turkmenistan
CREATING A SITE WITHOUT PROGRAMMING SKILLS Annotation
The article discusses ways to create your own website without the need to learn programming languages. Creating your own website is a great way to promote your business on the Internet, and this material helps novice users master this task.
Keywords
website, CMS, website builder, creation.
Создание собственного сайта может показаться непосильной задачей для тех, кто не имеет опыта в программировании. Однако, благодаря современным инструментам, создание своего сайта стало доступным даже для начинающих пользователей. В этой статье мы рассмотрим несколько способов создания сайта без необходимости изучения программирования.
