Научная статья на тему 'СРАВНИТЕЛЬНЫЙ АНАЛИЗ ДВУХ КРУПНЫХ ЧАТ-БОТОВ, ОСНОВАННЫХ НА НЕЙРОННЫХ СЕТЯХ'

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ДВУХ КРУПНЫХ ЧАТ-БОТОВ, ОСНОВАННЫХ НА НЕЙРОННЫХ СЕТЯХ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
18
4
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
нейронные сети / искусственный интеллект / машинное обучение / neural networks / artificial intelligence / machine learning

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Гамзаев Магомед Расимович, Янтурин Данил Наилович, Маслак Александр Павлович

В настоящее время представить себе жизнь без нейронных сетей практически невозможно, они существуют самых разных видов и используются в абсолютно разных сферах деятельности. Почти каждый найдет что-то для себя. Но была проблема не существовало сети, что могла бы уметь многое и отвечала бы пользователю как человек. Но так было до появления ChatGPT от OpenAI и его конкурента в лице Bard от Google, о которых далее и будет идти речь.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Гамзаев Магомед Расимович, Янтурин Данил Наилович, Маслак Александр Павлович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

COMPARATIVE ANALYSIS OF TWO LARGE CHATBOTS, BASED ON NEURAL NETWORKS

Currently, it is almost impossible to imagine life without neural networks, they exist of various types and are used in completely different fields of activity. Almost everyone will find something for themselves. But there was a problem there was no network that could do a lot and would respond to the user as a person. But this was before the appearance of ChatGPT from OpenAi and its competitor in the person of Bard from Google, which will be discussed further.

Текст научной работы на тему «СРАВНИТЕЛЬНЫЙ АНАЛИЗ ДВУХ КРУПНЫХ ЧАТ-БОТОВ, ОСНОВАННЫХ НА НЕЙРОННЫХ СЕТЯХ»

Установлено, что основными проблемами при монтаже и эксплуатации заземления являются: повреждение (отсутствие) защитного заземления; образование дополнительных контуров (петель) заземления; множественные связи точки нулевого потенциала (земли) с нейтралью; недостаточное сечение нейтрального проводника. Общий принцип нормального функционирования контура заземления сводится к подключению всего электрооборудования к единому контуру заземления при отсутствии в нем токов нагрузки.

Модернизация системы TN-C должна выполняться с учетом индивидуальных особенностей объекта. Единого универсального решения выделить нельзя.

Список литературы

1. Правила устройства электроустановок. М.: КНОРУС, 2010. 488 с.

2. Красник В.В. Секреты выживания потребителей на рынке электрической энергии. Подключение к электросетям. Произв. практ. пособие. М. ЭНАС, 2008. 192 с.

3. Правила технической эксплуатации электроустановок потребителей. Приказ Минэнерго РФ от 12.08.2022 №811.

4. «Модернизация электрических сетей как реальная перспектива возрождения энергетики России»,

2008.

Конов Павел Андреевич, бакалавр, оператор, [email protected]. Россия, Анапа, ФГАУ «ВИТ «ЭРА»,

Чушкин Никита Андреевич, бакалавр, оператор, Россия, Анапа, ФГАУ «ВИТ «ЭРА»,

Тычков Илья Алексеевич, младший научный сотрудник, командир взвода 5 роты (научной), Россия, Анапа, ФГАУ «ВИТ «ЭРА»

RESIDENTIAL BUILDING EARTHING SYSTEM WITH SEPARATION OF WORKING AND PROTECTIVE CONDUCTOR

P.A. Konov, N.A. Chushkin, I.A. Tychkov

This article discusses the relevance of requirements for the safe use of electrical receptors, due to the growth of power and variety of electrical equipment. The article gives examples of using such types of earthing as protective and working earthing, and explains the difference between earthing and grounding. The article pays special attention to the modernization of existing networks in non-production buildings built before 1998, when a TN-C system was used with no separate grounding conductor. This article also notes the increasing capacity in residential electrical networks due to the proliferation of appliances, problems with outdated wiring, and lack offunding and personnel skills. It highlights the importance of updating and modernizing the electrical infrastructure.

Key words: TN-S system, TN-C-S system, TN-C system, electrical safety, electrical supply, Norms of the Rules of the device of electrical installations (PUE), personnel qualification, earthing, neutralization.

Konov Pavel Andreevich, bachelor, operator, [email protected], Russia, Anapa, FGAU «MIT «ERA»,

Chushkin Nikita Andreyevich, bachelor, operator, Russia, Anapa, FGAU «MIT «ERA»,

Tychkov Ilya Alekseevich, junior researcher, platoon commander of the 5th company (scientific), Russia, Anapa, FGAU «MIT «ERA»

УДК 004.838.2

DOI: 10.24412/2071-6168-2023-9-253-254

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ДВУХ КРУПНЫХ ЧАТ-БОТОВ, ОСНОВАННЫХ НА НЕЙРОННЫХ СЕТЯХ

М.Р. Гамзаев, Д.Н. Янтурин, А.П. Маслак

В настоящее время представить себе жизнь без нейронных сетей практически невозможно, они существуют самых разных видов и используются в абсолютно разных сферах деятельности. Почти каждый найдет что-то для себя. Но была проблема - не существовало сети, что могла бы уметь многое и отвечала бы пользователю как человек. Но так было до появления ChatGPT от OpenAI и его конкурента в лице Bard от Google, о которых далее и будет идти речь.

Ключевые слова: нейронные сети, искусственный интеллект, машинное обучение.

ChatGPT. ChatGPT от OpenAI была в разработке уже несколько лет и в ее обучении принимала участие Microsoft, предоставившая доступ к своей поисковой системе Bing, что и помогло в значительной степени в обучении данной модели получить такой ажиотаж. Модель ChatGPT была запушена в публичное пользование 30 ноября 2022 года.

К 5 декабря моделью воспользовалось около 1 миллиона пользователей.

Ниже кратко приведу характеристики данной модели:

253

1.Она представляет собой файнтюн трансформерной архитектуры GPT-3.5 (text-davinci-003), принадлежащей семейству моделей InstractGPT. Для обучения модели из семейства InstractGPT используется подход обучения с подкреплением Reinforcement Learning with Human Feedback (RLHF), который позволяет улучшить базовую модель GPT-3 175B в сторону понимания более сложных пользовательских запросов/инструкций, уменьшения вероятность генерации недостоверной и токсичной информации.

2.Модель содержит 175B параметров.

3.Модель мультиязычная.

4.На этапе обучения text-davinci-003 используются датасеты текстов и программного кода, собранные OpenAI на момент конца 2021 года.

Особенности применения:

• Модель может окрашивать текст в заданном стиле. Например, может понимать и генерировать текст транслитом или генерировать текст в специфичном домене, например. музыкальные нотации.

• Модель может генерировать фрагменты кода для типовых задач с пояснениями.

• Может находить простейшие ошибки в коде.

Модель хорошо понимает входные инструкции от пользователя(например, "Теперь ты linux-консоль. Запусти сервис с GPT-3"). От таких инструкций зависит в том числе и характер ответов

• Может писать статьи и даже дипломные работы достаточного уровня.

• Качество перефразирования за счет большого датасета позволяет обходить системы антиплагиата и генерировать уникальный контент очень высокого качества.

Процесс работы ChatGPT с применением модели вознаграждения показан на рисунке ниже (рис. 1):

ге(у\х)

Рис. 1. Архитектура RLHF подхода к оценке качества

Семейство GPT-3.5 включает в себя 3 модели: code-davinci-002 (модель для завершения программного кода), text-davinci-002 (модель-прародитель text-davinci-003) и text-davinci-003 (является развитием text-davinci-002 на наборе более сложных пользовательских команд/инструкций).

Модель Reinforcement Learning with Human Feedback (RLHF). В основе лежит предобученная языковая модель, в данном случае это InstractGPT. Ключевой особенностью является встраивание модели вознаграждения (Reward Model, также называемой моделью предпочтений), откалиброванной в соответствии с оценками экспертов. Основная цель состоит в получении модели или системы, которая принимает последовательность предложений и возвращает скалярное значение вознаграждения, которое в свою очередь и отображает численно оценку экспертов, например, модель ранжирует результаты а значение ранга преобразуется в вознаграждение. Значение вознаграждения имеет решающее значение для интеграции существующих алгоритмов RL в RLHF.

Существует несколько методов ранжирования текста. Один из успешных методов заключается в том, чтобы эксперты сравнивали сгенерированный текст двумя языковыми моделями, с условием на один текстовый промт. Попарно сравнивая результаты, формируемые моделями, можно использовать систему Elo для ранжирования моделей и результатов относительно друг друга. Методы ранжирования нормализуются в скалярное значение вознаграждения за обучение. Ниже приведен алгоритм обучения модели (рис.2):

Подоен набор Замни*

Рис. 2. Участие экспертной оценки в рамках RL процесса

254

Bard. В ответ на ChatGPT Google, один из крупнейших конкурентов Microsoft, представил своего чат-бота Bard и сделал его общедоступным. Как и конкурент, Bard также основан на языковой модели, созданной на основе технологии Google LaMDA (языковая модель для диалоговых приложений), которая ранее была доступна избранным через их программу AI Test Kitchen. Данный чат-бот с момента выхода находится на этапе beta-тестирования и планируемый релиз был назначен на март 2023 года. На момент написания статьи данный чат-бот не обрел такой популярности и такого же огромного числа пользователей как у конкурента, но это не останавливает работу над ним. Ниже краткие характеристики данной модели:

1. Используется языковая модель для диалоговых окон (LaMDA) - нейроязыковая модель на основе архитектуры Transformer.

2. Содержит 138B параметров.

3. Предобученна на 1.56T слов из общедоступных диалогов и веб-документов.

4. Модель мультиязычна.

5. Авторами разработан набор метрик используемый при файнтюнинге модели: Quality(включает в себя: Sensibleness, Specificity, Interestingness (SSl), Safety и Groundedness.

Особенности применения:

• Модель также умеет писать статьи, большие текста.

• Отвечать на вопросы пользователей, основываясь на достоверной информации с профильных сайтов.

• Более пригодна в режиме помощника, встраивается в сервисы Google и уже является частью Google -

ассистента.

• 31 августа 2017 года Google представила новую архитектуру нейронной сети для понимания языка -Transformer.

Модель Transformer. Transformer в отличии от рекуррентной нейронной сети (RNN) выполняет только небольшое постоянное количество шагов (выбирается эмпирически). На каждом этапе применяется механизм внутреннего внимания, который напрямую моделирует отношения между всеми словами в предложении, независимо от их соответствующего положения. В частности, чтобы вычислить следующее представление конкретного слова, преобразователь сравнивает его с каждым другим словом в предложении. Помимо вычислительной производительности и более высокой точности еще одним интересным аспектом Transformer является возможность визуализации конкретных частей предложения, на которые сеть будет обращать внимание при обработке или переводе слов, таким образом получая представление о том, как информация перемещается по сети. Пример работы представлен ниже (рис.3):

The animal

didn't cross the

street I

because it

Mas loo wide

This

animal

didn't

cross

Itie

street

because

e^m

was

loo

wide

Рис. 3. Пример распределения собственного внимания кодировщика для слова «it» с 5-го по 6-ой слой Transformer'а, обученного переводу с английского на французский.

Transformer очень хорошо справляется с классической задачей языкового анализа синтаксического разбора групп, задача, которую сообщество обработки естественного языка решало с помощью узкоспециализированных систем на протяжении десятилетий.

Таким образом имея в своем запасе набор метрик и новую архитектуру качество LaMDA количественно оценивается путем получения ответов в рамках сложных примеров диалогов двух людей предобученной моделью, файнтюн моделью и группой экспертов валидаторов. После этого получаемые ответы оцениваются другой группой экспертов по определенным выше показателям.

За счет таких метрик как SSI у LaMDA есть преимущество, потому что один из критериев качества основан на сопоставлении ответов с авторитетными источниками при обучении, поэтому большинство ответов объяснимы и могут быть подтвержденными.

Таблица сравнения моделей по основным категориям

Параметры Google Bard ChatGPT

Создатели Google ОрепА1

Архитектура Transformer т.е. LaMDA для диалогового применения GPT

Ответы Разговорные ответы Генерация человеческих ответов

Тренировочные данные Разговорные данные Книги, статьи и другие письменные материалы

Возможности Хорошо генерирует разговорные ответы Хорошо генерирует связные и контекстуально-релевантные ответы

Возможности для изменений Более настраиваемый Менее настраиваемый

Обновления информации В курсе последних новостей и фактов Обновлена информация до 2021 года в бесплатной версии GPT (платная версия обладает актуальной информацией)

Стоимость Полностью бесплатна в актуальной версии Работает как на бесплатных, так и на платных моделях. Платная модель представляет собой обновленную версию с самой последней информацией и более быстрыми ответами

Состояние Все еще на стадии бета-тестировании Запущен 30 ноября 2022 года

Проведя данный анализ двух крупных чат-ботов мы пришли к выводу, что если необходим диалоговый чат-бот для использования в сценариях обслуживания клиентов, LaMDA для этой задачи подходит больше. С другой стороны, если вам нужен чат-бот с искусственным интеллектом для платформы Q&A или для исследовательских целей, ChatGPT будет более полезным.

Список литературы

1. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. СПб.: Питер, 2018. С. 177-446.

2. Осинга Д. Глубокое обучение: готовые решения. СПб.: Диалектика, 2019. С. 64-254.

3. Нишант Ш. Машинное обучение и TensorFlow. СПб.: Питер, 2019. С. 87-301.

4. Франсуа Ш. Глубокое обучение на Python. СПб.: Питер, 2018. С.147-356.

5. Пратик Д. Искусственный интеллект с примерами на Python - СПб.: Диалектика, 2019. С. 346-439.

6. ChatGPT: Optimizing Language Models for Dialogue. [Электронный ресурс] URL: https://openai.com/blog/instruction-following (дата обращения: 23.03.2023).

7. Transformer: новая архитектура нейронной сети для понимания языка. [Электронный ресурс] URL: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html (дата обращения: 23.03.2023).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ГамзаевМагомед Расимович, старший оператор, [email protected], Россия, Анапа, ФГАУ «ВИТ «ЭРА»,

Янтурин Данил Наилович, старший оператор, Россия, Анапа, ФГАУ «ВИТ «ЭРА»,

Маслак Александр Павлович, старший оператор, Россия, Анапа, ФГАУ «ВИТ «ЭРА»

COMPARATIVE ANALYSIS OF TWO LARGE CHATBOTS, BASED ON NEURAL NETWORKS

M.R. Gamzaev, D.N. Yanturin, A.P. Maslak

Currently, it is almost impossible to imagine life without neural networks, they exist of various types and are used in completely different fields of activity. Almost everyone will find something for themselves. But there was a problem - there was no network that could do a lot and would respond to the user as a person. But this was before the appearance of ChatGPT from OpenAi and its competitor in the person of Bard from Google, which will be discussed further. Key words: neural networks, artificial intelligence, machine learning.

Gamzaev Magamed Rasimovich, senior operator, era [email protected], Russia, Anapa, FGAU «MIT «ERA», Yanturin Danil Nailovich, senior operator, Russia, Anapa, FGAU «MIT «ERA», Maslak Alexandr Pavlovich, senior operator, Russia, Anapa, FGAU «MIT «ERA»

i Надоели баннеры? Вы всегда можете отключить рекламу.