CC BY
16Главные трудности при интеграции машинного обучения в коммерческую эксплуатацию
Давлетов Альмир Разифович
главный инженер-программист, LeetCode, [email protected]
Машинное обучение играет ключевую роль в быстроразвивающейся области науки о данных. Применяя статистические методы, алгоритмы обучаются классифицировать информацию и делать прогнозы, выделяя основные идеи в проектах интеллектуального анализа данных. Эти знания оказывают влияние на процесс принятия решений в приложениях и компаниях, что в конечном итоге сказывается на показателях их развития. С увеличением объема данных на рынке возрастает потребность в специалистах по обработке информации. Их задача - выявлять наиболее актуальные вопросы бизнеса и находить в данных ответы на них.
В связи с чем, для того чтобы полноценно разобраться в данной теме, автором была выбрана цель, заключающаяся в изучение возможных трудностей при процессе интеграции машинного обучения в коммерческую эксплуатацию.
Для того, чтобы выполнить поставленную цель были выдвинуты следующие задачи: дать общую характеристику машинному обучению и выявить, какие проблемы способно решать; рассмотреть существующие примеры успешного внедрения и использования технологий машинного обучения на сегодняшний день; определить факторы, которые тормозят развитие машинного обучения и проблемы внедрения в бизнес.
Для того, чтобы достичь поставленных целей и задач, автором были исследованы научные труды зарубежных автором, также были рассмотрены результаты внедрения машинного обучения в бизнесах, и мнения экспертов по данной проблеме.
Ключевые слова: машинное обучение, ИИ, ChatGPT, интеграция ИИ, коммерческая эксплуатация.
Введение
В эпоху больших объемов данных, машинное обучение и наука о данных становятся ключами к успеху. Большие данные теперь везде - от крупных корпораций до малого бизнеса, все имеют дело с непрерывным потоком информации из CRM-си-стем, социальных сетей и транзакционных платформ. Не говоря уже о внутренних данным, поступающих из HR-систем, электронных форм и облачных приложений. Объем этих данных огромен, и важно уметь их эффективно обрабатывать [1].
Здесь на помощь приходит машинное обучение. Машинное обучение — это наука о том, как обеспечить компьютеры способностью усваивать информацию и принимать решения, подобно человеку, и совершенствовать этот процесс непрерывно. Это достигается через предоставление им данных в виде эмпирических наблюдений и реальных взаимодействий, позволяя им автономно развивать свои знания и навыки [2]. ML умеет работать с данными, поступающими каждую секунду, что для человека было бы непосильной задачей. Автоматизация этих процессов освобождает сотрудников от рутинных обязанностей, позволяя им фокусироваться на важных стратегических задачах.
За последние несколько десятилетий прорывы в области хранения данных и вычислительных возможностей привели к созданию инновационных продуктов, основанных на машинном обучении. Процесс машинного обучения, как представленный Калифорнийским университетом в Беркли, можно разделить на три ключевые составляющие:
• Процесс принятия решений: Обычно алгоритмы машинного обучения применяются для прогнозирования или классификации. Основываясь на входных данных, которые могут быть помечены или не помечены, алгоритм производит оценку структуры данных.
• Функция ошибки: Функция ошибки оценивает точность прогноза модели. Когда есть известные примеры, функция ошибки сравнивает прогноз с реальностью для определения точности модели.
• Оптимизация модели: В процессе оптимизации модели веса корректируются для более точного соответствия данных обучающего набора. Алгоритм продолжает этот цикл "оценки и оптимизации", самостоятельно обновляя веса до достижения необходимой точности.
В настоящее время существуют три основных вида машинного обучения:
Контролируемое машинное обучение: Использует помеченные данные для точной классификации или прогнозирования. Модель корректирует свои веса на основе входных данных до достижения нужной точности, избегая переобучения или недостаточной адаптации. Этот метод решает различные проблемы, от фильтрации спама до классификации данных.
Неконтролируемое машинное обучение: Анализирует и кластеризует немаркированные данные, обнаруживая их внутренние закономерности. Эти алгоритмы выявляют схожие или разные паттерны в данных автоматически, их применение включает поиск, анализ данных и уменьшение размерности модели.
Обучение с учителем: Данный вид обучения находится контролируемым и неконтролируемым обучением. Используя
X X
о
го А с.
X
го т
о
м о м
Сл>
«о
ÍN О ÍN
0 ^
01
О Ш
m
X
<
m
о
X X
меньший набор помеченных данных для классификации и признаков из большего набора немаркированных данных, это обучение устраняет проблемы нехватки помеченных данных и экономит ресурсы [3].
Ниже на рисунке 1 будут представлены и затем подробно рассмотрены основные области применения машинного обучения.
9
Тор Applications of
Machine Learning
Identification of
I mage and Video г-1 Recognition r——^
6
Customer Segmentation
о
fen
a».
Customer Service • ■ Automation
Copyright 2021 Maruti Techlabs Ir
Рис.1. Области применения машинного обучения
1 Важным направлением является выявление спама в электронной почте. В большинстве почтовых ящиков есть папки "Входящие", "массовая рассылка" или "Спам", где провайдеры автоматически фильтруют нежелательные письма.
Нейронные сети, используя фильтрацию содержания, классифицируют нежелательные письма как спам. Эти сети подобны мозгу, способным точно определять спам и сохранять электронную почту чистой.
2 Рекомендации продуктов- представляет собой одну из главных областей, в которой проявляют себя технологии машинного обучения. Эти рекомендательные системы широко применяются в повседневной жизни: в поисковых системах, на сайтах электронной коммерции, таких как Amazon, на развлекательных платформах вроде Google Play и Netflix, а также в множестве веб- и мобильных приложений.
Онлайн-магазины, как Amazon и eBay, часто предоставляют персонализированные списки рекомендованных товаров для каждого клиента. Алгоритмы этих систем анализируют поведенческие данные и факторы, такие как предыдущие покупки, просмотры товаров, клики и многие другие, чтобы предложить продукты, наиболее подходящие для каждого пользователя.
Эти рекомендательные системы помогают компаниям привлекать больше клиентов, улучшать взаимодействие с ними, уменьшать отток пользователей, предоставлять интересный и актуальный контент, а также увеличивать прибыль.
3 Сегментация клиентов. Данное направление представляет собой важные аспекты для любого маркетолога. С использованием анализа данных и машинного обучения можно точно предсказывать индивидуальные маркетинговые предложения и стимулы. Технологии машинного обучения помогают опытным маркетологам избежать догадок и основывать маркетинг на точных данных.
Например, анализируя пользовательское поведение за определенный период и опираясь на опыт предыдущих клиентов, можно предсказать вероятность перехода на платный тариф. Такая модель принятия решений позволяет программе активно взаимодействовать с клиентом, убеждая его перейти
на более выгодный тариф или продолжить использовать пробный период.
4 Обработка изображений и видео. Эти технологии применяются в различных сферах, включая обнаружение объектов, распознавание лиц, считывание текста, визуальный поиск, определение логотипов и создание композиций изображений.
Благодаря способности машин обрабатывать визуальные данные, алгоритмы машинного обучения могут обучать платформы глубокого обучения распознавать и классифицировать изображения с гораздо большей точностью, чем человек. Что в свою очередь представляет новые возможности в области визуального анализа, повышая эффективность и точность в различных приложениях.
5 Борьба с мошенничеством в банковских транзакциях. Машинное обучение в финансовой сфере позволяет автоматически создавать высокоточные модели для выявления подозрительных операций. Предприятия могут автоматизировать этот процесс, опираясь на данные и выявляя возможные случаи мошенничества для более детального расследования.
Это позволяет оптимизировать расходы в тех областях, где эффективность вложений в исследования будет максимальной. Кроме того, такой подход помогает повысить удовлетворенность клиентов, защищая их аккаунты и предотвращая возможные споры и возвраты средств. Обнаружение мошенничества с использованием машинного обучения позволяет банкам и финансовым учреждениям экономить средства, помогая их моделям отмечать подозрительные операции, на основе фильтров и конкретных характеристик.
6 Прогнозирование спроса с использованием машинного обучения. Концепция прогнозирования спроса нашла применение в различных отраслях, от розничной торговли и электронной коммерции до производства и транспорта. Она анализирует данные с помощью алгоритмов и моделей машинного обучения, чтобы предсказывать объемы продуктов, услуг, потребности в мощности и многое другое. Прогнозирование спроса с использованием машинного обучения обладает высокой точностью, скоростью и прозрачностью. Предприятия могут эффективно обрабатывать данные по всей цепочке поставок, что позволяет сократить издержки и повысить эффективность производства.
7 Виртуальные персональные помощники. В мире современных технологий у людей есть множество виртуальных персональных помощников, таких как Alexa, Google Assistant, Cortana и Siri. Они способны находить точную информацию, следуя голосовым командам. Эти виртуальные помощники используют алгоритмы машинного обучения для записи и анализа голосовых команд. Голосовые данные передаются на сервер в облаке, где их обрабатывают алгоритмы машинного обучения, после чего выполняются соответствующие действия.
8 Автоматизация обслуживания клиентов. Управление растущим объемом онлайн-взаимодействий с клиентами стало одной из ключевых задач для большинства компаний. Они не могут обеспечить достаточное количество службы поддержки для обработки всех поступающих запросов. Алгоритмы машинного обучения позволяют чат-ботам и другим автоматизированным системам эффективно обрабатывать запросы клиентов. Это приложение машинного обучения автоматизирует рутинные задачи и позволяет сотрудникам сосредотачиваться на более сложных вопросах клиентов. Эти технологии значительно упрощают процесс обслуживания клиентов и повышают их удовлетворенность [4].
1. Примеры успешного применения технологий машинного обучения
Каждый день люди сталкиваются с множеством примеров применения машинного обучения:
Распознавание речи: Эта технология, известная как автоматическое распознавание речи (ASR), позволяет перевести человеческую речь в письменный формат с использованием обработки естественного языка (NLP). Мобильные устройства, такие как Siri, используют распознавание речи для голосового поиска и улучшения доступности текстовых сообщений.
Онлайн-чат-боты для обслуживания клиентов: Эти чат-боты заменяют людей на веб-сайтах и платформах социальных сетей, отвечая на часто задаваемые вопросы, предоставляя персонализированные консультации и предлагая товары для перекрестных продаж или подходящие размеры. Они используются на сайтах электронной коммерции, в мессендже-рах Slack и Facebook, а также в виртуальных помощниках и голосовых ассистентах.
Компьютерное зрение: Эта передовая технология искусственного интеллекта дает возможность компьютерам извлекать важные данные из цифровых изображений, видео и других визуальных данных. Основанные на сверточных нейронных сетях, системы компьютерного зрения нашли применение в различных сферах. Они помогают маркировать фотографии в социальных сетях, делают возможным рентгенологическую визуализацию в медицинской сфере и применяются в беспилотных автомобилях, революционизируя автомобильную промышленность.
Механизмы рекомендаций: Благодаря алгоритмам искусственного интеллекта, анализирующим прошлые потребительские предпочтения, возможно выявить тенденции данных. Эти паттерны могут быть использованы для разработки более эффективных стратегий продаж в интернет-магазинах. Такой подход позволяет предоставлять покупателям релевантные рекомендации по товарам в процессе оформления заказа, улучшая их опыт покупок.
Автопилот: Автомобили с автономным управлением используют машинное обучение для обработки данных датчиков и принятия решений в режиме реального времени. Это обеспечивает безопасную навигацию и оптимизацию маршрутов, обеспечивая пассажирам комфорт и безопасность.
Аналитика данных: Алгоритмы машинного обучения помогают компаниям анализировать большие данные, извлекать ценную информацию и принимать решения, основанные на данных. Это способствует оптимизации бизнес-процессов и выявлению ключевых тенденций в данных [5].
Внедрение ChatGPT: Expedía, один из самых популярных в мире веб-сайтов и приложений для планирования путешествий, интегрировал поддержку разговорного искусственного интеллекта. Это означает, что вместо поиска авиабилетов, отелей или пунктов назначения клиенты могут планировать свой отпуск так, как будто они общаются с дружелюбным, знающим турагентом. Кроме того, приложение автоматически создает интеллектуальные списки отелей и достопримечательностей, которые интересуют клиента, чтобы помочь в планировании. Также компаний Microsoft является давним сторонником ChatGPT и крупным инвестором в OpenAI, компанию, которая его создала. Большие языковые модели (LLM), которые обеспечивают работу чат—ботов ChatGPT - GPT-3 и GPT—4, - теперь обеспечивают работу поисковой системы, позволяя пользователям осуществлять поиск и получать результаты через диалоговый интерфейс, а не через традиционный список веб-ссылок. Microsoft также продвигается вперед в реализации планов по интеграции технологии в ряд своих популярных программных сервисов, таких как Word и Excel [6]. Также ChatGPT можно использовать для генерации фрагментов кода или целых программ на определенных языках программирования, та-
ких как JavaScript, Python и React. Хотя это очень мощный инструмент, который будет становиться только лучше, в настоящее время он не способен писать сложные приложения и может быть подвержен ошибкам [7].
Таким образом можно сказать, что ML, является технологией, которая имеет колоссальный потенциал и, вероятно, займёт свои твёрдые позиции в каждых направлениях, однако в настоящее время, она нуждается в доработке и присутствии человека при выполнении задач.
2. Сложности, с которыми компании сталкиваются при интеграции ML
Реальность такова, что поддерживать системы ML на уровне предприятия достаточно проблематично. В разработку и развертывание программного обеспечения ML входит гораздо больше, чем сама модель. Например, безопасность, управление, мониторинг, масштабируемость, проверка данных, инфраструктура, производительность, тестирование и т.д.
Configuration
Data Collection
Machine Resource Management
Analysis Tools
Feature Extraction
Process Management Tools
Monitoring
Serving
Infraslructure
Рис.2. Пример реальных систем М1 состоящие из кода М1
В большинстве случаев, сложные рабочие нагрузки ML сталкиваются с ограничениями в инфраструктуре данных и межфункциональных знаниях на уровне организации. В крупных компаниях эти проблемы усугубляются разрозненностью данных, устаревшими методами работы и многочисленными заинтересованными сторонами, которые не всегда осведомлены о тонкостях ML. Это замедляет процесс внедрения и развертывания инициатив в области машинного обучения за пределами изолированных команд, что, в конечном итоге, снижает конечную ценность для бизнеса. Проблемы, связанные с внедрением в реальном времени ML (рис.3)
Shortage of ML talents inside organization, or lack thereof
Budget limitations
Low data readiness
Uncertain about usefulness
Рис.3. Проблем, с которыми сталкиваются компании среднего размера при внедрении МП
1 Дефицит специалистов в области машинного обучения. Для средних предприятий наиболее острой является проблема недостатка специалистов в области машинного обучения. 71% опрошенных компаний подчеркивают сложности в этой области. Специализированных кадров, способных занять соответствующие позиции, недостаточно. Это может быть связано с отсутствием опыта, учитывая, что сфера машинного обучения недавно начала активно развиваться, или с ограниченным числом сотрудников, специализированных в данной области. Решение этой проблемы обычно связано с партнерством с компаниями, обладающими необходимыми навыками
X X
о
го А
с.
X
го m
о
м о
M
со
СО CS
о
CS
о ш m
X
<
m О X X
и опытом, что позволяет использовать возможности машинного обучения, получая выгоду от их успешной реализации.
2 Ограниченное финансирование и устаревшие системы. Серьезные проблемы с ограниченным финансированием ставят предприятия среднего размера в сложное положение. Часто им не хватает средств на внедрение передовых технологических систем даже в присутствии необходимых кадров. Примером может служить устаревшее программное обеспечение, которое требует обновления перед тем, как можно приступить к какому-либо проекту. Несмотря на сильную потребность в технологических решениях, средние компании по-прежнему ограничены бюджетом, что делает их более уязвимыми в конкурентной борьбе. 29% средних компаний сообщают, что бюджетные ограничения становятся преградой на пути внедрения машинного обучения.
3 Проблемы с обработкой данных и нехватка информации. 21% из них сталкиваются с проблемой "нехватки данных". Ограниченный объем данных, обусловленный недостаточным финансированием средств сбора информации или недостаточным интересом потребителей, часто становится причиной неэффективности проектов машинного обучения.
4 Сомнения в полезности и применимости. В большинстве случаев алгоритмы машинного обучения подходят для исследовательских прогностических моделей и классификации на больших объемах данных. Однако, многие средние компании сомневаются в применимости этих методов к их бизнесу и потребителям. Только 17% респондентов отметили, что эта неопределенность стала для них проблемой. Это подчеркивает значительный разрыв в понимании между компаниями и может быть связано с отсутствием специализированных кадров, что уже было упомянуто при обсуждении нехватки специалистов в области машинного обучения.
5 Сложности в соответствии требованиям. Достижение соответствия системе машинного обучения - это процесс, требующий высокой самоотдачи и ресурсов. С развитием технологии модели становятся всё более крупными и сложными, что требует строгих процессов управления рисками и контроля. Эта задача часто оказывается непосильной для компаний среднего или меньшего размера, ставя их под серьезный риск. Системы машинного обучения не всегда могут быть полностью валидированы, контролированы и управляемы. В процессе использования могут возникнуть ситуации, требующие человеческого вмешательства - что, в свою очередь, может потребовать ресурсов или экспертного опыта, которых часто не хватает у средних компаний. Такие трудности, в сочетании с качеством данных и возможными ошибками алгоритмов, могут привести к непреднамеренным результатам, неточным прогнозам и неверным решениям. Это, в свою очередь, может причинить серьезный ущерб бизнесу, основанному на информационных технологиях [8].
Исходя из представленных выше наблюдений, становится ясно: машинное обучение в корпоративной среде представляет собой сложную задачу, требующую глубокого понимания и тщательного планирования. Сокрытых сложностей гораздо больше, чем просто несколько строк кода, необходимых для обучения модели.
Для того, чтобы решить данные проблемы важно учесть следующие аспекты в ходе реализации проекта:
Прежде всего, определите уровень зрелости искусственного интеллекта в компании. Как показывает опыт, предприятия работают на различных уровнях зрелости в области искусственного интеллекта. Google предложил отличный технический документ под названием Google AI Adoption Framework, в котором выделены три стадии развития:
• Тактический уровень: На этой стадии существуют базовые применения машинного обучения, но они обычно ограничены по масштабу и краткосрочны. Управление осуществляется небольшими командами.
• Стратегический уровень: На этой стадии несколько систем управления проектами развернуты и поддерживаются в производстве в рамках определенной бизнес-стратегии. Автоматизированы многие задачи управления проектами, и управление моделями и мониторинг внедрены. Это приносит ощутимую пользу бизнесу.
• Трансформационный уровень: На этой стадии конвейеры машинного обучения и инфраструктура являются общими и используются в организации. Искусственный интеллект играет ключевую роль в деятельности организации. Существуют механизмы масштабирования и продвижения возможностей машинного обучения по всей организации. Важно помнить, что машинное обучение - это не просто вариация традиционного программного обеспечения. Оно выходит за рамки обычных подходов и требует соответствующего внимания и заботы [9].
Далее определите круг задач, требующих решения. Применение обучения на данных открывает возможности для решения сложных задач. Например, фермеры могут принимать обоснованные решения, используя данные о климате и местоположении. Различные факторы, такие как загрязнение воздуха и количество осадков, влияют на урожай. Обучение на данных выявляет закономерности в этих данных и предоставляет фермерам рекомендации для снижения рисков.
Проведите оценку данных. Так как неверные прогнозы могут иметь достаточно серьезные последствия. Так, например в медицинской диагностике, поддерживаемой машинным обучением, неверный диагноз может стать фатальной ошибкой. Понимание всех аспектов данных - ключевой шаг для предотвращения ошибок.
Протестируйте и масштабируйте решение с использованием МО. При внедрении технологии машинного обучения учтите культурные и социальные особенности общества. Сотрудничество с местными сообществами и участие заинтересованных сторон могут усилить доверие и улучшить взаимопонимание. Целостный подход, учитывающий как технические, так и социокультурные аспекты, обеспечит успешную реализацию программ машинного обучения, оказывая значительное влияние на жизнь людей [10].
Заключение
С развитием машинного обучения открываются новые возможности для бизнеса. Это технологическое достижение расширяет спектр применения и обещает улучшить эффективность, снизить затраты и улучшить пользовательский опыт во многих областях. Внедрение машинного обучения — сложное занятие, и оно значительно разнится в различных сценариях использования, компаниях и отраслях.
Ключ к успеху разработки и успешной интеграции ML заключается в правильной постановке задаче. Необходимо спросить себя, а точно ли нужно решать эту задачу с помощью ML?
Литература
1. How Machine Learning Solves Real-World РгоЫет^.[Элек-тронный ресурс] Режим доступа: https://blogs.oracle.com/bigdata/post/how-machine-learning-solves-real-world-problems.- (дата обращения 21.10.2023).
2. Что такое machine learning?[Электронный ресурс] Режим доступа: https://habr.com/ru/articles/555048/.- (дата обращения 21.10.2023).
3. What is machine 1еагтпд?[Электронный ресурс] Режим доступа: https://www.ibm.com/topics/machine-learning.- (дата обращения 21.10.2023).
4. 9 Real-World Problems that can be Solved by Machine Leaming.^eKTpoHHbM ресурс] Режим доступа: https://marutitech.com/problems-solved-machine-learning/-(дата обращения 21.10.2023).
5. Applications of Machine Learning: Top 12 Use Cases in 2023 .[Электронный ресурс] Режим доступа: https://unicsoft.com/blog/applications-of-machine-learning/.-(дата обращения 21.10.2023).
6. 10 Amazing Real-World Examples Of How Companies Are Using ChatGPT In 2023.[Электронный ресурс] Режим доступа: https://www.forbes.com/sites/bernardmarr/2023/05/30/10-amazing-real-world-examples-of-how-companies-are-using-chatgpt-in-2023/?sh=5d25d0b21441.- (дата обращения 21.10.2023).
7. ChatGPT in Action: Real Business Use Cases (Includes Examples) .[Электронный ресурс] Режим доступа: https://chitchatagency.com/chatgpt-in-action-50-examples-real-business-use-cases/.- (дата обращения 21.10.2023).
8. 5 Key Challenges Faced by Companies in Adopting Machine Learning.[Электронный ресурс] Режим доступа: https://www.netguru.com/blog/challenges-in-adopting-machine-learning.- (дата обращения 21.10.2023).
9. Why is Machine Learning Deployment so Difficult in Large Companies?[Электронный ресурс] Режим доступа: https://engineeringfordatascience.com/posts/why_is_machine_lea rning_deployment_so_difficult/.- (дата обращения 21.10.2023).
10. Five Key Factors for Successful ML Integration in International Development.[Электронный ресурс] Режим доступа: https://www.exchange.design/blog/5-factors-ml-integration-international-development.- (дата обращения 21.10.2023).
The main difficulties in integrating machine learning into commercial operation Davletov A.R.
LeetCode
JEL classification: C01, C02, C1, C4, C5, C6, C8
Machine learning plays a key role in the rapidly developing field of data science. Using statistical methods, algorithms are trained to classify information and make predictions, highlighting the main ideas in data mining projects. This knowledge has an impact on the decision-making process in applications and companies, which ultimately affects their development indicators. With the increase in the volume of data on the market, the need for information processing specialists increases. Their task is to identify the most pressing business issues and find answers to them in the data. In this connection, in order to fully understand this topic, the author chose the goal of studying possible difficulties in the process of integrating machine learning into commercial operation. In order to fulfill this goal, the following tasks were put forward: Give a general description of machine learning and identify what problems it can solve; Consider existing examples of successful implementation and use of machine learning technologies to date; Identify the factors that hinder the development of machine learning and the problems of implementing ML in business. And in order to achieve the set goals and objectives, the author researched the scientific works of foreign authors, also considered the results of the introduction of machine learning in businesses, and the opinions of experts on this problem. Keywords: machine learning, AI, ML, ChatGPT, AI integration, commercial operation. References
1. How machine learning solves real problems. [Electronic resource] Access mode:
https://blogs.oracle.com/bigdata/post/how-machine-learning-solves-real-world-problems. - (access date) 10.21.2023).
2. What is machine learning? [Electronic resource] Access mode: https://habr.com/ru/articles/555048/.- (access date 10/21/2023).
3. What is machine learning? [Electronic resource] Access mode: https://www.ibm.com/topics/machine-learning.- (access date 10/21/2023).
4. There are 9 problems left that can be solved using machine learning. [Electronic
resource] Access mode: https://marutitech.com/problems-solved-machine-learning/.- (access date 10/21/2023).
5. Applied Learning: Top 12 Use Cases in 2023. [Electronic resource] Access mode:
https://unicsoft.com/blog/applications-of-machine-learning/.- (access date 10/21/2023).
6. 10 amazing examples of how a company is using ChatGPT in 2023. world-
examples-of-how-companies-are-using-chatgpt-in-2023/?sh=5d25d0b21441-(accessed 10/21/2023).
7. ChatGPT in action: real business use cases (including examples). [Electronic
resource] Access mode: https://chitchatagency.com/chatgpt-in-action-50-examples-real-business-use-cases/. - (access date 10/21/2023).
8. 5 main problems arising from the implementation of machine learning. [Electronic
resource] Access mode: https://www.netguru.com/blog/challenges-in-adopting-machine-learning.- (accessed October 21, 2023).
9. Why is implementing machine learning so difficult in large companies?
10. Five key factors for the success of OA development in international development.
X X О го А С.
X
го m
о
to о to
M
