LLM – где применяются, сколько стоят и какие существуют ограничения?

Материал подготовлен совместно с партнером комьюнити Digital4food, Datanomics.

Оптимизация бизнес-процессов с помощью больших языковых моделей 

Эта статья написана с использованием LLM на основе материалов, предоставленных специалистами Datanomics.

LLM (Large Language Models, большие языковые модели) представляют собой тип искусственного интеллекта, способного генерировать, распознавать и обрабатывать текст. 

Используя LLM, компании могут:

• повысить эффективность бизнес-процессов,
• улучшить качество обслуживания клиентов,
• получить ценную информацию из своих данных.

Области применения

• Продажи и маркетинг
• Образование и консалтинг
• Техническая поддержка

Некоторые примеры:

1. Автоматизация работы с текстом: LLM могут сканировать и суммировать большие объемы текста, такие как внутренняя документация, юридические документы, должностные инструкции, рекламные объявления, внутренние базы знаний и справочники. Это позволяет наладить автоматизированную систему общения с пользователями и клиентами.
2. Анализ отзывов: LLM способны обрабатывать большое количество отзывов и оценок на качество продукции, работу персонала и прочее. Они переводят эту информацию в краткие и релевантные для бизнеса сводки.
3. Создание ботов: LLM можно использовать для создания ботов, отвечающих на вопросы сотрудников на основе внутренней документации компании.

Примеры моделей в России

• Gigachat (Сбер)
• YandexGPT (Яндекс)

Стоимость использования

Затраты на использование LLM можно примерно рассчитать следующим образом:

Если агент получает 300 запросов в день, каждый длиной в 300 токенов (250 слов), что составляет 90 000 токенов, то:

Gigachat: 90 000 токенов = 136 рублей или около 4 тысяч рублей в месяц.

Yandex GPT: 90 000 токенов = 108 рублей или около 3.2 тысяч рублей в месяц.

> Цены актуальны на момент публикации статьи.

Ограничения и дообучение

Модели показывают хорошие результаты «из коробки», но их знания могут быть ограничены в некоторых областях, в зависимости от того, как компания-владелец обучала модель. В таких случаях возможно «дообучение» модели для улучшения качества ответов.

Для решения этой задачи существуют два подхода:

• Retrieval-Augmented Generation (RAG): Если база знаний регулярно обновляется и содержит актуальную информацию, RAG позволяет интегрировать свежие данные без необходимости перенастройки модели. Этот подход эффективен, когда требуется точный поиск по документации.
• Fine-Tuning: Используется, если база данных редко обновляется и важна точная адаптация модели под конкретный контекст. Он позволяет модели лучше понимать специфику задачи, терминологию и стиль ответов. Когда модель должна запоминать последовательные шаги и учитывать стиль запросов, Fine-Tuning обеспечивает непрерывность и согласованность ответов.

Выбор между Retrieval-Augmented Generation (RAG) и Fine-Tuning зависит от типа данных, доступных ресурсов и задач. 

Заключение

LLM открывают новые горизонты в оптимизации бизнес-процессов. Благодаря возможности автоматизировать рутинные задачи, анализировать большие объемы данных и улучшать взаимодействие с клиентами, компании могут значительно повысить свою эффективность и конкурентоспособность. Важно учитывать как текущие возможности моделей, так и их ограничения, чтобы максимально эффективно использовать LLM в своей работе.

Эта статья написана с использованием LLM на основе материалов, предоставленных специалистами Datanomics.

В блоге Datanomics еще больше интересных статей о возможностях ИИ. Там же вы можете оставить ваш вопрос, коллеги на все подробно ответят.