Что такое AI-агенты?
AI-агент — это автономная программа (система) на основе ИИ, способная анализировать данные, принимать решения, выполнять задачи и взаимодействовать с пользователями, системами или другими агентами без постоянного контроля человека.
Идеальное решение для бизнеса, которому необходимы скорость, точность, эффективность и автоматизация бизнес-процессов.
Идеальное решение для бизнеса, которому необходимы скорость, точность, эффективность и автоматизация бизнес-процессов.
AI-агенты могут:
Самостоятельно принимать решения о последующих действиях
Взаимодействовать с окружающей средой
Использовать инструменты для достижения целей
Сохранять контекст между взаимодействиями (память)
Выполнять последовательности действий для решения задач
Чем AI-агенты отличаются от обычных
приложений на базе LLM?
Основные отличия от обычных LLM-приложений:
Автономность
агенты могут самостоятельно решать, какие шаги предпринять для достижения поставленной цели, в то время как обычные LLM-приложения просто генерируют ответ на конкретный запрос.
Использование инструментов
агенты активно используют API, базы данных и другие
внешние сервисы.
внешние сервисы.
Планирование
агенты способны составлять план действий и корректировать
его по мере выполнения.
его по мере выполнения.
Память
агенты поддерживают долгосрочную память
о прошлых взаимодействиях.
о прошлых взаимодействиях.
Какие преимуществе и недостатки использования
AI-агентов в сравнении с традиционными
подходами в контексте виртуальных ассистентов?
Преимущества:
AI-агенты проще настраивать.
- При создании сценарных ботов, необходимо для каждой тематики настроить сценарий обработки запроса. При этом необходимо заранее продумать и описать все возможные траектории диалога. При настройке AI-агента достаточно дать текстовые инструкции и “показать” AI агенту - какими инструменты доступны и описать формат вызова инструмента через API. На основании такой текстовой инструкции, AI агент сам определит как лучше выполнить запрос пользователя, уточнит необходимую информацию и задействует нужные инструменты.
AI-агенты демонстрируют более естественное поведение.
- Сценарные боты следуют жестко заданному сценарию. AI-агенты способны вести гибкий диалог иногда даже в тех ситуациях, которые не были предусмотрены инструкцией.
AI-агенты обеспечивают высокий степень персонализации.
- Сценарные боты отвечают шаблонными, заранее заданными фразами. AI-агенты формулируют уникальный, персонализированный ответ под конкретный запрос.
Недостатки (ограничения):
AI-агенты работают медленнее и требуют бОльших вычислительных мощностей.
- В основе AI-агентов лежат большие языковые модели, которые требуют GPU и в целом работают в сотни раз медленнее чем традиционные нейросети используемые в сценарных ассистентах.
AI-агенты могут демонстрировать непредсказуемое поведение и сложнее в отладке.
- Этот недостаток присущ любой LLM но в случае с AI-агентами это проявляется еще сильнее в силу автономности, т.е. самостоятельности при выборе инструментов необходимых для решения задачи.
Как мы обходим ограничения AI-агентов в БСС:
Подбор оптимальных моделей.
- Для минимизации требований к железу мы постоянно тестируем новые опен-сорс модели и их квантизованные версии и подбираем наиболее подходящую модель LLM в зависимости задач и доступных вычислительных мощностей заказчика. Помимо LLM, в состав платформы входят традиционные Encoder-only модели, которые существенно менее интеллектуальны чем LLM но работают в сотни раз быстрее и могут забирать на себя часть задач для снижения нагрузки.
Адаптеры в облачным LLM + Анонимизация.
- В состав платформы входят адаптеры к облачным LLM от Yandex, Сбера, OpenAI и других производителей. А для того чтобы избежать утечки данных - запросы к облачным подсистемам проходят через модуль Анонимизации который очищает из запросов персональные данные и другую чувствительную информацию.
Стриминг.
- Для обеспечения максимальной отзывчивости AI-агентов в голосовом канале, мы используем стриминг вывода в TTS. При этом AI-агент начинает озвучивать ответ как только LLM начинает его формулировать, не дожидаясь пока ответ будет сгенерирован полностью.
Гибридный подход.
- Гибридный подход. Наряду с LLM и AI-агентами в нашей платформе продолжают поддерживаться и развиваться традиционные подходы. Это позволяет использовать AI-агентов на некритичных но относительно сложных участках, оставляя алгоритмический подход на тех задачах где требуется точность и прогнозируемость.
Контроль со стороны человека.
- AI-агенты могут напрямую обрабатывать запросы клиента, но если вы хотите бОльшего контроля, можно использовать AI-агента в режиме ассистента. В этом случае AI-агент будет предлагать оператору подходящий ответ или действие, но окончательное решение при этом будет оставаться за сотрудником.
Автотестирование.
- В составе платформы есть специальный инструмент - TestSuite который позволяет оценивать ответ LLM как по жесткому соответствию так и по гибким метрикам типа BLEU / ROUGE которые допускают инвариантивность ответа LLM. При этом мы следим за тем, чтобы наши модели демонстрировали повторяемое поведение при нулевых настройках “температуры” (температура - это параметр модели который определяет степень креативности LLM. При высоких значениях температуры модель будет давать более разнообразные ответы, при нулевых - однотипные).
Что такое мультиагентные
системы?
системы?
Мультиагентная система (Multi-Agent System) – это группа взаимодействующих ИИ-агентов, каждый из которых автономно выполняет свои задачи и сотрудничает с другими агентами для достижения общей цели. Такие системы обеспечивают гибкую и масштабируемую автоматизацию сложных процессов за счет распределенного управления и интеллектуального взаимодействия специализированных агентов.
Как LLM в целом и AI-агенты в частности используются в платформе BSS-AI?
В бот-платформе AI-агенты могут использоваться одновременно с традиционным сценарным подходом. Такой гибридный подход позволяет использовать сценарных ботов на тех участках, где важна прогнозируемость поведения или использовать AI-агентов где важна гибкость диалога.
В Речевой аналитике AI-агенты могут выполнять анализ диалогов по сложным, комплексным критериям. При этом цель анализа может быть сформулирована в виде простой инструкции, без сложных настроек или обучения моделей распознавания. При этом в арсенале РА остаются традиционные методы анализа, которые обеспечивают более прогнозируемый результат, намного более высокую скорость работы при намного меньших требованиях к вычислительным мощностям.
В Тренажере оператора (Agent Trainer) используется несколько AI-агентов. Один AI-агент симулирует поведение клиента в диалоге с оператором. Второй AI-агент - анализирует диалог, оценивает работу оператора и дает рекомендации по улучшению навыков.
В Базе-знаний LLM участвует в классификации новых статей и формулирует краткое содержание документов. Поисковый агент отвечает на вопросы пользователя по материалам из базы знаний в режиме свободного диалога.