Пока AI готовит черновик письма, ошибку можно заметить до отправки. Дадим ему доступ к CRM и кнопку «отправить клиенту» — и та же ошибка уже окажется во внешнем мире. Модель не стала хуже, просто теперь её ответ может изменить данные, отправить сообщение или запустить процесс.
AI-агент отличается от обычного помощника именно такой возможностью: он выбирает действия и использует инструменты для достижения цели. Поэтому качество текста здесь лишь часть архитектурной задачи.
Автоматизируем не ответ, а цепочку действий
Сотрудник может попросить: «Найди неоплаченные счета, уточни статус у ответственных и подготовь напоминания». Агент читает данные, выбирает адресатов, готовит обращения и иногда совершает несколько шагов последовательно.
Для бизнеса выигрыш появляется там, где исчезают ручные переключения между системами. Но чем длиннее цепочка, тем больше мест, где неверный вывод одного шага влияет на следующий.
Инструмент должен иметь меньше прав, чем может попросить модель
Нельзя считать инструкцию в промпте настоящим ограничением доступа. Если агент вызывает API, этот API обязан проверять полномочия, принадлежность данных и допустимость операции. Полезно отделять чтение от изменения, ограничивать перечень доступных действий и передавать идентичность инициатора.
Особенно опасна универсальная техническая учётная запись, которой разрешено всё. Агент может принять письмо или найденный документ за просьбу выполнить действие. Это форма prompt injection, а не доказательство, что пользователю требовалось такое действие.
Как подтверждать то, что трудно отменить
Подготовить счёт и оплатить его — разные уровни риска. Для операций с деньгами, правами доступа и внешними обязательствами полезно требовать проверяемое подтверждение человека или отдельное правило в коде.
Подтверждение должно показывать конкретику: какой клиент, какая сумма, какой адресат, что изменится. Кнопка «одобрить всё», спрятанная среди десятка похожих запросов, превращает человека в декоративный элемент интерфейса.
И после одобрения состояние может измениться. Поэтому перед исполнением значимого действия необходимо ещё раз проверить актуальные права и параметры, а повторные запросы обрабатывать идемпотентно.
Ограничьте не только права, но и стоимость ошибки
Агенту нужны пределы по времени, числу шагов, расходам и доступным инструментам. Нужны журнал действий и возможность восстановить, почему он выбрал именно такой путь. Метрики стоит привязывать к завершённым бизнес-процессам, а не только к числу вызовов модели.
Не всякую автоматизацию стоит превращать в агента. Если последовательность действий известна и практически не меняется, обычный workflow с чёткими правилами может быть дешевле, быстрее и предсказуемее.
Порог перехода от AI-помощника к AI-агенту проходит не по размеру модели. Он проходит там, где система получает полномочия менять реальный мир.
Для системного анализа рисков полезна категория Excessive Agency в OWASP Top 10 for LLM Applications.