AI подготовил возврат денег клиенту. В карточке есть сумма, получатель и основание. Сотрудник нажимает «Подтвердить». Но если он видит только общую фразу «операция согласована системой», это уже почти автономный платёж: человек присутствует формально, а проверять ему нечего.
Human-in-the-Loop нужен там, где цена самостоятельной ошибки AI выше выгоды от полной автоматизации. При этом задача не в том, чтобы вставить человека после каждого ответа модели. Задача — дать ему возможность изменить или остановить конкретное действие в правильный момент.
Не каждый шаг требует согласования
Подготовить сводку, отсортировать обращения и предложить письмо — относительно обратимые задачи. Изменение платёжных реквизитов, прав доступа или условий договора уже затрагивает деньги и обязательства.
Полезно разделять операции по последствиям, а не только по субъективной «уверенности модели». Высокая уверенность не доказывает корректность реквизитов. У важного действия должен быть понятный предел автономности.
Что должен видеть проверяющий
Для реального контроля человеку нужны исходное поручение, найденные основания, конкретные параметры операции, ожидаемый эффект и значимые исключения. Если данные спорные, лучше явно показать противоречие, чем прятать его за убедительным резюме.
Интерфейс также должен позволять отклонить или исправить действие без технической поддержки. Согласование десятков операций одной кнопкой опасно, если сотрудник физически не способен их проверить.
Одобрение не должно устаревать
Пока человек изучал предложение, данные клиента могли измениться. После подтверждения система должна повторно проверить актуальное состояние и полномочия инициатора. Иначе верное решение на старых данных превращается в неверное действие.
Нужен и след: что предложила модель, что видел человек, что он изменил и какая операция в итоге была выполнена. Это позволяет не только расследовать ошибки, но и улучшать сам механизм контроля.
Когда проверка начинает тормозить весь бизнес
Если на человека отправляется каждая мелочь, очередь согласований быстро съедает выгоду автоматизации. Стоит выбирать точки, где человеческий контроль действительно снижает значимый риск, а остальные задачи ограничивать правилами в коде и мониторингом.
Human-in-the-Loop не равен человеку на диаграмме. Он работает, только когда у проверяющего есть нужная информация, реальное право отказать и время принять решение.