Команда показывает новую модель. Она отвечает быстрее, формулирует мысли увереннее, в демонстрации почти не ошибается. Через неделю выясняется, что в редком, но важном сценарии она стала неверно трактовать условия возврата. Внешне ответ по-прежнему выглядит убедительно.
AI Evaluation нужен, чтобы оценивать не впечатление от нескольких хороших примеров, а поведение системы на задачах, за которые продукт несёт ответственность.
Начните не с модели, а с цены ошибки
Для помощника по внутренним документам важно не выдумывать правила и показывать источник. Для классификации обращений — правильно распознавать тему и передавать спорные случаи человеку. Для агента, который может менять записи, критично не совершать недопустимые действия.
Одна общая оценка «качество 90%» скроет существенные различия. Ошибка в запятой и неверный платёжный реквизит не должны иметь одинаковый вес. Поэтому тесты стоит группировать по реальным сценариям и серьёзности последствий.
Набор проверок должен переживать обновления
Полезно собрать повторяемый набор задач из типичных и сложных случаев: нормальные запросы, неоднозначные формулировки, устаревшие документы, отсутствие ответа в источниках, ошибки внешних сервисов.
Когда меняются промпт, модель, поиск или инструмент, этот набор помогает увидеть регрессию. Автоматическая проверка может оценивать формат или совпадение известных фактов; другой моделью можно пользоваться как оценщиком там, где это обосновано. Но результаты оценщика нужно калибровать человеческой проверкой, а не принимать за абсолютную истину.
Если это RAG, проверяйте поиск отдельно
Неверный ответ может появиться ещё до генерации. Система могла не найти действующий документ, выбрать устаревшую версию или передать нерелевантный фрагмент. Поэтому для RAG полезно отдельно измерять попадание нужных источников в поиск, корректность цитирования и качество конечного ответа.
Нельзя автоматически считать удачное перефразирование правильным ответом. Для важных фактов должно быть проверяемое основание.
После релиза оценка не заканчивается
Пользовательские запросы со временем меняются. Нужно наблюдать за отказами, ручными исправлениями, жалобами и затратами на один полезный результат. При изменении условий работы стоит возвращать проблемные примеры в тестовый набор.
Я бы соглашался на замену модели или промпта после сравнения по качеству, задержке, стоимости и риску именно для нужных процессов. Иногда более дешёвая модель подходит лучше дорогой; иногда экономия не окупает дополнительных ошибок.
AI Evaluation отвечает не на вопрос «насколько умно звучит модель», а на вопрос «можно ли доверить ей конкретную работу с известной ценой ошибки».