Одна из самых удобных AI-метрик — количество пользователей. Ещё можно считать запросы, проведённые обучения и созданные пилоты. Все цифры растут, презентация выглядит хорошо. Но из них всё ещё непонятно, стал ли бизнес работать лучше.
Использование не равно ценности
Если тысяча сотрудников открывает AI-инструмент раз в неделю, это говорит о распространении технологии. Но ничего не говорит о результате.
Возможен и обратный сценарий: AI используют десять человек в узком процессе, но этот процесс становится существенно быстрее или надёжнее. Для бизнеса второй случай может быть намного важнее первого.
Метрику нужно выбрать до внедрения
После запуска всегда можно найти показатель, который вырос. Поэтому полезно заранее определить, что именно AI должен изменить.
Для разных сценариев это может быть время подготовки решения, стоимость обработки операции, доля ручной работы, скорость ответа клиенту, количество возвратов на доработку или пропускная способность команды.
Главное — сравнивать не AI с красивой презентацией, а процесс до и после.
Экономия времени ещё не всегда экономия денег
Фраза «мы экономим сотруднику два часа в неделю» звучит убедительно, но требует продолжения: что происходит с этими двумя часами?
Если человек просто делает ту же работу спокойнее, это может быть полезно, но это не обязательно финансовый эффект. Если освободившееся время превращается в дополнительный объём, меньший backlog, более быстрый ответ или отказ от дополнительного найма — связь с бизнес-результатом становится понятнее.
Нужно считать стоимость всего решения
Цена модели или лицензии — только часть затрат. Есть интеграция, подготовка данных, контроль качества, безопасность, поддержка, обучение пользователей и время людей, которые разбирают ошибки.
AI может сделать отдельную операцию дешевле, но всю систему — дороже. Поэтому экономика должна считаться на уровне процесса, а не одного API-вызова.
Качество нельзя выносить за скобки
Ускорение в два раза не помогает, если количество ошибок растёт так, что их приходится исправлять вручную. Для интеллектуальных сценариев скорость почти всегда нужно смотреть вместе с качеством.
И качество должно быть определено заранее: что считается приемлемым результатом, что требует проверки, а какая ошибка недопустима.
Хорошая метрика обычно скучная
Я бы насторожился, если главным KPI AI-программы становится «доля сотрудников, использующих AI». Такая метрика удобна для программы внедрения, но слабо связана с бизнесом.
Лучшие показатели обычно намного скучнее: цикл сократился с одного уровня до другого, очередь стала меньше, обработка дешевле, клиент получил ответ быстрее, команда выпускает больше при том же составе.
AI должен доказать своё место
Не нужно требовать от каждого эксперимента немедленной прибыли. Исследование тоже имеет ценность. Но после исследовательского этапа должен наступить момент, когда компания решает: масштабируем, меняем подход или закрываем.
Если этого решения нельзя принять из-за отсутствия измеримого результата, проблема обычно не в AI. Проблема в том, что компания начала внедрение раньше, чем договорилась, что будет считать успехом.