En esta nota (8 secciones)
En corto: un agente de IA funciona si resuelve la tarea sin errores, sin ayuda y a un costo menor que el de hacerla a mano. Se mide con cuatro números: tasa de resolución, tasa de derivación a una persona, tiempo ahorrado y errores. Conviene fijar el punto de partida antes de poner el agente en marcha: sin la cifra "antes", la cifra "después" no dice nada.
Medir no es una formalidad. El marco de gestión de riesgos de IA del NIST, de Estados Unidos, incluye la medición como una de sus cuatro funciones, junto con gobernar, mapear y gestionar (NIST, AI Risk Management Framework). Para una empresa, la idea práctica es simple: lo que no se mide no se puede corregir.
Las cuatro métricas
Métrica | Qué mide | Cómo se calcula | Qué mirar |
|---|---|---|---|
Resolución | Casos que el agente cierra solo | Casos cerrados sin ayuda sobre total de casos | Que suba semana a semana |
Derivación | Casos que pasa a una persona | Casos derivados sobre total de casos | Por qué se derivan: falta de información o de permiso |
Tiempo ahorrado | Horas que dejó de usar tu equipo | Minutos por tarea antes y después, por cantidad de tareas | Que valga más que el costo mensual del agente |
Errores | Respuestas o acciones incorrectas | Casos revisados con falla sobre casos revisados | Que baje y que no haya errores graves |
Cómo medir sin complicarse
- Mide el antes. Durante dos semanas anota cuántas consultas o tareas hay, cuánto tarda cada una y cuántas se resuelven bien.
- Revisa una muestra. Cada semana lee unas decenas de conversaciones o acciones al azar y marca cuáles estuvieron bien. Es la forma más directa de ver errores.
- Registra las derivaciones con su motivo. Si se repite el mismo, hay algo que enseñarle al agente.
- Compara con el costo. Suma el costo mensual del agente y compáralo con las horas ahorradas. Más sobre costos en cuánto cuesta un agente de IA.
Qué no conviene medir solo
La cantidad de mensajes atendidos es engañosa: un agente puede responder mucho y resolver poco. Lo mismo vale para la velocidad sin la calidad. Mira siempre la resolución junto con los errores, y desconfía de un agente que no deriva nunca: probablemente está improvisando.
Cuándo ajustar o frenar
Si la resolución se estanca, normalmente falta información o una regla del negocio. Si hay errores graves, se restringe el agente a acciones con aprobación mientras se corrige. Los permisos y el registro de acciones ayudan en este punto: los explicamos en si es seguro darle acceso a un agente de IA.
Atomix construye agentes de IA para empresas con un panel para revisar conversaciones y acciones, y arma una demo funcional gratis en 24 a 48 horas.
Preguntas frecuentes
¿Qué resolución es buena?
No hay un número universal: depende de la tarea. Para consultas simples puede ser alta y para casos complejos se espera derivar más. Compara contra tu propio punto de partida y busca una tendencia que mejore.
¿Cada cuánto conviene revisar?
Cada semana durante el primer mes y luego cada mes. Si cambias precios, políticas o productos, revisa de nuevo.
¿Quién debería revisar los resultados?
Alguien que conozca el trabajo, como el responsable del área. No hace falta un perfil técnico: se trata de leer casos y marcar si estuvieron bien.
Si quieres definir las métricas para tu caso, agenda una reunión.