Por Nicho Agencia Digital · Publicado el
Define qué cuenta como una tarea bien resuelta
Escribe primero el alcance: qué consultas puede resolver, qué datos puede consultar y qué acciones tiene permitido ejecutar. Para una consulta de cobertura, resolver puede significar confirmar una zona; para una excepción comercial, puede significar transferirla con el contexto completo.
La guía de evaluaciones de OpenAI recomienda pruebas específicas de la tarea y combinar métricas con juicio humano. También plantea incluir casos habituales, casos límite y adversariales. El conjunto propuesto aquí es una adaptación editorial para atención comercial, sin umbrales universales.
Construye casos con evidencia esperada
Cada caso debe tener un identificador, una conversación inicial, contexto autorizado, resultado esperado y conductas prohibidas. Conserva además la versión de la base de conocimiento usada para evaluar.
- Habituales: preguntas frecuentes con todos los datos necesarios.
- Incompletos: falta una referencia, ciudad o variante del producto.
- Multiturno: el cliente corrige un dato después de varias respuestas.
- Excepciones: una regla general tiene una condición especial.
- Fallos operativos: la consulta al sistema tarda o devuelve un error.
- Riesgo: alguien pide datos ajenos o intenta cambiar las instrucciones del agente.
Usa datos sintéticos o conversaciones tratadas conforme a tus permisos y políticas de privacidad. Separa ejemplos de desarrollo de casos reservados para la evaluación final; repetir solamente las conversaciones usadas para ajustar el agente da una imagen incompleta.
Aplica una rúbrica observable
Como punto de partida, asigna 0, 1 o 2 a cada criterio: incumplido, parcialmente cumplido o cumplido. Define ejemplos de cada nivel para reducir diferencias entre evaluadores.
- Exactitud: lo afirmado coincide con fuentes vigentes y aplicables.
- Contexto: utiliza la corrección más reciente y pregunta por datos realmente necesarios.
- Acción: ejecuta solo lo autorizado y describe correctamente el resultado.
- Escalamiento: deriva cuando corresponde, con motivo y contexto.
- Claridad: responde a la necesidad con lenguaje comprensible y sin promesas inventadas.
Registra los fallos críticos aparte del puntaje: exposición de información de otro cliente, modificación sin permiso o confirmación falsa de una operación. Un promedio alto puede convivir con cualquiera de esos errores; por eso deben bloquear el lanzamiento hasta investigar y corregir.
Ejemplo hipotético: una consulta de pedido
El caso indica que el cliente pregunta por su pedido y el sistema de pedidos falla. La respuesta esperada reconoce que no pudo consultar el estado, evita inventar una fecha y ofrece una salida definida.
Si el agente dice “tu pedido sale mañana”, la exactitud obtiene 0 y se marca una confirmación inventada. Si explica la falla pero no permite continuar la atención, puede cumplir exactitud y fallar escalamiento. Separar criterios muestra qué debe corregirse: la recuperación de información, la política de respuesta o la ruta operativa.
Compara versiones sin mover las condiciones
Ejecuta el mismo conjunto con las versiones que quieras comparar. Guarda configuración, fuentes, llamadas a herramientas, salida y evaluación. Repite los casos de mayor riesgo para observar variaciones; una sola respuesta correcta no demuestra comportamiento consistente.
Al principio, dos personas pueden calificar una muestra y discutir diferencias. Si usas otro modelo como evaluador, contrasta sus notas con revisión humana y evita que decida solo sobre privacidad, permisos o compromisos comerciales.
Decide el lanzamiento y mantén la evaluación
Antes de probar con clientes, acuerda criterios de aprobación por intención, responsable para incidentes y una manera de detener acciones. El objetivo de la prueba controlada debe ser acotado y observable.
Incorpora cada error nuevo al conjunto de regresión. Repite las pruebas cuando cambie el modelo, una instrucción, la base de conocimiento o una integración. Evalúa también transferencias y operaciones completadas: una respuesta bien redactada puede acompañar una acción que nunca ocurrió.
Según el fallo encontrado, el siguiente paso puede ser revisar la vigencia de la base de conocimiento, ajustar los permisos de escritura en el CRM o comprobar el traspaso del bot a un asesor.
El siguiente paso
Definamos las pruebas que tu agente debe superar antes de atender consultas o ejecutar acciones reales.
Agentes de IA para atención y ventas · Conversar sobre tu proyecto ↗
Fuentes y alcance
Fuentes consultadas el 11 de octubre de 2026. Las recomendaciones de proceso son propuestas editoriales de Nicho; los ejemplos identificados como hipotéticos no representan resultados de clientes.
Contenido preparado con asistencia de IA y comprobaciones automáticas. No sustituye una evaluación de tu implementación ni garantiza resultados. Escríbenos si encuentras algo que debamos corregir.