De demo a producción: checklist para agentes de IA

En TuringSoft vemos el mismo patrón una y otra vez: el agente responde bien en la reunión de cierre, y a las dos semanas el equipo de soporte está reconstruyendo conversaciones a mano porque nadie puede explicar por qué el modelo tomó una decisión.

La diferencia entre demo y producción no es «más prompt engineering». Es diseñar el sistema como un servicio: contratos de entrada y salida, límites de herramientas, observabilidad por turno y criterios claros de cuándo escalar a una persona.

Antes de exponer el agente a usuarios reales, definí qué datos puede leer y qué acciones puede ejecutar. Cada herramienta externa (CRM, base de datos, APIs de pago) debe tener permisos acotados y registros de auditoría. Un agente con acceso amplio «por si acaso» es un incidente de seguridad en espera.

Instrumentá cada interacción con trazas que permitan reconstruir el razonamiento operativo: versión del prompt, contexto recuperado, herramientas invocadas, latencia por etapa y costo estimado en tokens. Sin eso, mejorar el agente es adivinar.

Establecé umbrales de confianza y un circuit breaker: si la respuesta cae bajo el umbral o una herramienta falla, el flujo debe degradar con gracia — mensaje claro al usuario y derivación a humano, no un loop infinito de reintentos.

Las métricas de negocio mandan sobre la precisión del benchmark. Medí tiempo resuelto, tasa de derivación a humano, satisfacción y costo por caso atendido. Un 95 % de accuracy en laboratorio no alimenta un P&L.

Por último, acordá con negocio quién aprueba cambios de modelo o de prompt en producción. La IA vive en un producto que evoluciona; sin gobernanza, cada «mejora rápida» del viernes se convierte en el incidente del lunes.