Pilotos con agentes de IA: el coste del trabajo aceptado

Para calcular el coste de un piloto con agentes de IA, divide los recursos dedicados a un lote definido de trabajo entre los resultados aceptados tras una comprobación independiente antes de que venza el plazo. Incluye software, reintentos, revisión humana y corrección de fallos. Presenta también el grado de finalización, la calidad y los pagos realizados, para que una tarea barata pero sin terminar no pase por un resultado útil.

Así obtienes una cifra útil para decidir si continuar con el piloto. La factura del modelo, por sí sola, no te dice si puedes asumir el coste del proceso. También necesitas saber qué trabajo cumplió los requisitos, qué sigue en la cola y quién ayudó a sacarlo adelante.

¿Qué te dice Pion sobre la rentabilidad de los agentes?

Pion facilita la experimentación con agentes en situaciones reales, pero su lanzamiento no demuestra la viabilidad económica de tu negocio. Tómalo como un motivo para medir con cuidado un proceso bien delimitado.

El 14 de septiembre, Andon Labs presentó Pion como una versión preliminar de investigación para experimentar con negocios autónomos. El lanzamiento suscitó una activa conversación en Hacker News. Andon explicó sus avances con las máquinas expendedoras y señaló que su cafetería y su tienda aún no eran rentables. Son resultados que el desarrollador comunica sobre entornos concretos, no una auditoría independiente ni una previsión para otras empresas. Anuncio de Andon Labs.

La distinción importa porque la palabra funciona puede esconder varias preguntas económicas. ¿El sistema completa una tarea? ¿Cada venta cubre el coste de la mercancía vendida? ¿El negocio cubre sus gastos habituales? ¿La inversión permite recuperar el coste de puesta en marcha? Elige la pregunta antes de reunir cifras.

Un informe anterior de Andon sobre la cafetería muestra otra diferencia: el coste de los ingredientes y los envases, el alquiler y los salarios, el valor de las existencias y el dinero pagado a proveedores describen distintas partes del negocio. Las existencias sin vender pueden conservar su valor mientras escasea la liquidez. Ninguna de esas perspectivas explica por sí sola toda la actividad. Informe de Andon Cafe.

Escribe al principio de la hoja de trabajo la decisión que quieres tomar: «¿Deberíamos repetir este proceso en estas condiciones?». Investigar puede merecer la pena aunque un experimento pierda dinero. Ampliar una actividad comercial requiere sus propias pruebas. Mantén visible el presupuesto dedicado al aprendizaje y evalúa por separado el coste habitual de realizar el trabajo.

¿Qué se considera un resultado aceptado?

Un resultado aceptado cumple unos requisitos escritos y se ha comprobado al margen de la afirmación del agente de que ha terminado. Define esos requisitos antes de iniciar el piloto.

La guía de Anthropic sobre evaluación de agentes distingue entre el registro de las acciones de un agente y el estado del sistema que producen esas acciones. También considera los intentos repetidos como pruebas distintas. Es una disciplina útil para medir: que el agente diga que una tarea está terminada no demuestra que exista el resultado requerido. Guía de evaluación de Anthropic.

Veamos un ejemplo operativo creado para este artículo. Supón que el piloto prepara fichas de proveedores a partir de documentos que ya tienes. Para aceptar una ficha, debe identificar al proveedor correcto, completar los campos obligatorios, adjuntar el documento justificativo y señalar los datos contradictorios. Una persona revisa esos requisitos antes de marcarla como lista para la siguiente etapa. Este piloto de preparación no autoriza pagos ni modifica datos bancarios.

La unidad de trabajo es una ficha de proveedor utilizable. Las páginas procesadas, las llamadas a herramientas y los borradores reflejan actividad. Puedes registrarlos para analizar el coste, pero no aumentan el número de resultados aceptados.

Fija el lote y el plazo

Asigna un identificador a cada caso y registra cuándo entró en el piloto. Conserva el lote original completo, incluidos los casos difíciles que fallen. Si excluyes casos antes de empezar, documenta los criterios de admisión para que el resultado final describa el trabajo que realmente has probado.

Elige una fecha de corte acorde con el momento en que necesitas el trabajo. Una ficha aceptada después puede resultar útil más adelante, pero no estuvo lista dentro del plazo original. Conserva el registro de la fecha de corte y añade el resultado posterior. De lo contrario, cada día adicional mejora la cifra principal sin mostrar el coste de la espera.

En la fecha de corte, usa tres estados: aceptado, rechazado y sin terminar. Un resultado rechazado no cumple los requisitos; un caso sin terminar aún no tiene un resultado final aceptado. Anota el motivo de cada uno para distinguir un trabajo deficiente de la falta de datos de entrada o de una cola de revisión acumulada.

¿Qué debe incluir el registro de costes del piloto?

Registra los recursos dedicados a todo el lote asignado, incluido el trabajo que nunca llegue a aceptarse. Separa el dinero pagado del valor del tiempo que el personal dedica al piloto.

Puedes empezar con una hoja de trabajo y enlaces a los registros existentes.

Separa la revisión habitual de la corrección de fallos. Leer una ficha preparada y comprobar sus documentos justificativos es revisión. Encontrar el documento correcto después de una asociación errónea, corregir campos y reiniciar la tarea es corrección de fallos. Ambas actividades cuentan; distinguirlas te ayuda a decidir qué mejorar.

La ayuda humana no invalida el experimento. En la segunda fase de Project Vend se comunicó una mejora de los resultados, aunque las personas seguían comprobando compras y prestando otros apoyos. El informe público no presenta un desglose completo que permita cuadrar todos los costes. Por tanto, no permite deducir el coste total por unidad ni asumir que se excluyó un coste concreto. Project Vend, segunda fase.

Registra las interrupciones sin convertir el trabajo en vigilancia

Pide a los participantes que anoten el tiempo por actividad y lote, con detalle suficiente para explicar los problemas recurrentes. Una nota breve como «resuelta una contradicción sobre la identidad del proveedor» es más útil que un montón de capturas de pantalla. Evita recopilar comunicaciones privadas o actividad del personal ajena al piloto solo para que la hoja parezca completa.

Refleja la incertidumbre con honestidad. Si corregir un fallo llevó aproximadamente una hora, indícalo como estimación. Si el trabajo se repartió entre varios pilotos, anota el criterio de imputación. Un total que parece preciso, pero parte de suposiciones sin explicar, dificulta la siguiente decisión.

¿Cómo se calcula el coste por resultado aceptado?

Suma los recursos operativos consumidos por el lote y divide el total entre los resultados aceptados en la fecha de corte. Presenta la puesta en marcha por separado, para que se vean tanto la actividad recurrente como todos los recursos que necesitó el primer lote.

El siguiente ejemplo es completamente hipotético. Los importes, tiempos, volúmenes de trabajo y cantidades aceptadas son inventados para explicar el cálculo. No son resultados de Pion, datos de clientes de Kit ni una referencia del sector. Todos los importes se expresan en USD a modo de ejemplo.

El piloto de fichas de proveedores recibe 100 casos. En la fecha de corte, 80 están aceptados, 12 sin terminar y 8 rechazados. Los costes operativos de IA y software suman 200 USD. El personal dedica 6 horas a revisar y 2 horas a corregir fallos, con un coste laboral completo supuesto de 50 USD por hora.

Ese coste por hora permite imputar el tiempo del personal, incluidos los costes de empleo que decidas incorporar. Especifica tu propia definición cuando sustituyas estas suposiciones por registros reales.

Coste operativo por resultado aceptado: 600 USD ÷ 80 = 7,50 USD.

Si no se acepta ningún resultado, el cociente no está definido. Muestra los recursos consumidos y los cero resultados aceptados; no indiques un coste de cero ni ocultes el lote fallido.

Dividir la factura del software entre los casos asignados da 200 USD ÷ 100 = 2 USD. Ese es el coste del software por caso asignado. Omite el trabajo del personal y utiliza un denominador que incluye casos sin terminar y rechazados. Si muestras esa cifra, identifícala correctamente, pero no la uses para describir el coste de los resultados aceptados.

Presenta la puesta en marcha y los pagos por separado

Supón que la puesta en marcha inicial requiere 10 horas a 50 USD, es decir, 500 USD. Al incluirla, los recursos del primer lote suman 1 100 USD, lo que da 1 100 USD ÷ 80 = 13,75 USD por resultado aceptado. Esa cifra muestra lo que consumió el primer lote, mientras que los 7,50 USD describen sus recursos operativos sin la puesta en marcha.

Para una estimación de planificación posterior, podrías repartir el coste de puesta en marcha entre un volumen previsto de trabajo. Muestra ese volumen supuesto y qué ocurriría si el piloto terminase antes de tiempo. No sumes el importe inicial completo y una parte amortizada de ese mismo importe en un único total.

Estas imputaciones de trabajo no son necesariamente nuevos pagos. El personal que ya recibe un salario sigue dedicando tiempo, pero el piloto puede no alterar la nómina. Mantén una columna de pagos para los cargos reales y otra de recursos para la comparación más amplia. No sustituyas una por otra sin indicarlo.

La página de Pion describe una asignación inicial de tokens para determinadas ideas y un modelo previsto de participación en los ingresos, sin una tarifa numérica universal. Registra cualquier ayuda que reciba realmente tu piloto, incluidos su vencimiento y sus límites. No des por hecho que un crédito temporal representa el precio de la actividad continuada. Página de Pion.

¿Cómo comparas el piloto con el proceso actual?

Compara trabajos de dificultad similar, con los mismos requisitos de aceptación y el mismo plazo. Muestra el trabajo pendiente junto a los costes para que un menor coste unitario no oculte un peor cumplimiento de las entregas.

En la comparación hipotética, el proceso actual permite aceptar 100 fichas en 20 horas a 50 USD por hora. Los recursos imputados suman 1 000 USD, es decir, 10 USD por resultado aceptado. La cifra operativa del piloto es menor, 7,50 USD, pero solo se aceptaron 80 fichas y el primer lote costó 13,75 USD por resultado al incluir la puesta en marcha.

Tienes, por tanto, varias conclusiones parciales, no una demostración de que los procesos sean equivalentes. El piloto consumió menos recursos operativos imputados y entregó menos resultados aceptados antes del corte. Todavía necesitas un plan para los casos sin terminar y los rechazados. Afirmar que permite ahorrar o tomar una decisión de contratación exigiría más pruebas de las que ofrece esta hoja.

Aplica los mismos criterios a ambos procesos

Incluye la revisión y las correcciones en el proceso actual igual que en el piloto. Si hoy una persona comprueba el trabajo de otra, conserva ese esfuerzo en la referencia de comparación. Si más adelante se descubren errores humanos, regístralos; no exijas al agente un nivel de calidad que nunca se comprobó en el otro proceso.

Elige grupos de casos comparables antes de ver los resultados. Un piloto que procesa documentos sin problemas mientras el personal resuelve la falta de adjuntos ha probado un conjunto de tareas más limitado. Puede ser un primer experimento sensato, siempre que la conclusión se limite a ese trabajo.

Anota también quién dedicó esas horas. Reducir el tiempo de procesamiento de perfiles júnior a cambio de más revisión por parte de especialistas con poca disponibilidad puede perjudicar al equipo. El coste medio puede ocultar un cuello de botella que impida terminar el siguiente lote.

Comprueba si el ahorro aparente resiste cambios habituales

Mantén una columna separada de escenarios para las suposiciones que puedan cambiar: se acaba una ayuda, la revisión lleva más tiempo, los casos se complican o hay que repetir la puesta en marcha. Modifica una suposición cada vez para ver qué determina la decisión. Identifica cada cifra proyectada; no mezcles los escenarios con el resultado observado del piloto.

Las horas liberadas son capacidad que puedes dedicar a otra cosa. Solo se convierten en ahorro de dinero cuando cambia un gasto real. Para decisiones de plantilla más amplias, combina esos datos con la planificación de personal y agentes de IA, en lugar de convertir directamente una estimación de tiempo en una decisión sobre una vacante.

¿Cuándo conviene continuar, modificar o detener el piloto?

Decide de antemano qué pruebas justificarán otro lote. El coste, la aceptación, el cumplimiento de plazos y los fallos inadmisibles requieren condiciones separadas, porque una media no puede responder a todo.

En el ejemplo de las fichas de proveedores, que un dato bancario incorrecto llegase a un proceso de pago obligaría a detener el piloto e investigar, aunque el coste medio pareciese atractivo. Los errores graves necesitan reglas explícitas de actuación. Incluir su coste en una media no convierte el riesgo en aceptable.

Deja un breve registro de la decisión en la fecha de corte:

1. ¿Qué se probó? Indica el lote, la configuración, los criterios de admisión y el plazo.
2. ¿Qué se entregó? Enumera los casos aceptados, rechazados y sin terminar, con pruebas y motivos.
3. ¿Qué se consumió? Muestra el software, el trabajo humano, la puesta en marcha y los pagos reales.
4. ¿Qué queda pendiente? Indica quién terminará o corregirá el trabajo pendiente y dónde se registrarán sus costes posteriores.
5. ¿Qué se hará después? Continúa con la misma configuración, modifica una parte concreta o detén el piloto, con un motivo y una fecha de revisión.

Si cambias el modelo, las instrucciones o las herramientas, registra la nueva configuración antes del siguiente lote. Unos resultados mejores tras varios cambios te informan sobre el sistema revisado. No permiten aislar qué cambio produjo la mejora.

La falta de datos también es un resultado. Si nadie puede reconstruir el tiempo de revisión o verificar la aceptación, mejora la medición antes de decidir una ampliación importante. Puedes explicar lo aprendido junto con el gasto que requirió ese aprendizaje.

A medida que crece el piloto, su funcionamiento depende de la disponibilidad de revisores. Si esa es tu limitación, la guía para crear un equipo de revisión humana aborda la continuidad del personal. En la hoja de costes, mantén la pregunta más sencilla: ¿cuánto trabajo humano cualificado necesitó este lote?

¿Qué datos sobre costes puede aportar Kit?

Los registros de uso pueden aportar parte de la información de tu piloto, pero los resultados aceptados y el trabajo del personal necesitan sus propios justificantes. Empieza por identificar exactamente qué llamadas mide el producto.

Kit registra el coste estimado y los metadatos de uso de las llamadas de IA dentro de la aplicación que cubre su medición, con vistas por miembro y por mes. Las filas por miembro excluyen las llamadas en segundo plano sin atribución a un miembro, que sí se incluyen en los totales mensuales. Los límites comprueban el uso antes de nuevas llamadas sujetas a medición; no constituyen un tope exacto y universal para las facturas de proveedores. Estos registros cubren parte del coste operativo. Guía de proveedores de IA y controles de gasto de Kit.

Ten presentes todas las limitaciones al usar esos registros: Hiring Live Review y el enriquecimiento en segundo plano del módulo Investigación de compensación quedan fuera del registro y de los límites, y la medición de embeddings es incompleta. Las facturas de los modelos utilizados por clientes MCP externos van por separado, aunque una acción MCP puede activar una generación sujeta a medición dentro de Kit. Kit no ofrece una integración verificada con Pion, medición de los minutos del personal ni un modelo de rentabilidad para toda la empresa. Sus estimaciones de uso, por sí solas, no permiten demostrar ahorros ni cuadrar todas las facturas de proveedores.

Reúne los registros de uso cubiertos por la medición, las facturas, los justificantes de aceptación y tus imputaciones de tiempo. Mantén visibles el lote original y la fecha de corte. Así podrás explicar la decisión: qué trabajo resultó utilizable, qué quedó sin terminar y qué recursos consumió.