Cobertura de los benchmarks de IA: prepara tu plan de contratación

Antes de cambiar el plan de contratación de tu startup por el resultado de un benchmark de IA, desglosa las tareas reales del puesto, identifica cuáles cuentan con datos relevantes y prueba el trabajo que falta en tu propio proceso. Registra las responsabilidades que siguen en manos de personas antes de aprobar o cancelar la vacante. La puntuación de un modelo puede orientar esa investigación; no puede decidir cuántas personas necesita tu equipo.

Imagina que vas a contratar a alguien para la incorporación de clientes. Un nuevo modelo obtiene buenos resultados en un benchmark y, en una demostración, genera un documento de incorporación impresionante. Tu equipo se pregunta si la vacante sigue siendo necesaria. El siguiente paso útil es examinar lo que el documento deja fuera: datos del cliente que faltan, compromisos contradictorios, traspasos internos y alguien disponible para resolver las excepciones.

El mapa de benchmarks de Mercor, que se debate estos días en Hacker News, ofrece un punto de partida oportuno. Examina qué parte del trabajo de la economía aparece en una selección de benchmarks de IA. Sus conclusiones invitan a comprobar qué se ha medido antes de convertir una puntuación en un compromiso de contratación.

¿Qué te dice la cobertura de los benchmarks de IA?

La cobertura de un benchmark indica si determinadas tareas aparecen en una evaluación. No indica si un modelo resuelve bien todas las tareas incluidas, cómo funciona con tus herramientas o si se puede automatizar un puesto completo.

El mapa inicial de la economía estadounidense de Mercor incluye 29 benchmarks seleccionados. Identifica 924 tareas cubiertas de un total de 18 797, a partir de 923 ocupaciones. Según su definición principal, una tarea cuenta como cubierta cuando se vincula con al menos cinco instrucciones de los benchmarks. Una misma instrucción puede vincularse con más de una tarea.

Su estimación más destacada es que aproximadamente el 90 % de las horas de trabajo en Estados Unidos se dedica a tareas con poca o ninguna cobertura en ese índice. Acompaña siempre la cifra de su alcance: describe la cobertura de una selección de benchmarks, ponderada mediante estimaciones del tiempo dedicado a cada tarea. No significa que la IA falle en el 90 % del trabajo ni que el 90 % de los empleos esté a salvo de la automatización.

Hay limitaciones relevantes. Mercor señala que la colección es incompleta y provisional. Limita los benchmarks por familia profesional y tiende a excluir los que los modelos más avanzados ya han saturado. Estas decisiones pueden reducir la cobertura estimada en una magnitud que los investigadores no pueden acotar. Interpreta el mapa como un indicio de lo que falta por medir, no como un censo de todo lo que se ha evaluado alguna vez.

La asignación también exige criterio. Mercor utiliza un modelo de lenguaje para relacionar las instrucciones con las tareas profesionales. Un grupo de expertos revisó las asignaciones propuestas como primera opción para un subconjunto de APEX y aceptó el 76,7 % de 1 763 valoraciones. El mapa también cuenta otras asignaciones sugeridas que esa revisión no evaluó por completo. Es una comprobación útil, con un alcance definido. Metodología de Mercor.

Una investigación independiente plantea una preocupación relacionada. Wang y sus coautores analizaron 43 benchmarks y 72 342 tareas, y detectaron un desajuste entre el desarrollo de agentes, muy centrado en la programación, y la distribución del trabajo humano. Su estudio utiliza otra muestra; no confirma de forma independiente la estimación principal de Mercor. How Well Does Agent Development Reflect Real-World Work?.

Para tu plan de contratación, la consecuencia práctica es averiguar qué partes del puesto propuesto están realmente representadas en los datos.

¿De qué tareas depende tu decisión de contratar?

Empieza por el trabajo que hay que hacer, el ritmo al que llega y las consecuencias de dejarlo sin terminar. El nombre de un puesto es demasiado amplio para determinar qué tendría que cambiar un resultado de IA.

El marco profesional oficial O*NET organiza información sobre tareas, actividades, competencias y otras características del trabajo. Puede ayudarte a detectar tareas que faltan. Sus perfiles profesionales no describen la combinación exacta de tu startup, donde una persona puede asumir varias funciones y depender de traspasos informales.

Pide a quienes se encargan del trabajo que repasen casos recientes. Incluye uno rutinario, otro que se retrasó y otro que exigió una excepción. Reconstruye lo ocurrido a partir de los registros existentes. Identifica quién aportó la información que faltaba, quién tomó una decisión y quién comprobó que el resultado servía.

Describe las tareas como acciones observables. «Apoyar la incorporación» apenas te permite evaluar nada. «Preparar la documentación de incorporación de un cliente a partir de registros aprobados de su cuenta» define una entrada y un resultado. «Resolver una contradicción entre el contrato firmado y las notas de la cuenta» identifica otra tarea, aunque ambas pertenezcan al mismo puesto.

Incluye la coordinación. Un borrador terminado puede seguir a la espera del responsable de la cuenta, de una respuesta del cliente o de una autorización de acceso. Si esas dependencias determinan cuándo termina la incorporación, excluirlas del inventario restaría utilidad a los datos para decidir sobre la vacante.

Distingue también el trabajo necesario del que podrías dejar de hacer. Probar un informe innecesario no permite determinar cuántas personas hacen falta para atender una cola de clientes cada vez mayor. Acordad los resultados necesarios antes de debatir si debe producirlos una persona o un sistema.

Nuestra guía de planificación de plantilla aborda la decisión sobre capacidad. Aquí preparas uno de sus elementos: una descripción clara de las tareas cuyo rendimiento podría cambiar tu plan.

Relaciona cada tarea con las pruebas disponibles antes de evaluar la IA

Vincula cada tarea importante con un caso real, un criterio de aceptación y las pruebas disponibles. Este es un método de planificación propuesto, no un procedimiento validado por la investigación de Mercor.

La siguiente tabla describe una carga de trabajo hipotética de incorporación de clientes. No contiene resultados observados, datos de clientes ni objetivos de rendimiento del sector. Sirve para mostrar qué tendrías que averiguar antes de cambiar el plan de contratación.

Añade una columna para los benchmarks públicos relevantes. Registra las coincidencias y las diferencias: datos de entrada, herramientas, contexto, duración de la tarea o forma de puntuarla. «Existe un benchmark relacionado» es un hallazgo útil. No demuestra que el caso ya se haya probado en tus condiciones.

Usa estados distintos para sin probar, probado con un resultado inaceptable y aceptado en las condiciones indicadas. Una derivación sin probar es una incógnita. Llamarla fallo exageraría lo que sabes; darla por superada ocultaría lo que falta.

Elige el criterio de aceptación antes de ver los resultados. Para la documentación, podría exigirse que todas las afirmaciones sobre hechos que deba incluir estén respaldadas por un registro aprobado. Ante una contradicción, el resultado aceptable podría ser una derivación documentada, en lugar de la documentación terminada. Un sistema que se detiene correctamente puede haber hecho lo que debía.

Recoge un nivel de detalle manejable. Necesitas poder explicar la decisión, incluidas las omisiones importantes. Un conjunto inicial pequeño puede revelar problemas y orientar otra prueba, pero no permite establecer una tasa general de éxito. La investigación anterior no aporta un número universal de casos ni un umbral de aprobación.

Prueba el proceso que usarías de verdad

Evalúa la configuración propuesta con sus datos de entrada, permisos, herramientas y ayuda humana reales. Explicita las condiciones para no atribuir a un buen resultado un alcance mayor del que tiene.

Si el proceso propuesto incluye a una persona que revisa toda la documentación, prueba ese sistema. Si presupone acceso al historial de la cuenta, facilita el acceso que realmente podrías autorizar. Registra la ayuda de otros compañeros, incluidas las explicaciones que el sistema volvería a necesitar ante un caso desconocido.

Prepara los casos con información que tengas derecho a usar en el entorno elegido. Elimina los datos del cliente que no sean necesarios sin perder la dificultad que quieres evaluar. Si retirar contexto cambia sustancialmente el ejemplo, registra esa limitación en lugar de presentarlo como una reproducción completa del trabajo.

Compara con el proceso actual en condiciones comparables. El equipo no debería recibir los casos más difíciles mientras el sistema propuesto solo recibe registros completos. A la inversa, privar a las personas de sus compañeros y de su contexto habitual puede crear una referencia artificial. Anota qué podía ver cada parte y qué ayuda recibió.

La investigación de Mercor sobre contabilidad ilustra por qué importan esas condiciones. En un estudio de octubre sobre cuatro supuestos simplificados de cierre contable mensual, Mercor señala que los modelos más avanzados superaron a los 12 contables públicos certificados (CPA) que participaron. La comparación evaluó a personas sin ayuda y no demuestra mejoras derivadas de la asistencia de IA. Mercor también explica que el entorno excluía a los compañeros, el contexto acumulado y partes del trabajo más amplio. Un buen rendimiento en tareas acotadas puede coexistir con la incertidumbre sobre un puesto completo.

En la incorporación de clientes, examina tanto el estado final como el texto generado. ¿Servía la documentación? ¿Se consiguieron los datos que faltaban? ¿Llegó la contradicción a una persona autorizada? Conserva los casos que sigan sin resolverse al llegar la fecha límite para decidir, junto con el motivo y el siguiente responsable.

Si cambias el modelo, las instrucciones o las herramientas disponibles, identifica la nueva configuración. Los mejores resultados posteriores describen esa configuración. No permiten aislar qué cambio causó la mejora ni demuestran que la configuración anterior superaría ahora la prueba.

La comparación económica merece un análisis propio. Nuestra guía de costes de una prueba piloto incluye software, reintentos, revisión y trabajo sin terminar. Guarda esos registros junto a esta tabla. La tabla permite comprobar si has probado el trabajo relevante para la vacante; el registro de costes muestra qué recursos se han consumido durante la prueba, también en el trabajo sin terminar.

Convierte el resultado en una decisión de contratación con límites claros

Usa la prueba para explicar qué ha cambiado en tu comprensión de la carga de trabajo. Después decide si los datos justifican contratar, cambiar el proceso o hacer otro experimento limitado.

Volvamos al equipo hipotético de incorporación de clientes. Si preparar la documentación resulta más fácil, pero los casos ambiguos siguen necesitando al fundador, habrás aprendido algo sobre el reparto del trabajo. El próximo puesto podría exigir criterio operativo y autoridad para resolver casos. Esa conclusión dependería de los resultados y de la carga de trabajo reales; no es una conclusión de la tabla de ejemplo.

Examina el trabajo pendiente por persona y disponibilidad. Liberar pequeños ratos repartidos entre varios compañeros no proporciona automáticamente a alguien que pueda atender una cola de clientes. Una derivación que requiere a un especialista poco disponible puede limitar el servicio aunque mejore la preparación de documentos.

Ten en cuenta también la demanda. Probar los casos actuales no demuestra cómo se comporta el proceso cuando aumenta el volumen o cambia el tipo de clientes. Una vacante destinada a cubrir el crecimiento necesita un supuesto explícito de demanda. Regístralo junto a los datos observados para que quien lea el documento distinga lo que ha ocurrido de lo que esperas que ocurra.

Un registro breve de la decisión permite revisar ese razonamiento:

1. Decisión: Indica qué vacante o carga de trabajo se evalúa y la fecha límite para decidir.
2. Pruebas: Enlaza los casos probados, la configuración, los criterios de aceptación y los resultados observados.
3. Trabajo pendiente: Identifica las decisiones, excepciones y traspasos que todavía deben gestionar las personas.
4. Límites: Enumera las condiciones importantes que faltaban o no se probaron.
5. Acción: Aprueba el puesto, revisa su alcance, cambia el proceso o realiza otra prueba acotada. Indica quién se responsabiliza y cuándo se revisará.

Evita que el registro sea un mero trámite para justificar una decisión ya tomada. Anota qué datos te harían cambiar de opinión. Si la prueba solo puede servir para justificar la cancelación de la vacante, no permite valorar con imparcialidad si hace falta contratar a alguien.

Un resultado prometedor puede justificar un experimento más acotado mientras continúas la selección. Un resultado no concluyente puede justificar que reúnas los datos que faltan. Si sigue faltando alguien que se responsabilice, puede haber más motivos para incorporar a una persona con la autoridad adecuada. Son decisiones posibles, con compromisos y requisitos de prueba diferentes.

Cuando apruebes la contratación, utiliza el trabajo pendiente para definir el puesto. La guía sobre puestos con ayuda de IA y responsabilidad real aborda ese siguiente paso. El documento de planificación debe explicar por qué existe el puesto; la descripción de la oferta debe decir al candidato de qué se hará cargo.

Lleva el puesto aprobado a Kit

Conserva la comparación de benchmarks y la prueba del proceso interno en tu documento de planificación. Kit puede ayudarte a organizar el proceso de selección de un puesto aprobado, pero no ofrece un analizador de cobertura de benchmarks, un modelo de planificación de plantilla ni un entorno de pruebas internas de IA.

Describe el trabajo real en la oferta de empleo y explica el ejercicio correspondiente en las instrucciones de las etapas que ven los candidatos. Kit admite muestras de trabajo pertinentes para el puesto y etapas de revisión del equipo. Adapta esas etapas al puesto aprobado y deja claro qué deben demostrar los candidatos.

Para trasladar la decisión al proceso de selección, prepara una descripción concreta: los resultados de los que se responsabiliza esa persona, las decisiones que puede tomar y el trabajo que tu experimento dejó sin resolver. Un benchmark público te ayudó a plantear una pregunta. Tus propias pruebas delimitan la respuesta.