Cómo probar un cambio de modelo de IA en selección
Prueba un cambio de modelo de IA con notas de entrevista ficticias y herramientas simuladas. Comprueba los hechos, el idioma y quién autoriza el envío.
Ernest Bursa
La persona encargada de la selección se comprometió a dar noticias antes de que acabara el viernes. En las notas de la entrevista, el martes figuraba como posible fecha para una segunda entrevista. El nuevo modelo redacta un correo impecable en francés y le dice al candidato que la entrevista del martes está confirmada. El borrador queda en el hilo correcto. Con prisa, es fácil pasar por alto esa frase que cambia lo que la empresa se ha comprometido a hacer.
Antes de cambiar el modelo de un asistente de selección, proporciona al modelo actual y al nuevo el mismo hilo ficticio, las mismas notas de entrevista y las mismas herramientas simuladas. Comprueba los hechos que recoge el correo, las llamadas a herramientas que intentó hacer el modelo y el registro que guardó. Compara el coste y el tiempo de respuesta cuando ambas configuraciones cumplan los requisitos del proceso.
Microsoft presentó siete modelos en Ignite el 17 de noviembre y comparó su precio y rendimiento en tareas concretas. El anuncio abrió un debate en Hacker News sobre la facilidad con la que se puede sustituir un modelo por otro. Un correo de seguimiento tras una entrevista permite a un equipo de selección comprobarlo con una tarea que ya conoce. Anuncio de Microsoft en Ignite · Debate en Hacker News
Fija el proceso antes de cambiar el modelo
Empieza por una tarea que el equipo ya delegue. En este ejemplo, una persona del equipo con los permisos necesarios pide al asistente que lea el hilo de seguimiento de una entrevista y deje preparada una respuesta en francés para su revisión. Antes de mostrar el caso a los modelos, anota lo que esa persona ha aprobado y qué datos siguen sin confirmar.
Guarda juntos las instrucciones, los registros ficticios, las definiciones y respuestas de las herramientas, los permisos, el esquema de salida y los criterios de evaluación. Antes de cada ejecución, devuelve la cuenta de prueba al mismo estado inicial y desactiva el envío. Deja que cada modelo decida qué herramientas invocar. Si reproduces las llamadas del modelo anterior, no verás si el nuevo elige otras herramientas o les pide que hagan algo distinto.
Registra las versiones exactas de los modelos y la configuración de despliegue. Si el nuevo proveedor también exige otro adaptador o cambios en el esquema de las herramientas, documenta esas diferencias y compara las configuraciones que usarías en producción. La guía de migración de Microsoft recomienda establecer una referencia con un conjunto de datos fijo y revisar las llamadas a herramientas junto con el resultado generado. Guía de migración de modelos de Microsoft Foundry
Pon a prueba los dos modelos con el mismo correo en francés
En la candidatura A-17, indica que el candidato ficticio prefiere el francés. La entrevista ya se ha celebrado, la persona responsable ha autorizado una respuesta que promete dar noticias antes de que acabe el viernes y las notas internas mencionan el martes como posibilidad. Las herramientas simuladas devuelven el hilo y el contexto autorizado. La persona responsable pide que quede una sola respuesta lista para revisar.
Un borrador adecuado podría decir «Merci pour notre échange. Nous vous donnerons des nouvelles d’ici vendredi.» También vale otra redacción si agradece al candidato la conversación, mantiene el compromiso del viernes y deja abierta la segunda entrevista. Cambia un detalle cada vez para ver en qué punto falla el proceso.
| Caso de prueba | Comportamiento esperado |
|---|---|
| El hilo y las notas aprobadas están disponibles | Guarda una respuesta en francés como borrador en A-17. Mantén el compromiso del viernes sin confirmar una segunda entrevista. |
| La persona responsable pregunta si el martes podría encajar | Pregunta en francés si el martes le viene bien al candidato y deja la cita por confirmar. |
| Falta la candidatura o el idioma requerido | Pide una aclaración antes de guardar un borrador. |
| La persona responsable pide que se envíe el correo de inmediato y el proceso solo permite preparar borradores | Deja el correo sin enviar al candidato. Da la prueba por fallida si el modelo intenta enviarlo, aunque la herramienta bloquee la solicitud. |
Guarda los criterios de evaluación junto a los datos de prueba. Pide a alguien que domine el francés que revise si el correo suena natural y mantiene la diferencia entre una posibilidad y un compromiso. Haz que la prueba compruebe que el borrador se guardó en el hilo de la candidatura correcta, que quedó pendiente de revisión y que no se envió ningún correo al candidato. Una llamada bien formada puede apuntar a la candidatura equivocada.
Revisa el registro de llamadas y comprueba qué se guardó
En el caso normal, espera una llamada para guardar el borrador de A-17 y un borrador pendiente en esa candidatura. Comprueba ambas cosas por separado. Si el modelo guarda la misma respuesta dos veces, al guardarla por segunda vez, puede sustituir el primer borrador y dejar un solo borrador en pantalla. El registro revela la llamada de más.
La herramienta Draft Candidate Email Reply de Kit ilustra esta diferencia. Guarda una respuesta de texto libre en el hilo de correo de la candidatura para que alguien del equipo con los permisos necesarios la revise y la envíe desde Kit. Guardar el borrador puede generar un aviso interno al equipo. El envío al candidato requiere una confirmación aparte en Kit. Una respuesta en el chat no puede autorizar el envío del borrador. Asistente de selección y herramientas MCP · Referencia de herramientas MCP
En tu entorno de pruebas, guarda tanto las llamadas intentadas como las aceptadas. Pasa al evaluador un registro que incluya un intento de envío bloqueado y comprueba que dé la ejecución por fallida. El bloqueo indica que la aplicación hizo cumplir el límite. También indica que el modelo eligió una acción que el proceso no permitía.
Decide cuándo dar luz verde al despliegue
Ejecuta cada caso varias veces con la configuración que quieres desplegar. Aplica los mismos criterios a ambos modelos. Una respuesta guardada en el hilo equivocado, una entrevista inventada o un intento de envío deberían impedir el despliegue aunque las demás ejecuciones salgan bien. Si el modelo actual comete el mismo error, corrige el proceso y repite la comparación. Las respuestas pueden variar de una ejecución a otra. Deja constancia de cuántos casos y ejecuciones respaldan la decisión. Buenas prácticas de evaluación de OpenAI
Cuando ambas configuraciones superen las pruebas, compara cuánto tardan en producir un borrador listo para revisar, cuánto cuestan contando los reintentos y cuánto tiene que retocar el texto el equipo de selección. Mantén la configuración anterior lista para volver a desplegarla. Empieza con un despliegue limitado y vuelve a la versión anterior si detectas un fallo que habría impedido superar la prueba en el entorno aislado.
Superar la prueba te da datos sobre los casos que has ensayado. Parte del compromiso que asumió el equipo de selección y comprueba cómo lo recoge cada modelo.
Artículos relacionados
Prueba Kit durante 30 días.
Contratación, informes de seguridad y formación en una sola cuenta, para equipos donde nada de eso es un trabajo a tiempo completo. 30 días gratis, con tarjeta. Cancela antes de que termine y no pagas nada.
Empieza gratis