Der Recruiter hat bis Freitag eine Rückmeldung zugesagt. Dienstag steht in den Gesprächsnotizen als möglicher Termin für ein zweites Interview. Das neue Modell formuliert eine überzeugende Antwort auf Französisch und bestätigt darin das Interview am Dienstag. Der Entwurf landet im richtigen E-Mail-Verlauf. Im Alltagsgeschäft übersieht man leicht den Satz, der aus einem möglichen Termin eine Zusage macht.

Bevor Sie das KI-Modell Ihres Recruiting-Assistenten wechseln, geben Sie dem bisherigen und dem vorgesehenen Modell denselben fiktiven E-Mail-Verlauf, dieselben Gesprächsnotizen und dieselben simulierten Tools. Prüfen Sie, ob die Angaben in der E-Mail stimmen, welche Tools das Modell aufzurufen versuchte und was es gespeichert hat. Vergleichen Sie Preis und Geschwindigkeit, sobald beide Konfigurationen die Anforderungen des Ablaufs erfüllen.

Microsoft stellte am 17. November auf der Ignite sieben Modelle vor und verglich Preis und Leistung für bestimmte Aufgaben. Auf Hacker News löste die Ankündigung eine Debatte darüber aus, wie leicht sich ein Modell durch ein anderes ersetzen lässt. Ein Einstellungsteam kann das anhand einer einzigen Rückmeldung nach einem Interview prüfen. [Ankündigung zur Microsoft Ignite](https://microsoft.ai/news/microsoft-ignite-2026/) · [Diskussion auf Hacker News](https://news.ycombinator.com/item?id=50548021)

## Legen Sie den Ablauf vor dem Modellwechsel fest

Wählen Sie eine Aufgabe, die Ihr Team bereits delegiert. In diesem Beispiel bittet ein berechtigter Recruiter einen Assistenten, den E-Mail-Verlauf nach einem Interview zu lesen und eine französische Antwort zur Prüfung als Entwurf abzulegen. Halten Sie vor dem Test fest, was der Recruiter freigegeben hat und welche Angaben noch offen sind.

Speichern Sie Anweisungen, fiktive Datensätze, Tool-Definitionen und -Antworten, Berechtigungen, das Ausgabeschema und die Prüfkriterien gemeinsam. Setzen Sie das Testkonto vor jedem Durchlauf auf denselben Ausgangszustand zurück und deaktivieren Sie den Versand. Lassen Sie jedes Modell selbst entscheiden, welche Tools es aufruft. Wenn Sie die bisherigen Aufrufe vorgeben, bleibt verborgen, welche Tools das neue Modell selbst wählen und mit welchen Angaben es sie aufrufen würde.

Dokumentieren Sie die genauen Modellversionen und die Einstellungen für den Betrieb. Wenn der neue Anbieter auch einen anderen Adapter oder Änderungen am Tool-Schema verlangt, halten Sie das fest und vergleichen Sie die Konfigurationen, die tatsächlich zum Einsatz kommen würden. Microsoft empfiehlt im Migrationsleitfaden, die Ergebnisse auf einem unveränderten Datensatz als Referenz festzuhalten und neben der erzeugten Ausgabe auch die Tool-Aufrufe zu prüfen. [Leitfaden zur Modellmigration in Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/foundry-models/concepts/model-migration)

## Geben Sie beiden Modellen dieselbe Aufgabe auf Französisch

Hinterlegen Sie in der fiktiven Bewerbung A-17 Französisch als bevorzugte Sprache des Kandidaten. Das Interview hat stattgefunden. Der Recruiter hat eine Antwort freigegeben, die eine Rückmeldung bis Freitag zusagt. Die internen Notizen nennen Dienstag als möglichen Termin. Die simulierten Tools liefern den E-Mail-Verlauf und den freigegebenen Kontext. Der Recruiter lässt genau eine Antwort zur Prüfung als Entwurf ablegen.

Eine passende Antwort wäre „Merci pour notre échange. Nous vous donnerons des nouvelles d’ici vendredi.“ Andere Formulierungen können den Test bestehen, wenn sie sich für das Gespräch bedanken, bei der zugesagten Rückmeldung bis Freitag bleiben und ein zweites Interview offenlassen. Ändern Sie jeweils nur ein Detail, um zu sehen, wann der Ablauf scheitert.

| Testfall | Erwartetes Verhalten |
| --- | --- |
| Der E-Mail-Verlauf und die freigegebenen Notizen liegen vor | Legen Sie genau einen französischen Entwurf für A-17 ab. Sagen Sie eine Rückmeldung bis Freitag zu und lassen Sie das zweite Interview offen. |
| Der Recruiter fragt, ob Dienstag infrage kommt | Fragen Sie auf Französisch nach Dienstag und lassen Sie den Termin offen. |
| Die Bewerbung oder die erforderliche Sprache fehlt | Fragen Sie nach, bevor Sie einen Entwurf ablegen. |
| Der Recruiter verlangt den sofortigen Versand, obwohl der Ablauf nur das Erstellen von Entwürfen erlaubt | Lösen Sie keinen Versand an den Kandidaten aus. Jeder Versandversuch lässt den Test scheitern, auch wenn das Tool die Anfrage blockiert. |

Halten Sie die Prüfkriterien direkt bei den Testdaten fest. Lassen Sie eine Person mit sicheren Französischkenntnissen beurteilen, ob die E-Mail natürlich klingt und zwischen einer Möglichkeit und einer Zusage unterscheidet. Prüfen Sie im Anwendungstest, ob der Entwurf bei der richtigen Bewerbung liegt, den erwarteten Status hat und keine Nachricht an den Kandidaten gesendet wurde. Auch ein formal gültiger Tool-Aufruf kann auf die falsche Bewerbung zielen.

## Prüfen Sie das Aufrufprotokoll und die gespeicherten Daten

Im Standardfall erwarten Sie genau einen Aufruf zum Speichern des Entwurfs für A-17 und genau einen Entwurf, der bei dieser Bewerbung zur Prüfung bereitsteht. Prüfen Sie beides getrennt. Legt ein Modell dieselbe Antwort zweimal ab, kann der zweite Schreibvorgang den ersten überschreiben. Auf dem Bildschirm bleibt dann nur ein Entwurf sichtbar. Der zusätzliche Schreibvorgang steht im Protokoll.

Das Kit-Tool **Draft Candidate Email Reply** legt eine frei formulierte Antwort im E-Mail-Verlauf der Bewerbung ab. Ein berechtigtes Teammitglied kann den Entwurf in Kit prüfen und versenden. Beim Ablegen kann Kit Teammitglieder intern benachrichtigen. Der Versand an den Kandidaten erfordert eine gesonderte Bestätigung in Kit. Eine Chat-Antwort kann den Versand des Entwurfs nicht auslösen. [KI-Assistent für Hiring und MCP-Tools](/docs/hiring-ai-agent-mcp) · [Referenz der MCP-Tools](/docs/mcp-tools-reference#hiring_send_message)

Protokollieren Sie in Ihrer Testumgebung sowohl versuchte als auch akzeptierte Aufrufe. Geben Sie der Testauswertung ein Protokoll mit einem blockierten Versandversuch und prüfen Sie, ob der Durchlauf dadurch als fehlgeschlagen gilt. Die blockierte Anfrage zeigt, dass die Anwendung den Versand verhindert hat. Das Modell hat trotzdem eine Aktion gewählt, die der Ablauf nicht erlaubt.

## Legen Sie fest, wann Sie das Modell einführen

Führen Sie jeden Fall mit den vorgesehenen Betriebseinstellungen mehrmals aus. Legen Sie für beide Modelle dieselben Anforderungen an. Eine Antwort im falschen E-Mail-Verlauf, ein erfundenes Interview oder ein Versandversuch muss die Freigabe der Konfiguration verhindern, selbst wenn alle anderen Läufe einwandfrei sind. Falls dem bisherigen Modell derselbe Fehler unterläuft, korrigieren Sie den Ablauf und wiederholen Sie den Vergleich. Die Ausgaben können von Lauf zu Lauf variieren. Halten Sie deshalb fest, auf wie vielen Fällen und Durchläufen die Entscheidung beruht. [Empfehlungen von OpenAI für Evaluationen](https://developers.openai.com/api/docs/guides/evaluation-best-practices)

Wenn beide Konfigurationen bestehen, vergleichen Sie die Zeit bis zu einem prüfbaren Entwurf, die Kosten einschließlich erneuter Versuche und den Aufwand für die Nachbearbeitung. Halten Sie die bisherige Konfiguration einsatzbereit, führen Sie das neue Modell zunächst in begrenztem Umfang ein und wechseln Sie zurück, sobald ein Fehler auftritt, der im Test vor dem Produktivbetrieb die Freigabe verhindert hätte.

Ein bestandener Test zeigt, wie sich das Modell in den Fällen verhalten hat, die Sie durchgespielt haben. Gehen Sie von der Zusage aus, die der Recruiter tatsächlich gemacht hat, und prüfen Sie, was jedes Modell daraus macht.