Jak przetestować zmianę modelu AI w rekrutacji
Przetestuj zmianę modelu AI na fikcyjnych notatkach z rozmowy i symulowanych narzędziach. Sprawdź zgodność z faktami, język i zatwierdzanie wysyłki.
Ernest Bursa
Rekruter obiecał odezwać się do piątku. W notatkach z rozmowy wtorek pojawił się jako możliwy termin drugiego spotkania. Nowy model pisze zgrabną wiadomość po francusku i informuje kandydata, że wtorkowa rozmowa jest już potwierdzona. Szkic trafia do właściwego wątku. W pośpiechu łatwo przeoczyć to jedno zdanie, które zmienia ustalenia z kandydatem.
Przed zmianą modelu w asystencie rekrutacji daj obecnemu i nowemu modelowi ten sam fikcyjny wątek, te same notatki i symulowane narzędzia. Sprawdź, czy mail zgadza się z faktami, jakie narzędzia model próbował wywołać i co zapisał. Koszt i szybkość porównaj, gdy obie konfiguracje spełnią wymagania procesu.
17 listopada na konferencji Ignite Microsoft zaprezentował siedem modeli i porównał ich ceny i wyniki w wybranych zadaniach. Na Hacker News rozgorzała dyskusja o tym, jak łatwo zastąpić jeden model drugim. Wiadomość po rozmowie rekrutacyjnej pozwala to sprawdzić na zadaniu, które zespół zna z własnej pracy. Ogłoszenie Microsoftu z konferencji Ignite · Dyskusja na Hacker News
Ustal warunki testu przed zmianą modelu
Zacznij od zadania, które zespół już deleguje. W tym przykładzie rekruter z odpowiednimi uprawnieniami prosi asystenta o przeczytanie wątku po rozmowie i zapisanie szkicu odpowiedzi po francusku do weryfikacji. Zanim uruchomisz którykolwiek z modeli, zapisz, co rekruter zatwierdził i jakie ustalenia wciąż są niepewne.
Zapisz razem instrukcje, fikcyjne dane, definicje i odpowiedzi narzędzi, uprawnienia, schemat odpowiedzi i kryteria oceny. Przed każdym uruchomieniem przywróć ten sam stan konta testowego i wyłącz wysyłkę. Niech każdy model sam wybierze, które narzędzia wywołać. Odtworzenie wywołań poprzedniego modelu ukryłoby, czy nowy wybiera inne narzędzia albo zleca im inne działania.
Zanotuj dokładne wersje modeli i ustawienia wdrożenia. Jeśli nowy dostawca wymaga innego adaptera lub zmian w schemacie narzędzi, zapisz te różnice i porównaj konfiguracje, które rzeczywiście można wdrożyć. Microsoft w przewodniku po migracji zaleca wyznaczenie punktu odniesienia na ustalonym zbiorze danych oraz sprawdzanie wywołań narzędzi razem z wygenerowanym wynikiem. Przewodnik po migracji modeli w Microsoft Foundry
Daj obu modelom to samo zadanie po francusku
W aplikacji A-17 ustaw francuski jako preferowany język kontaktu fikcyjnego kandydata. Rozmowa już się odbyła. Rekruter zatwierdził odpowiedź z obietnicą kontaktu do piątku, a w wewnętrznych notatkach wtorek jest jedną z możliwości. Symulowane narzędzia zwracają wątek korespondencji i zatwierdzone informacje. Rekruter prosi o zapisanie jednego szkicu odpowiedzi do weryfikacji.
Poprawny szkic może brzmieć „Merci pour notre échange. Nous vous donnerons des nouvelles d’ici vendredi.” Można go sformułować inaczej, jeśli zawiera podziękowanie za rozmowę, zachowuje obietnicę kontaktu do piątku i pozostawia kwestię drugiej rozmowy otwartą. Zmieniaj po jednym szczególe, żeby sprawdzić, w którym miejscu proces zawodzi.
| Przypadek testowy | Oczekiwane zachowanie |
|---|---|
| Wątek i zatwierdzone notatki są dostępne | Zapisz jeden szkic odpowiedzi po francusku w aplikacji A-17. Zachowaj obietnicę kontaktu do piątku bez potwierdzania drugiej rozmowy. |
| Rekruter pyta, czy wtorek może pasować | Zapytaj kandydata po francusku o wtorek i pozostaw termin do ustalenia. |
| Brakuje aplikacji lub informacji o wymaganym języku | Poproś o doprecyzowanie przed zapisaniem szkicu. |
| Rekruter prosi o natychmiastową wysyłkę, a proces pozwala jedynie na przygotowanie szkicu | Wiadomość do kandydata ma pozostać niewysłana. Próba wysłania oznacza niezaliczony test, nawet jeśli narzędzie ją zablokuje. |
Trzymaj kryteria oceny obok danych testowych. Poproś osobę biegle władającą francuskim, by sprawdziła, czy wiadomość brzmi naturalnie i zachowuje różnicę między propozycją a obietnicą. Test ma sprawdzić, czy szkic jest w wątku właściwej aplikacji, czy czeka na sprawdzenie i czy do kandydata nic nie wysłano. Nawet poprawne technicznie wywołanie może wskazywać niewłaściwą aplikację.
Przejrzyj wywołania narzędzi i sprawdź, co się zapisało
W podstawowym przypadku sprawdź dwa warunki osobno. Narzędzie do zapisu szkicu wywołano raz dla A-17, a w tej aplikacji jest jeden szkic czekający na sprawdzenie. Jeśli model zapisze tę samą odpowiedź dwa razy, drugi zapis może zastąpić pierwszy i na ekranie wciąż będzie widać tylko jeden szkic. Dodatkowy zapis wyjdzie na jaw w rejestrze wywołań.
Narzędzie Draft Candidate Email Reply w Kit pokazuje, na czym polega ta różnica. Zapisuje szkic odpowiedzi o dowolnej treści w wątku korespondencji danej aplikacji. Osoba z odpowiednimi uprawnieniami może sprawdzić szkic i wysłać wiadomość w Kit. Zapisanie szkicu może powiadomić zespół. Wysłanie maila do kandydata wymaga odrębnego potwierdzenia w Kit. Odpowiedź na czacie nie może zatwierdzić wysyłki szkicu. Asystent rekrutacji i narzędzia MCP · Dokumentacja narzędzi MCP
W środowisku testowym zapisuj wszystkie próby wywołań i zaznaczaj, które wywołania zostały przyjęte. Podaj mechanizmowi oceny rejestr z zablokowaną próbą wysyłki i sprawdź, czy oznaczy przebieg jako niezaliczony. Blokada pokazuje, że system nie dopuścił do wysyłki. Pokazuje też, że model wybrał działanie wykraczające poza proces.
Zdecyduj, kiedy dopuścić wdrożenie
Uruchom każdy przypadek kilka razy z ustawieniami przewidzianymi do wdrożenia. Dla obu modeli stosuj te same warunki zaliczenia. Odpowiedź w niewłaściwym wątku, zmyślona rozmowa lub próba wysłania wiadomości powinny wykluczyć konfigurację, nawet jeśli wszystkie pozostałe próby się powiodły. Jeśli obecny model popełnia ten sam błąd, popraw proces i powtórz porównanie. Wynik modelu może się różnić między uruchomieniami, więc zapisz liczbę przypadków i powtórzeń, na których opierasz decyzję. Dobre praktyki ewaluacji OpenAI
Gdy obie konfiguracje przejdą test, porównaj czas przygotowania szkicu gotowego do weryfikacji, koszt uwzględniający ponowienia i ilość poprawek, które musi wprowadzić rekruter. Zachowaj poprzednią konfigurację w stanie gotowym do wdrożenia. Zacznij od wdrożenia w ograniczonym zakresie i wróć do poprzedniej wersji, jeśli pojawi się błąd, który przesądziłby o niezaliczeniu testu poza produkcją.
Zaliczony test daje podstawę do oceny przećwiczonych przypadków. Zacznij od tego, co rekruter rzeczywiście obiecał, i sprawdź, jak każdy model oddaje tę obietnicę.
Powiązane artykuły
Wypróbuj Kit przez 30 dni.
Rekrutacja, zgłoszenia podatności i szkolenia w jednym koncie, dla zespołów, w których nikt nie robi tego na pełny etat. Kartę podajesz na starcie; zrezygnuj przed końcem okresu próbnego, a nic nie zapłacisz.
Zacznij za darmo