Koszty pilotażu agenta AI: licz wyniki, które można zaakceptować

Żeby obliczyć koszt pilotażu agenta AI, podziel wartość nakładów na ustaloną partię zadań przez liczbę wyników niezależnie zaakceptowanych przed wyznaczonym terminem. Uwzględnij oprogramowanie, ponowne próby, weryfikację przez ludzi i usuwanie błędów. Obok kwoty pokaż stopień ukończenia, jakość i faktyczne wydatki. Tanie, ale niedokończone zadanie nie może uchodzić za użyteczny wynik.

Takie obliczenie pomaga zdecydować, czy przedłużyć pilotaż. Sam rachunek za model nie powie ci, czy stać cię na dany proces. Trzeba też wiedzieć, które wyniki spełniły wymagania, co nadal czeka w kolejce i czyja pomoc była potrzebna.

Co Pion mówi o opłacalności agentów?

Pion ułatwia prowadzenie eksperymentów z agentami w rzeczywistych warunkach, ale jego premiera nie dowodzi opłacalności takiego rozwiązania w twojej firmie. To powód, żeby dokładnie zmierzyć jeden proces o jasno określonym zakresie.

14 września Andon Labs ogłosiło wstępną wersję badawczą Pion, przeznaczoną do eksperymentów z autonomicznym prowadzeniem firm. Premiera wywołała ożywioną dyskusję na Hacker News. Andon opisało postępy w eksperymentach z automatami sprzedającymi, zaznaczając, że jego kawiarnia i sklep detaliczny nadal nie przynoszą zysku.

To wyniki przedstawione przez twórców, uzyskane w konkretnych warunkach. Nie są niezależnym audytem ani prognozą dla innych firm. Opis premiery autorstwa Andon Labs.

Za słowem działa może kryć się kilka różnych pytań. Czy system kończy zadanie? Czy przychód ze sprzedaży pokrywa koszt sprzedanych towarów? Czy działalność pokrywa bieżące wydatki? Czy inwestycja zwraca koszty uruchomienia? Zanim zaczniesz zbierać liczby, wybierz pytanie, na które chcesz odpowiedzieć.

Wcześniejszy raport Andon o kawiarni pokazuje jeszcze inne rozróżnienie. Koszty składników i opakowań, czynsz i wynagrodzenia, wartość zapasów oraz pieniądze zapłacone dostawcom opisują różne aspekty działalności. Niesprzedane zapasy mogą zachowywać wartość, choć firmie zaczyna brakować gotówki. Żaden z tych obrazów nie pokazuje całej sytuacji. Raport o Andon Cafe.

Na górze arkusza zapisz decyzję, którą ma wesprzeć pilotaż: „Czy powtórzyć ten proces w tych warunkach?”. Badanie może mieć wartość, nawet jeśli eksperyment przynosi stratę. Rozszerzenie działalności komercyjnej wymaga osobnych dowodów. Pokaż budżet przeznaczony na naukę, a koszty bieżącej pracy oceń oddzielnie.

Co uznać za zaakceptowany wynik?

Zaakceptowany wynik spełnia zapisane wymagania i został sprawdzony niezależnie od deklaracji agenta, że zadanie jest gotowe. Ustal wymagania przed rozpoczęciem pilotażu.

Poradnik Anthropic dotyczący oceny agentów odróżnia zapis czynności agenta od końcowego stanu systemu. Kolejne podejścia do tego samego zadania traktuje też jako osobne próby. Ta zasada przydaje się w pomiarach: deklaracja ukończenia nie dowodzi, że wymagany rezultat rzeczywiście istnieje. Poradnik Anthropic o ocenie agentów.

Posłużmy się autorskim przykładem. Załóżmy, że pilotaż polega na przygotowywaniu kart dostawców z dokumentów, które firma już ma. Zaakceptowana karta musi wskazywać właściwego dostawcę, mieć uzupełnione wymagane pola i dołączony dokument źródłowy oraz sygnalizować sprzeczne informacje.

Recenzent sprawdza te warunki, zanim oznaczy kartę jako gotową do kolejnego etapu. Pilotaż obejmuje przygotowanie danych, bez zatwierdzania płatności ani zmieniania danych bankowych.

Jednostką wyniku jest jedna karta dostawcy nadająca się do dalszego użycia. Strony dokumentów, wywołania narzędzi i wersje robocze opisują wykonane czynności. Możesz je liczyć, żeby wyjaśnić koszty, ale nie zwiększają liczby zaakceptowanych wyników.

Ustal partię zadań i nie przesuwaj terminu

Nadaj każdemu zadaniu identyfikator i zapisz, kiedy trafiło do pilotażu. Zachowaj pierwotny zestaw, również trudne zadania, które się nie powiodą. Jeśli jeszcze przed startem wykluczasz część przypadków, opisz zasadę kwalifikacji. Wtedy końcowy wynik będzie dotyczył pracy, którą faktycznie testujesz.

Termin zamknięcia pomiaru powinien odpowiadać temu, kiedy wyniki są potrzebne. Karta zaakceptowana później może się jeszcze przydać, ale nie była gotowa na pierwotnie ustalony termin. Zachowaj stan z tamtej chwili i dopisz późniejszy rezultat. Inaczej każdy kolejny dzień poprawia główny wskaźnik, nie pokazując kosztu oczekiwania.

Na koniec pomiaru stosuj trzy stany: zaakceptowane, odrzucone i niedokończone. Wynik odrzucony nie spełnił wymagań, a zadanie niedokończone nie ma jeszcze ostatecznego, zaakceptowanego wyniku. Do każdego wpisu dodaj powód. Pozwoli to odróżnić słabą jakość od brakujących danych albo kolejki czekającej na recenzenta.

Co zapisać w ewidencji kosztów pilotażu?

Przypisuj nakłady do całej przydzielonej partii, także do zadań, których wynik nigdy nie zostanie zaakceptowany. Oddziel zapłacone pieniądze od wartości czasu pracowników przeznaczonego na pilotaż. Na początek wystarczy arkusz z odnośnikami do istniejących zapisów.

Oddziel zwykłą weryfikację od usuwania błędów. Przeczytanie przygotowanej karty i sprawdzenie dokumentów to weryfikacja. Odnalezienie właściwego dokumentu po błędnym dopasowaniu, poprawienie pól i ponowne uruchomienie zadania to usuwanie błędów. Uwzględnij oba rodzaje pracy, ale rozróżniaj je, żeby wiedzieć, co poprawić.

Pomoc człowieka nie przekreśla eksperymentu. W drugiej fazie Project Vend opisano poprawę wyników przy utrzymaniu kontroli zakupów przez ludzi i innych form wsparcia. Publiczny opis nie zawiera pełnego zestawienia kosztów. Nie pozwala więc ustalić całościowych kosztów jednostkowych ani zakładać, że konkretny koszt pominięto. Project Vend, faza druga.

Notuj interwencje, ale nie zamieniaj pomiaru w nadzór nad pracownikami

Poproś uczestników o zapisywanie czasu według czynności i partii zadań, z informacjami wystarczającymi do wyjaśnienia powtarzających się problemów. Krótka notatka „wyjaśniono sprzeczne dane identyfikujące dostawcę” przyda się bardziej niż stos zrzutów ekranu. Nie zbieraj prywatnych wiadomości ani informacji o niezwiązanej z pilotażem aktywności tylko po to, żeby arkusz wyglądał na kompletny.

Jeżeli usuwanie błędu zajęło około godziny, oznacz ten czas jako szacunek. Gdy praca dotyczyła kilku pilotaży, zapisz regułę podziału jej kosztu. Niepewność powinna być widoczna: pozornie dokładne sumy oparte na niewyjaśnionych domysłach utrudnią kolejną decyzję.

Jak obliczyć koszt zaakceptowanego wyniku?

Zsumuj nakłady na bieżącą obsługę partii i podziel je przez liczbę wyników zaakceptowanych w terminie. Koszt przygotowania pokaż osobno. Dzięki temu odbiorca zobaczy zarówno nakłady na powtarzalną pracę, jak i całkowity koszt pierwszej partii.

Poniższy przykład jest w całości hipotetyczny. Kwoty, czas, liczba zadań i zaakceptowanych wyników są wymyślone, żeby pokazać obliczenia. Nie pochodzą z Pion, od klientów Kit ani z branżowego porównania. Wszystkie kwoty podano przykładowo w dolarach amerykańskich.

Pilotaż przygotowania kart dostawców obejmuje 100 zadań. W wyznaczonym terminie 80 wyników jest zaakceptowanych, 12 zadań niedokończonych, a 8 wyników odrzuconych. Bieżące koszty AI i oprogramowania wynoszą 200 USD. Pracownicy poświęcają 6 godzin na weryfikację i 2 godziny na usuwanie błędów, przy założonej łącznej stawce kosztowej 50 USD za godzinę.

Stawka obejmuje tu wartość czasu pracownika wraz z wybranymi kosztami zatrudnienia. Zastępując założenia rzeczywistymi danymi, wyjaśnij, jakie składniki uwzględniasz we własnym rachunku.

Koszt bieżący na zaakceptowany wynik: 600 USD ÷ 80 = 7,50 USD.

Jeśli żaden wynik nie został zaakceptowany, iloraz nie jest określony. Pokaż poniesione nakłady i zero zaakceptowanych wyników. Nie wyświetlaj zerowego kosztu ani nie ukrywaj nieudanej partii.

Podzielenie rachunku za oprogramowanie przez liczbę przydzielonych zadań daje 200 USD ÷ 100 = 2 USD. To koszt oprogramowania na przydzielone zadanie. Pomija pracę ludzi, a w mianowniku uwzględnia również zadania niedokończone i wyniki odrzucone. Jeśli go podajesz, nazwij go zgodnie z tym, co mierzy. Nie przedstawiaj go jako kosztu zaakceptowanego wyniku.

Pokaż osobno przygotowanie i wydatki pieniężne

Załóżmy, że przygotowanie zajmuje 10 godzin po 50 USD, czyli 500 USD. Po jego uwzględnieniu łączne nakłady na pierwszą partię wynoszą 1100 USD, a 1100 USD ÷ 80 = 13,75 USD na zaakceptowany wynik. Ta kwota opisuje nakłady na pierwszą partię w całości. Wcześniejsze 7,50 USD obejmuje jej bieżącą obsługę bez przygotowania.

W późniejszej prognozie możesz rozłożyć koszt przygotowania na przewidywaną liczbę zadań. Pokaż to założenie oraz skutki wcześniejszego zakończenia pilotażu. W jednej sumie nie uwzględniaj jednocześnie całego kosztu przygotowania i rozłożonej w czasie części tej samej kwoty.

Wycena pracy nie musi oznaczać nowych płatności. Czas osób otrzymujących stałe wynagrodzenie nadal ma koszt, choć pilotaż może nie zmienić wydatków na płace. Zachowaj osobną kolumnę dla faktycznych opłat i osobną dla nakładów służących szerszemu porównaniu. Nie zastępuj jednego rachunku drugim bez wyjaśnienia.

Na stronie Pion opisano finansowanie tokenów na start dla wybranych pomysłów i przewidywany model udziału w przychodach, bez podania konkretnej stawki dla wszystkich. Zanotuj wsparcie, które twój pilotaż faktycznie otrzymał, wraz z datą wygaśnięcia i ograniczeniami. Tymczasowe środki promocyjne nie określają ceny dalszego działania. Strona produktu Pion.

Jak porównać pilotaż z obecnym sposobem pracy?

Porównuj zadania o podobnej trudności, przy tych samych wymaganiach akceptacji i terminie. Obok kosztów pokaż niedokończoną pracę. Niższy koszt jednostkowy nie powinien przesłaniać mniejszej liczby wyników dostarczonych na czas.

W naszym hipotetycznym porównaniu obecny proces daje 100 zaakceptowanych kart w 20 godzin, po 50 USD za godzinę. Przypisane nakłady wynoszą 1000 USD, czyli 10 USD na zaakceptowany wynik. Koszt bieżący pilotażu jest niższy i wynosi 7,50 USD, ale zaakceptowano w nim tylko 80 kart. Po uwzględnieniu przygotowania koszt pierwszej partii wyniósł 13,75 USD na wynik.

To kilka ustaleń, a nie dowód równoważności obu procesów. Pilotaż wymagał mniejszych przypisanych nakładów bieżących, lecz dostarczył mniej zaakceptowanych wyników w terminie. Nadal potrzebujesz planu dla zadań niedokończonych i wyników odrzuconych. Wnioski o zatrudnieniu czy oszczędnościach wymagałyby więcej dowodów, niż dostarcza ten arkusz.

Stosuj te same zasady po obu stronach porównania

Uwzględnij weryfikację i poprawki również w obecnym procesie. Jeżeli dziś jedna osoba sprawdza pracę drugiej, pozostaw ten czas w kosztach porównawczych. Zapisuj też błędy ludzi odkryte później. Inaczej wymagasz od agenta spełnienia warunku, którego nie stosujesz wobec drugiej strony.

Dobierz porównywalne grupy zadań, zanim poznasz wyniki. Gdy pilotaż przetwarza kompletne dokumenty, a pracownicy zajmują się brakującymi załącznikami, testujesz węższy zakres pracy. Może to być rozsądny pierwszy eksperyment, o ile wnioski pozostają ograniczone do tego zakresu.

Znaczenie ma także to, kto poświęcił czas. Ograniczenie pracy początkujących osób kosztem większego udziału trudno dostępnych specjalistów w weryfikacji może być dla zespołu niekorzystne. Średni koszt potrafi ukryć brak czasu konkretnej osoby, przez który kolejna partia nie zostanie ukończona.

Sprawdź, czy oszczędność utrzyma się po typowych zmianach

W osobnej kolumnie zapisz scenariusze zmian: wsparcie się kończy, weryfikacja trwa dłużej, zadania są trudniejsze albo trzeba powtórzyć przygotowanie. Zmieniaj po jednym założeniu, żeby zobaczyć, co wpływa na decyzję. Oznacz każdą prognozę i nie mieszaj jej z zaobserwowanymi wynikami pilotażu.

Odzyskany czas można przeznaczyć na inne zadania. Oszczędność pieniężna powstaje dopiero wtedy, gdy zmieni się rzeczywisty wydatek. Przy szerszych decyzjach kadrowych połącz te dane z planowaniem zatrudnienia z uwzględnieniem ludzi i agentów AI. Sam szacunek czasu nie wystarcza do decyzji o wakacie.

Kiedy przedłużyć, zmienić lub zakończyć pilotaż?

Ustal wcześniej, jakie dowody uzasadnią kolejną partię. Koszt, akceptacja, terminowość i niedopuszczalne błędy wymagają osobnych warunków. Jedna średnia nie odpowie na wszystkie te pytania.

W przykładzie z kartami dostawców błędne dane bankowe, które przedostałyby się do procesu płatności, wymagałyby zatrzymania pracy i wyjaśnienia zdarzenia, nawet przy atrakcyjnym średnim koszcie. Ustal wyraźne zasady postępowania z poważnymi błędami. Ich uwzględnienie w średnim koszcie nie sprawia, że ryzyko staje się dopuszczalne.

Na koniec pomiaru sporządź krótką notatkę z decyzją:

1. Co przetestowano? Podaj partię, konfigurację, zasady kwalifikacji i termin.
2. Co dostarczono? Wymień wyniki zaakceptowane i odrzucone oraz zadania niedokończone, wraz z dowodami i powodami.
3. Jakie poniesiono nakłady? Pokaż oprogramowanie, pracę ludzi, przygotowanie i rzeczywiste wydatki pieniężne.
4. Co zostało do zrobienia? Wskaż, kto dokończy zaległą pracę lub usunie błędy i gdzie zostaną zapisane późniejsze koszty.
5. Co dalej? Przedłuż działanie w tej samej konfiguracji, zmień konkretny element albo zakończ pilotaż. Zapisz powód i datę ponownej oceny.

Jeśli zmieniasz model, instrukcje lub narzędzia, zanotuj nową konfigurację przed kolejną partią. Lepsze wyniki po kilku zmianach mówią coś o zmienionym systemie. Nie wskazują, która z nich spowodowała poprawę.

Brak dowodów też jest ustaleniem. Jeśli nikt nie potrafi odtworzyć czasu weryfikacji ani potwierdzić akceptacji, popraw pomiar, zanim zdecydujesz o znacznym rozszerzeniu pilotażu. Nadal możesz opisać zdobytą wiedzę i poniesione na nią wydatki.

Wraz ze wzrostem pilotażu jego działanie zaczyna zależeć od dostępności recenzentów. Jeśli to ona cię ogranicza, osobny poradnik o budowaniu zespołu do weryfikacji wyników AI opisuje, jak zapewnić ciągłość obsady. W arkuszu kosztów zachowaj prostsze pytanie: ile pracy osób o odpowiednich kwalifikacjach wymagała ta partia?

Które dane o kosztach może dostarczyć Kit?

Ewidencja zużycia może zasilić część arkusza pilotażu, ale akceptację wyników i pracę ludzi trzeba udokumentować osobno. Najpierw ustal dokładnie, które wywołania dany produkt mierzy.

Kit zapisuje szacunkowy koszt i metadane zużycia dla objętych pomiarem wywołań AI wewnątrz aplikacji. Udostępnia zestawienia według członków zespołu i miesięcy. Wiersze poszczególnych osób nie obejmują wywołań w tle bez przypisanego użytkownika, które trafiają do sum miesięcznych.

Mechanizm limitów sprawdza zużycie przed nowymi wywołaniami objętymi pomiarem. Nie wyznacza jednak jednej, nieprzekraczalnej kwoty na fakturach dostawców. Zapisane dane obejmują część kosztów bieżących. Poradnik Kit o dostawcach AI i kontroli wydatków.

Korzystając z tych zapisów, uwzględniaj wszystkie ograniczenia ich zakresu: ocena na żywo w Hiring i wzbogacanie danych w tle w analizie wynagrodzeń pozostają poza ewidencją i limitami, a pomiar embeddingów jest niepełny. Rachunki za modele używane przez zewnętrzne klienty MCP są odrębne, choć działanie wywołane przez MCP może uruchomić mierzone generowanie wewnątrz Kit.

Nie potwierdzono integracji Kit z Pion. Kit nie mierzy minut pracy ludzi ani nie modeluje zysku całej firmy. Same szacunki zużycia nie dowodzą oszczędności i nie wystarczą do uzgodnienia każdej faktury od dostawcy.

Połącz objęte pomiarem zużycie z fakturami, dowodami akceptacji i własnym przypisaniem czasu pracy. Nie trać z oczu pierwotnego zestawu zadań i terminu. Wtedy możesz uzasadnić decyzję: co nadaje się do użycia, co pozostało niedokończone i jakie nakłady pochłonęła praca.