OpenAI pokazuje, jak mierzyć ROI z AI. Zapomnij o tokenach

Ile kosztuje token? Złe pytanie. Ile kosztuje ukończone zadanie? To już rozmowa, którą warto prowadzić. Sarah Friar, CFO OpenAI, właśnie opublikowała framework, który może zmienić sposób, w jaki firmy patrzą na wydatki na AI. To nie jest kolejna próba wmówienia Ci, że "AI się opłaca". To konkretna metoda pomiaru.

Przez lata rynek mierzył sukces oprogramowania przez liczbę zakupionych licencji, aktywnych użytkowników, odnowionych subskrypcji. Proste. AI wymaga innego podejścia - liczy się wykonana praca. Friar proponuje cztery pytania, które składają się na "Useful Intelligence per Dollar" - użyteczną inteligencję na dolara.

Cztery pytania, które pokazują prawdziwy koszt AI

Pierwsze pytanie: czy AI wykonuje pracę, która ma znaczenie? Nie chodzi o to, ile tokenów wygenerowało. Chodzi o to, ile problemów klientów rozwiązało, ile zmian w kodzie pomogło wdrożyć, ile umów przejrzało, ile czasu oddało ludziom. Tokeny tworzą wartość dopiero wtedy, gdy przekształcają się w użyteczną pracę.

Friar sugeruje zacząć od jednego przepływu pracy. Zdefiniować, co znaczy "zrobione" i mierzyć ten wynik w systemie, gdzie praca się dzieje. Dla zespołu wsparcia "zrobione" to rozwiązany problem klienta. Dla programistów - zmiana w kodzie, która przechodzi testy. Dla prawników - umowa przejrzana dokładnie i na czas.

Przykład z życia: zespół finansowy przygotowuje się do przeglądu prognozy. Większość pracy dzieje się przed podjęciem decyzji - znalezienie najnowszej prognozy, przeniesienie danych do Excela, identyfikacja zmian, uzgodnienie zakładek, odbudowa slajdów, sprawdzenie czy wszystko się zgadza. ChatGPT Work może przejąć znaczną część tego procesu, dając zespołowi więcej czasu na pytania, które naprawdę mają znaczenie: Co się zmieniło? Dlaczego? Co powinniśmy zrobić dalej?

Koszt zadania, nie koszt tokena

Drugie pytanie: ile kosztuje dobre wykonanie tej pracy? Zadania AI różnią się znacząco. Szybka odpowiedź może wymagać niewiele mocy obliczeniowej. Przepływ pracy związany z kodowaniem, badaniami lub finansami może wymagać głębszego rozumowania, użycia narzędzi i wielu działań. Te bardziej złożone zadania mogą wymagać więcej zasobów, ale też tworzyć znacznie więcej wartości.

Na poziomie modelu koszt na ukończone zadanie zależy od ceny, ilości użytych zasobów obliczeniowych i prawdopodobieństwa osiągnięcia właściwego rezultatu. Dla firmy pełny koszt obejmuje też czas pracowników, przegląd przez człowieka, ponowne próby i poprawki. Kalkulacja jest prosta: dodaj pełny koszt wykonania pracy, policz zadania, które spełniły wymagany standard jakości, podziel pełny koszt przez liczbę udanych zadań.

Dlatego najniższa cena za token nie zawsze daje najniższy koszt na wynik. Model z najwyższej półki może dostarczyć najlepszą wartość nawet dla rutynowego zapytania, jeśli da właściwą odpowiedź za pierwszym razem - redukując ponowne próby, opóźnienia, przegląd i całkowite zużycie zasobów.

Niezawodność i skalowalność - dwa pytania o przyszłość

Trzecie pytanie dotyczy zaufania: czy ludzie mogą polegać na wyniku? Niezawodność to nie tylko dokładność - to także spójność, bezpieczeństwo i kontrola. Czy system działa przewidywalnie? Czy chroni wrażliwe dane? Czy ludzie wiedzą, kiedy mogą zaufać wynikowi, a kiedy powinni go zweryfikować?

Friar podkreśla, że niezawodność AI buduje się przez jasne granice odpowiedzialności. Ludzie muszą wiedzieć, co AI może zrobić dobrze, a gdzie potrzebna jest ich uwaga. To nie jest kwestia techniczna - to kwestia zaufania w organizacji.

Zwrot z mocy obliczeniowej

Czwarte pytanie: czy każdy dolar wydany na AI produkuje więcej wartości wraz ze wzrostem użycia? Tutaj wchodzi ekonomia skali. Czy koszt na zadanie spada, gdy system obsługuje więcej pracy? Czy wartość rośnie szybciej niż koszty?

OpenAI nazywa to "return on compute" - zwrot z mocy obliczeniowej. Im więcej użytecznej pracy system wykonuje na jednostkę zasobów, tym lepszy zwrot. To pytanie o przyszłość: czy inwestycja w AI będzie się skalować, czy utkniesz w miejscu, gdzie każde dodatkowe zadanie kosztuje tyle samo co pierwsze?

Framework Friar nie jest rewolucją. To systematyzacja tego, co firmy wdrażające AI powinny już robić - mierzenie wartości, nie aktywności. Różnica między "ile tokenów zużyliśmy" a "ile problemów rozwiązaliśmy" to różnica między raportem z działań a realnym ROI.

Co to zmienia w praktyce

Jeśli jesteś CFO lub osobą odpowiedzialną za budżet AI w firmie, ten framework daje Ci konkretny język do rozmowy z dostawcami. Zamiast pytać "ile kosztuje milion tokenów", pytasz "ile kosztuje rozwiązanie jednego problemu klienta" lub "ile kosztuje przejrzenie jednej umowy".

Jeśli jesteś osobą wdrażającą AI, masz teraz strukturę do mierzenia postępów. Nie liczysz użytkowników, którzy "próbowali" narzędzia. Liczysz zadania, które zostały ukończone i przyniosły wartość. To zmienia sposób, w jaki prezentujesz wyniki - od metryk próżności do biznesowego wpływu.

Dla polskich firm, które dopiero zaczynają przygodę z AI, ten framework może być punktem wyjścia do świadomego wdrożenia. Zamiast kupować "AI bo wszyscy kupują", definiujesz konkretny przepływ pracy, mierzysz koszt jego wykonania dziś i porównujesz z kosztem wykonania przez AI. Jeśli AI robi to taniej i nie gorzej - masz case. Jeśli nie - oszczędzasz sobie rozczarowania.

OpenAI publikuje ten framework w momencie, gdy rynek zaczyna pytać o konkretny zwrot z inwestycji w AI. Lata entuzjazmu i eksperymentów przechodzą w fazę "pokaż mi liczby". Friar daje narzędzie, które pozwala te liczby pokazać - albo przyznać, że ich nie ma.

Najczęstsze pytania

Czy mierzenie kosztu na zadanie działa dla każdego typu pracy AI?

Nie dla każdego. Dobrze sprawdza się tam, gdzie możesz jasno zdefiniować "zrobione" - obsługa klienta, przegląd dokumentów, generowanie kodu. Gorzej w pracy kreatywnej lub eksploracyjnej, gdzie wartość jest trudna do zmierzenia. Tam lepiej mierzyć czas zaoszczędzony ludziom lub jakość decyzji.

Jak policzyć koszt przeglądu przez człowieka w całkowitym koszcie zadania?

Pomnóż stawkę godzinową osoby przeglądającej przez średni czas przeglądu jednego wyniku AI. Dodaj do tego koszt compute i ewentualnych ponownych prób. Jeśli 30% wyników wymaga poprawek, uwzględnij też koszt tych poprawek. Pełny koszt to suma wszystkich kroków od zapytania do zaakceptowanego wyniku.

Czy tańszy model zawsze wymaga więcej prób niż droższy?

Nie zawsze. Modele z najwyższej półki mają wyższe prawdopodobieństwo sukcesu za pierwszym razem, szczególnie w złożonych zadaniach. Tańsze modele mogą być wystarczające dla prostych, powtarzalnych zadań. Kluczowe jest testowanie na Twoich konkretnych przypadkach użycia - nie zakładaj, sprawdź.

Jak mierzyć "return on compute" w praktyce?

Podziel liczbę udanych zadań przez całkowity koszt compute w danym okresie. Jeśli liczba rośnie - dostajesz więcej wartości z tej samej mocy obliczeniowej. Jeśli spada - albo zadania stają się trudniejsze, albo system nie skaluje się efektywnie. Śledź ten wskaźnik miesięcznie, żeby zobaczyć trend.