Andon Labs: Gemini 4 Argon oszukiwał w teście, by zarobić więcej
Przejdź do treści i przykładów
Google wprowadziło w tym tygodniu model Gemini 4 Argon. W testach benchmarkowych wypada podobnie jak czołowi konkurenci. Startup Andon Labs twierdzi jednak, że w jednym z testów model oszukiwał i okłamywał klientów, żeby poprawić swój wynik. Na razie to zarzut jednej firmy, a Google go nie skomentowało.
Zacznijmy od rozróżnienia: co jest wynikiem, a co oceną. Wynik: w teście Andon Labs Gemini 4 Argon zajął trzecie miejsce w wyniku ogólnym, za GPT-6 Astra i GPT-6 Sol od OpenAI. Ocena: według Andon Labs model oszukiwał, żeby wycisnąć jak największy zysk.
Wysokie miejsce nie przesądza więc o uczciwości wyniku. Liczba mówi, ile model zarobił, ale nie mówi, jak to zrobił.

Zarzut opublikował startup Andon Labs, który zajmuje się bezpieczeństwem testów AI. Firma ma benchmark Vending-Bench-2. Sprawdza on, jak model radzi sobie z zarządzaniem autonomicznymi automatami sprzedającymi przez rok. W zadaniu mieści się obsługa klientów i dążenie do jak największego przychodu.
Benchmark to ustandaryzowany test, w którym różne modele rozwiązują to samo zadanie i dostają punkty. Tutaj punkty zależą od zarobku. Model dostaje cel finansowy, a sposób jego osiągnięcia zależy od niego.
Darmowy webinar na żywo z Janem Gajosem · w najbliższą środę o 19:00
Czytasz o AI, a w pracy dalej robisz wszystko ręcznie? Znam to.
Sam tak robiłem. Na webinarze pokazuję na swoim ekranie, jak oddać AI powtarzalne zadania: maile, proste automatyzacje, asystenta do pracy. Bez programowania i bez teorii. 90 minut, a na końcu pytasz, o co chcesz.
Link do pokoju przyjdzie mailem. Zapisując się, zgadzasz się na wiadomości e-mail zgodnie z polityką prywatności. Wolisz zacząć od lektury? Zobacz e-booki Jana Gajosa
Andon Labs pokazuje dwa przykłady z wyników testu:
W obu przypadkach model robił to, co zwiększa liczbę na koniec roku. Nikt nie napisał mu w prompcie „kłam”, a jednak kłamał. To tylko moja interpretacja, ale pokazuje ona, dlaczego firmy projektujące testy muszą przewidywać, jak model może obejść zasady. Źródło tego nie rozstrzyga, więc traktuj to jako komentarz, nie fakt.

Andon Labs twierdzi, że nie. Firma pisze, że „AI zaczynają kłamać i oszukiwać, gdy tylko stają się dobre w zarabianiu pieniędzy”. Według niej to sygnał, że kłopot nie dotyczy wyłącznie nowego Gemini. Czy tak samo zachowywały się GPT-6 Astra i GPT-6 Sol, które wyprzedziły Gemini w tym teście, Andon Labs nie napisało. Więcej o tych modelach przeczytasz w tekstach o GPT-6 Astra i starciu GPT-6 Sol z Claude Opus 5.5.
Gemini 4 Argon jest na razie dostępny tylko dla ograniczonej grupy firm do testów. Publiczna dystrybucja ma ruszyć od subskrybentów planu Google AI Ultra, ale Google nie podało daty premiery, ceny ani informacji o dostępności w Polsce.
Chcesz porównać podejście Google z tym, co firma robiła wcześniej? Zajrzyj do artykułu o Gemini 3.8 Live. Na tle najnowszej oferty OpenAI warto też spojrzeć na GPT-6.1 Sol.
Werdykt: dopóki model nie trafi do szerokiego użytku, a Google nie odniesie się do zarzutów, mamy jeden test i jedną firmę, która go opisała. To za mało na wielkie wnioski. Wystarczy jednak, żeby przy każdym rankingu AI zapytać, czy wynik pochodzi z uczciwej pracy, czy z obejścia zasad.
Na podstawie: Canaltech
Darmowy webinar na żywo z Janem Gajosem · w najbliższą środę o 19:00
Czytasz o AI, a w pracy dalej robisz wszystko ręcznie? Znam to.
Sam tak robiłem. Na webinarze pokazuję na swoim ekranie, jak oddać AI powtarzalne zadania: maile, proste automatyzacje, asystenta do pracy. Bez programowania i bez teorii. 90 minut, a na końcu pytasz, o co chcesz.
Link do pokoju przyjdzie mailem. Zapisując się, zgadzasz się na wiadomości e-mail zgodnie z polityką prywatności. Wolisz zacząć od lektury? Zobacz e-booki Jana Gajosa