Polski basal-omni wygrywa JevBench, ale to nie rywal ChatGPT

Polski model basal-omni-1.0-ultra, rozwijany przez Remigiusza Kinasa, zajął pierwsze miejsce wśród modeli z otwartymi wagami w rankingu JevBench. W zestawieniu v1.6.28 z 17 października zdobył 82,5 pkt w kategorii Capability Score. Jak opisał 21 października ITwiz, w ocenie trafności decyzji i pewności odpowiedzi wyprzedził m.in. rozwiązania OpenAI i Microsoftu. To wynik testu. Deklaracją jest komentarz autora na X: „Czyli można? Można! Polskie AI”.

Nagłówek „polski model pokonał OpenAI” czyta się jak wiadomość o nowym rywalu ChatGPT. Nim nie jest. Basal powstał do automatyzacji powtarzalnych decyzji, które firmy podejmują tysiące razy dziennie. Zobacz, co ten wynik naprawdę mówi.

JevBench ocenia decyzje, a nie pisanie tekstów

JevBench nie sprawdza, który model najlepiej pisze teksty, generuje kod albo prowadzi rozmowę. Sprawdza, jak radzi sobie z podejmowaniem konkretnych decyzji. W teście obejmującym 1500 przypadków system musi wybrać odpowiedź z dostępnych opcji. Ranking ocenia m.in. trafność oraz kalibrację, czyli zgodność deklarowanej pewności z rzeczywistą skutecznością.

Kalibracja to pojęcie z akademickiego słownika, a jest bardzo praktyczna. Model, który mówi „jestem pewien na 95%” i myli się co drugi raz, jest groźniejszy niż taki, który mylił się równie często, ale uczciwie to zaznaczał. Ranking nagradza właśnie tę uczciwość.

Ranking kierowców wózków widłowych nic nie mówi o tym, kto lepiej prowadzi tira. Tak samo wynik basala nie oznacza, że jest ogólnie lepszy od modeli OpenAI czy Microsoftu. W rankingu chodzi o określony typ zadań i konkretną metodę pomiaru.

Pierwszy wśród otwartych, drugi w szerszym porównaniu, trzeci w sumie

Liczby warto czytać razem, bo każda mówi coś innego:

• 82,5 pkt w Capability Score daje pierwsze miejsce wśród modeli z otwartymi wagami.
• Drugie miejsce w szerszym porównaniu, które obejmuje też zamknięte systemy dostępne przez API. Wyżej jest tylko kettei-fat firmy Sqwish z wynikiem 86,3 pkt.
• Trzecie miejsce wśród 184 modeli z otwartymi wagami w łącznym wyniku JevBench, który uwzględnia także szybkość i koszt.
• 0,102 s to mediana czasu odpowiedzi, a 0,045 dolara to koszt tysiąca decyzji. Obie liczby pochodzą z pomiarów JevBench.

Tyle faktów. Do tabeli wynikowej wracaj samodzielnie, bo ranking ma wersje i może się zmieniać. Opisany wynik dotyczy wersji z 17 października.

Do czego basal służy: zgłoszenia, faktury, dokumenty

Basal to autorski projekt Remigiusza Kinasa. Składa się z własnego silnika uruchomieniowego basal-serve i dwóch rodzin modeli. Basal-2.0 bazuje na polskim Bieliku v3, a basal-omni na modelu Gemma 4 od Google. Kinas pracuje jako Principal AI Researcher w Ingenix.ai i jest jednym ze współtwórców polskich modeli Bielik.

Model ma dawać konkretną decyzję, a nie rozbudowaną odpowiedź. Może na przykład:

• przyporządkować zgłoszenie klienta do odpowiedniego działu,
• sprawdzić dokument według określonych reguł,
• wyciągnąć dane z faktury,
• wskazać kolejny krok dla agenta AI.

Silnik obsługuje wybór jednej lub kilku odpowiedzi, decyzje „tak”, „nie” albo „nie wiadomo”, ocenianie na skali i analizę dokumentów. Najciekawsza jest opcja „nie wiadomo”. Jeśli model nie ma wystarczającej pewności, może przekazać sprawę człowiekowi. Twórca rozwija też mechanizmy, które określają, kiedy model może rozstrzygnąć sprawę sam, a kiedy powinien oddać ją pracownikowi.

Taki układ ma sens tam, gdzie firma obsługuje duże liczby podobnych spraw. Zamiast angażować rozbudowany model językowy do każdej operacji, możesz użyć systemu, który szybko wybiera jedną z określonych odpowiedzi. Podobne zadania, czyli klasyfikację, ekstrakcję i routing, Anthropic przypisuje swojemu najtańszemu modelowi, opisanemu w tekście o Claude Haiku 5.5. Pole do wyboru rośnie, ale porównywać trzeba na własnych danych. Rankingi mierzą inne rzeczy niż Twoje faktury.

Na własnym serwerze, ale najpierw test na własnych przykładach

Kod silnika basal-serve jest na GitHubie, a modele na Hugging Face. Firma może więc uruchomić je na własnej infrastrukturze, bez przesyłania danych do zewnętrznego dostawcy usługi. To ważne zwłaszcza przy dokumentach z danymi osobowymi albo informacjami objętymi tajemnicą przedsiębiorstwa. Licencję i wymagania uruchomieniowe sprawdzisz w repozytorium na GitHubie i na karcie modelu w Hugging Face.

Otwarte wagi wracają też przy europejskich modelach, na przykład Mistral Large 4. Dla polskiej firmy ciekawy jest tu jeszcze jeden wątek. Część tego projektu wyrasta z polskiego Bielika.

Rodzina basal-omni obsługuje tekst, obrazy i w części wariantów dźwięk. Nie wszystkie możliwości są równie dojrzałe. Kinas zaznacza, że funkcje eksperymentalne trzeba sprawdzić na własnych danych, zanim trafią do firmowych procesów. Samo udostępnienie modelu nie znaczy, że możesz od razu powierzyć mu procesy biznesowe.

Według twórcy start nie wymaga trenowania modelu od podstaw. Uruchamiasz silnik, opisujesz zadanie i sprawdzasz działanie na przykładach z własnej organizacji. Dopiero po takich testach widać, które decyzje model może podejmować sam. To ta sama lekcja, którą daje każdy test własny producenta: liczba z rankingu jest punktem wyjścia, nie zgodą na wdrożenie.

Masz powtarzalną decyzję w pracy, na przykład segregowanie maili do działów albo sprawdzanie, czy faktura ma komplet danych? Weź dziś 20 prawdziwych przypadków z ostatnich dni i przy każdym zapisz, jaka odpowiedź była właściwa. Zaznacz te, przy których wahanie trwało dłużej niż chwilę. To zajmie kwadrans, a dostaniesz gotowy zestaw testowy i wiedzę, ile spraw mógłby przejąć model, a ile powinno zostać u człowieka.