SenseTime otwiera zestaw do testów robotów i model 27B

SenseTime udostępniło na otwartej licencji SenseNova-RoboRSI, czyli framework do oceniania systemów embodied AI (AI, która steruje robotem, także w symulacji), oraz model SenseNova-RoboRSI-27B-Preview. Wydanie jest skierowane do badaczy i zespołów, które budują lub testują roboty. Wszystkie liczby w tym tekście pochodzą z testów samego SenseTime. Nie mamy niezależnego potwierdzenia żadnej z nich.

Ciekawsza od samego wydania jest historia, która do niego doprowadziła. SenseTime najpierw przepuściło przez testy GPT-6 Astra, najmocniejszy model OpenAI, na 12 symulowanych benchmarkach robotycznych i 8 fizycznych robotach. Wniosek: model potrafi dużo, jeśli da mu się czas i pieniądze. Ile pieniędzy i czasu, o tym niżej.

Zestaw do testów w pudełku i model, który ma mniej zgadywać

Zacznijmy od elementu mniej efektownego, ale praktycznego. Otwarty zestaw testowy (po angielsku harness) pakuje każdy benchmark razem z jego zależnościami w osobny obraz Docker. Interakcję ze środowiskiem i natywną punktację udostępnia przez ujednolicone HTTP API. SenseTime twierdzi, że badacz uruchomi pełną ewaluację z jednego pliku konfiguracyjnego, bez ręcznego stawiania każdego symulatora.

Bez technobełkotu: do tej pory porównywanie robotów na różnych benchmarkach oznaczało żonglowanie różnymi środowiskami. Tu dostajesz jedno wejście. Dokładną licencję i miejsce pobrania sprawdzisz w dokumentacji SenseTime.

Drugi element to model 27B. Ma wbudowywać przetestowane doświadczenie w wagi (czyli w to, czego model się nauczył), żeby potrzebował mniej prób i błędów.

GPT-6 Astra: da radę, jeśli nie liczysz minut ani dolarów

Wynik po poluzowaniu zasad

SenseTime dało GPT-6 Astra dostęp do demonstracji treningowych i podniosło limity kroków nawet do 10-krotności ustawień oficjalnych. Efekt według firmy: model nasycił benchmarki LIBERO i SIMPLE oraz osiągnął 81,9% skuteczności na RoboDojo. W jednym przypadku dziewięć zadań RoboDojo, które wcześniej zawodziły w pięciu na pięć prób, powiodło się w pięciu na pięć, gdy modelowi po prostu pozwolono dalej wchodzić w interakcję ze środowiskiem.

Rachunek za cierpliwość

Spójrz na liczby. W testach z rozszerzonym budżetem ułożenie misek zajęło ok. 131 minut i kosztowało ok. 19 USD (szacunkowy koszt inferencji). Włożenie długopisu do pojemnika to 263 minuty i ok. 55 USD. Czyli ponad cztery godziny i 55 dolarów, żeby długopis trafił tam, gdzie trafia w dwie sekundy. Takiego wyniku nie wpiszesz do planu wdrożenia. Pokazuje on za to, że „da się” i „opłaca się” to dwie różne kolumny.

SenseTime wskazuje też, gdzie model szwankuje:

• zadania długohoryzontowe (wiele kroków pod rząd) to jego najsłabsza strona,
• słabo przenosi umiejętności z jednego zadania na drugie,
• na prawdziwych robotach ma kłopot z obiektami odkształcalnymi i precyzyjną kontrolą.

Pasuje to do tego, co pisaliśmy o prognozie szefa Unitree o GPT-6 w robotyce: kierunek jest widoczny, ale fizyczny świat nie wybacza.

Model 27B: tańszy według SenseTime, ale nie wszystko naraz

SenseTime przetestowało też zestawienie wolnego modelu rozumowania z szybkim modelem akcji. Najlepsza kombinacja osiągnęła 54% skuteczności w 42 zadaniach RoboDojo, z pętlą zamkniętą sprawdzającą każdy wynik. Firma sama przyznaje, że koszt nadal jest problemem.

Tu wchodzi 27B. Według SenseTime model uzyskał na RoboDojo wynik 26,13 przy 20,83% skuteczności zadań, ponad 90 na LIBERO-Pro, a na RoboCasa365 podniósł skuteczność z 26,0% do 46,5% przy redukcji zużycia tokenów o 73%. Firma deklaruje też, że wykonuje zadania embodied przy koszcie równym jednej pięćdziesiątej kosztu GPT-6 Astra.

Nie wrzucaj do jednego worka 81,9% i 20,83% z RoboDojo. To liczby z różnych warunków: pierwsza dotyczy GPT-6 Astra z poluzowanymi limitami i dostępem do demonstracji, druga modelu 27B. Wniosek jest skromniejszy: SenseTime pokazuje, że kierunek „mniej prób, mniej tokenów, mniejszy rachunek” ma sens. Nie znamy niezależnej weryfikacji żadnego z tych wyników. Chińskie laboratoria wypuszczają takie modele w szybkim tempie (więcej o tym w tekście o modelach dla robotów co 48 godzin), więc porównania będą się pojawiać, a ocena przyjdzie dopiero po powtórzeniu testów przez innych.

Czas myślenia to czas świata

Najlepszy fragment ogłoszenia to nie liczba, tylko postulat. SenseTime argumentuje, że przyszłe benchmarki embodied powinny opierać się na realnych potrzebach ludzi, wymagać uczenia przez interakcję i wliczać czas namysłu do czasu świata. Powód podaje obrazowo: patelnia grzeje się dalej, kiedy model się zastanawia. Test, w którym robot ma dowolnie dużo czasu na decyzję, mierzy coś innego niż robot w kuchni.

Jeśli nie budujesz robotów, ale oglądasz ich demonstracje (jak rywale podchodzą do tematu, przeczytasz w tekstach o Gemini 2 sterującym całym ciałem robota i modelu Mistrala dla robotów), wynika z tego prosta rzecz. Film z robotem to jedna próba. Wynik procentowy to wynik w czyichś warunkach. Masz prawo pytać o te warunki.

Weź dziś jedną zapowiedź robota lub agenta AI, którą masz w zakładkach, i wypisz na kartce trzy pytania: kto zrobił test, ile kroków i prób model dostał oraz ile minut i dolarów to trwało. Jeśli na któreś nie ma odpowiedzi w ogłoszeniu, już wiesz, co sprawdzić w pierwszej kolejności. Zajmie Ci to 10 minut.