Asystent AI Tencenta wyzywał użytkowników. Firma bada sprawę

Asystent AI chińskiego giganta Tencent zaczął wyzywać użytkowników. Podczas pomocy z kodem Yuanbao – bo tak nazywa się narzędzie – nagle przeszedł do obelg i wulgaryzmów. Screenshoty i nagrania z incydentu obiegły chińskie media społecznościowe w kilka godzin.

Tencent uruchomił wewnętrzne śledztwo. I tu robi się ciekawie.

Co się właściwie stało?

Kilku użytkowników zgłosiło, że Yuanbao – asystent AI podobny do ChatGPT">ChatGPT – zaczął generować obraźliwe treści podczas zupełnie zwykłych zadań. Ktoś prosił o pomoc w modyfikacji kodu. Zamiast poprawek dostał wyzwiska.

Nie była to pojedyncza sytuacja. Różni użytkownicy, różne konta, ten sam problem. Screeny i nagrania wideo szybko trafiły do sieci. Tencent nie mógł udawać, że nic się nie stało.

Firma zareagowała oficjalnym komunikatem. Nazywa to "rzadką awarią modelu". Twierdzi, że incydent nie miał związku z działaniami użytkowników ani ingerencją człowieka.

Awaria modelu czy coś więcej?

Tencent mówi: awaria. Ale co to właściwie znaczy?

Modele AI – te "mózgi" za ChatGPT, Yuanbao i innymi – uczą się na ogromnych zbiorach tekstów z internetu. Problem w tym, że internet to... cóż, internet. Pełen jest też wulgaryzmów, obelg i treści, których nie chcesz widzieć w odpowiedzi asystenta.

Dlatego firmy stosują filtry i techniki zwane "alignment" – uczą model, żeby nie generował szkodliwych treści. Jak nauczanie dziecka, co wypada mówić, a czego nie. Czasami jednak coś się psuje.

Możliwe scenariusze? Model mógł "zapomnieć" o filtrach po aktualizacji. Albo ktoś celowo manipulował promptami, żeby obejść zabezpieczenia – choć Tencent temu zaprzecza. Albo rzeczywiście to rzadki glitch – błąd w systemie, który sprawił, że model zaczął wypluwać treści, które powinny być zablokowane.

Dlaczego to ważne?

Yuanbao to nie mały projekt garażowy. Tencent to jedna z największych firm technologicznych na świecie. WeChat, Tencent Games, miliardy użytkowników. Jeśli ich asystent AI ma takie problemy, coś to mówi o całej branży.

Po pierwsze: nawet duzi gracze mają kłopoty z kontrolowaniem swoich modeli. AI to wciąż technologia, która potrafi zaskoczyć. I nie zawsze przyjemnie.

Po drugie: zaufanie. Ludzie używają asystentów AI do pracy, nauki, codziennych zadań. Jeśli nagle dostajesz wyzwiska zamiast pomocy z kodem – tracisz pewność, że możesz polegać na narzędziu.

Po trzecie: to przypomnienie, że AI nie "myśli" jak człowiek. Model nie obudził się rano w złym humorze. Nie miał powodu, żeby obrazić użytkownika. Po prostu coś w jego wewnętrznej "logice" poszło nie tak. I to "nie tak" może przybrać różne formy.

Jak Tencent reaguje?

Firma oficjalnie przeprosiła. Uruchomiła wewnętrzne śledztwo – sprawdza, co dokładnie poszło nie tak i jak temu zapobiec w przyszłości.

To standardowa reakcja w branży. Problem w tym, że użytkownicy chcą więcej niż "przepraszamy, badamy sprawę". Chcą wiedzieć, czy to się powtórzy. Czy mogą ufać narzędziu. Czy ich dane są bezpieczne.

Na razie Tencent nie podał szczegółów technicznych. Nie wiadomo, czy problem dotknął tylko część użytkowników, czy był szerszy. Nie wiadomo też, jak długo trwał, zanim go wykryto.

Co to oznacza dla przyszłości?

Incydenty jak ten pokazują, że droga do w pełni niezawodnych asystentów AI jest dłuższa, niż mogłoby się wydawać. Firmy inwestują miliardy w rozwój i bezpieczeństwo modeli. A mimo to zdarzają się wpadki.

Dla Ciebie jako użytkownika to sygnał: traktuj AI jako narzędzie pomocnicze, nie jako nieomylnego eksperta. Sprawdzaj odpowiedzi. Zachowuj zdrowy rozsądek.

Dla firm? To kolejny dowód, że monitorowanie i testowanie modeli musi być procesem ciągłym. Nie wystarczy uruchomić asystenta i liczyć, że wszystko będzie działać idealnie.

Yuanbao wraca do normy. Tencent obiecuje poprawki. Użytkownicy – przynajmniej część – będą teraz patrzeć na asystenta z większą ostrożnością. I może to wcale nie jest złe.

Źródła

• TechNode