Kagi Translate odpowiada na pytania, których nie zadawałeś

Kagi Translate, narzędzie tłumaczeniowe od twórców prywatnej wyszukiwarki Kagi, dodało funkcję AI. Natychmiast ktoś zapytał, co powiedziałaby "napalona Margaret Thatcher". System odpowiedział. Bez wahania.

To nie historia o skandalu. To historia o tym, jak trudno zbudować narzędzie AI, które będzie użyteczne, bezpieczne i nie zamieni się w cyfrowego cenzora.

Gdy tłumacz zaczyna rozmawiać

Kagi Translate to narzędzie do tłumaczenia tekstów, które niedawno zyskało funkcję odpowiadania na pytania użytkowników. Ma to sens – jeśli tłumaczysz dokument, możesz zapytać o kontekst, wyjaśnienie idiomów czy niuanse kulturowe.

Problem pojawił się, gdy użytkownicy zaczęli testować granice systemu. Odkryli, że tych granic praktycznie nie ma. System odpowiada na pytania o treści seksualnej, generuje wypowiedzi postaci historycznych w absurdalnych kontekstach i nie blokuje zapytań, które w ChatGPT czy Claude wywołałyby natychmiastową odmowę.

Ars Technica przetestowało narzędzie i potwierdziło: Kagi Translate generuje odpowiedzi na pytania, które większość współczesnych modeli AI odrzuciłaby. Nie chodzi tu o ekstremalne treści – raczej o brak podstawowych filtrów bezpieczeństwa, które stały się standardem w narzędziach od OpenAI czy Anthropic.

Nostalgia za czasami bez guardrails

Tytuł artykułu w Ars Technica zaczyna się od pytania: "Pamiętasz, gdy zabawa z LLM-ami była przyjemna?" Trafne spostrzeżenie.

Pierwsze wersje GPT-3, wczesny ChatGPT, początkowe iteracje Claude – wszystkie były bardziej "surowe". Odpowiadały na dziwne pytania. Generowały absurdalne scenariusze. Pozwalały eksperymentować bez ciągłego napotykania komunikatu "Nie mogę tego zrobić, ponieważ...".

Potem przyszły warstwy moderacji. Filtry bezpieczeństwa. Systemy wykrywające "niewłaściwe" zapytania. Są uzasadnione (nikt nie chce, żeby jego narzędzie AI generowało instrukcje budowy bomb), efekt uboczny jest taki, że czasem czujesz się jak dziecko pod nadzorem.

Dylemat moderacji treści

Kagi stoi przed klasycznym problemem firm AI: gdzie postawić granicę?

Za mało moderacji – i narzędzie staje się źródłem problemów PR, potencjalnych pozwów i treści, których nie chcesz mieć w logach serwera. Za dużo – i frustrujesz się odmowami na niewinne pytania, bo system pomylił kontekst z intencją.

Większość dużych firm wybrała ostrożność. Anthropic słynie z tego, że Claude odmawia częściej niż konkurencja. OpenAI dodało tyle warstw filtrów, że czasem GPT-4o odmówi napisania neutralnego opisu historycznego wydarzenia, bo wykrył w nim "potencjalnie wrażliwy temat".

Mniejsze firmy, jak Kagi, mają wybór: albo zainwestować miliony w systemy moderacji (co przy modelu biznesowym opartym na prywatności i braku reklam jest trudne), albo ryzykować, że ktoś znajdzie sposób na wygenerowanie treści, która trafi na Twittera.

Co to znaczy dla narzędzi językowych

Przypadek Kagi Translate pokazuje szerszy problem: narzędzia językowe z funkcjami AI są trudniejsze do moderacji niż chatboty.

Gdy budujesz ChatGPT, wiesz, że ludzie będą z nim rozmawiali. Możesz przygotować się na pytania o politykę, seks, przemoc. Możesz trenować model na odmowach, dodać warstwy klasyfikatorów, zbudować system wykrywający "jailbreaki" (próby ominięcia ograniczeń).

Gdy budujesz tłumacza, zakładasz, że ludzie będą tłumaczyć teksty. Może zapytają o kontekst. Może o gramatykę. Nie spodziewasz się, że ktoś zapyta o hipotetyczne wypowiedzi brytyjskiej premier Jeśli chodzi o erotycznym.

Polska perspektywa: regulacje już tu są

Dla polskich firm rozwijających narzędzia AI to nie tylko problem wizerunkowy. Unijna regulacja AI Act wymaga od twórców systemów wysokiego ryzyka (a chatboty i asystenci językowi mogą się do nich zakwalifikować) dokumentowania procesów moderacji treści.

Jeśli Twoje narzędzie generuje treści, musisz wykazać, że masz mechanizmy kontroli. Nie wystarczy powiedzieć "użyliśmy modelu od OpenAI, oni się tym zajmują". Odpowiedzialność spoczywa na Tobie.

Czy Kagi naprawiło problem

Do momentu publikacji tego artykułu Kagi nie wydało oficjalnego komentarza na temat moderacji treści w Kagi Translate. Narzędzie nadal działa, funkcja AI jest dostępna.

To typowe dla małych firm: najpierw wypuszczasz produkt, potem reagujesz na feedback. Duże firmy robią odwrotnie – testują miesiącami, dodają warstwy zabezpieczeń, a potem i tak ktoś znajdzie sposób na obejście.

Pytanie nie brzmi "czy Kagi powinno było przewidzieć ten problem". Pytanie brzmi: czy w ogóle da się zbudować użyteczne narzędzie AI bez zamieniania go w system pełen odmów?

Lekcja dla twórców narzędzi AI

Jeśli rozwijasz produkt z AI – czy to chatbot, tłumacz, czy asystent – musisz zdecydować, gdzie jest Twoja granica. Nie ma dobrej odpowiedzi.

Możesz iść drogą maksymalnej ostrożności, jak OpenAI po partnerstwie z Amazon. Twoje narzędzie będzie bezpieczne, ale użytkownicy będą narzekać na sztywność.

Możesz wybrać minimalną moderację, jak (najwyraźniej) Kagi. Użytkownicy docenią swobodę, ryzykujesz incydenty PR i problemy prawne.

Albo możesz spróbować znaleźć balans – i spędzić następne lata na dostrajaniu systemu, bo ten balans zmienia się z każdym miesiącem.

Przypadek Kagi Translate to przypomnienie, że AI nie jest tylko problemem technicznym. To problem społeczny, prawny i etyczny. Czasem najciekawsze pytania nie dotyczą tego, co AI potrafi – ale tego, co powinno móc robić.

A na pytanie "co powiedziałaby napalona Margaret Thatcher"? Może lepiej, żebyśmy nigdy się nie dowiedzieli.

Źródła

• Ars Technica - Kagi Translate's AI answers the question "What would horny Margaret Thatcher say?"