Google wycofuje Gemma po fałszywym oskarżeniu senator
Źródło: Link
Źródło: Link
Google właśnie wycofało jeden ze swoich modeli AI z platformy deweloperskiej. Powód? Model Gemma wygenerował całkowicie zmyślone oskarżenia o przestępstwo seksualne wobec senator Marsha Blackburn. To kolejny przykład tego, jak halucynacje AI mogą mieć realne konsekwencje prawne i wizerunkowe.
Senator Blackburn, republikanka z Tennessee, zgłosiła problem publicznie na platformie X. Model Gemma, zaprojektowany dla deweloperów, miał "sfabrykować poważne oskarżenia kryminalne" na jej temat. Google zareagowało błyskawicznie. Model zniknął z AI Studio - platformy, na której programiści testują i rozwijają rozwiązania oparte na modelach językowych.
W oficjalnym komunikacie na X, Google tłumaczy sytuację w dość specyficzny sposób. Firma przyznaje, że "zauważyła raporty o osobach niebędących deweloperami, które próbowały" użyć modelu. Innymi słowy: narzędzie dla programistów trafiło do zwykłych użytkowników, którzy zaczęli zadawać mu pytania o konkretne osoby.
Problem w tym, że Gemma - jak większość modeli językowych - nie ma wbudowanej wiedzy faktograficznej o konkretnych ludziach (chyba że są bardzo znani). Kiedy ktoś pyta o mniej oczywiste szczegóły, model po prostu wymyśla. Tak właśnie powstały fałszywe oskarżenia wobec senator.
Ten incydent pokazuje realny problem współczesnych modeli językowych. Halucynacje - czyli generowanie fałszywych informacji przedstawianych jako fakty - to wciąż nierozwiązana bolączka branży AI. Kiedy dotyczy to technicznych szczegółów kodu, programista szybko wyłapie błąd. Kiedy model generuje oskarżenia kryminalne? Konsekwencje mogą być poważne.
Google nie podało szczegółów, jak długo model pozostanie niedostępny ani jakie konkretnie zmiany wprowadzi przed jego ewentualnym powrotem. Firma zapewnia jedynie, że pracuje nad rozwiązaniem problemu.
Jeśli korzystałeś z Gemma w swoich projektach, musisz teraz szukać alternatyw. Google oferuje inne modele w rodzinie Gemini, ale Gemma była specyficznym narzędziem o innych parametrach i zastosowaniach. Wycofanie modelu bez ostrzeżenia to również sygnał ostrzegawczy dla każdego, kto buduje rozwiązania oparte na zewnętrznych API. Zawsze potrzebujesz planu B.
Incydent przypomina również o konieczności implementacji warstw bezpieczeństwa i weryfikacji w aplikacjach AI. Samo poleganie na odpowiedziach modelu, bez dodatkowej walidacji, to proszenie się o kłopoty.
90 minut praktycznej wiedzy o AI. Pokaze Ci krok po kroku, jak zaczac oszczedzac 10 godzin tygodniowo dzieki sztucznej inteligencji.
Zapisz sie na webinar