Jak duże modele językowe przechowują fakty – przewodnik

Wpisujesz do ChatGPT: "Michael Jordan gra w..." i model bez wahania uzupełnia "koszykówkę". Skąd to wie? Gdzieś w setach miliardów parametrów musi być zapisana informacja o konkretnej osobie i konkretnym sporcie. Pytanie brzmi: gdzie dokładnie?

Grudniowe badania zespołu z Google DeepMind rzuciły światło na ten temat. Użyli dokładnie tego przykładu – dopasowywania sportowców do ich dyscyplin. Odkryli coś istotnego: fakty żyją w konkretnej części sieci zwanej multi-layer perceptrons (MLP). Brzmi technicznie? Zaraz rozbijemy to na czynniki pierwsze.

Gdzie w transformerze mieszkają fakty

Zanim zrozumiesz, jak modele przechowują wiedzę, musisz wiedzieć, z czego składa się transformer – architektura stojąca za GPT-5, Claude czy Gemini. Każda warstwa transformera ma dwa główne elementy:

• Attention – mechanizm, który pozwala modelowi "rozglądać się" po kontekście i łączyć ze sobą słowa (np. "Michael" z "Jordan" i "koszykówka")
• Multi-layer perceptron (MLP) – para mnożeń macierzy z prostą funkcją pomiędzy, która przechowuje konkretne fakty

Attention to temat na osobny artykuł (możesz sprawdzić nasz przewodnik po architekturze AI). Dziś skupiamy się na MLP – bo to tam, według badaczy z DeepMind, leży wiedza o tym, że Jordan gra w koszykówkę, a nie w hokeja.

Czym jest MLP w praktyce

MLP to stosunkowo prosta struktura – zwłaszcza w porównaniu z attention. Sprowadza się do dwóch mnożeń macierzy:

1. Pierwsze mnożenie: rozszerza reprezentację słowa do wyższego wymiaru (np. z 512 do 2048 wartości)
2. Funkcja aktywacji: nieliniowa operacja, która pozwala sieci uczyć się złożonych wzorców
3. Drugie mnożenie: zwęża reprezentację z powrotem do oryginalnego rozmiaru

Obliczeniowo to banalnie proste. Interpretacja? Tu zaczyna się problem. Co dokładnie dzieje się w tych macierzach? Jak sieć "zapisuje" fakt, że Michael Jordan to koszykarz?

Jak badacze znaleźli fakty w MLP

Zespół z DeepMind nie zgadywał. Przeprowadzili serię eksperymentów na konkretnych przykładach – sportowcy i ich dyscypliny, stolice państw, znane osoby i ich zawody. Podawali modelowi zdanie z luką ("Michael Jordan gra w...") i śledzili, co się dzieje w poszczególnych warstwach sieci.

Krok 1: Izolacja warstw

Najpierw wyłączali kolejne warstwy MLP i sprawdzali, czy model nadal potrafi uzupełnić brakujące słowo. Jeśli po wyłączeniu konkretnej warstwy model przestawał "wiedzieć", że Jordan gra w koszykówkę – znaczyło to, że ta warstwa przechowuje tę informację.

Krok 2: Analiza wag

Następnie analizowali wagi w macierzach MLP. Okazało się, że pewne kombinacje neuronów aktywują się konsekwentnie, gdy model przetwarza fakt typu "osoba X → sport Y". Te wzorce aktywacji to właśnie zakodowana wiedza.

Krok 3: Edycja faktów

Najciekawszy test: spróbowali zmienić fakt w sieci. Zmodyfikowali wagi tak, żeby model "zapomniał", że Jordan gra w koszykówkę, i "nauczył się", że gra w hokeja. Zadziałało. Model zaczął konsekwentnie uzupełniać "hokej" zamiast "koszykówka".

To dowód, że fakty nie są rozproszone chaotycznie po całej sieci. Mieszkają w konkretnych miejscach – w określonych warstwach MLP.

Dlaczego to ważne dla Ciebie

Zrozumienie, jak duże modele językowe przechowują fakty, ma praktyczne konsekwencje:

• Fine-tuning – jeśli wiesz, gdzie leżą fakty, możesz precyzyjniej dostosować model do swoich danych (więcej o tym w naszym przewodniku po fine-tuningu)
• Debugowanie halucynacji – jeśli model "wymyśla" fakty, możesz zidentyfikować, które warstwy są za to odpowiedzialne
• Edycja wiedzy – zamiast trenować model od nowa, możesz zaktualizować konkretne fakty (np. zmienić CEO firmy bez przebudowy całej sieci)

Dla firm pracujących z AI to oznacza niższe koszty i większą kontrolę. Zamiast "czarnej skrzynki" masz narzędzie, które możesz precyzyjnie modyfikować.

Czego jeszcze nie wiemy

Badania DeepMind to krok naprzód. Pełny obraz? Nadal nie mamy. Wciąż nie rozumiemy:

• Jak dokładnie sieć "wybiera", w której warstwie zapisać dany fakt
• Dlaczego niektóre fakty są bardziej "stabilne" niż inne
• Jak model radzi sobie z faktami sprzecznymi (np. gdy Jordan grał w baseball po odejściu z NBA)
• Czy mechanizm przechowywania faktów jest taki sam w różnych architekturach (GPT-5, Claude Opus 4.6, Gemini 3 Pro)

To otwarte pytania. Wiemy jednak wystarczająco dużo, żeby zacząć eksperymentować. Jeśli pracujesz z agentami AI lub budujesz własne modele, możesz wykorzystać tę wiedzę do precyzyjniejszego dostosowania narzędzi.

Jak to przetestować samemu

Nie musisz mieć doktoratu z deep learningu, żeby zobaczyć, jak to działa. Oto prosty eksperyment, który możesz przeprowadzić:

1. Otwórz ChatGPT, Claude lub inny model językowy
2. Zadaj pytanie o fakt, który model powinien znać: "Stolica Francji to..."
3. Teraz zadaj pytanie o fakt, którego model nie powinien znać (np. imię Twojego kota)
4. Obserwuj różnicę w pewności odpowiedzi – model "wie", kiedy ma dostęp do faktu, a kiedy zgaduje

To nie jest naukowy eksperyment. Daje jednak intuicję: model nie generuje tekstu losowo. Ma wewnętrzną reprezentację wiedzy. I ta wiedza ma strukturę.

Co dalej z badaniami nad przechowywaniem faktów

Zespoły z DeepMind, Anthropic i OpenAI kontynuują pracę nad mechanistyczną interpretowalnością – próbą zrozumienia, co dokładnie dzieje się w każdej warstwie sieci. To nie tylko akademicka ciekawostka. Jeśli zrozumiemy, jak modele przechowują wiedzę, będziemy mogli:

• Budować mniejsze, bardziej wydajne modele (bo będziemy wiedzieć, które warstwy są krytyczne)
• Eliminować bias i halucynacje (bo zidentyfikujemy źródło problemu)
• Aktualizować wiedzę modeli bez kosztownego ponownego treningu

Za rok, dwa – możliwe, że będziemy mieli narzędzia pozwalające "edytować" fakty w modelach tak, jak dziś edytujesz tekst w Wordzie. To zmieni sposób, w jaki wdrażamy AI w firmach – zwłaszcza małych, które nie mają budżetu na trenowanie własnych modeli od zera.

FAQ – najczęstsze pytania

Czy wszystkie fakty są przechowywane w MLP?

Nie. Badania DeepMind skupiły się na prostych faktach typu "osoba → sport" czy "kraj → stolica". Bardziej złożona wiedza (np. zrozumienie kontekstu historycznego) prawdopodobnie jest rozproszona po całej sieci – zarówno w MLP, jak i w mechanizmach attention. Pełny obraz jeszcze nie istnieje.

Czy mogę edytować fakty w GPT-5 czy Claude?

Nie bezpośrednio. Modele komercyjne (GPT-5, Claude Opus 4.6) są zamknięte – nie masz dostępu do wag. Możesz użyć fine-tuningu (jeśli dostawca to umożliwia) albo pracować z otwartymi modelami typu Llama 4, gdzie masz pełną kontrolę nad parametrami.

Czy to oznacza, że AI "rozumie" fakty?

Nie w ludzkim sensie. Model przechowuje reprezentację faktu jako wzorzec aktywacji neuronów. Nie ma świadomości, że "Michael Jordan to koszykarz". Ma tylko statystyczną korelację między tokenami "Michael Jordan" i "koszykówka". Różnica jest subtelna, ale kluczowa – zwłaszcza gdy model zaczyna halucynować.

Jeden krok na start

Fakty w dużych modelach językowych nie są magią. Leżą w konkretnych warstwach MLP, jako wzorce aktywacji neuronów. Możemy je identyfikować, modyfikować i – w przyszłości – precyzyjnie edytować bez ponownego treningu całej sieci.

To zmienia sposób, w jaki myślimy o AI. Zamiast "czarnej skrzynki" mamy narzędzie, które powoli staje się transparentne. I to otwiera drzwi do praktycznych zastosowań – od fine-tuningu po eliminację halucynacji.

Następnym razem, gdy model da Ci dziwną odpowiedź, zapytaj go o źródło. Obserwuj, jak uzasadnia swoją odpowiedź. To da Ci intuicję, kiedy model "wie", a kiedy zgaduje. I to już połowa sukcesu w pracy z AI.