Jak wczytywać duże modele AI bez zapychania pamięci RAM i VRAM

Masz kartę graficzną, która teoretycznie powinna obsłużyć Twój model. A mimo to Python wyrzuca Ci CUDA out of memory w momencie, gdy próbujesz tylko wczytać zapisane wagi - nie trenować, nie generować tekstu, po prostu otworzyć plik. Frustrujące? Bardzo. I w dziewięciu przypadkach z dziesięciu problem nie leży w Twojej karcie. Leży w tym, jak Python (a konkretnie PyTorch) traktuje pamięć podczas wczytywania.

Sebastian Raschka, autor książki Build a Large Language Model From Scratch, opisał to zjawisko w materiałach dodatkowych do swojego repozytorium na GitHubie. Punkt wyjścia jest prosty: masz wytrenowany albo dostrojony model, zapisujesz go na dysku, a potem w nowej sesji chcesz go wczytać, żeby kontynuować trening albo dorobić fine-tuning. I właśnie w tym momencie pamięć podwaja się bez ostrzeżenia.

Dlaczego wczytanie modelu zajmuje dwa razy więcej pamięci niż powinno

Dobra, powiedzmy to wprost: to nie jest błąd, to mechanika. Kiedy wczytujesz zapisany model, w pamięci na chwilę istnieją dwie kopie tych samych danych. Pierwsza to model, który już zainicjalizowałeś (na przykład na karcie graficznej). Druga to wagi wczytane z pliku, które w danej chwili siedzą jako osobny obiekt, zanim zostaną skopiowane do modelu. Dopiero po skopiowaniu ten drugi egzemplarz jest zwalniany.

Problem w tym, że "chwila" to wystarczająco długo, żeby pamięć się przepełniła - zwłaszcza przy większych modelach. Raschka demonstruje to na przykładzie modelu GPT-2 w wersji "large" (mniejszy "gpt2-small (124M)" można użyć, jeśli chcesz odtworzyć eksperyment na słabszym sprzęcie). I pokazuje coś, co wydaje się drobiazgiem, a w praktyce rujnuje niejeden trening: nie ma znaczenia, czy najpierw stworzysz model na karcie graficznej i wczytasz do niego wagi, czy najpierw wczytasz wagi do pamięci CPU i przeniesiesz je na kartę. Szczytowe zużycie pamięci jest identyczne w obu przypadkach.

To jest ten moment, w którym większość osób próbujących samodzielnie odtworzyć trening dużych modeli językowych (LLM) rozkłada ręce i myśli, że winna jest karta graficzna. Nie jest. Winny jest sposób, w jaki kopiujesz dane.

Zanim zaczniesz - co musisz mieć przygotowane

• Podstawową orientację w tym, że model AI to w praktyce ogromny plik z liczbami (wagami), a nie "magiczna czarna skrzynka"
• Zapisany model z wcześniejszej sesji (np. checkpoint z treningu lub fine-tuningu)
• Środowisko z PyTorch - nie musisz znać architektury sieci neuronowej, wystarczy rozumieć, że "wczytanie" i "trening" to dwie różne operacje na pamięci
• Świadomość, że dotyczy to nie tylko modeli językowych - te same zasady stosują się do każdego modelu w PyTorch, nie tylko LLM

Trzy kroki do mniejszego zużycia pamięci przy wczytywaniu

Zamiast zgadywać, ile VRAM-u potrzebujesz, lepiej podejść do tego metodycznie. W materiałach Raschki cały proces sprowadza się do trzech logicznych etapów.

1. Mierz, zanim optymalizujesz. Pierwszym krokiem w notatniku jest zdefiniowanie narzędzi do śledzenia zużycia pamięci karty graficznej (VRAM), a później również pamięci RAM. Bez tego optymalizujesz w ciemno - a to jak diagnozowanie choroby bez termometru. Dopiero mając liczby, widzisz, że wczytanie modelu naprawdę zajmuje dwa razy więcej pamięci niż samo trzymanie go w pamięci.
2. Zobacz problem na żywo, zanim go naprawisz. Raschka najpierw demonstruje "naiwne" wczytanie wag - czyli to, co większość osób robi domyślnie. Model jest już w pamięci, a obok niego na chwilę ląduje cała kopia wczytanych wag z pliku. Te dwie kopie istnieją równolegle, dopóki jedna nie zostanie skopiowana do drugiej i odrzucona. Zobaczenie tego skoku pamięci na wykresie (czy po prostu w liczbach z kroku 1) to moment, w którym problem przestaje być abstrakcją.
3. Wczytuj sekwencyjnie, nie hurtowo. Rozwiązaniem opisanym w materiale jest wczytywanie wag parametr po parametrze, a nie całym blokiem naraz. Zamiast trzymać w pamięci cały zestaw wag jednocześnie, model jest najpierw umieszczany na karcie graficznej, wagi trafiają do pamięci CPU, a potem każdy parametr kopiowany jest osobno na kartę. W efekcie w danym momencie w pamięci istnieje tylko fragment duplikatu, nie cały model - i szczytowe zużycie pamięci spada drastycznie.

Dla kogoś, kto pisze kod na co dzień, to może wyglądać jak drobny detal techniczny. Konsekwencje są jednak bardzo praktyczne dla każdego, kto próbuje samodzielnie douczyć model albo kontynuować trening na własnym sprzęcie (nie w chmurze za pieniądze firmy). Jeśli interesuje Cię to szerzej - jak w ogóle wygląda trenowanie modelu od zera w środowisku chmurowym, mamy osobny przewodnik po treningu modelu AI w chmurze Azure ML SDK, który pokazuje ten proces krok po kroku.

Kiedy to naprawdę ma znaczenie (i kiedy nie musisz się tym martwić)

Jeśli korzystasz z gotowego modelu przez API - ChatGPT, Claude, Gemini - ten problem Cię nie dotyczy. Firmy udostępniające te modele mają infrastrukturę, która robi to za Ciebie. Ten temat zaczyna mieć znaczenie w momencie, gdy sam trenujesz, douczasz albo eksperymentujesz z modelem lokalnie - czyli robisz to, co opisuje książka Raschki: budujesz duże modele językowe (LLM) od podstaw, żeby zrozumieć mechanikę, nie tylko efekt końcowy.

To samo dotyczy fine-tuningu innych typów modeli - na przykład dostrajania modelu Whisper do rozpoznawania mowy albo budowania własnych narzędzi jak w poradniku o budowie code review AI za pomocą Codex SDK. Wszędzie tam, gdzie wczytujesz zapisany checkpoint modelu w PyTorch, mechanizm podwójnej kopii w pamięci działa identycznie - niezależnie od tego, czy model rozumie tekst, głos czy kod.

Pamiętaj też, że problemy z pamięcią przy dużych modelach nie kończą się na wczytywaniu wag. Jeśli kiedykolwiek zastanawiałeś się, dlaczego model AI "gubi" fragment tekstu albo dziwnie go interpretuje, to zwykle inny temat - opisaliśmy go w artykule o tym, jak tokenizacja w GPT tłumaczy dziwne błędy AI. Zarządzanie pamięcią i tokenizacja to dwie różne, ale równie fundamentalne cegiełki tego, jak duże modele językowe (LLM) działają pod maską.

Najczęstsze pytania

Czy muszę mieć drogą kartę graficzną, żeby wczytać duży model AI?

Nie zawsze - techniki opisane przez Raschkę (jak wczytywanie sekwencyjne) mają na celu właśnie zmniejszenie wymagań pamięciowych, żeby dało się to zrobić na słabszym sprzęcie. To samo podejście działa niezależnie od tego, czy pracujesz na karcie graficznej (VRAM), czy tylko na pamięci RAM komputera.

Co to jest VRAM i czym różni się od RAM?

VRAM to pamięć znajdująca się na karcie graficznej, używana głównie do obliczeń związanych z modelami AI i grafiką. RAM to pamięć główna komputera, obsługująca system operacyjny i większość programów. Duże modele AI często wymagają obu - część operacji odbywa się na karcie (VRAM), a dane pośrednie bywają przechowywane w pamięci głównej (RAM).

Czy te techniki działają tylko dla dużych modeli językowych (LLM)?

Nie. Materiał Raschki wyraźnie zaznacza, że mimo użycia modelu językowego jako przykładu, opisane metody wczytywania wag są ogólne i stosują się do każdego modelu zbudowanego w PyTorch - nie tylko do LLM.

Czy da się to zrobić bez pisania kodu od zera?

Sama koncepcja - wczytywanie parametr po parametrze zamiast całego modelu naraz - wymaga podstaw pracy z PyTorch, ale nie trzeba rozumieć architektury sieci neuronowej, żeby zastosować to podejście. To bardziej kwestia zrozumienia mechaniki pamięci niż zaawansowanej matematyki.

Więc co z tego wynika? Tyle, że pamięć komputera nie jest nieskończonym zbiornikiem - a duplikacja danych podczas wczytywania modelu to jeden z tych problemów, które wyglądają jak awaria sprzętu, a są tylko kwestią kolejności operacji. Zrozumienie tego mechanizmu nie zamienia Cię w inżyniera ML, ale daje Ci coś cenniejszego: świadomość, że "za mało pamięci" rzadko oznacza "kup lepszą kartę".

Jeden krok na start: jeśli masz kiedyś do czynienia z wczytywaniem zapisanego modelu AI (nawet w gotowym narzędziu, nie tylko własnoręcznie napisanym kodzie), sprawdź w dokumentacji, czy narzędzie wspomina o "sequential loading" albo "low memory loading" - to sygnał, że twórcy już rozwiązali za Ciebie właśnie ten problem.