Local AI - jak uruchomić model AI na własnym komputerze

Płacisz 20 USD miesięcznie za ChatGPT Plus. Kolejne 20 USD za Claude Pro. Jeszcze 18 USD za Gemini Advanced. Patrzysz na rachunek - 60 dolarów miesięcznie za coś, co teoretycznie możesz mieć za darmo. Na własnym komputerze. Bez limitów zapytań, bez wysyłania danych do chmury, bez czekania na odpowiedź serwera.

Local AI to nie science fiction. To konkretne narzędzia, które instalujesz w 10 minut. Pytanie brzmi: czy Twój komputer to udźwignie? I które narzędzie wybrać, żeby nie przepalić pierwszego dnia na debugowaniu?

Trzy narzędzia, które musisz znać

Ollama, LM Studio i llama.cpp - to trzy najpopularniejsze sposoby na uruchomienie modeli AI lokalnie. Każde ma swoje miejsce, każde działa inaczej.

Ollama to najbardziej przyjazne narzędzie dla osób, które nie chcą grzebać w terminalach. Instalujesz aplikację, wpisujesz jedną komendę i model się pobiera. Działa na macOS, Linuksie i Windowsie. Interfejs przypomina Docker - piszesz ollama run llama3 i za chwilę rozmawiasz z modelem. Zero konfiguracji, zero plików do ręcznego pobierania.

LM Studio idzie krok dalej - daje Ci graficzny interfejs. Klikasz "Download model", wybierasz z listy (Llama, Mistral, Phi, Qwen) i uruchamiasz przez przycisk. Widzisz zużycie RAM-u na żywo, możesz zmieniać parametry temperatury i top-p bez wpisywania komend. Dla kogoś, kto nigdy nie otworzył terminala, to najlepszy start.

llama.cpp to narzędzie dla tych, którzy chcą kontroli. Napisane w C++, działa szybciej niż Python-owe alternatywy, ale wymaga kompilacji i znajomości linii komend. Ollama i LM Studio tak naprawdę używają llama.cpp pod spodem - tylko opakowują go w wygodniejszy interfejs.

Które wybrać?

Jeśli nigdy nie uruchamiałeś lokalnego modelu - zacznij od LM Studio. Zobaczysz wszystko w jednym oknie, bez czarnej konsoli. Czujesz się komfortowo z terminalem? Ollama da Ci szybkość i prostotę. Chcesz maksymalnej wydajności i nie boisz się dokumentacji? llama.cpp będzie najszybsze.

Ile RAM-u naprawdę potrzebujesz

Tu zaczyna się prawda, której nikt nie lubi słuchać. Model AI to nie aplikacja, która zajmuje 200 MB. To gigabajty danych, które muszą zmieścić się w pamięci RAM.

Podstawowa matematyka: model 7B (7 miliardów parametrów) w kwantyzacji 4-bit zajmuje około 4 GB RAM-u. Model 13B - około 8 GB. Model 70B - ponad 40 GB. A to tylko sam model, bez systemu operacyjnego i innych programów.

Minimalne wymagania dla komfortowej pracy:

• 16 GB RAM - możesz uruchomić modele 7B i 13B
• 32 GB RAM - swobodnie działają modele do 30B
• 64 GB RAM - obsłużysz większość modeli open-source, włącznie z 70B

Masz 8 GB? Możesz przetestować małe modele (3B-7B), ale będą wolne i system zacznie się dusić. Masz 128 GB? Gratulacje, możesz uruchomić praktycznie wszystko.

GPU przyspiesza, ale nie jest obowiązkowe

Jeśli masz kartę graficzną NVIDIA z przynajmniej 8 GB VRAM-u, Ollama i LM Studio automatycznie ją wykorzystają. Model będzie generował tekst 5-10 razy szybciej niż na samym CPU. To nie jest wymóg - wszystkie te narzędzia działają też bez GPU, po prostu wolniej.

Apple Silicon (M1/M2/M3) to osobna kategoria. Unified memory sprawia, że Mac z 16 GB RAM radzi sobie lepiej niż PC z taką samą ilością. Ollama i LM Studio mają natywne wsparcie dla Metal API, więc modele działają szybko nawet na MacBooku Air.

Zespoły IT coraz częściej testują lokalne modele właśnie ze względu na kontrolę nad danymi - żadne zapytanie nie wychodzi poza sieć firmową.

Instalacja krok po kroku (na przykładzie Ollama)

Zacznijmy od najprostszego scenariusza - Ollama na macOS lub Linuksie.

Krok 1: Instalacja

Otwórz terminal i wpisz:

curl -fsSL https://ollama.com/install.sh | sh

Na Windowsie pobierz instalator ze strony ollama.com i uruchom jak każdy program.

Krok 2: Pobranie modelu

Wpisz w terminalu:

ollama run llama3

Ollama automatycznie pobierze model Llama 3 (około 4.7 GB) i uruchomi go. Pierwsza instalacja zajmie kilka minut, potem model zostaje na dysku.

Krok 3: Rozmowa

Po pobraniu zobaczysz prompt. Wpisz pytanie, naciśnij Enter. Model odpowie. Tak, to już działa.

Chcesz zmienić model? Wpisz ollama run mistral lub ollama run phi3. Lista dostępnych modeli jest na ollama.com/library.

LM Studio - jeszcze prościej

Pobierz LM Studio z lmstudio.ai. Otwórz aplikację. Kliknij zakładkę "Discover". Zobaczysz listę modeli - Llama, Mistral, Phi, Qwen, Gemma. Kliknij "Download" przy wybranym modelu. Poczekaj. Przejdź do zakładki "Chat". Wybierz pobrany model z listy. Zacznij pisać.

Zero terminala. Zero komend. Działa jak ChatGPT, tylko lokalnie.

Dopiero zaczynasz przygodę z AI? Narzędzia AI do tworzenia prezentacji mogą być dobrym pierwszym krokiem - ale lokalne modele dają Ci pełną kontrolę nad procesem.

Które modele warto uruchomić

Masz narzędzie, masz RAM. Teraz pytanie: który model pobrać?

Llama 3 (8B) - solidny wybór na start. Dobrze radzi sobie z polskim, szybko generuje tekst, działa na 16 GB RAM. Meta udostępniła go jako open-source, więc jest dostępny w Ollama i LM Studio od ręki.

Mistral 7B - konkurent Llamy, często lepszy w zadaniach technicznych. Mniejszy kontekst (8k tokenów vs 128k w Llamie 3), ale szybszy.

Phi-3 (3.8B) - najmniejszy model od Microsoftu, który wciąż ma sens. Działa na 8 GB RAM, świetny do prostych zadań (podsumowania, tłumaczenia, formatowanie tekstu).

Qwen 2.5 (7B-72B) - chińskie modele od Alibaba, zaskakująco dobre w kodowaniu. Jeśli masz 32+ GB RAM, Qwen 32B to mocna alternatywa dla płatnych API.

Unikaj modeli powyżej 30B, jeśli masz mniej niż 32 GB RAM. Będą się ładować kilka minut i generować tekst wolniej niż Ty go przeczytasz.

Kiedy local AI ma sens (a kiedy nie)

Lokalne modele nie są zamiennikiem ChatGPT czy Claude. Są inne. Czasem lepsze, czasem gorsze.

Local AI ma sens, gdy:

• Pracujesz z wrażliwymi danymi (medycznymi, prawnymi, firmowymi) - nic nie wychodzi z Twojego komputera
• Potrzebujesz nieograniczonej liczby zapytań - żadnych limitów, żadnych "rate limits exceeded"
• Chcesz eksperymentować z promptami bez wydawania pieniędzy na każde zapytanie
• Masz dobry sprzęt (32+ GB RAM) i chcesz z niego korzystać

Local AI NIE ma sensu, gdy:

• Potrzebujesz najnowszych możliwości (GPT-5, Claude Opus 4.7, Gemini 3.1 Pro są lepsze od open-source)
• Masz słaby komputer (8 GB RAM, stary procesor) - będzie frustrująco wolno
• Zależy Ci na multimodalności - lokalne modele słabo radzą sobie z obrazami i dźwiękiem
• Nie chcesz zarządzać aktualizacjami i instalacjami - płatne API "po prostu działa"

Najlepsze rozwiązanie? Hybryda. Proste zadania (formatowanie, tłumaczenia, drafty) - lokalnie. Złożone analizy, research, generowanie obrazów - płatne API. Microsoft rozważa podobne podejście dla Copilot, łącząc lokalne modele z chmurą.

Najczęstsze pytania

Czy lokalne modele AI są legalne?

Tak, o ile używasz modeli udostępnionych jako open-source (Llama, Mistral, Qwen, Phi). Licencje MIT, Apache 2.0 i podobne pozwalają na komercyjne użycie. Sprawdź tylko licencję konkretnego modelu przed wdrożeniem w firmie.

Ile prądu zużywa lokalny model AI?

Model 7B na CPU zużywa około 50-100W podczas generowania tekstu. Na GPU - 150-300W, w zależności od karty. To mniej niż gra AAA na pełnych obrotach, ale więcej niż przeglądarka. Dla porównania - zapytanie do ChatGPT przez API zużywa energię w centrum danych, której nie widzisz na swoim rachunku.

Czy mogę uruchomić lokalny model na laptopie?

Tak, jeśli ma przynajmniej 16 GB RAM. MacBooki z Apple Silicon (M1/M2/M3) radzą sobie świetnie. Laptopy z Windows - zależy od procesora i RAM-u. Unikaj uruchamiania dużych modeli na baterii, bo rozładujesz ją w godzinę.

Jak często aktualizować lokalne modele?

Nowe wersje modeli wychodzą co kilka miesięcy. Ollama i LM Studio powiadamiają o aktualizacjach. Nie musisz aktualizować od razu - stary model będzie działał dalej. Aktualizuj, gdy zobaczysz konkretną poprawę (lepszy polski, szybsze generowanie, mniejszy rozmiar).