Local AI - jak uruchomić model AI na własnym komputerze

Lokalny model AI można uruchomić na komputerze bez wysyłania poleceń do modelu w chmurze. Na początek wybierz mały model i jedno sprawdzalne zadanie. W naszym teście na Linuxie Ollama 0.35.1 z qwen3:0.6b działała na CPU, bez karty graficznej. To sprawdzenie uruchomienia, nie dowód jakości porównywalnej z największymi modelami.

Takie podejście ma sens, bo pierwszy kontakt z lokalnym modelem rzadko jest ograniczony przez jakość odpowiedzi. Częściej problemem są instalacja, pamięć i konfiguracja. Mały model pozwala przejść całą ścieżkę w kilka minut, a dopiero potem można zdecydować, czy warto inwestować w większy wariant lub mocniejszy sprzęt.

Co jest potrzebne

Potrzebujesz obsługiwanego systemu, miejsca na program i model oraz pamięci do jego uruchomienia. Rozmiar pliku z modelem nie obejmuje całej pamięci potrzebnej podczas pracy. Dłuższy kontekst i równoległe zadania zwiększają zużycie RAM. Wymagania sprawdzaj dla konkretnego modelu i wariantu kwantyzacji; sama liczba aktywnych parametrów modelu MoE nie opisuje wielkości wszystkich jego wag.

Test wykonano 2 października 2026 na serwerze z około 23,5 GiB RAM, bez GPU. Pobrany wariant qwen3:0.6b zajmował około 522 MB. Nie sprawdzano tu minimalnej ilości pamięci ani działania na Windows i macOS.

Jak dobrać rozmiar modelu do swojego sprzętu

Ten sam model występuje zwykle w kilku wariantach, które różnią się liczbą parametrów i kwantyzacją. Kwantyzacja zmniejsza precyzję zapisu wag, dzięki czemu plik jest mniejszy i łatwiej go zmieścić w pamięci. Kosztem bywa pogorszenie jakości odpowiedzi, dlatego nie traktuj mniejszego pliku jako darmowej oszczędności.

• Sprawdź stronę modelu w bibliotece Ollama. Każdy wariant ma podany rozmiar pliku, który jest dolną granicą potrzebnej pamięci, a nie całkowitym zapotrzebowaniem.
• Zostaw zapas pamięci. System, przeglądarka i inne programy też korzystają z RAM, a dłuższy kontekst zwiększa zużycie podczas pracy.
• Zaczynaj od najmniejszego wariantu. Jeśli działa stabilnie, przejdź do większego z tej samej rodziny, na przykład w ramach Qwen 3, i porównaj wyniki na własnych zadaniach.

Instalacja i pierwsze uruchomienie

1. Pobierz Ollama ze strony producenta; dla Linuxa sprawdź instrukcję instalacji.
2. W terminalu sprawdź wersję programu poleceniem ollama --version.
3. Pobierz mały model: ollama pull qwen3:0.6b.
4. Uruchom go: ollama run qwen3:0.6b i wpisz krótkie zadanie z wynikiem, który umiesz sprawdzić.

Pobranie programu i wag wymaga internetu. Nie myl lokalnego modelu z modelami chmurowymi dostępnymi przez ten sam program. Jeśli konfigurujesz lokalną usługę, zmienna OLLAMA_NO_CLOUD=1 wyłącza funkcje chmurowe. Trzeba ją ustawić dla procesu serwera i uruchomić go ponownie; istniejąca usługa nie przejmie automatycznie zmiennej z innego terminala.

Rzeczywisty wynik próby

Do lokalnego API wysłano polecenie „Odpowiedz tylko liczbą: 17 + 26 + 30 =”, z wyłączonym myśleniem i temperaturą 0. Odpowiedź brzmiała „17 + 26 + 30 = 73”. Suma jest poprawna, ale model nie dotrzymał instrukcji zwrócenia samej liczby. Nawet ten prosty test pokazuje potrzebę sprawdzania formatu. Wejście, odpowiedzi i wersje są dostępne.

Użyto lokalnego adresu 127.0.0.1:11541 i ustawienia wyłączającego chmurę. Nie wykonywano audytu całego ruchu sieciowego ani eksperymentu z fizycznie odłączonym internetem. Wynik nie potwierdza prywatności wszystkich rozszerzeń lub innych aplikacji na komputerze.

Jak sprawdzać odpowiedzi małego modelu

Przykład z dodawaniem dobrze pokazuje, że poprawna treść i poprawny format to dwie osobne sprawy. Jeśli odpowiedź trafia do skryptu, który oczekuje samej liczby, dopisek „17 + 26 + 30 =” zepsuje cały proces. Dlatego warto budować własne, krótkie testy kontrolne.

• Wybierz zadania z jednoznaczną odpowiedzią, na przykład proste obliczenie, klasyfikację do dwóch kategorii albo wyciągnięcie daty z krótkiego tekstu.
• Ustaw temperaturę na 0, aby wyniki były łatwiejsze do porównania między uruchomieniami.
• Sprawdzaj osobno poprawność merytoryczną i zgodność z zadanym formatem.
• Zapisuj polecenie, wersję programu i nazwę modelu, żeby wynik dało się powtórzyć.

Publiczne benchmarki, takie jak GPQA Diamond, SWE-bench Verified czy Aider Polyglot, służą głównie do porównywania dużych modeli. Dla małego modelu na własnym komputerze ważniejszy jest zestaw kilkunastu zadań, które naprawdę wykonujesz na co dzień.

Do czego przydaje się lokalny model

Lokalna praca ma sens tam, gdzie liczy się kontrola nad środowiskiem, a zadania są stosunkowo proste. Mały model może być użyteczny przy prostych, powtarzalnych czynnościach na tekście: porządkowaniu notatek, nadawaniu etykiet, szkicowaniu krótkich streszczeń czy sprawdzaniu, jak działa API, zanim podłączysz większą usługę. Każdy wynik wymaga jednak weryfikacji, a skomplikowane rozumowanie lub rozbudowane programowanie zwykle wymagają większych modeli.

Lokalny model jest też wygodnym środowiskiem do nauki. Możesz bez kosztów za zapytania testować parametry, długość kontekstu i różne instrukcje, a potem porównać, jak zmienia się zachowanie modelu.

Najczęstsze problemy

Brak połączenia z API zwykle wymaga sprawdzenia, czy serwer działa i czy adres jest właściwy. Brak pamięci wymaga mniejszego modelu albo krótszego kontekstu. Wolne odpowiedzi na CPU nie muszą oznaczać awarii. Sprawdź ollama ps, aby zobaczyć, czy model korzysta z CPU lub GPU.

Przy diagnozie pomaga prosta kolejność kroków: najpierw sprawdź, czy polecenie ollama --version zwraca wersję, potem czy model został pobrany, a na końcu czy aplikacja łączy się z właściwym portem. Jeśli używasz własnego adresu lokalnego, upewnij się, że klient wysyła zapytania dokładnie tam, gdzie nasłuchuje serwer.

Lokalna