Modele AI
·
2 min czytania
·
30 października 2025
DeepSeek-OCR: koniec ery tokenizatorów tekstowych?
Źródło: Link
Źródło: Link
Tokenizatory tekstowe to fundament każdego dużego modelu językowego. DeepSeek właśnie pokazał, że być może nie muszą nim być. Nowy model DeepSeek-OCR obiecuje przetwarzanie długich dokumentów bez kosztów, które do tej pory sprawiały, że analiza setek stron była po prostu nieopłacalna.
DeepSeek, chiński startup znany z efektywnych rozwiązań AI, wprowadził model, który może zmienić sposób, w jaki LLM-y radzą sobie z tekstem. Zamiast polegać na tradycyjnej tokenizacji – dzieleniu tekstu na małe jednostki – DeepSeek-OCR przetwarza dokumenty w sposób, który drastycznie obniża wymagania obliczeniowe.
Każdy model językowy musi przekształcić tekst w format, który potrafi zrozumieć. Tokenizatory dzielą słowa i znaki na tokeny – podstawowe jednostki, które model przetwarza. Problem? Długie dokumenty generują tysiące tokenów. A każdy z nich kosztuje moc obliczeniową i pamięć.
Weźmy przykład: analiza 500-stronicowego raportu może wygenerować setki tysięcy tokenów. To przekłada się na czas przetwarzania, koszty API i ograniczenia kontekstowe modeli. DeepSeek-OCR ma obejść te bariery, przetwarzając dokumenty bezpośrednio – bez tradycyjnej tokenizacji tekstowej.
DeepSeek-OCR wykorzystuje podejście wizualne do przetwarzania dokumentów. Zamiast konwertować tekst na tokeny, model analizuje dokument jak obraz. (Brzmi paradoksalnie, biorąc pod uwagę, że mówimy o tekście – ale właśnie w tym tkwi sedno.) To pozwala na efektywniejszą kompresję informacji i znaczące obniżenie wymagań obliczeniowych.
Konkretnie: model może przetwarzać długie dokumenty bez eksplozji liczby tokenów, która normalnie uniemożliwiałaby analizę w rozsądnym czasie i koszcie. Oznacza to, że zadania takie jak analiza umów, raportów finansowych czy dokumentacji technicznej stają się dostępne bez potrzeby dzielenia dokumentów na fragmenty.
Jeśli DeepSeek-OCR spełni obietnice, konsekwencje będą odczuwalne w każdej branży pracującej z dokumentacją. Prawnicy mogliby analizować całe akta spraw jednym zapytaniem. Firmy konsultingowe – przetwarzać setki raportów bez ręcznego dzielenia ich na części. Naukowcy – przeszukiwać całe biblioteki publikacji bez limitów kontekstowych.
Koszty również mają znaczenie. Obecne modele pobierają opłaty za token – im dłuższy dokument, tym wyższy rachunek. DeepSeek-OCR może to zmienić, czyniąc zaawansowaną analizę dokumentów dostępną dla mniejszych organizacji i projektów.
Czy to faktycznie koniec tokenizatorów? Pewnie nie całkowity (technologia rzadko umiera z dnia na dzień). DeepSeek pokazuje jednak, że alternatywy istnieją – i mogą być bardziej efektywne, niż myśleliśmy.
90 minut praktycznej wiedzy o AI. Pokaze Ci krok po kroku, jak zaczac oszczedzac 10 godzin tygodniowo dzieki sztucznej inteligencji.
Zapisz sie na webinar