NYU przyspiesza generowanie obrazów AI i obniża koszty

Generowanie obrazów przez AI właśnie stało się szybsze i tańsze. Naukowcy z New York University opracowali nową architekturę dla modeli dyfuzyjnych, która kwestionuje dotychczasowe standardy budowy tych systemów.

Architektura nosi nazwę "Diffusion Transformer with Representation Autoencoders" (RAE) i poprawia semantyczną reprezentację generowanych obrazów. Brzmi technicznie? W praktyce AI lepiej rozumie, co właściwie ma stworzyć – i robi to efektywniej.

Jak RAE zmienia zasady gry

Tradycyjne modele dyfuzyjne, takie jak Stable Diffusion czy DALL-E, działają według sprawdzonego schematu. RAE podważa te założenia. Wprowadza nowe podejście do reprezentacji obrazów w procesie generowania. Zespół z NYU skupił się na warstwie semantycznej – tym, jak model "rozumie" koncepcje wizualne.

Kluczowa różnica? Sposób przetwarzania informacji. Zamiast polegać wyłącznie na klasycznych mechanizmach transformerów, RAE wykorzystuje autokodery reprezentacji. To pozwala modelowi efektywniej kodować znaczenie obrazu, zanim przystąpi do jego generowania.

Szybciej, taniej i z lepszą jakością

Najważniejsze korzyści z nowej architektury to:

Krótszy czas generowania pojedynczego obrazu

Niższe koszty obliczeniowe (mniej mocy GPU potrzebnej do treningu i inferencji)

Lepsza semantyczna spójność generowanych obrazów

Bardziej przewidywalne rezultaty przy złożonych promptach

Dla użytkowników oznacza to prostą rzecz: więcej wysokiej jakości obrazów w krótszym czasie. Bez konieczności inwestowania w drogie karty graficzne. Dla firm oferujących usługi generowania obrazów to szansa na obniżenie kosztów operacyjnych.

Co to oznacza dla przyszłości AI

RAE pokazuje, że w dziedzinie generatywnej AI wciąż jest spore pole do optymalizacji. Nie zawsze trzeba budować większe modele – czasem wystarczy przemyśleć architekturę od nowa. (Choć oczywiście nikt nie mówi, żeby przestać zwiększać moc obliczeniową.)

Badacze z NYU udostępnili szczegóły swojej pracy. To może przyspieszyć adopcję RAE w komercyjnych rozwiązaniach. Jeśli architektura sprawdzi się w praktyce na większą skalę, możemy spodziewać się jej implementacji w popularnych narzędziach do generowania obrazów już w najbliższych miesiącach.

Źródła

VentureBeat AI - NYU's new AI architecture makes high-quality image generation faster and cheaper