Sari la conținut
Toate articolele
Infrastructură AI

Ce hardware cere un LLM local și ce lipsește din lista de componente

Calculul de memorie care decide ce placă poate rula un model este public și scurt. Din lista de componente lipsesc cinci lucruri de care depinde dacă o echipă se poate baza pe mașină.

BastionActualizat 4 min de citit

O listă de componente pentru AI local cuprinde o placă, o sursă și o carcasă, iar pentru un om la un birou este de ajuns. Lipsurile ei se văd când a doua persoană începe să folosească mașina.

Câtă memorie cere o conversație

Qwen3-32B își publică configurația, cum fac de regulă modelele open-weight de pe Hugging Face. Citit pe 2026-09-23, fișierul indică 64 de straturi ascunse, 8 capete key-value, o dimensiune de cap de 128 și tipul de tensor bfloat16.

Din aceste patru numere rezultă cât cache ocupă un token. Fiecare strat stochează o cheie și o valoare, fiecare cu 8 capete și cu dimensiunea 128. Înseamnă 2 x 64 x 8 x 128 = 131.072 de numere per token, iar la doi octeți fiecare rezultă 262.144 de octeți, adică 256 KiB de memorie pentru un token dintr-o singură conversație.

Context păstratLa cache bfloat16La cache fp8
1.000 de tokeni0,24 GiB0,12 GiB
8.000 de tokeni1,95 GiB0,98 GiB
40.960 de tokeni, maximul publicat10,0 GiB5,0 GiB
Memoria pentru o conversație, calculată din configurația Qwen3-32B publicată pe Hugging Face

Zece persoane care țin fiecare, în același moment, o conversație de 8k au nevoie de circa 20 GiB de cache la bfloat16 sau de circa 10 GiB la fp8.

Încape modelul pe o placă de 32 GB?

Ponderile se încarcă înainte să existe vreo conversație. Un model de 32 de miliarde de parametri, la doi octeți per parametru, ocupă circa 64 GB. Pagina NVIDIA pentru GeForce RTX 5090, placa sa de vârf pentru consumatori, citită pe 2026-09-23, dă configurația standard de memorie:

Standard Memory Config 32 GB GDDR7

NVIDIA, GeForce RTX 5090, citit 2026-09-23

Modelul nu încape. Cuantizarea la 8 biți aduce ponderile la circa 32 GB, adică toată placa, și nu mai rămâne nimic pentru cache-ul din tabelul de mai sus.

De aceea listele de componente folosesc adesea modele mai mici, fără să o spună. Un model de 7 sau 8 miliarde de parametri încape lejer, iar pentru multe sarcini este suficient. Cumpărătorul trebuie să verifice dacă ajunge și pentru sarcina organizației sale.

Ce poate face motorul de servire când memoria se termină

vLLM, unul dintre motoarele care servesc aceste modele, documentează problema:

Large models might cause your machine to run out of memory (OOM). Here are some options that help alleviate this problem.

vLLM, Conserving Memory, citit 2026-11-17

Primele trei opțiuni pe care le numește sunt paralelismul pe tensori pe mai multe GPU-uri, cuantizarea și limitarea lungimii contextului și a dimensiunii lotului. Lungimea contextului și numărul de utilizatori simultani sunt două dintre cele patru numere ale unei oferte complete de capacitate și tocmai pe ele spune documentația motorului să le reduceți când memoria se termină.

Cele cinci lucruri care nu apar în nicio listă

  • Consumul și căldura. O placă de stație de lucru sub inferență continuă nu seamănă cu lucrul într-o foaie de calcul. Camera în care stă trebuie să preia căldura toată ziua.
  • Sistemul de operare și actualizările lui. Cineva le aplică, verifică dacă motorul mai pornește și răspunde de dimineața în care nu pornește.
  • Licența modelului. Un model open-weight nu este automat liber pentru uz comercial, iar termenii diferă de la o familie la alta. Citiți fișierul de licență, nu articolul de blog.
  • Backup și restaurare. Modelul se poate descărca din nou. Configurația, prompturile, indexul de căutare și regulile de acces nu.
  • Cine răspunde la telefon. O mașină de care depinde toată compania are nevoie de un responsabil numit pentru ziua în care cedează.

Înainte de orice achiziție, cereți cele patru numere împreună și întrebați care dintre ele au fost măsurate: câte persoane în același moment, cât context ține fiecare, câți tokeni pe secundă primește fiecare și ce tip de date are cache-ul. Un furnizor care răspunde cu un singur număr îl dă pe cel ușor. Apoi întrebați despre cele cinci lucruri. Răspunsurile decid costul de operare, iar la costul de operare greșește de obicei o listă de componente.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion nu vinde nimic din toate acestea ca listă de componente. Hardware-ul, modelul open-weight, sistemul de operare securizat, actualizările și suportul vin ca un singur sistem, cu un abonament lunar, administrat de noi.

Cifra noastră de capacitate a pornit de la un calcul de acest tip. Acum este o cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie. Măsurătoarea de pe acea cutie o va înlocui.

Întrebări la care răspunde articolul

De cât VRAM este nevoie pentru un model AI local?
Un model de 32 de miliarde de parametri, la doi octeți per parametru, cere circa 64 GB numai pentru ponderi, care nu încap pe o placă de 32 GB. Peste asta, Qwen3-32B costă 256 KiB de cache per token la bfloat16, deci o conversație de 8.000 de tokeni adaugă circa 1,95 GiB.
Poate o singură placă video să susțină un server AI local pentru o echipă?
Pentru o persoană, deseori da; pentru o echipă, limita este cache-ul. Zece persoane care țin fiecare 8.000 de tokeni au nevoie de circa 20 GiB de cache la bfloat16 sau de circa 10 GiB la fp8, peste ponderi, iar configurația de memorie publicată pentru NVIDIA GeForce RTX 5090 este de 32 GB în total.
Ce lipsește dintr-o listă de hardware pentru AI local?
Cinci lucruri: consumul și căldura susținute, actualizările sistemului de operare și cine le testează, termenii licenței modelului, backupul configurației și al indexului de căutare, nu al modelului, și un responsabil numit pentru momentul în care mașina cedează.

Sursele

  1. 1

    Hugging Face

    Qwen/Qwen3-32B, config.json

    citit 2026-09-23

  2. 2
  3. 3

    vLLM

    Conserving Memory

    citit 2026-11-17