Pentru AI local, memoria GPU decide mai mult decât viteza GPU
Acceleratoarele se compară de obicei după debit. La un model de limbaj local, memoria decide prima: o placă în care nu încap modelul, contextul și conversațiile simultane nu rulează workload-ul, oricât de repede ar calcula.
Memoria unei plăci se împarte între trei lucruri:
- Ponderile. Un model cu miliarde de parametri trebuie să aibă miliarde de numere încărcate în memorie înainte să răspundă la ceva, iar dimensiunea lor depinde de precizia la care sunt stocate.
- Cache-ul cheie-valoare, adică memoria de lucru a modelului pentru fiecare conversație în curs. Proiectul vLLM a scris că acesta „Takes up to 1.7GB for a single sequence in LLaMA-13B”.
- Activările și restul memoriei de care are nevoie calculul ca să ruleze.
Ponderile sunt un cost fix. Cache-ul crește cu numărul de oameni care folosesc sistemul și cu lungimea documentelor lor, iar el este cel care lasă mașina fără loc.
Lungimea contextului multiplică cache-ul
„Scrie un răspuns de trei rânduri la acest email” și „Citește aceste o sută de pagini și răspunde la întrebare” folosesc același model, dar a doua cerere ține mult mai mult în cache și mult mai mult timp. Un sistem promovat cu o fereastră de context lungă are nevoie de memorie ca s-o poată folosi cu mai mulți oameni deodată. Altfel, cifra rămâne teoretică.
Ce aduce cuantizarea și ce costă
Ponderile și cache-ul pot fi stocate la o precizie numerică mai mică. Așa scade memoria ocupată, iar modelul poate rula local pe mașini mai mici. Precizia mai mică poate afecta calitatea, iar suportul diferă de la un model la altul și de la un motor la altul. De obicei compromisul merită făcut, dar specificația trebuie să-l declare: de exemplu, fp8 în loc de bf16 pentru cache-ul KV.
Motorul decide cât din memorie păstrezi
Același articol vLLM consemnează că sistemele de inferență dinaintea PagedAttention risipeau „60% – 80% of memory due to fragmentation and over-reservation”, iar după aceea rezultatul a fost „near-optimal memory usage, with a mere waste of under 4%”. O problemă de fragmentare se rezolvă întâi din configurația de servire, fără niciun cost, și abia apoi cu o placă mai mare.
Întrebarea de pus furnizorului în locul vitezei GPU
Poate acest sistem să ruleze acest model, la această lungime a contextului, pentru atâția utilizatori simultani, la această viteză de generare, cu acest tip de date pentru cache-ul KV? La întrebarea aceasta se răspunde cu da sau nu, iar răspunsul se poate verifica printr-un test.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion răspunde la această întrebare chiar în ofertă, nu cu numele unei plăci. Un nod Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).
Întrebări la care răspunde articolul
- Câtă memorie GPU cere un model AI local?
- Întâi ponderile, apoi memoria de lucru pentru fiecare conversație în curs. vLLM dă pentru cache-ul cheie-valoare până la 1,7 GB pentru o singură secvență pe LLaMA-13B, deci totalul depinde de model, de lungimea contextului și de câți oameni folosesc sistemul în același timp.
- Contează mai mult memoria sau viteza plăcii?
- La modelele de limbaj locale, de obicei memoria. O placă rapidă rămâne alegerea greșită dacă în ea nu încap modelul, contextul și conversațiile simultane, pentru că workload-ul nu rulează deloc.
- Contează tipul de date al cache-ului KV?
- Da, mult. Un cache stocat la precizie mai mică, fp8 în loc de bf16, schimbă calculul memoriei atât de mult, încât o cifră de capacitate fără tipul de date nu poate fi verificată.
Sursele
- 1
Citește mai departe
- Câți oameni poate susține un singur server AI?Utilizatorii simultani nu sunt totuna cu angajații. Capacitatea o decid modelul, lungimea contextului, cache-ul KV și motorul de servire, iar proiectul vLLM a constatat că sistemele de inferență dinaintea motorului său risipeau 60–80 % din memorie, față de sub 4 % cu el.
- Ce rulează de fapt un model AI: cinci straturi în spatele chatuluiUn ghid simplu de infrastructură AI pentru oamenii care trebuie să aprobe achiziția: cele cinci straturi din spatele ferestrei de chat și motivul pentru care „avem nevoie de un server AI” nu este niciodată o propoziție completă.