Ce schimbă un KV cache pe fp8, calculat
Precizia cache-ului cheie-valoare este o singură setare de server. La fp8, pe aceeași placă încap de 1,78 ori mai multe conversații decât la bfloat16, iar cele mai multe cifre de capacitate nu pomenesc acest termen.
Înainte să scrie următorul cuvânt, un model de limbaj recitește tot ce s-a spus deja în conversație. Ca să nu refacă acest calcul de fiecare dată, serverul păstrează o cheie și o valoare pentru fiecare token pe care l-a văzut. Acesta este cache-ul cheie-valoare.
Ponderile sunt un cost fix, plătit o singură dată, fie că este conectat un om, fie cincizeci. Fiecare conversație deschisă are însă cache-ul ei, care crește cu fiecare token. Pe o singură placă, cache-ul decide câți oameni încap.
Ce îi face fp8 cache-ului
Cache-ul nu trebuie stocat la precizia la care a fost antrenat modelul. Un format în virgulă mobilă pe 8 biți ține fiecare număr într-un octet în loc de doi. Este o singură setare de server: echipamentul, modelul și ponderile rămân aceleași.
Quantizing the KV (Key-Value) cache to FP8 format can significantly reduce its memory footprint.
vLLM, Quantized KV Cache, citit 2026-09-23
Calculul pe o placă de 96 GB
Pagina NVIDIA pentru RTX PRO 6000, citită pe 2026-09-23, dă 96 GB de GDDR7 cu cod corector de erori. Păstrăm o zecime liberă ca spațiu de lucru pentru motor, așa că rămân 86,4 GB.
Qwen3.8-27B publică 64 de straturi, dintre care 16 folosesc atenție completă, cu 4 capete cheie-valoare și o dimensiune a capului de 256 (configurație citită pe 2026-09-23). Checkpointul pe 4 biți (NVFP4) al modelului ocupă circa 21,9 GB, deci pentru conversații rămân 64,5 GB.
| cache fp8 | cache bfloat16 | |
|---|---|---|
| Cache de atenție pe conversație | 0,268 GB | 0,537 GB |
| Stare recurentă fixă pe conversație | 0,079 GB | 0,079 GB |
| Total pe conversație | 0,347 GB | 0,616 GB |
| Conversații care încap în 64,5 GB | 185 | 104 |
185 față de 104 înseamnă de 1,78 ori mai multe locuri pe aceeași placă, cu aceleași ponderi și același model.
Al doilea efect: mai puțină memorie de citit la fiecare token
Ca să scrie un token pentru toată lumea deodată, serverul citește ponderile folosite la acel pas și cache-ul fiecărei conversații deschise. După numărătoarea noastră pe tensorii checkpointului, aceste ponderi sunt 17,61 GB din cei 21,9 GB; restul sunt embeddings, vision tower-ul și un cap de predicție, pe care niciun pas nu le citește. La 35 de conversații simultane, pasul pe fp8 citește 17,61 + 35 × 0,347 = circa 29,8 GB. Aceleași 35 de conversații pe bfloat16 citesc 17,61 + 35 × 0,616 = circa 39,2 GB, adică un trafic cu 32 la sută mai mare pentru același răspuns.
Precizia cache-ului mută memoria și viteza în aceeași direcție. De aceea doi furnizori cinstiți pot da numere de utilizatori care diferă de aproape două ori: au ales alt tip de date pentru cache.
Ce costă fp8
Când înjumătățești precizia numerelor stocate, faci o aproximare. Documentația vLLM îi pune trei limite.
- Implicit, nimic nu este calibrat. Documentația vLLM spune că, fără calibrare, toate scalele de cuantizare sunt puse pe 1,0. Varianta recomandată le estimează dintr-un set de date de calibrare.
- Nu toate straturile o suportă la fel. Aceeași documentație notează că unele tipuri de straturi de atenție sunt mai sensibile la cuantizarea cache-ului cheie-valoare și oferă un parametru prin care straturile numite rămân la precizia modelului.
- Există mai multe formate pe 8 biți și mai multe strategii. vLLM listează fp8_e4m3 și fp8_e5m2, plus cuantizarea pe tensor sau pe cap de atenție. Ele nu se pot înlocui una cu alta, iar strategia pe cap de atenție cere calibrare.
Pentru cele mai multe sarcini, fp8 este un compromis bun, cu condiția să fie ales în cunoștință de cauză, iar calitatea să fie verificată pe documentele tale.
Ce să ceri unui furnizor
O cifră de capacitate poate fi verificată atunci când are patru termeni: câți utilizatori simultani, la ce lungime de context, la câți tokeni pe secundă fiecare și cu ce precizie a cache-ului. Celui care îți oferă fp8 pune-i și a cincea întrebare: a fost calibrat cache-ul sau scalele au rămas la valoarea implicită?
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion scrie precizia cache-ului în fiecare cifră de capacitate pe care o publică. Nodul Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8.000 de tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache cheie-valoare fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie). După ce construim cutia, măsurătoarea făcută pe ea o înlocuiește pe aceasta.
Întrebări la care răspunde articolul
- Ce este un KV cache pe fp8?
- Stochează fiecare număr din cache-ul cheie-valoare al modelului într-un octet în loc de doi. Calculat dintr-o configurație publicată, pe o placă de 96 GB, numărul conversațiilor simultane de 8.192 de tokeni crește astfel de la 104 la 185, cu aceleași ponderi și același model.
- Scade fp8 calitatea răspunsurilor?
- Este o aproximare, deci poate s-o scadă: documentația vLLM, citită 2026-09-23, spune că fără calibrare toate scalele de cuantizare sunt puse pe 1,0 și recomandă estimarea lor dintr-un set de date de calibrare. Notează și că unele tipuri de straturi de atenție sunt mai sensibile și pot fi lăsate la precizia modelului.
- De câtă memorie are nevoie cache-ul per utilizator?
- Depinde de configurația modelului. Qwen3.8-27B are 16 straturi de atenție completă, 4 capete cheie-valoare și dimensiunea capului 256, (configurație citită 2026-09-23), ceea ce dă 0,268 GB de cache de atenție pentru o conversație de 8.192 de tokeni la fp8 și 0,537 GB la bfloat16, plus 0,079 GB de stare recurentă fixă.
Sursele
- 1
- 2
- 3
Citește mai departe
- Dens sau mixture of experts: ce îl costă arhitectura pe cumpărătorDouă configurații de model, citite în aceeași zi, pun alegerea în cifre. Modelul MoE ține sub o treime din cache-ul cheie-valoare pe conversație. Trimite însă fiecare token către 8 din 256 de experți, iar un lot citește reuniunea lor, așa că economia scade.
- Ce hardware cere un LLM local și ce lipsește din lista de componenteCalculul de memorie, făcut dintr-o configurație de model și o specificație de placă publicate. De ce un model de 32 de miliarde de parametri nu încape pe o placă de 32 GB, cât costă o conversație și cele cinci lucruri care lipsesc din orice listă.