Câți oameni poate susține un singur server AI?
Nu există un număr universal. Un furnizor care îți dă un număr de utilizatori fără alți trei termeni citează un benchmark pe care nu-l poți reproduce. De ce depinde cifra și cum arată o ofertă pe care te poți baza.
Douăzeci de utilizatori pot însemna trei workload-uri diferite, iar fiecare cere alt echipament.
| Compania | Utilizatori | Ce trimit modelului |
|---|---|---|
| A | Douăzeci de oameni | Emailuri scurte, în rafale, câteva sute de tokeni la intrare și câteva sute la ieșire |
| B | Douăzeci de oameni | Contracte de o sută de pagini, toată după-amiaza |
| C | Douăzeci de dezvoltatori | Cereri automate trimise de editoarele lor, fără ca cineva să aștepte răspunsul |
Se numără utilizatorii simultani, nu angajații
Într-o companie cu o sută de angajați, rareori așteaptă o sută de oameni un răspuns de la model în aceeași secundă, așa că dimensionarea pornește de la vârful de utilizatori simultani. Dacă îl estimezi prea jos, sistemul merge încet tocmai când lucrează toată lumea. Dacă îl estimezi prea sus, organizația plătește o mașină care stă degeaba.
Câtă memorie costă fiecare utilizator simultan
Ponderile se încarcă o singură dată. Odată cu numărul de utilizatori crește cache-ul cheie-valoare, adică memoria de lucru a modelului pentru fiecare conversație în curs. El crește cu lungimea contextului și cu numărul de secvențe servite în același timp.
Proiectul vLLM a dat o cifră la 20 iunie 2023: cache-ul KV „Takes up to 1.7GB for a single sequence in LLaMA-13B”. Cifra se înmulțește cu numărul de secvențe simultane.
Același articol consemnează că, înainte de PagedAttention, sistemele de inferență risipeau „60% – 80% of memory due to fragmentation and over-reservation”, față de „near-optimal memory usage, with a mere waste of under 4%” după aceea. Prin urmare, aceeași placă, cu același model și aceiași utilizatori, poate duce o parte din sarcină sau aproape toată, în funcție de motorul de servire.
Ce conține o ofertă pe care te poți baza
O cifră de capacitate pe care te poți baza numește patru lucruri deodată:
- Numărul de utilizatori simultani, care nu este numărul de licențe.
- Lungimea contextului, pentru că un context de 32k nu este un context de 8k.
- Viteza de generare pentru fiecare utilizator, în tokeni pe secundă.
- Tipul de date al cache-ului KV, pentru că fp8 și bf16 nu se pot înlocui unul cu altul.
Modelul și placa sunt al cincilea. Dacă lipsește oricare dintre cele patru, cifra poate fi făcută să spună aproape orice.
Cum se dimensionează un server pornind de la workload
Estimezi vârful de utilizatori simultani. Numeri cererile fiecărui utilizator în ora cea mai aglomerată. Estimezi tokenii de intrare și de ieșire pentru documentele reale. Abia apoi te uiți la hardware și îl testezi cu workload-ul real, nu cu un benchmark generic.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion declară capacitatea cu toți termenii ei. Cutia Office deservește până la 60 de oameni cu modul de gândire oprit sau 40 cu modul de gândire pornit. Cutia Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit. Ambele cifre sunt valabile la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).
Prin oameni înțelegem persoane anume, care folosesc cutia de-a lungul zilei, cam o cerere la 3 minute fiecare, nu oameni care apasă Enter în aceeași clipă.
Configuratorul aplică o singură regulă publică. O casă de avocatură, o firmă de software sau un birou mic, cu sarcini scurte de zi cu zi, primește cutia Office. Documentele lungi, o echipă de peste 60 de oameni sau orice bancă, asigurător, spital ori instituție publică primesc cutia Reasoning. Un workload mai greu, cu documente mai lungi sau cu mai mulți oameni deodată, cere alt nod sau mai multe.
Diferența dintre cele două ține de lungimea documentelor și de calitate, nu de numărul de oameni: cutia Reasoning ține în lucru de aproximativ zece ori mai mult text. Pentru documente lungi, stabilim împreună cu tine numărul de oameni pe cutie.
Întrebări la care răspunde articolul
- Câți utilizatori poate ține un server AI local?
- Nu există un număr universal: capacitatea o decid modelul, lungimea contextului, cache-ul KV și motorul de servire. O ofertă pe care te poți baza numește împreună utilizatorii simultani, lungimea contextului, viteza de generare pentru fiecare utilizator și tipul de date al cache-ului KV.
- Cum se dimensionează un server pentru AI într-o firmă?
- Pornești de la utilizatori: vârful de utilizatori simultani, cererile fiecăruia în ora cea mai aglomerată și tokenii de intrare și de ieșire ai documentelor reale. Hardware-ul vine la urmă și se testează cu workload-ul real, nu cu un benchmark generic.
- Câtă memorie cere fiecare utilizator al unui server AI?
- Ponderile se încarcă o singură dată, iar odată cu utilizatorii crește cache-ul cheie-valoare. La 20 iunie 2023, proiectul vLLM a scris că acesta „Takes up to 1.7GB for a single sequence in LLaMA-13B”.
Sursele
- 1