Ce este inferența LLM și de ce este singura parte pe care o cumperi
O cerere de inferență are două faze, iar șapte variabile decid cât de rapid pare sistemul. Opt întrebări puse furnizorului transformă „AI rapid” într-o cifră pe care cumpărătorul o poate verifica.
Antrenarea creează sau modifică un model. Se face rar, cu costuri mari, pe o infrastructură foarte mare. Inferența este ce se întâmplă de fiecare dată când cineva îi pune o întrebare modelului gata antrenat. Angajații care pun întrebări, rezumă documente, extrag clauze și redactează răspunsuri fac inferență, așa că un appliance trebuie proiectat pentru inferență.
Două faze într-o singură cerere
O cerere are o fază de prefill, în care modelul procesează tot ce a primit, și o fază de decodare, în care generează răspunsul token cu token. Cele două faze solicită mașina diferit, de aceea un singur număr de benchmark nu o descrie pe niciuna.
| Faza | Crește odată cu | O cerere care este aproape numai această fază |
|---|---|---|
| Prefill | Cantitatea trimisă | Un document de o sută de pagini cu o întrebare de un rând |
| Decodare | Lungimea răspunsului | Un prompt scurt care cere un raport lung |
Utilizatorii simt două numere. Timpul până la primul token arată cât rămâne ecranul gol. Tokenii pe secundă arată cât de repede apare apoi textul. Un sistem cu debit excelent și pornire lentă pare greoi, iar unul care pornește pe loc și apoi se târăște pare și mai rău.
Cele șapte variabile care decid viteza
Ambele numere depind de șapte variabile. Prima este dimensiunea modelului, împreună cu precizia în care sunt stocate ponderile. A doua este memoria disponibilă, pentru că cache-ul cheie-valoare crește odată cu contextul și cu numărul de utilizatori simultani. Urmează lungimea contextului și cât din el se folosește cu adevărat, lungimea promptului și cea așteptată a răspunsului și numărul de cereri aflate în lucru în același timp. Ultimele două sunt batching-ul și gestionarea memoriei din motorul de servire și hardware-ul de sub toate acestea.
Motorul de servire schimbă capacitatea aceleiași plăci. Proiectul vLLM a măsurat că sistemele de inferență dinaintea PagedAttention risipeau „60% – 80% of memory due to fragmentation and over-reservation”, față de „near-optimal memory usage, with a mere waste of under 4%” după.
Cele opt întrebări pentru furnizor
- Ce model este și sub ce licență?
- La ce precizie sunt stocate ponderile și cache-ul KV?
- La ce lungime a contextului a fost măsurată cifra?
- Pentru câți utilizatori simultani este valabilă?
- Ce lungimi de intrare și de ieșire presupune?
- Câți tokeni pe secundă primește fiecare utilizator?
- Care este timpul până la primul token?
- Pe ce configurație hardware a fost măsurată?
Cu cele opt răspunsuri, altcineva poate reproduce măsurătoarea. 30 de tokeni pe secundă pentru un utilizator și 30 de tokeni pe secundă pentru fiecare dintre treizeci de utilizatori sunt afirmații diferite, despre mașini diferite.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion este un appliance de inferență, nu o platformă de antrenare, și este dimensionat și ofertat în termeni de inferență.
Un nod Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie). Celelalte puncte din listă țin de discuția de dimensionare, pe documentele cumpărătorului.
Întrebări la care răspunde articolul
- Ce este inferența la un LLM local?
- Rularea unui model finalizat ca să răspundă la o cerere. Antrenarea creează sau modifică modelul; inferența este ce se întâmplă de fiecare dată când cineva îi pune o întrebare, iar pentru ea plătește o organizație care cumpără un appliance.
- De ce depinde viteza unui model AI local?
- De șapte lucruri: dimensiunea modelului și precizia ponderilor, memoria disponibilă, lungimea contextului, lungimea promptului și a răspunsului, numărul de cereri simultane, motorul de servire și hardware-ul. vLLM a măsurat că sistemele dinaintea PagedAttention risipeau 60–80 % din memorie, față de sub 4 % după.
- Ce întreb un furnizor de servere AI despre viteză?
- Opt lucruri: modelul și licența lui, precizia ponderilor și a cache-ului KV, lungimea contextului, numărul de utilizatori simultani, lungimile presupuse de intrare și de ieșire, tokenii pe secundă pentru fiecare utilizator, timpul până la primul token și configurația hardware.
Sursele
- 1
Citește mai departe
- Ce rulează de fapt un model AI: cinci straturi în spatele chatuluiUn ghid simplu de infrastructură AI pentru oamenii care trebuie să aprobe achiziția: cele cinci straturi din spatele ferestrei de chat și motivul pentru care „avem nevoie de un server AI” nu este niciodată o propoziție completă.
- „Tokens per second”: ce înseamnă și de ce limba poate schimba calcululCum se citește o cifră de debit, de ce nu este timpul de răspuns, ce se întâmplă cu ea la mai mulți utilizatori simultani și efectul de limbă despre care un cumpărător român ar trebui să întrebe înainte să accepte un benchmark în engleză.