Sari la conținut
Toate articolele
Infrastructură AI

„Tokens per second”: ce înseamnă și de ce limba poate schimba calculul

O cifră de viteză descrie un singur test: un număr de utilizatori, o lungime a contextului și o limbă. Dacă se schimbă una dintre ele, aceeași mașină dă alt număr.

BastionActualizat 3 min de citit

Un model citește tokeni, adică fragmentele de text pe care le produce un tokenizator. Un cuvânt englezesc frecvent este adesea un singur token. Un cuvânt rar, un nume propriu sau o formă flexionată pot avea mai mulți. Promptul și documentele aduse de căutare sunt tokeni de intrare, răspunsul este format din tokeni de ieșire, iar cele două categorii nu costă la fel.

Cât schimbă limba numărul de tokeni

Tokenizatoarele nu tratează toate limbile la fel. Un studiu publicat la 17 mai 2023 a constatat că „The same text translated into different languages can have drastically different tokenization lengths, with differences up to 15 times in some cases.” Studiul numește trei consecințe pentru limbile afectate: serviciile lingvistice comerciale costă inegal, timpul de procesare și latența variază, iar în fereastra de context încape mai puțin conținut.

A treia este capcana pentru un cumpărător român. Un context de 8k nu înseamnă 8.000 de cuvinte, iar în el încape mai puțin text în română decât în engleză, dacă tokenizatorul tratează româna mai puțin eficient. De aceea, un benchmark făcut pe text în engleză poate supraestima ce face aceeași cutie cu niște contracte în română. Cereți cifra de debit pe documentele dumneavoastră, în limba în care lucrați.

Debitul nu este timpul de răspuns

Tokenii pe secundă descriu de obicei viteza de generare: la 30 de tokeni pe secundă, un răspuns de 300 de tokeni se scrie în aproximativ zece secunde. Înainte să apară primul token de ieșire, modelul trebuie să proceseze intrarea, iar un document de zece mii de tokeni cere mai mult efort decât o întrebare de o sută de tokeni. Timpul până la primul token și tokenii pe secundă se măsoară separat, iar utilizatorul le simte pe amândouă.

Cu utilizatori simultani, numărul se schimbă cel mai mult

30 de tokeni pe secundă pentru un utilizator aflat singur pe mașină este altă afirmație decât 30 de tokeni pe secundă pentru fiecare dintre treizeci de utilizatori simultani. A doua este mult mai greu de atins, iar cât de greu depinde de batching-ul și de gestionarea memoriei din motorul de servire. Proiectul vLLM a măsurat acest strat: înainte de PagedAttention, sistemele de inferență risipeau „60% – 80% of memory due to fragmentation and over-reservation”, față de „near-optimal memory usage, with a mere waste of under 4%” după.

Cei patru termeni care fac o ofertă reală

O cifră de debit poate fi verificată atunci când vine cu patru termeni: pentru câți utilizatori simultani este valabilă, la ce lungime a contextului, la câți tokeni pe secundă pentru fiecare utilizator și cu ce tip de date pentru cache-ul KV. Un furnizor care schimbă unul dintre cei patru fără să spună poate scoate un număr impresionant din același hardware.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion îi declară pe toți patru împreună. Un nod Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).

Efectul de limbă se aplică și aici, așa că dimensionarea pornește de la documentele cumpărătorului, nu de la un corpus de benchmark.

Întrebări la care răspunde articolul

Ce înseamnă tokens per second la un LLM local?
Viteza cu care modelul generează răspunsul. La 30 de tokeni pe secundă, un răspuns de 300 de tokeni se scrie în aproximativ zece secunde, dar modelul trebuie întâi să proceseze intrarea, deci debitul nu este timpul total de răspuns.
Cum compar viteza a două servere AI?
Doar cu patru termeni lângă cifră: pentru câți utilizatori simultani, la ce lungime a contextului, la câți tokeni pe secundă pentru fiecare și cu ce tip de date pentru cache-ul KV. Dacă un furnizor schimbă unul dintre ei fără să spună, numerele nu mai pot fi comparate.
Merge un model AI local la fel de bine în română ca în engleză?
Nu neapărat. Un studiu publicat la 17 mai 2023 a constatat că același text, tradus în limbi diferite, poate avea lungimi de tokenizare care diferă de până la 15 ori, deci un benchmark pe text în engleză poate supraestima ce face același echipament cu documente în română.

Sursele

  1. 1
  2. 2