Cinci întrebări pentru o cifră de tokeni pe secundă dintr-o reclamă
Aceeași placă video de 32 GB și același model 27B au dat 27 de tokeni pe secundă într-un test public și 208 în altul. Ambele măsurători sunt corecte. Le despart cinci condiții, pe care o reclamă le tipărește rar.
Cifrele vin din două teste cu Qwen3.8-27B pe placa Radeon AI PRO R9700 de 32 GB și dintr-un al treilea test, cu un model mai mare. Niciun test nu este al nostru. Fiecare autor și-a publicat condițiile, iar condițiile sunt chiar întrebările.
| Întrebarea | De ce se schimbă cifra | Măsurat |
|---|---|---|
| O singură cerere sau mai multe deodată? | Un total se împarte între cereri | 47,5 pentru o cerere; 47,7 în total pentru patru |
| A fost pornit un model draft? | Înmulțește viteza pe text previzibil | 32,3 fără; 208,1 cu, pe sarcini scurte de cod |
| Cod sau proză, și cât de lung e promptul? | Sunt acceptați mai puțini tokeni propuși | Proză: 58,2 la 1.443 de tokeni; 23,7 la 70.164 |
| Ce cuantizare, și al cui e scorul de calitate? | Mai puțini biți pe pondere costă acuratețe | 104 probleme din 175 rezolvate la 2,9 biți; 118 necuantizat |
| Cine a măsurat, și pe ce mașină? | Cifra unei componente nu este cifra unui produs | Toate cele trei teste numesc autorul, motorul, fișierul și prompturile |
Un total pe mai multe cereri nu este viteza fiecăreia
În primul test, o singură cerere a primit 47,5 tokeni pe secundă. Patru cereri simultane au primit împreună 47,7, adică 20 până la 22,5 fiecare. Mașina a produs la fel de mult, iar fiecare om a primit mai puțin de jumătate. Un grafic care pune o cifră pentru o cerere lângă un total pentru patru compară ce vede un om cu ce produce mașina.
Un model draft ajută codul mult mai mult decât proza
La decodarea speculativă, un model mic, de draft, propune câțiva tokeni, iar modelul mare îi acceptă sau îi respinge. Textul previzibil este acceptat des, iar codul este previzibil. În al doilea test, sarcinile scurte de cod au mers la 208,1 tokeni pe secundă, sau la 156,2 dacă se numără și procesarea promptului și drumul prin HTTP. O întrebare în proză pe un prompt de 70.164 de tokeni a mers la 23,7. Autorul își rezumă singur rulările pe proză: „decode here is 24 to 58 tok/s, not 208.”
Pentru un programator care trimite prompturi scurte de cod, cifra mare este adevărată și utilă. O firmă care dimensionează un server pentru oameni care citesc contracte ar trebui să ceară rândul cu proza.
Scorul de calitate poate fi al altui fișier
Un model mare încape pe o mașină mică doar după cuantizare, care păstrează fiecare pondere pe mai puțini biți. Al treilea test a rulat un model cu 763 de miliarde de parametri la 2,9 biți pe pondere, pe două calculatoare de birou. Cu modul de gândire oprit, a rezolvat cu 14 probleme LiveCodeBench mai puțin decât modelul necuantizat. O viteză măsurată pe fișierul mic și un scor de calitate publicat pentru modelul întreg nu descriu același produs.
Cifra unei componente nu este cifra unui produs
Cei trei autori au numit versiunea motorului, fișierul modelului și setul de prompturi, așa că oricine le poate repeta rulările. O reclamă care nu numește niciunul citează, de obicei, testul altcuiva pe o componentă. Cifra descrie un produs atunci când vânzătorul a măsurat mașina pe care o livrează și spune cum.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion declară cealaltă mărime: câți oameni deservește un echipament, fiecare la o viteză minimă. Un nod Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).
Testul a rulat fără model draft, deci cifra nu depinde de ce scriu oamenii, cod sau proză. La a cincea întrebare răspunde doar pe jumătate: am măsurat noi, dar pe un card închiriat, iar cifra rămâne o estimare până când măsurăm primul echipament.
Întrebări la care răspunde articolul
- Câți tokeni pe secundă scoate o placă video de 32 GB cu un model 27B?
- Depinde de condiții. Pe o Radeon AI PRO R9700, un test a măsurat 208,1 pentru o singură cerere, cu un model draft, pe prompturi scurte de cod. Decodarea simplă pe aceeași placă a dat între 27,1 și 32,3, iar proza cu model draft între 23,7 și 58,2, după lungimea promptului.
- Ce este decodarea speculativă la un model AI?
- Un model mic, de draft, propune câțiva tokeni, iar modelul mare îi acceptă sau îi respinge. Este rapidă când textul e previzibil: 208,1 tokeni pe secundă pe sarcini scurte de cod într-un test, față de 23,7 pe proză cu un prompt de 70.164 de tokeni.
- Cuantizarea scade calitatea unui model AI?
- Poate. Într-un test, un model la 2,9 biți pe pondere a rezolvat 104 din 175 de probleme LiveCodeBench cu modul de gândire oprit, iar modelul necuantizat a rezolvat 118. Întrebați pe ce fișier a fost măsurat scorul de calitate.
Sursele
- 1
- 2
- 3
Citește mai departe
- „Tokens per second”: ce înseamnă și de ce limba poate schimba calcululCum se citește o cifră de debit, de ce nu este timpul de răspuns, ce se întâmplă cu ea la mai mulți utilizatori simultani și efectul de limbă despre care un cumpărător român ar trebui să întrebe înainte să accepte un benchmark în engleză.
- Un test de AI local a publicat două numere. Doar unul a circulat.Un furnizor a măsurat 54 de tokeni pe secundă la un context de 32K și 96 de secunde până la primul token, pe aceeași mașină. Pe tot răspunsul, rata reală este de 8,9 tokeni pe secundă cu cache-ul rece și de 53,2 cu cache-ul cald. Ce ar trebui să ceară un cumpărător.