Sari la conținut
Toate articolele
Infrastructură AI

Un test de AI local a publicat două numere. Doar unul a circulat.

Un motor, un Mac, un set de prompturi. Rata de scriere publicată este de 54 de tokeni pe secundă. Așteptarea publicată până la primul cuvânt este de 96 de secunde. Amândouă cifrele sunt în același tabel, dar numai prima a ajuns în titluri.

BastionActualizat 3 min de citit

Amândouă cifrele sunt măsurători reale, iar furnizorul a pus-o pe cea incomodă în același tabel cu cea avantajoasă. Cifra pe care o citează industria măsoară partea din așteptare care este, de obicei, cea mai scurtă.

Ce a publicat testul: rata de scriere și așteptarea

Inco AI publică un test pentru Splash, motorul său de inferență pentru Apple silicon. Metoda este descrisă limpede: „All engines ran on the same 48 GB M5 Pro, serving Qwen3.6-35B-A3B and Qwen3.8-27B over HTTP at their recommended settings. The prompts are a fixed set of coding tasks from NVIDIA’s SPEED-Bench, up to 32K tokens, with a 1,024-token output limit.”

La modelul dens de 27B, rata de scriere publicată scade odată cu contextul: 74 de tokeni pe secundă la prompturi scurte, 55 la 8K, 55 la 16K și 54 la 32K.

La un prompt de 32K, cu cache-ul rece, Splash dă primul token după 96 de secunde. Motorul cu care este comparat, oMLX, are nevoie de 317 secunde. Cu cache-ul cald, Splash dă primul token după 282 de milisecunde, iar oMLX după 2.049 de milisecunde.

Cât așteaptă un om, calculat de la un capăt la altul

Testul limitează răspunsul la 1.024 de tokeni. La 54 de tokeni pe secundă, scrierea acestui răspuns durează 18,96 secunde.

Cache receCache cald
Tăcere până la primul token96 de secunde0,28 secunde
Scrierea răspunsului18,96 secunde18,96 secunde
Total114,96 secunde19,24 secunde
De la un capăt la altul8,9 tokeni pe secundă53,2 tokeni pe secundă
Calculat din cifrele publicate de Inco AI: un prompt de 32K și un răspuns de 1.024 de tokeni

Mașina, motorul, modelul și promptul sunt aceleași. Cele două rezultate diferă de circa șase ori, iar toată diferența vine de la cache. Cifra citată, 54, este aceeași în ambele cazuri, pentru că viteza de scriere nu se schimbă când cache-ul este rece, așa că ea nu-i spune omului cât are de așteptat.

Ce compară, de fapt, un „de două ori mai rapid”

LM Studio a rezumat rezultatul astfel: „In Inco’s tests on a 48 GB M5 Pro, Splash delivered roughly twice the decode speed of the next-fastest engine they measured on Qwen3.8-27B: 74 tokens per second on short prompts and 54 at 32K context.”

Inco scrie condiția pe propria pagină: „Because each engine ran at its own recommended settings, these are end-to-end comparisons.” Fiecare model Splash vine cu un model draft pentru decodare speculativă. Dintre motoarele comparate, Inco notează despre un pachet, cel al lui uzu, că „has no draft”. Comparația pune deci o configurație față în față cu altă configurație. Este un mod legitim de a testa, iar furnizorul a scris condiția, dar cine vede doar raportul nu vede și condiția.

Ce hardware cere cifra cea rapidă

Motorul este open source, sub licența Apache-2.0. Inco scrie cerințele pe pagina sa: „Splash needs an M3 or newer Mac on macOS 26.4 or later, and Homebrew.” Despre modelul pe 4 biți pe care îl numește, pagina spune că „needs at least 36 GB of unified memory; we recommend 48 GB or more.” La lansare, Inco spunea că motorul suportă două modele; la 17 noiembrie 2026, repository-ul listează cinci familii de modele.

Cifra din titluri a fost măsurată pe o singură mașină, un M5 Pro de 48 GB. Motorul cere un Mac M3 sau mai nou și macOS 26.4, deci cifra nu ține de echipamentele pe care o organizație le are deja.

Unde ajută motorul: cereri simultane și cache cald

La modelul de 27B, Splash a dus la capăt toate cele 16 cereri simultane de 32K pe mașina de 48 GB. Inco spune că o politică de memorie de uz general a acceptat nouă la prima trecere și că nu a testat dacă alt motor poate fi configurat să facă la fel. O echipă care lucrează cu mai multe sesiuni deodată simte această cifră, ca și timpul până la primul token cu cache-ul cald, de mai sus, la fiecare schimb de replici.

Ce înseamnă asta pentru o organizație reglementată

Capacitatea unei mașini se descrie prin patru termeni: câți oameni lucrează în același timp, la ce lungime de context, la câți tokeni pe secundă fiecare și cu ce precizie a cache-ului cheie-valoare. O cifră fără celelalte trei nu se poate compara cu nimic.

Așteptarea se descrie prin încă doi termeni: timpul până la primul token cu cache-ul rece și cu cache-ul cald, la lungimea de context cu care se lucrează. Un furnizor care îi poate da pe toți șase a măsurat sistemul.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion își dă cifra la fel de fiecare dată, pe cutie și niciodată pe utilizator: până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie). Aceiași patru termeni apar în ofertă, pe acest site și în contract.

Acești patru termeni descriu scrierea, care este de obicei partea mai scurtă a așteptării. Timpul până la primul token se măsoară pe prima cutie, nu se calculează, și îl publicăm când există măsurătoarea.

O cutie locală sigilată elimină și variabila din cauza căreia un test făcut în cloud este greu de refolosit: mașina pentru care s-a dat cifra este chiar mașina care vă deservește și nu este împărțită cu traficul altcuiva.

Întrebări la care răspunde articolul

Ce viteză are un LLM local?
Viteza se descrie prin două cifre. În testul Inco pe un Mac M5 Pro de 48 GB, modelul scrie 54 de tokeni pe secundă, dar la un prompt de 32K, cu cache-ul rece, primul cuvânt apare după 96 de secunde.
LLM local sau în cloud: ce contează la viteză?
Timpul până la primul token, la lungimea de context cu care se lucrează. Un sistem local nu își împarte mașina cu traficul altcuiva, deci cifra măsurată este și cifra livrată.
Ce trebuie să ceară o firmă de la furnizorul unui sistem AI local?
Patru termeni de capacitate: utilizatorii simultani, lungimea contextului, tokenii pe secundă pentru fiecare și precizia cache-ului KV. În plus, timpul până la primul token, cu cache-ul rece și cu cache-ul cald.

Sursele

  1. 1
  2. 2
  3. 3
  4. 4

    Inco AI

    DFlash 2: Keep Drafting Parallel

    citit 2026-09-22