Sari la conținut
Toate articolele
Infrastructură AI

Dens sau mixture of experts: ce îl costă arhitectura pe cumpărător

Un model mixture of experts promite mai mulți oameni pe aceeași placă. Două fișiere de configurare publicate arată cu cât și de ce promisiunea se subțiază când modelul este folosit de mai mulți oameni în același timp.

BastionActualizat 3 min de citit

Cumpărătorul dă peste cuvintele dens și mixture of experts într-o fișă tehnică și nu are de unde ști ce îl costă fiecare. Răspunsul se află în fișierul de configurare al modelului, pe care îl publică orice furnizor de modele cu ponderi deschise și care se citește în vreo zece minute.

Ce înseamnă dens și mixture of experts

Un model dens își citește toate ponderile ca să producă un token. Un model mixture of experts își împarte cea mai mare parte a ponderilor în experți și citește doar câțiva pentru fiecare token. Qwen3.6-35B-A3B publică 256 de experți și 8 experți pe token, iar fișa modelului dă 35 de miliarde de parametri în total și 3 miliarde activați. Promisiunea este costul de memory bandwidth al unui model mic, cu cunoștințele unuia mare.

Modelul chiar economisește memorie, iar la un volum mare de sarcini simple este alegerea mai bună.

Cache-ul unei conversații, din cele două fișiere de configurare

CâmpQwen3.8-27B, densQwen3.6-35B-A3B, MoE
Straturi ascunse6440
Dintre care cu atenție completă1610
Capete cheie-valoare42
Dimensiunea capului256256
Experți, activi pe tokenniciunul256, 8
Din config.json publicat al fiecărui model, citit 2026-09-23

La ambele modele, trei straturi din patru țin o stare recurentă fixă, nu un cache care crește. Numai straturile cu atenție completă costă memorie la fiecare token, așa că numărul de straturi, luat singur, nu vă spune nimic.

Fiecare strat cu atenție completă păstrează o cheie și o valoare pentru fiecare token. Costul unui token este 2, pentru cheie și valoare, înmulțit cu numărul straturilor cu atenție completă, cu numărul capetelor cheie-valoare, cu dimensiunea capului și cu numărul de octeți ai unui număr.

Dens 27BMoE 35B-A3B
Octeți pe token, fp832.76810.240
Octeți pe token, bfloat1665.53620.480
O conversație de 8k, fp8268 MB84 MB
O conversație de 8k, bfloat16537 MB168 MB
Cache-ul unei conversații, calculat din configurațiile de mai sus; 8k înseamnă 8.192 de tokeni

Modelul MoE ține sub o treime din cache-ul unei conversații, pentru că are 10 straturi cu atenție completă față de 16 și 2 capete cheie-valoare față de 4. Pe o singură placă, memoria limitează numărul de locuri, deci această parte a promisiunii se ține.

Unde scade economia: un lot citește reuniunea experților

Opt experți pe token este adevărat pentru un singur token. Un server răspunde mai multor oameni într-un singur lot, iar lotul trebuie să citească fiecare expert la care a fost trimis oricare dintre tokenii lui. Cu 256 de experți și 8 pe token, 32 de tokeni pot ajunge deja la toți cei 256. Peste această dimensiune a lotului, modelul poate citi la fiecare pas până la tot setul de experți. Cât rămâne din economia de ponderi nu reiese din fișierul de configurare; o arată doar o măsurătoare.

Prin urmare, o cifră de debit a unui model MoE luată din cazul cu un singur token descrie un singur om care folosește serverul. Nu este o cifră de capacitate.

Diferența de calitate, pe scorurile fiecărui furnizor

TestDens 27BMoE 35B-A3B
LiveCodeBench v690,380,4
SWE-bench Pro61,749,5
Scoruri raportate de furnizor, fiecare de pe fișa modelului respectiv, citite 2026-11-17. Qwen a rulat SWE-bench Pro pe propriul set de sarcini corectat: pentru fișa 27B în harness-ul Claude Code, pentru fișa 35B-A3B într-un scaffold intern de agent. Cele două scoruri nu se compară deci exact nici între ele, nici cu scorul SWE-bench Pro publicat de furnizorul unui model de top

Cele două fișe se compară cu seturi diferite de modele rivale, deci fiecare număr este ce afirmă furnizorul despre propriul model, nu rezultatul unei comparații controlate. Chiar și așa, modelul dens conduce cu 9,9 puncte la LiveCodeBench v6 și cu 12,2 la SWE-bench Pro.

Ce înseamnă asta pentru un cumpărător

  • Dacă aveți mulți oameni cu sarcini simple (clasificare, rezumare, întrebări pe documente, rulări de noapte), se potrivește modelul MoE: câștigă la memorie, iar diferența de calitate vă costă puțin.
  • Dacă aveți mai puțini oameni cu sarcini grele (redactare, analiză, cod, cercetare), se potrivește modelul dens, iar departamentul rareori simte numărul de locuri.
  • Cereți oricărui furnizor o cifră de capacitate cu patru termeni: câți utilizatori simultani, la ce lungime de context, la câți tokeni pe secundă fiecare, cu ce precizie a cache-ului. O cifră căreia îi lipsește oricare dintre cei patru nu poate fi verificată.
  • La o ofertă MoE, întrebați și la ce dimensiune a lotului a fost măsurată. O cifră luată la o singură cerere nu vă spune nimic despre treizeci.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion vinde implicit modelul dens, pentru că o cutie sigilată care rulează al doilea cel mai bun model deschis nu este cutia potrivită pentru sarcini de raționament.

Cifra de capacitate publicată este cea a nodului Reasoning, un model dens: până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8.000 de tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache cheie-valoare fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).

Nu publicăm nicio cifră de capacitate pentru un nod mixture of experts. Primul nostru calcul nu a ținut cont de reuniunea experților, descrisă mai sus, așa că l-am retras. Rămâne retras până când o măsurătoare pe echipamentul nostru susține o cifră.

Întrebări la care răspunde articolul

Care este diferența dintre un model dens și unul MoE?
Un model dens își citește toate ponderile pentru fiecare token, pe când un model mixture of experts citește doar câțiva experți: Qwen3.6-35B-A3B publică 256 de experți, cu 8 activi pe token (configurație citită 2026-09-23). Modelul MoE citește deci mai puțină memorie pe token, dar pierde din calitate la sarcinile grele.
Un model MoE susține mai mulți utilizatori simultani?
La memorie, da: potrivit configurațiilor citite pe 2026-09-23, modelul MoE ține 10.240 de octeți de cache fp8 pe token, față de 32.768 la modelul dens, deci o conversație de 8k (8.192 de tokeni) costă 84 MB față de 268 MB. La calcul, câștigul scade odată cu lotul: la 8 experți din 256 pe token, 32 de tokeni pot ajunge deja la toți experții.
Ce model AI local să aleagă o firmă: dens sau MoE?
Depinde de ce vă limitează: la un volum mare de sarcini simple se potrivește modelul MoE, iar la sarcinile de raționament, modelul dens. Pe cele două fișe de model, citite 2026-11-17, Qwen3.8-27B, modelul dens, obține 90,3 la LiveCodeBench v6, față de 80,4 la modelul MoE, și 61,7 față de 49,5 la SWE-bench Pro. Qwen a rulat acest test pe propriul set de sarcini corectat, în harness-ul Claude Code pentru fișa 27B și într-un scaffold intern de agent pentru fișa 35B-A3B, deci cele două scoruri nu se compară exact nici între ele, nici cu scorul SWE-bench Pro publicat de furnizorul unui model de top.

Sursele

  1. 1

    Hugging Face

    Qwen/Qwen3.8-27B, config.json

    citit 2026-09-23

  2. 2

    Hugging Face

    Qwen/Qwen3.6-35B-A3B, config.json

    citit 2026-09-23

  3. 3
  4. 4