Dens sau mixture of experts: ce îl costă arhitectura pe cumpărător
Un model mixture of experts promite mai mulți oameni pe aceeași placă. Două fișiere de configurare publicate arată cu cât și de ce promisiunea se subțiază când modelul este folosit de mai mulți oameni în același timp.
Cumpărătorul dă peste cuvintele dens și mixture of experts într-o fișă tehnică și nu are de unde ști ce îl costă fiecare. Răspunsul se află în fișierul de configurare al modelului, pe care îl publică orice furnizor de modele cu ponderi deschise și care se citește în vreo zece minute.
Ce înseamnă dens și mixture of experts
Un model dens își citește toate ponderile ca să producă un token. Un model mixture of experts își împarte cea mai mare parte a ponderilor în experți și citește doar câțiva pentru fiecare token. Qwen3.6-35B-A3B publică 256 de experți și 8 experți pe token, iar fișa modelului dă 35 de miliarde de parametri în total și 3 miliarde activați. Promisiunea este costul de memory bandwidth al unui model mic, cu cunoștințele unuia mare.
Modelul chiar economisește memorie, iar la un volum mare de sarcini simple este alegerea mai bună.
Cache-ul unei conversații, din cele două fișiere de configurare
| Câmp | Qwen3.8-27B, dens | Qwen3.6-35B-A3B, MoE |
|---|---|---|
| Straturi ascunse | 64 | 40 |
| Dintre care cu atenție completă | 16 | 10 |
| Capete cheie-valoare | 4 | 2 |
| Dimensiunea capului | 256 | 256 |
| Experți, activi pe token | niciunul | 256, 8 |
La ambele modele, trei straturi din patru țin o stare recurentă fixă, nu un cache care crește. Numai straturile cu atenție completă costă memorie la fiecare token, așa că numărul de straturi, luat singur, nu vă spune nimic.
Fiecare strat cu atenție completă păstrează o cheie și o valoare pentru fiecare token. Costul unui token este 2, pentru cheie și valoare, înmulțit cu numărul straturilor cu atenție completă, cu numărul capetelor cheie-valoare, cu dimensiunea capului și cu numărul de octeți ai unui număr.
| Dens 27B | MoE 35B-A3B | |
|---|---|---|
| Octeți pe token, fp8 | 32.768 | 10.240 |
| Octeți pe token, bfloat16 | 65.536 | 20.480 |
| O conversație de 8k, fp8 | 268 MB | 84 MB |
| O conversație de 8k, bfloat16 | 537 MB | 168 MB |
Modelul MoE ține sub o treime din cache-ul unei conversații, pentru că are 10 straturi cu atenție completă față de 16 și 2 capete cheie-valoare față de 4. Pe o singură placă, memoria limitează numărul de locuri, deci această parte a promisiunii se ține.
Unde scade economia: un lot citește reuniunea experților
Opt experți pe token este adevărat pentru un singur token. Un server răspunde mai multor oameni într-un singur lot, iar lotul trebuie să citească fiecare expert la care a fost trimis oricare dintre tokenii lui. Cu 256 de experți și 8 pe token, 32 de tokeni pot ajunge deja la toți cei 256. Peste această dimensiune a lotului, modelul poate citi la fiecare pas până la tot setul de experți. Cât rămâne din economia de ponderi nu reiese din fișierul de configurare; o arată doar o măsurătoare.
Prin urmare, o cifră de debit a unui model MoE luată din cazul cu un singur token descrie un singur om care folosește serverul. Nu este o cifră de capacitate.
Diferența de calitate, pe scorurile fiecărui furnizor
| Test | Dens 27B | MoE 35B-A3B |
|---|---|---|
| LiveCodeBench v6 | 90,3 | 80,4 |
| SWE-bench Pro | 61,7 | 49,5 |
Cele două fișe se compară cu seturi diferite de modele rivale, deci fiecare număr este ce afirmă furnizorul despre propriul model, nu rezultatul unei comparații controlate. Chiar și așa, modelul dens conduce cu 9,9 puncte la LiveCodeBench v6 și cu 12,2 la SWE-bench Pro.
Ce înseamnă asta pentru un cumpărător
- Dacă aveți mulți oameni cu sarcini simple (clasificare, rezumare, întrebări pe documente, rulări de noapte), se potrivește modelul MoE: câștigă la memorie, iar diferența de calitate vă costă puțin.
- Dacă aveți mai puțini oameni cu sarcini grele (redactare, analiză, cod, cercetare), se potrivește modelul dens, iar departamentul rareori simte numărul de locuri.
- Cereți oricărui furnizor o cifră de capacitate cu patru termeni: câți utilizatori simultani, la ce lungime de context, la câți tokeni pe secundă fiecare, cu ce precizie a cache-ului. O cifră căreia îi lipsește oricare dintre cei patru nu poate fi verificată.
- La o ofertă MoE, întrebați și la ce dimensiune a lotului a fost măsurată. O cifră luată la o singură cerere nu vă spune nimic despre treizeci.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion vinde implicit modelul dens, pentru că o cutie sigilată care rulează al doilea cel mai bun model deschis nu este cutia potrivită pentru sarcini de raționament.
Cifra de capacitate publicată este cea a nodului Reasoning, un model dens: până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8.000 de tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache cheie-valoare fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).
Nu publicăm nicio cifră de capacitate pentru un nod mixture of experts. Primul nostru calcul nu a ținut cont de reuniunea experților, descrisă mai sus, așa că l-am retras. Rămâne retras până când o măsurătoare pe echipamentul nostru susține o cifră.
Întrebări la care răspunde articolul
- Care este diferența dintre un model dens și unul MoE?
- Un model dens își citește toate ponderile pentru fiecare token, pe când un model mixture of experts citește doar câțiva experți: Qwen3.6-35B-A3B publică 256 de experți, cu 8 activi pe token (configurație citită 2026-09-23). Modelul MoE citește deci mai puțină memorie pe token, dar pierde din calitate la sarcinile grele.
- Un model MoE susține mai mulți utilizatori simultani?
- La memorie, da: potrivit configurațiilor citite pe 2026-09-23, modelul MoE ține 10.240 de octeți de cache fp8 pe token, față de 32.768 la modelul dens, deci o conversație de 8k (8.192 de tokeni) costă 84 MB față de 268 MB. La calcul, câștigul scade odată cu lotul: la 8 experți din 256 pe token, 32 de tokeni pot ajunge deja la toți experții.
- Ce model AI local să aleagă o firmă: dens sau MoE?
- Depinde de ce vă limitează: la un volum mare de sarcini simple se potrivește modelul MoE, iar la sarcinile de raționament, modelul dens. Pe cele două fișe de model, citite 2026-11-17, Qwen3.8-27B, modelul dens, obține 90,3 la LiveCodeBench v6, față de 80,4 la modelul MoE, și 61,7 față de 49,5 la SWE-bench Pro. Qwen a rulat acest test pe propriul set de sarcini corectat, în harness-ul Claude Code pentru fișa 27B și într-un scaffold intern de agent pentru fișa 35B-A3B, deci cele două scoruri nu se compară exact nici între ele, nici cu scorul SWE-bench Pro publicat de furnizorul unui model de top.
Sursele
- 1
- 2
- 3
- 4
Citește mai departe
- Ce hardware cere un LLM local și ce lipsește din lista de componenteCalculul de memorie, făcut dintr-o configurație de model și o specificație de placă publicate. De ce un model de 32 de miliarde de parametri nu încape pe o placă de 32 GB, cât costă o conversație și cele cinci lucruri care lipsesc din orice listă.
- Câți oameni poate susține un singur server AI?Utilizatorii simultani nu sunt totuna cu angajații. Capacitatea o decid modelul, lungimea contextului, cache-ul KV și motorul de servire, iar proiectul vLLM a constatat că sistemele de inferență dinaintea motorului său risipeau 60–80 % din memorie, față de sub 4 % cu el.