Ce rulează de fapt un model AI: cinci straturi în spatele chatului
O fereastră de chat face tehnologia să pară un singur lucru. De fapt sunt cinci: un model, procesare, memorie, un motor de servire și o aplicație.
Oricare dintre cele cinci straturi poate fi motivul pentru care un sistem este lent, scump sau nesigur.
1. Modelul și licența sub care vine
Modelul înseamnă parametrii învățați. Modelele mai mari cer în general mai multă procesare și mai multă memorie, dar dimensiunea nu decide singură cât de util este modelul: contează arhitectura, cuantizarea, lungimea contextului, datele de antrenare și workload-ul. Pentru o firmă care cumpără, licența contează la fel de mult ca benchmark-ul. Un model open-weight a cărui licență permite utilizarea comercială este altceva decât unul care nu o permite, orice ar spune clasamentul.
2. Procesarea, stratul pe care îl compară furnizorii
Generarea tokenilor înseamnă aritmetică, iar acceleratoarele fac multă aritmetică în paralel. Furnizorii compară acest strat pentru că el produce cele mai mari numere.
3. Memoria, limita când lucrează mulți oameni deodată
Ponderile trebuie să stea în memorie, iar fiecare conversație în curs cere memorie de lucru pe deasupra. Proiectul vLLM a măsurat cache-ul cheie-valoare la „up to 1.7GB for a single sequence in LLaMA-13B”. Înmulțiți cu numărul de oameni care folosesc sistemul în același timp și limita devine memoria, nu aritmetica. De aceea cea mai rapidă placă nu este automat și cea potrivită.
4. Motorul de servire, stratul cel mai puțin vizibil
Motorul de servire este software-ul care execută modelul eficient: grupează cererile, le programează, gestionează cache-ul, încarcă ponderile și tratează cererile simultane. Aceeași publicație vLLM a consemnat cât contează: sistemele dinaintea PagedAttention risipeau „60% – 80% of memory due to fragmentation and over-reservation”, față de „near-optimal memory usage, with a mere waste of under 4%” după.
5. Aplicația, locul întrebărilor de securitate
Nimeni nu vorbește direct cu modelul. Oamenii folosesc o aplicație care oferă chat, căutare în documente, încărcare de fișiere, un API, autentificare, permisiuni și jurnalizare. Lista OWASP Top 10 pentru aplicații LLM, ediția 2025, numește prompt injection, dezvăluirea informațiilor sensibile și tratarea necorespunzătoare a rezultatelor, iar fiecare dintre ele ține de acest strat, nu de hardware-ul de dedesubt.
De ce „avem nevoie de un server AI” nu este o specificație
La această propoziție se răspunde cu o întrebare: pentru ce workload? Zece oameni care pun întrebări scurte și zece oameni care analizează documente de o sută de pagini dau profiluri de memorie complet diferite pe același hardware. Infrastructura se dimensionează din utilizarea observată: câți oameni lucrează simultan, cât de lungi sunt documentele, cât de lungi trebuie să fie răspunsurile și cum arată ora de vârf.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion livrează toate cele cinci straturi ca o singură unitate, cu suport: deciziile de integrare se iau o singură dată, iar furnizorul le întreține.
Permisiunile și regulile de date ale clientului rămân în stratul aplicației și niciun appliance nu le decide în locul lui.
Întrebări la care răspunde articolul
- Din ce este format un sistem AI local?
- Din cinci straturi: modelul și licența lui, procesarea, memoria care ține ponderile și cache-ul de lucru, motorul de servire care grupează și programează cererile și aplicația care oferă chat, căutare, autentificare, permisiuni și jurnalizare.
- Care strat decide performanța?
- Deseori motorul de servire. vLLM a măsurat că sistemele de inferență dinaintea PagedAttention risipeau 60–80 % din memorie prin fragmentare și supra-rezervare, față de sub 4 % după.
- De ce „avem nevoie de un server AI” nu este o specificație?
- Pentru că zece oameni care pun întrebări scurte și zece oameni care analizează documente de o sută de pagini produc profiluri de memorie complet diferite pe hardware identic. Infrastructura se dimensionează din utilizarea observată, nu din numărul de angajați.
Sursele
- 1
- 2
Citește mai departe
- Ce este un AI appliance on-premise și de ce muncă te scuteșteUn AI appliance este decizia de a nu deveni o companie de infrastructură AI. Cele unsprezece componente ale unei implementări locale, exemplul măsurat care arată cât costă o alegere greșită și la ce renunți când scapi de munca de asamblare.
- Ce este inferența LLM și de ce este singura parte pe care o cumperiAntrenare față de inferență, cele două faze dintr-o singură cerere, variabilele care decid cât de rapid pare sistemul și lista de opt puncte care transformă „AI rapid” în ceva verificabil.