Sari la conținut
Toate articolele
Infrastructură AI

Ce rulează de fapt un model AI: cinci straturi în spatele chatului

O fereastră de chat face tehnologia să pară un singur lucru. De fapt sunt cinci: un model, procesare, memorie, un motor de servire și o aplicație.

BastionActualizat 3 min de citit

Oricare dintre cele cinci straturi poate fi motivul pentru care un sistem este lent, scump sau nesigur.

1. Modelul și licența sub care vine

Modelul înseamnă parametrii învățați. Modelele mai mari cer în general mai multă procesare și mai multă memorie, dar dimensiunea nu decide singură cât de util este modelul: contează arhitectura, cuantizarea, lungimea contextului, datele de antrenare și workload-ul. Pentru o firmă care cumpără, licența contează la fel de mult ca benchmark-ul. Un model open-weight a cărui licență permite utilizarea comercială este altceva decât unul care nu o permite, orice ar spune clasamentul.

2. Procesarea, stratul pe care îl compară furnizorii

Generarea tokenilor înseamnă aritmetică, iar acceleratoarele fac multă aritmetică în paralel. Furnizorii compară acest strat pentru că el produce cele mai mari numere.

3. Memoria, limita când lucrează mulți oameni deodată

Ponderile trebuie să stea în memorie, iar fiecare conversație în curs cere memorie de lucru pe deasupra. Proiectul vLLM a măsurat cache-ul cheie-valoare la „up to 1.7GB for a single sequence in LLaMA-13B”. Înmulțiți cu numărul de oameni care folosesc sistemul în același timp și limita devine memoria, nu aritmetica. De aceea cea mai rapidă placă nu este automat și cea potrivită.

4. Motorul de servire, stratul cel mai puțin vizibil

Motorul de servire este software-ul care execută modelul eficient: grupează cererile, le programează, gestionează cache-ul, încarcă ponderile și tratează cererile simultane. Aceeași publicație vLLM a consemnat cât contează: sistemele dinaintea PagedAttention risipeau „60% – 80% of memory due to fragmentation and over-reservation”, față de „near-optimal memory usage, with a mere waste of under 4%” după.

5. Aplicația, locul întrebărilor de securitate

Nimeni nu vorbește direct cu modelul. Oamenii folosesc o aplicație care oferă chat, căutare în documente, încărcare de fișiere, un API, autentificare, permisiuni și jurnalizare. Lista OWASP Top 10 pentru aplicații LLM, ediția 2025, numește prompt injection, dezvăluirea informațiilor sensibile și tratarea necorespunzătoare a rezultatelor, iar fiecare dintre ele ține de acest strat, nu de hardware-ul de dedesubt.

De ce „avem nevoie de un server AI” nu este o specificație

La această propoziție se răspunde cu o întrebare: pentru ce workload? Zece oameni care pun întrebări scurte și zece oameni care analizează documente de o sută de pagini dau profiluri de memorie complet diferite pe același hardware. Infrastructura se dimensionează din utilizarea observată: câți oameni lucrează simultan, cât de lungi sunt documentele, cât de lungi trebuie să fie răspunsurile și cum arată ora de vârf.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion livrează toate cele cinci straturi ca o singură unitate, cu suport: deciziile de integrare se iau o singură dată, iar furnizorul le întreține.

Permisiunile și regulile de date ale clientului rămân în stratul aplicației și niciun appliance nu le decide în locul lui.

Întrebări la care răspunde articolul

Din ce este format un sistem AI local?
Din cinci straturi: modelul și licența lui, procesarea, memoria care ține ponderile și cache-ul de lucru, motorul de servire care grupează și programează cererile și aplicația care oferă chat, căutare, autentificare, permisiuni și jurnalizare.
Care strat decide performanța?
Deseori motorul de servire. vLLM a măsurat că sistemele de inferență dinaintea PagedAttention risipeau 60–80 % din memorie prin fragmentare și supra-rezervare, față de sub 4 % după.
De ce „avem nevoie de un server AI” nu este o specificație?
Pentru că zece oameni care pun întrebări scurte și zece oameni care analizează documente de o sută de pagini produc profiluri de memorie complet diferite pe hardware identic. Infrastructura se dimensionează din utilizarea observată, nu din numărul de angajați.

Sursele

  1. 1
  2. 2