OWASP Top 10 pentru aplicații LLM, citit ca listă a cumpărătorului
Cinci dintre cele zece intrări din ediția 2025 depind doar de aplicație, oriunde ar fi găzduită. Toate zece sunt întrebări pe care le puteți pune oricărui furnizor, din cloud sau on-premise.
Modelele de limbaj aduc moduri de eșec pe care firewall-ul și antivirusul nu au fost proiectate să le vadă. OWASP menține lista de referință, iar ediția 2025 enumeră zece riscuri. OWASP descrie domeniul listei drept „risks, vulnerabilities and mitigations for developing and securing generative AI and large language model applications across the development, deployment and management lifecycle”. Domeniul numește dezvoltarea, implementarea și administrarea. Găzduirea nu apare în el.
Ce înseamnă fiecare dintre cele zece riscuri pentru o firmă
- LLM01:2025 Prompt Injection. Un atacator scrie un text pe care modelul îl tratează ca pe un ordin. A produs deja o vulnerabilitate reală într-un produs comercial.
- LLM02:2025 Sensitive Information Disclosure. Asistentul arată ceva ce nu ar trebui, din antrenare, din context sau dintr-un document pe care a avut voie să îl recupereze.
- LLM03:2025 Supply Chain. Ponderile modelului, seturile de date, motorul de inferență și fiecare bibliotecă de dedesubt vin de undeva, ca orice dependență.
- LLM04:2025 Data and Model Poisoning. Cineva contaminează sursele din care învață sistemul, la antrenare, la fine-tuning sau la retrieval.
- LLM05:2025 Improper Output Handling. Textul generat este tratat ca intrare sigură pentru alt sistem. Un răspuns care devine o interogare, o comandă sau un email este un șir de caractere nesigur.
- LLM06:2025 Excessive Agency. Modelul are mai multă putere decât cere sarcina, iar asta amplifică toate celelalte intrări din listă.
- LLM07:2025 System Prompt Leakage. Echipele pun de obicei reguli, uneori și secrete, în promptul de sistem și îl tratează ca privat. Nu este privat.
- LLM08:2025 Vector and Embedding Weaknesses. În stratul de retrieval, indexul este o a doua copie a conținutului, iar accesul la el înseamnă acces la sursă.
- LLM09:2025 Misinformation. Modelul greșește cu toată siguranța, ceea ce este un risc operațional oriunde cineva acționează pe baza unui răspuns neverificat.
- LLM10:2025 Unbounded Consumption. Costul și încărcarea nu au limită. Într-un serviciu contorizat rezultă o factură, iar pe un appliance cu capacitate fixă, o coadă.
Pe care dintre cele zece le schimbă găzduirea?
| Intrări OWASP | Ce schimbă implementarea locală | De ce |
|---|---|---|
| LLM01, LLM02 | Îngustează calea de exfiltrare | O instrucțiune reușită tot are nevoie de un loc unde să trimită datele |
| LLM03, LLM08 | Dă organizației control direct | Modelul, motorul și indexul rulează la sediul propriu |
| LLM10 | Îi schimbă forma | O factură variabilă devine o capacitate fixă |
| LLM04, LLM05, LLM06, LLM07, LLM09 | Nimic | Le decid aplicația, permisiunile și procesul de verificare, la fel într-un rack sau într-o regiune |
Minimul pentru o organizație de treizeci de oameni
- Autentifică fiecare utilizator; niciun cont comun pe asistent
- Aplică permisiunile documentelor la retrieval, nu în prompt
- Validează orice rezultat pe baza căruia va acționa alt sistem
- Ține permisiunile la tool-uri și integrări la setul minim care funcționează
- Înregistrează ce versiune de model rulează și de unde a venit
- Protejează indexul și jurnalele ca pe documentele pe care le conțin
- Decide, în scris, ce răspunsuri au nevoie de verificare umană înainte să iasă din companie
Deasupra acestei liste stă cadrul NIST de management al riscului în AI, care acoperă întregul ciclu de viață. Este „intended for voluntary use and to improve the ability to incorporate trustworthiness considerations into the design, development, use, and evaluation of AI products, services, and systems”. OWASP spune ce poate merge prost în aplicație; NIST spune cum se organizează munca de prevenire.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion răspunde pentru straturile pe care le deține: modelul și versiunea lui, stack-ul de servire, sistemul de operare și calea de actualizare, și nu are nevoie de nicio conexiune outbound ca să răspundă la o cerere.
Cele cinci intrări pe care găzduirea nu le atinge rămân la implementare.
Întrebări la care răspunde articolul
- Ce este OWASP Top 10 pentru aplicații LLM?
- Lista de referință a riscurilor specifice aplicațiilor construite pe modele de limbaj. Ediția 2025 enumeră zece, de la prompt injection (LLM01) la consumul nelimitat (LLM10).
- Ce riscuri din lista OWASP reduce un LLM local?
- Îngustează calea de exfiltrare pentru LLM01 și LLM02, dă control direct asupra LLM03 și LLM08 și schimbă LLM10 dintr-o factură variabilă într-o capacitate fixă. Nu face nimic pentru LLM04, LLM05, LLM06, LLM07 și LLM09, care sunt decise de aplicație și de permisiuni.
- Prompt injection ce înseamnă în lista OWASP?
- Un atacator scrie un text pe care modelul îl tratează ca pe un ordin. Este pe primul loc în listă, ca LLM01:2025, și a produs deja o vulnerabilitate reală într-un produs comercial.
Sursele
- 1
- 2
- 3
Citește mai departe
- Prompt injection: atacul care nu are nevoie de niciun clicModelele lingvistice nu separă instrucțiunile de conținut, deci orice text citit de model se poate comporta ca o comandă. Ce a arătat EchoLeak, de ce retrieval-ul agravează problema și de ce rularea locală nu o rezolvă.
- Securitatea RAG: ce se schimbă când AI-ul îți citește fișiereleCele șase etape ale fluxului și ce adaugă fiecare la limita de securitate. De ce permisiunile pe document se aplică la retrieval, de ce indexul este o a doua copie a datelor și cele șapte întrebări de lămurit înainte de punerea în funcțiune.