OWASP Top 10 pentru aplicații LLM, citit ca o listă de verificare a cumpărătorului

Securitatea AI nu este securitate clasică cu un logo nou. Modelele lingvistice introduc moduri de eșec pe care firewall-ul și antivirusul nu au fost proiectate să le vadă. OWASP menține lista de referință, iar ediția 2025 numește zece:

• LLM01:2025 Prompt Injection
• LLM02:2025 Sensitive Information Disclosure
• LLM03:2025 Supply Chain
• LLM04:2025 Data and Model Poisoning
• LLM05:2025 Improper Output Handling
• LLM06:2025 Excessive Agency
• LLM07:2025 System Prompt Leakage
• LLM08:2025 Vector and Embedding Weaknesses
• LLM09:2025 Misinformation
• LLM10:2025 Unbounded Consumption

OWASP descrie domeniul listei drept „risks, vulnerabilities and mitigations for developing and securing generative AI and large language model applications across the development, deployment and management lifecycle”. Dezvoltare, implementare și administrare. Nu găzduire.

Ce înseamnă pentru un cititor din business

Prompt injection înseamnă un atacator care scrie text pe care modelul îl tratează ca pe un ordin. Este pe primul loc dintr-un motiv și a produs deja o vulnerabilitate reală într-un produs comercial.

Dezvăluirea informațiilor sensibile înseamnă că asistentul arată ceva ce nu ar trebui, fie din antrenare, fie din context, fie dintr-un document pe care a avut voie să îl recupereze.

Supply chain acoperă greutățile modelului, seturile de date, motorul de inferență și fiecare librărie de dedesubt. Un model este o dependență și vine de undeva.

Otrăvirea datelor și a modelului înseamnă contaminarea a ceea ce învață sistemul, la antrenare, la fine-tuning sau la retrieval.

Tratarea necorespunzătoare a rezultatelor înseamnă a considera textul generat drept intrare sigură pentru alt sistem. Dacă un răspuns devine o interogare, o comandă sau un email, este un șir nesigur care se întâmplă să fie bine scris.

Autoritatea excesivă înseamnă a da modelului mai multă putere decât cere sarcina. Este multiplicatorul tuturor celorlalte intrări din listă.

Scurgerea promptului de sistem contează pentru că echipele pun de obicei reguli, uneori și secrete, în promptul de sistem și îl tratează ca privat. Nu este.

Slăbiciunile vectorilor și ale embeddings sunt riscurile stratului de retrieval: indexul este o a doua copie a conținutului, iar accesul la el este acces la sursă.

Dezinformarea înseamnă un model sigur pe el și greșit, ceea ce este un risc operațional oriunde se acționează pe baza unui răspuns fără verificare.

Consumul nelimitat înseamnă cost nelimitat și încărcare nelimitată. Într-un serviciu contorizat este o factură. Pe un aparat cu capacitate fixă este o coadă.

Pe care dintre cele zece le schimbă găzduirea?

Onestitatea în acest punct este întregul rost al articolului.

Implementarea locală îngustează calea de exfiltrare pentru LLM01 și LLM02, pentru că o instrucțiune reușită tot are nevoie de un loc unde să trimită datele. Dă organizației control direct asupra LLM03 și LLM08, pentru că modelul, motorul și indexul sunt pe echipamentul propriu. Schimbă forma LLM10 dintr-o factură variabilă într-o capacitate fixă.

Nu face absolut nimic pentru LLM04, LLM05, LLM06, LLM07 și LLM09. Acestea sunt decise de aplicație, de permisiuni și de procesul de verificare și sunt identice fie că modelul este într-un rack, fie într-o regiune.

Cinci din cele zece nu țin cont de locul unde rulează modelul. Un furnizor care răspunde la toate zece cu „este on-premise” nu a citit lista.

Minimul pentru o organizație de treizeci de oameni

• Autentifică fiecare utilizator; niciun cont comun pe asistent
• Aplică permisiunile documentelor la retrieval, nu în prompt
• Validează orice rezultat pe baza căruia va acționa alt sistem
• Menține permisiunile la tool-uri și integrări la setul minim care funcționează
• Înregistrează ce versiune de model rulează și de unde a venit
• Protejează indexul și jurnalele ca pe documentele pe care le conțin
• Decide, în scris, ce răspunsuri au nevoie de verificare umană înainte să iasă din companie

Cadrul NIST de management al riscului în AI stă deasupra, ca privire pe întregul ciclu de viață. Este „intended for voluntary use and to improve the ability to incorporate trustworthiness considerations into the design, development, use, and evaluation of AI products, services, and systems”. OWASP spune ce poate merge prost în aplicație; NIST spune cum se organizează munca de prevenire.