Sari la conținut
Toate articolele
Securitate AI

Securitatea RAG: ce se schimbă când AI-ul îți citește fișierele

Retrieval-ul este funcția care face AI-ul util pe cunoștințele companiei. Tot el transformă fiecare document indexat în intrare pentru model și fiecare greșeală de permisiuni în dezvăluire.

BastionActualizat 3 min de citit

Retrieval-augmented generation (RAG) nu se bazează pe ce a învățat modelul la antrenare: sistemul găsește documentele relevante și le pune în fața modelului drept context. Este, așadar, o aplicație nouă, construită peste permisiunile documentelor din companie, și le moștenește fiecare defect.

Fluxul RAG: șase etape, toate în limita de securitate

Un flux RAG are șase etape: documente, indexare, embeddings și bază vectorială, retrieval, model și răspuns. Cineva hotărăște ce documente intră în sistem și ce se întâmplă când unul își schimbă clasificarea. Indexul este o a doua copie a conținutului, iar embeddings sunt derivate din text; OWASP trece slăbiciunile vectorilor și ale embeddings la LLM08. În fața modelului, conținutul recuperat trebuie să rămână separat structural de instrucțiuni. Jurnalele unui răspuns au nevoie de aceeași protecție ca documentul sursă.

Permisiunile se aplică la retrieval, nu în prompt

Asistentul poate căuta în tot ce deține compania, iar un angajat îi cere contractul de muncă al directorului general. Un refuz scris într-un prompt este soluția greșită: retrieval-ul nu trebuie să returneze niciodată un document pe care persoana nu l-ar putea deschide singură.

RAG are deci nevoie de control al accesului la nivel de document, aplicat în timpul retrieval-ului. Un index comun, cu un model instruit să fie discret, nu este control al accesului, pentru că un model poate fi convins.

Orice document indexat este o intrare nesigură

O parte dintre documentele din indexul unei companii au fost scrise de oameni din afara ei: factura unui furnizor, un proiect de contract de la avocații celeilalte părți, CV-ul unui candidat, un email primit.

Aceasta este exact condiția de care are nevoie prompt injection și a produs deja o vulnerabilitate reală într-un produs comercial. CVE-2025-32711, făcută publică în iunie 2025, a fost descrisă drept „a zero-click prompt injection vulnerability in Microsoft 365 Copilot that enabled remote, unauthenticated data exfiltration via a single crafted email” și a primit scorul 9,3. Microsoft a remediat-o pe server în mai 2025.

Retrieval local: ce rezolvă și ce nu

O implementare privată poate păstra documentele, embeddings, etapa de retrieval și inferența în interiorul organizației. Pentru materiale sensibile acesta este un avantaj și lămurește totodată unde se află a doua copie.

Și un serviciu din cloud poate evita duplicarea. Documentația Microsoft pentru funcția „on your data” arată că „The data remains stored in the data source and location you designate; Azure OpenAI does not create a duplicate data store.”

Avantajul local ține deci de administrare: modelul de permisiuni, indexul și traseul de rețea se află sub o singură administrare, nu sub trei.

Șapte întrebări înainte de punerea în funcțiune

  • Cine poate accesa astăzi fiecare document, în afara sistemului AI?
  • Sunt aceste permisiuni aplicate în timpul retrieval-ului, la fiecare interogare?
  • Poate un utilizator obține, prin asistent, conținut pe care nu l-ar putea deschide direct?
  • Care dintre documentele indexate au fost scrise de cineva din afara organizației?
  • Unde se află embeddings și cine le poate citi?
  • Sunt jurnalele de prompturi și răspunsuri protejate ca documentele pe care le citează?
  • La ce tool-uri poate ajunge modelul și care este cel mai rău lucru pe care l-ar putea face cu ele un model indus în eroare?

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Cu Bastion, documentele, indexul și inferența rămân toate în locația aleasă de client. A doua copie nu iese de acolo, iar traseul de retrieval are un singur proprietar. Modelul de permisiuni rămâne în sarcina clientului.

Întrebări la care răspunde articolul

Ce este RAG și ce riscuri de securitate aduce?
RAG (retrieval-augmented generation) găsește documentele relevante și le pune în fața modelului drept context. Riscurile sunt două: retrieval-ul poate returna documente pe care utilizatorul nu le-ar putea deschide singur, iar documentele indexate scrise de cineva din afară devin intrare pentru model, exact condiția de care are nevoie prompt injection.
Un LLM local cu RAG ține documentele în firmă?
Da: o implementare privată poate păstra documentele, embeddings, etapa de retrieval și inferența în interiorul organizației. Avantajul nu este că un serviciu din cloud ar copia fișierele, ci că modelul de permisiuni, indexul și traseul de rețea se află sub o singură administrare, nu sub trei.
Poate un document să atace un asistent AI?
Da. CVE-2025-32711, făcută publică în iunie 2025, cu scorul 9,3, a fost o vulnerabilitate zero-click de tip prompt injection în Microsoft 365 Copilot, în care un singur email construit special a dus la exfiltrarea de date, fără nicio acțiune a utilizatorului. Microsoft a remediat-o și a anunțat că nu are dovezi că ar fi fost exploatată în atacuri reale.

Sursele

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5