Sari la conținut
Toate articolele
Private AI

Private AI sau AI în cloud? Citește întâi termenii furnizorului.

Un serviciu AI serios din cloud își asumă în scris angajamente puternice privind datele clientului. Documentația Microsoft pentru modelele vândute de Azure le formulează clar. Formulează însă și condițiile, iar în condiții stă decizia de arhitectură.

BastionActualizat 4 min de citit

AI-ul din cloud și AI-ul on-premise rulează aceeași clasă de model. Diferă locul în care are loc calculul și cine controlează mediul din jurul lui.

Ce își asumă un serviciu serios din cloud

Documentația Microsoft pentru modelele vândute de Azure afirmă că prompturile, răspunsurile, embeddings și datele de antrenare ale clientului „are NOT available to other customers”, „are NOT available to OpenAI or other providers of Models sold by Azure” și „are NOT used by providers of Models sold by Azure to improve their models or services”.

Despre modelul în sine: „The models are stateless: no prompts or completions are stored in the model. Additionally, prompts and completions are not used to train, retrain, or improve the base models.”

Prin urmare, afirmația că AI-ul din cloud înseamnă predarea documentelor către cineva care antrenează modele este falsă pentru acest serviciu.

Condițiile: unde are loc procesarea și cine poate citi un prompt

Același document arată unde are loc procesarea, iar răspunsul depinde de o setare. „For any deployment type labeled 'Global,' prompts and responses may be processed in any geography where the relevant model sold by Azure is deployed”. Pentru o implementare de tip DataZone creată într-un stat membru al Uniunii Europene, procesarea poate avea loc „in that or any other European Union Member Nation”.

Locul în care este procesat un prompt ține, așadar, de tipul de implementare ales de cineva, iar altcineva, care nu știe de ce a fost ales, îl poate schimba. Datele stocate rămân în geografia aleasă de client.

Documentul descrie și monitorizarea abuzurilor. Un eșantion de prompturi și răspunsuri poate fi stocat și verificat. „Human reviewers assessing potential abuse can access prompts and completions data only when that data has already been flagged by the abuse monitoring system, or when the prompts and completions are part of a potentially abusive pattern of use.”

Pentru serviciile implementate în Spațiul Economic European, „the authorized Microsoft employees are located in the European Economic Area”. Clienții care au nevoie ca monitorizarea să fie oprită trebuie să ceară asta: pagina descrie clienți administrați care „apply to modify abuse monitoring”.

Întrebarea care înlocuiește „este sigur AI-ul din cloud?”

Întrebarea utilă este dacă acest serviciu, în această configurație, oferă controalele cerute de aceste date și dacă configurația va fi corectă și peste doi ani.

Pentru majoritatea activităților, după părerea noastră, răspunsul este da, iar cloud-ul este drumul mai ieftin. Pentru un contract aflat în negociere, o foaie de observație, un dosar penal sau cod sursă nepublicat, răspunsul depinde de o setare a tipului de implementare, de un proces de aprobare și de o coadă de verificare pe care organizația nu le administrează.

Ce se schimbă cu inferența locală

Într-o implementare locală, promptul, documentul și răspunsul rămân în rețeaua care le-a produs. În schimb, organizația preia hardware-ul, capacitatea, actualizările și reziliența și renunță la cele trei lucruri din ultimele rânduri ale tabelului.

Serviciu AI din cloudInferență locală
Unde are loc procesareaDepinde de tipul de implementare ales de cineva (Microsoft Learn)În rețeaua care a produs promptul
Monitorizarea abuzurilorUn eșantion de prompturi poate fi stocat și verificat (Microsoft Learn)Niciun eșantion și nicio coadă externă
Cele mai mari modele de topDisponibileNu sunt disponibile astfel
CapacitateElasticăFixă
Schimbarea modeluluiSe face cu un card bancarO schimbare planificată
Serviciul din cloud și inferența locală, pe punctele din acest articol; ultimele trei rânduri sunt părerea noastră

Care este mai ieftin depinde de utilizare

După părerea noastră, niciunul nu este mai ieftin pentru orice activitate. Cloud-ul este eficient la utilizare redusă și imprevizibilă, pentru că se oprește contorul. Infrastructura dedicată devine atractivă când utilizarea este constantă și ridicată, pentru că nu există contor. Compară costul total, utilizarea, controlul și efortul operațional pe toată durata implementării, nu factura lunară din cloud cu prețul hardware-ului.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion este a doua arhitectură, livrată ca un singur sistem. Appliance-ul stă la sediul clientului sau într-un data center și răspunde în rețeaua privată a clientului, fără să aibă nevoie de conexiune outbound la internet, deci nu există o setare a tipului de implementare care să mute procesarea și nici o cale externă de verificare de documentat.

Capacitatea este fixă și declarată, iar acesta este compromisul asumat. Un nod Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie).

O activitate mai mare decât atât înseamnă un al doilea nod sau o altă arhitectură, iar acest lucru este bine de știut înainte de semnarea unui contract.

Întrebări la care răspunde articolul

LLM local vs cloud: care este mai sigur?
Documentația Microsoft pentru modelele vândute de Azure arată că prompturile, răspunsurile, embeddings și datele de antrenare nu sunt disponibile altor clienți, nu sunt disponibile furnizorilor de modele și nu sunt folosite pentru îmbunătățirea modelelor lor. Diferența este cine configurează granița datelor.
Un furnizor de AI din cloud antrenează modelul pe prompturile companiei?
Un serviciu enterprise documentat spune că nu. Aceeași pagină arată că modelele sunt stateless, că niciun prompt sau răspuns nu este stocat în model și că prompturile și răspunsurile nu sunt folosite pentru a antrena, a reantrena sau a îmbunătăți modelele de bază.
Poate un angajat al furnizorului să citească un prompt al companiei?
În cadrul monitorizării abuzurilor, da, și numai în condițiile precizate: persoanele care verifică pot accesa prompturile și răspunsurile doar după ce datele au fost marcate de sistemul de monitorizare sau când fac parte dintr-un tipar de utilizare potențial abuziv. Pentru serviciile din Spațiul Economic European, angajații Microsoft autorizați se află tot acolo, iar un client care are nevoie ca monitorizarea să fie modificată trebuie să ceară acest lucru.

Sursele

  1. 1