Private AI sau AI în cloud? Prima dată se citesc termenii furnizorului.

Discuția este prezentată de obicei ca AI în cloud împotriva AI on-premise, ca și cum unul ar fi sigur, iar celălalt nu. Ambele rulează aceeași clasă de model. Diferența este unde are loc calculul și cine controlează mediul din jurul lui. Această diferență se vede citind ce își asumă efectiv furnizorul din cloud, în propria documentație, nu ce spune fiecare tabără despre el într-o prezentare.

Ce își asumă un serviciu serios din cloud

Documentația Microsoft pentru modelele vândute de Azure este precisă. Afirmă că prompturile, răspunsurile, embeddings și datele de antrenare ale clientului „are NOT available to other customers”, „are NOT available to OpenAI or other providers of Models sold by Azure” și „are NOT used by providers of Models sold by Azure to improve their models or services”.

Despre modelul în sine este la fel de direct: „The models are stateless: no prompts or completions are stored in the model. Additionally, prompts and completions are not used to train, retrain, or improve the base models.”

Acesta este un angajament real, într-un contract real. Cine susține că folosirea AI din cloud înseamnă predarea documentelor către cineva care antrenează modele nu a citit pagina. Cazul cloud-ului trebuie recunoscut înainte ca restul argumentului să însemne ceva.

Acum se citesc condițiile

Același document arată unde are loc procesarea, iar răspunsul depinde de o setare. „For any deployment type labeled 'Global,' prompts and responses may be processed in any geography where the relevant model sold by Azure is deployed.” Pentru o implementare de tip DataZone creată într-un stat membru al Uniunii Europene, procesarea poate avea loc „in that or any other European Union Member Nation”.

Prin urmare, rezidența datelor nu este o proprietate a serviciului. Este o proprietate a tipului de implementare ales de cineva și poate fi schimbată de altcineva care nu știe de ce a fost ales.

Documentul descrie și monitorizarea abuzurilor. Un eșantion de prompturi și răspunsuri poate fi stocat și verificat. „Human reviewers assessing potential abuse can access prompts and completions data only when that data has already been flagged by the abuse monitoring system, or when the prompts and completions are part of a potentially abusive pattern of use.” Pentru serviciile implementate în Spațiul Economic European, „the authorized Microsoft employees are located in the European Economic Area”. Clienții care au nevoie ca această funcție să fie oprită trebuie să ceară acest lucru: pagina descrie clienți administrați care „apply to modify abuse monitoring”.

Nimic din toate acestea nu este un scandal. Este un sistem bine documentat și bine guvernat. Este însă și un sistem a cărui limită a datelor cumpărătorul o configurează, nu o deține.

Întrebarea care înlocuiește „este sigur AI-ul din cloud?”

Întrebarea utilă este mai îngustă și mai grea. Oferă acest serviciu, în această configurație, controalele cerute de aceste date, iar configurația va fi corectă și peste doi ani?

Pentru majoritatea activităților răspunsul este da, iar cloud-ul este drumul mai ieftin. Pentru un contract aflat în negociere, o foaie de observație, un dosar penal sau cod sursă nepublicat, răspunsul depinde de o setare a tipului de implementare, de un proces de aprobare și de o coadă de verificare pe care organizația nu le administrează.

Ce se schimbă cu inferența locală

Într-o implementare locală, promptul, documentul și răspunsul rămân în rețeaua care le-a produs. Nu există un tip de implementare care să fie ales greșit, nu există eșantion pentru monitorizarea abuzurilor și nu există coadă externă. În schimb, organizația preia hardware-ul, capacitatea, actualizările și reziliența.

Se renunță și la ceva real. Cele mai mari modele frontier nu sunt disponibile astfel, capacitatea este fixă și nu elastică, iar un model care în cloud se schimbă cu un card bancar devine on-premise o schimbare planificată.

Care este mai ieftin

Niciunul, în general. Cloud-ul este eficient la utilizare redusă și imprevizibilă, pentru că se oprește contorul. Infrastructura dedicată devine atractivă când utilizarea este constantă și ridicată, pentru că nu există contor. Comparația onestă nu este factura lunară din cloud față de prețul hardware-ului. Este costul total, utilizarea, controlul și efortul operațional, pe toată durata implementării.

Arhitectura urmează activitatea. Nu urmează o preferință.