Majoritatea achizițiilor AI încep cu o demonstrație și se termină cu o surpriză. Demonstrația este partea ușor de organizat. Această listă este partea care decide dacă implementarea mai pare rezonabilă în luna a paisprezecea.
Zece întrebări despre propria organizație
La acestea se răspunde înainte de a contacta pe cineva. Nu costă nimic și scurtează orice discuție ulterioară.
- Ce problemă rezolvăm? Se scrie fluxul de lucru, nu ambiția.
- Ce date va prelucra sistemul și cum sunt clasificate?
- Trebuie acele date să iasă din organizație pentru ca munca să se facă?
- Câți oameni îl vor folosi în același moment, nu câți sunt angajați?
- Cât de lungi sunt documentele obișnuite, în pagini?
- Ce nivel de capacitate a modelului cere efectiv munca?
- Are sistemul nevoie de acces la internet și pentru ce pas anume?
- Ce se întâmplă când modelul greșește și cine verifică?
- Ce se întâmplă dacă sistemul nu este disponibil o zi?
- Ce se întâmplă când se schimbă versiunea modelului și cine aprobă?
La întrebarea a patra se răspunde cel mai des greșit. Capacitatea ține de concurență, nu de numărul de angajați.
Lista tehnică
- Ce model și cu ce licență pentru utilizare comercială
- La ce precizie, pentru greutăți și pentru cache-ul KV
- Configurația hardware și memoria disponibilă
- Lungimea contextului și lungimea contextului la concurență maximă
- Numărul de utilizatori concurenți acoperiți de ofertă
- Token-uri pe secundă per utilizator și timpul până la primul token
- Condițiile exacte de benchmark din spatele acestor cifre
- Procesul de actualizare pentru model, stack de servire și sistem de operare
O cifră de capacitate are nevoie de patru termeni împreună: câți utilizatori concurenți, la ce lungime a contextului, la câte token-uri pe secundă fiecare, cu ce tip de date pentru cache-ul KV. Un singur număr poate fi făcut să însemne aproape orice.
Lista despre date
- Unde are loc inferența și se poate schimba acea locație fără aprobarea ta?
- Unde sunt stocate prompturile și pentru cât timp?
- Unde sunt stocate jurnalele și cine le poate citi?
- Iese vreo informație din rețea în funcționarea normală?
- Ce subprocesatori sunt implicați, dacă există?
- Poate sistemul funcționa fără conectivitate outbound?
- Ce se întâmplă cu datele tale dacă se încheie contractul?
Pentru o entitate financiară, articolul 30 alineatul (2) litera (b) din DORA cere deja ca în contract să apară „the locations, namely the regions or countries, where the contracted or subcontracted functions and ICT services are to be provided and where data is to be processed, including the storage location”. Toți ceilalți au de câștigat dacă pun aceeași întrebare.
Lista de securitate
- Cum sunt autentificați utilizatorii și sunt posibile conturi comune?
- Sunt permisiunile documentelor aplicate la momentul retrieval-ului?
- Cum este separat conținutul recuperat de instrucțiuni?
- La ce tool-uri sau sisteme poate ajunge modelul și sub a cui autoritate?
- Cum sunt validate rezultatele înainte ca alt sistem să acționeze pe baza lor?
- Ce face furnizorul când apare o vulnerabilitate în stack-ul de servire?
Lista OWASP Top 10 pentru aplicații LLM, ediția 2025, este referința din spatele acestor întrebări, iar cinci dintre cele zece intrări nu sunt afectate de locul unde este găzduit modelul.
Lista comercială
- Cost fix sau în funcție de utilizare și ce anume determină partea variabilă
- Durata minimă a contractului și termenul de preaviz
- Ce suport este inclus și ce angajament de răspuns există
- Ce se întâmplă când hardware-ul se defectează
- Dacă upgrade-urile sunt incluse sau se facturează
- Condițiile de ieșire și ce rămâne la tine
Nu întreba dacă acesta este cel mai bun AI. Întreabă dacă aceasta este arhitectura AI potrivită pentru datele, activitatea, bugetul și riscul nostru.
Cum se citesc răspunsurile
Un furnizor care răspunde la lista tehnică cu adjective nu a măsurat produsul. Un furnizor care răspunde la lista despre date cu un slogan nu a desenat diagrama. Un furnizor care răspunde la lista de securitate cu „este on-premise” nu a citit OWASP.
Iar un furnizor care recunoaște că pentru utilizare redusă și neregulată cloud-ul este mai ieftin îți spune ceva adevărat, ceea ce este un indiciu rezonabil despre restul a ceea ce spune.
Cu Bastion
Ce schimbă Bastion
Bastion este un sistem AI privat, livrat ca un singur echipament sigilat care funcționează în clădirea ta. Un singur abonament lunar acoperă echipamentul, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.
Bastion răspunde la cele patru liste în termeni ficși. Un nod Reasoning susține 35 de utilizatori concurenți, la 8k tokens de context, la 30 de tokens pe secundă fiecare, cu cache KV în fp8. Inferența are loc la sediul clientului, nu este necesară o conexiune outbound, tariful este o singură sumă lunară fixă, iar o unitate defectă este înlocuită integral.
Dacă răspunsurile la cele zece întrebări indică spre cloud, acesta este un rezultat real și merită avut. Dacă indică spre interior, spune-ne ce vrei să rulezi, câți oameni îl vor folosi și ce date sunt implicate, iar noi îți spunem dacă Bastion se potrivește.
Sursele
- 1
- 2
- 3
Citește mai departe
- Șapte întrebări la care trebuie răspuns înainte de a decide unde rulează AI-ulSe începe de la activitate, nu de la hardware. Ce va citi sistemul, dacă datele trebuie să iasă din organizație, cât de constantă este utilizarea, dacă este nevoie de internet, cât de puternic trebuie să fie modelul, cine îl administrează și ce se întâmplă când nu este disponibil.Citește articolul
- Ce este Private AI și când are nevoie o organizație de el?Private AI nu este un alt tip de model. Este un alt răspuns la o singură întrebare: cine controlează mediul în care sunt procesate datele. Ce schimbă acest răspuns, ce lasă neatins și cele cinci întrebări care închid discuția.Citește articolul