Sari la conținut
Toate articolele
Industrii și business

Cum evaluezi o implementare AI: lista pentru 5 până la 100 de oameni

Începe cu workload-ul, nu cu întrebarea care model este cel mai inteligent: zece întrebări despre propria muncă, apoi douăzeci și șapte pentru orice furnizor.

BastionActualizat 4 min de citit

Într-o achiziție AI, demonstrația se organizează ușor. Lista aceasta acoperă partea care decide dacă implementarea mai pare o alegere bună și în luna a paisprezecea.

Zece întrebări la care răspunzi despre propria organizație

Răspunde la ele înainte să contactezi un furnizor.

  • Ce problemă rezolvăm? Se scrie fluxul de lucru, nu ambiția.
  • Ce date va prelucra sistemul și cum sunt clasificate?
  • Trebuie acele date să iasă din organizație pentru ca munca să se facă?
  • Câți oameni îl vor folosi în același moment, nu câți sunt angajați?
  • Cât de lungi sunt documentele obișnuite, în pagini?
  • Cât de capabil trebuie să fie modelul pentru munca aceasta?
  • Are sistemul nevoie de acces la internet și pentru ce pas anume?
  • Ce se întâmplă când modelul greșește și cine verifică?
  • Ce se întâmplă dacă sistemul nu este disponibil o zi?
  • Ce se întâmplă când se schimbă versiunea modelului și cine aprobă?

La a patra întrebare se greșește cel mai ușor: capacitatea ține de câți oameni lucrează în același moment, nu de numărul de angajați.

Întrebări tehnice: ce rulează și cum a fost măsurat

  • Ce model rulează și cu ce licență pentru utilizare comercială?
  • La ce precizie sunt ponderile și cache-ul KV?
  • Care este configurația hardware și câtă memorie este disponibilă?
  • Care este lungimea contextului și cât rămâne din ea la concurență maximă?
  • Câți utilizatori concurenți acoperă oferta?
  • Câți tokeni pe secundă primește fiecare utilizator și cât durează până la primul token?
  • În ce condiții exacte de benchmark au fost măsurate aceste cifre?
  • Cum se actualizează modelul, stack-ul de servire și sistemul de operare?

O cifră de capacitate are nevoie de patru termeni împreună: câți utilizatori concurenți, la ce lungime a contextului, la câți tokeni pe secundă fiecare, cu ce tip de date pentru cache-ul KV. Un număr luat singur poate însemna aproape orice.

Întrebări despre date: unde se lucrează și ce se păstrează

  • Unde are loc inferența și se poate schimba acea locație fără aprobarea ta?
  • Unde sunt stocate prompturile și pentru cât timp?
  • Unde sunt stocate jurnalele și cine le poate citi?
  • Iese vreo informație din rețea în funcționarea normală?
  • Ce subprocesatori sunt implicați, dacă există?
  • Poate sistemul funcționa fără conectivitate outbound?
  • Ce se întâmplă cu datele tale dacă se încheie contractul?

Pentru o entitate financiară, articolul 30 alineatul (2) litera (b) din DORA cere deja ca în contract să apară „the locations, namely the regions or countries, where the contracted or subcontracted functions and ICT services are to be provided and where data is to be processed, including the storage location”. Orice altă organizație poate pune aceeași întrebare.

Întrebări de securitate: cine și ce ajunge la model

  • Cum sunt autentificați utilizatorii și sunt posibile conturi comune?
  • Sunt permisiunile documentelor aplicate la momentul retrieval-ului?
  • Cum este separat conținutul recuperat de instrucțiuni?
  • La ce tool-uri sau sisteme poate ajunge modelul și sub a cui autoritate?
  • Cum sunt validate rezultatele înainte ca alt sistem să acționeze pe baza lor?
  • Ce face furnizorul când apare o vulnerabilitate în stack-ul de servire?

Lista OWASP Top 10 pentru aplicații LLM, ediția 2025, este referința din spatele acestor întrebări, iar, după lectura noastră, cinci dintre cele zece intrări nu sunt afectate de locul unde este găzduit modelul.

Întrebări comerciale: cost, suport și ieșire

  • Costul este fix sau depinde de utilizare și ce anume determină partea variabilă?
  • Care sunt durata minimă a contractului și termenul de preaviz?
  • Ce suport este inclus și în cât timp se angajează furnizorul să răspundă?
  • Ce se întâmplă când se defectează hardware-ul?
  • Upgrade-urile sunt incluse sau se facturează separat?
  • Care sunt condițiile de ieșire și ce rămâne la tine?

Cum citești răspunsurile unui furnizor

  • Un furnizor care răspunde la lista tehnică cu adjective nu a măsurat produsul.
  • Un furnizor care răspunde la lista despre date cu un slogan nu a desenat diagrama.
  • Un furnizor care răspunde la lista de securitate cu „este on-premise” nu a citit OWASP.

Un furnizor care recunoaște că, pentru utilizare redusă și neregulată, cloud-ul este mai ieftin îți spune, după părerea noastră, ceva adevărat. Este un indiciu bun și pentru restul afirmațiilor lui.

Cu Bastion

Ce schimbă Bastion

Bastion este un sistem AI privat, livrat ca o singură cutie sigilată care funcționează în clădirea ta. Un singur abonament lunar acoperă cutia, modelul, sistemul de operare securizat și suportul, iar nimic din ce scrie echipa ta nu părăsește clădirea.

Bastion răspunde la cele patru liste în termeni ficși. Inferența are loc într-o singură cutie, la sediul clientului sau într-un data center; nu este necesară o conexiune outbound, tariful este o singură sumă lunară fixă, iar o unitate defectă este înlocuită integral.

La capacitate, un nod Reasoning deservește până la 110 oameni cu modul de gândire oprit sau 70 cu modul de gândire pornit, la 8k tokeni de context, la 30 de tokeni pe secundă fiecare (p90), cu cache KV în fp8 (cifră stabilită pe baza unui test pe un card închiriat de 600 W, cu același cip, înainte de prima cutie). Prin oameni înțelegem persoane anume, care folosesc cutia de-a lungul zilei, cam o cerere la 3 minute fiecare, nu oameni care apasă Enter în aceeași clipă.

Dacă răspunsurile la cele zece întrebări indică spre cloud, acesta este un rezultat valid. Dacă indică spre interior, spune-ne ce vrei să rulezi, câți oameni îl vor folosi și ce date sunt implicate, iar noi îți spunem dacă Bastion se potrivește.

Întrebări la care răspunde articolul

LLM local vs cloud: cu ce întrebare începi?
Cu workload-ul, nu cu modelul cel mai inteligent: ce va citi sistemul, cum sunt clasificate datele, dacă trebuie să iasă din organizație și câți oameni îl folosesc în același moment. Dacă răspunsurile indică spre cloud, acesta este un rezultat valid.
Ce întrebi un furnizor de servere pentru AI?
Patru liste: specificația tehnică (modelul, licența, memoria, contextul și concurența), fluxul datelor (unde are loc inferența și unde sunt stocate prompturile și jurnalele), arhitectura de securitate și condițiile comerciale, inclusiv ieșirea.
Câți utilizatori poate deservi un server AI local?
Cere patru termeni împreună: câți utilizatori concurenți, la ce lungime a contextului, la câți tokeni pe secundă fiecare și cu ce tip de date pentru cache-ul KV. Un singur număr, fără ceilalți trei, poate însemna aproape orice.

Sursele

  1. 1
  2. 2