Sari la conținut

Articole

AI privat, susținut de dovezi.

Un articol, o întrebare, cu informații datate, organizații identificate și documente primare. Fiecare sursă poartă ziua în care a fost citită.

38 articole

Infrastructură AICel mai recent

Cinci întrebări pentru o cifră de tokeni pe secundă dintr-o reclamă

Aceeași placă scrie 27 de tokeni pe secundă sau 208, în funcție de cinci condiții: câte cereri, un model draft, promptul, cuantizarea și cine a măsurat. Ce întrebi înainte ca o cifră de viteză să dimensioneze un server.

3 min de citit

  • Infrastructură AI

    Ce schimbă un KV cache pe fp8, calculat

    KV cache-ul este memoria care crește cu fiecare om care folosește serverul, iar precizia lui este o setare, nu o proprietate a echipamentului. Calculat pe o placă de 96 GB: 185 de conversații la fp8 față de 104 la bfloat16, cu aceleași ponderi și același model.

    3 min de citit

  • Date, confidențialitate și GDPR

    DeepSeek scrie unde ajung datele. Un regulator a scris și excepția.

    Politica DeepSeek spune că datele sunt procesate și stocate în China. Regulatorul coreean a constatat că textul utilizatorilor a mers la o firmă de cloud din Beijing. Berlinul a numit articolul din GDPR. Regulatorul ceh a exclus modelele deschise rulate local.

    5 min de citit

  • Infrastructură AI

    Un test de AI local a publicat două numere. Doar unul a circulat.

    Un furnizor a măsurat 54 de tokeni pe secundă la un context de 32K și 96 de secunde până la primul token, pe aceeași mașină. Pe tot răspunsul, rata reală este de 8,9 tokeni pe secundă cu cache-ul rece și de 53,2 cu cache-ul cald. Ce ar trebui să ceară un cumpărător.

    3 min de citit

  • Private AI

    Ce este Private AI și când are nevoie o organizație de el?

    Private AI este același tip de model, cu alt răspuns la o singură întrebare: cine controlează mediul în care sunt procesate datele. Ce schimbă acest răspuns, ce lasă neatins și cele cinci întrebări care închid discuția.

    3 min de citit

  • Private AI

    Private AI sau AI în cloud? Citește întâi termenii furnizorului.

    Comparația este prezentată de obicei ca o alegere între sigur și nesigur, iar formularea pierde discuția. Cea onestă citește contractul: ce promite furnizorul, ce schimbă tipul de implementare, cine poate citi un prompt marcat și ce rămâne la cumpărător.

    4 min de citit

  • Date, confidențialitate și GDPR

    Shadow AI: instrumentul ajunge înaintea politicii

    Shadow AI apare când cererea pentru un instrument ajunge înaintea variantei lui aprobate. Amploarea măsurată, de ce o interdicție produce cel mai prost rezultat și ce trebuie să conțină o cale aprobată.

    4 min de citit

  • Private AI

    Ce este un AI appliance on-premise și de ce muncă te scutește

    Un AI appliance este decizia de a nu deveni o companie de infrastructură AI. Cele unsprezece componente ale unei implementări locale, exemplul măsurat care arată cât costă o alegere greșită și la ce renunți când scapi de munca de asamblare.

    4 min de citit

  • Private AI

    Șapte întrebări de lămurit înainte să decizi unde rulează AI-ul

    Începe de la activitate, nu de la hardware. Ce va citi sistemul, dacă datele trebuie să iasă, cât de constantă este utilizarea, dacă e nevoie de internet, cât de puternic trebuie să fie modelul, cine îl administrează și ce se întâmplă când nu este disponibil.

    4 min de citit