Za koga je ovaj upitnik i kako ga koristiti
Ovaj upitnik je za ljude koji odobravaju AI softver: CTO-ove, osobe odgovorne za sigurnost i zaštitu podataka i nabavku. Pokriva pitanja koja standardni sigurnosni pregled softvera obično propusti kada proizvod šalje vaše podatke jezičkom modelu, pušta agenta da radi u vašim sistemima ili daje odgovore na koje će se vaši zaposleni oslanjati.
Klasični upitnici pitaju o hostingu, enkripciji i certifikatima. To je i dalje važno, pa ta pitanja nastavite postavljati. AI proizvodi donose nova pitanja: koji pružaoci modela vide vaše podatke, koriste li se vaši podaci za treniranje, šta proizvod bilježi o promptima i rezultatima, kako se mjeri kvalitet i šta se dešava kada model nešto pogriješi. Dokument za preuzimanje (na engleskom) grupiše 48 pitanja u osam oblasti, uz napomenu o tome zašto je svako važno.
Kako ga koristiti:
- 01Prvo definišite primjenu. Zapišite šta će proizvod raditi, koje podatke dodiruje i da li izvršava akcije ili samo daje prijedloge. Alat koji piše interne sažetke traži lakši pregled od agenta koji mijenja podatke o klijentima.
- 02Pošaljite pitanja rano. Podijelite ih prije završnog kruga komercijalnih pregovora, da odgovori oblikuju uži izbor umjesto da stignu nakon što je odluka donesena.
- 03Tražite dokaze. Za svaki odgovor zatražite dokument, postavku ili primjer koji ga potkrepljuje: spisak podobrađivača, ugovor o obradi podataka, izvještaj o evaluaciji, izvod iz revizijskog loga.
- 04Ocjenjujte dosljedno. Koristite bodovanje iz ovog vodiča, da se dva dobavljača, ili dobavljač i vaš vlastiti tim, porede pod istim uslovima.
- 05Sačuvajte odgovore. Pripadaju dosijeu ugovora i postaju polazna osnova za vaš sljedeći pregled.
Kako izgledaju dobri odgovori
Dobar odgovor je konkretan, može se provjeriti i u skladu je s ugovorom. Nejasna uvjeravanja česta su u prodaji AI proizvoda, pa pomaže da znate kako zvuči jak odgovor prije nego što odgovori stignu.
| Pitanje | Slab odgovor | Jak odgovor |
|---|---|---|
| Koriste li se naši podaci za treniranje modela? | Privatnost shvatamo vrlo ozbiljno. | Ne. Naši ugovori s pružaocima modela isključuju treniranje na podacima klijenata. Evo odredbe i postavke računa. |
| Koji pružaoci modela obrađuju naše podatke? | Radimo s vodećim pružaocima AI usluga. | Spisak s imenima i regijom obrade za svakog, uključen u spisak podobrađivača, uz obavijest prije izmjena. |
| Kako mjerite kvalitet odgovora? | Naš AI je izuzetno precizan. | Skup testova po primjeni, stope prolaznosti iz posljednje verzije i pravila koja blokiraju objavu nove verzije. |
| Možemo li vidjeti šta je AI uradio? | Logovi su dostupni na zahtjev. | Svako pokretanje se bilježi s ulazima, izvorima, pozivima alata i rezultatima. Logove možete izvesti i sami odrediti rok čuvanja. |
| Šta se dešava ako odemo? | O tome možemo razgovarati kada dođe vrijeme. | Izvoz u dokumentovanom formatu u dogovorenom roku, zatim brisanje uz pisanu potvrdu. |
Jaki odgovori priznaju i ograničenja. S dobavljačem koji vam kaže koje slučajeve njegov proizvod loše rješava i kako ih prepoznaje obično je lakše sarađivati nego s onim koji tvrdi da rješava sve. Kada dobavljač kaže da nešto ne može podijeliti, zatražite razgovor s njegovim rukovodiocem sigurnosti ili inženjeringa uz ugovor o povjerljivosti (NDA).
Obratite pažnju na to ko odgovara. Ako svi odgovori dolaze iz prodaje, a nijedan iz inženjeringa ili sigurnosti, odgovori opisuju ono što dobavljač namjerava. Zatražite da osoba koja bi vodila incident na vašem računu pregleda odgovore u oblastima koje su vam najvažnije.