Za koga je ova kontrolna lista i kako je koristiti
Ova kontrolna lista je za rukovodioce operative, vlasnike proizvoda i direktore koji imaju na umu proces za AI agenta i žele znati da li je njihova organizacija spremna uvesti ga u svakodnevni rad. Polazimo od toga da ste već vidjeli šta veliki jezički modeli mogu. Sada postavljate teže pitanje: šta mora biti ispunjeno na našoj strani prije nego što agent preuzme stvarni posao?
Većina pitanja nema mnogo veze s modelima. Tiču se toga koliko dobro razumijete proces, jesu li podaci dostupni i pouzdani, ko smije šta odobriti i ko je odgovoran za rezultat kada sistem proradi. Upravo te stvari odlučuju hoće li prvi agent ući u svakodnevnu upotrebu ili će zapeti nakon nekoliko sedmica testova koji su obećavali.
Kako je koristiti:
- 01Izaberite jedan proces. Odgovorite na pitanja za jedan konkretan tok rada. Kontrolna lista popunjena za AI općenito govori vam vrlo malo.
- 02Odgovarajte zajedno s ljudima koji rade taj posao. Vođa tima i neko ko svaki dan obrađuje te slučajeve dat će vam iskrenije odgovore od upravljačkog odbora.
- 03Označite samo ono što je tačno danas. Planovi i namjere računaju se kao ne. Cilj je jasno vidjeti praznine.
- 04Pročitajte ocjenu, pa praznine. Rezultat vam daje smjer. Neoznačene stavke govore šta prvo trebate riješiti.
Kontrolna lista u četvrtom poglavlju čuva vaš napredak u ovom pregledniku, pa joj se možete vratiti nakon što neki odgovor provjerite s kolegom.
Kako izabrati pravi prvi proces
Prvi agent postavlja očekivanja za sve koji dolaze poslije njega. Izaberite proces u kojem se uspjeh lako vidi, a grešku je jeftino uhvatiti.
Dobri kandidati za početak obično imaju ove osobine:
- Velik obim ponavljajućeg posla. Desetine ili stotine sličnih slučajeva sedmično, na primjer razvrstavanje pristiglih zahtjeva, pisanje odgovora iz poznatih informacija, provjera dokumenata prema pravilima ili priprema zapisa za pregled.
- Jasno je kada je posao gotov. Neko iz tima može pogledati rezultat i za minutu-dvije reći da li je tačan.
- Ulazi već postoje u digitalnom obliku. E-mailovi, obrasci, tiketi, PDF-ovi ili zapisi u sistemu koji kontrolišete. Ako posao počinje telefonskim pozivom i bilježnicom, prvo digitalizujte taj korak.
- Ljudski korak koji možete zadržati. Agent priprema, čovjek odobrava. Tako rizik ostaje nizak dok učite kako se agent ponaša na stvarnim slučajevima.
- Trošak koji danas možete izmjeriti. Utrošeni sati, vrijeme obrade ili veličina zaostatka. Bez polazne vrijednosti ne možete pokazati da je agent nešto promijenio.
Procese ostavite za kasnije ako jedna pogrešna akcija puno košta ili se ne može poništiti (plaćanja, ugovorne obaveze, medicinske ili pravne procjene koje idu direktno klijentu). Isto vrijedi za posao koji zavisi od znanja koje ima samo jedna osoba i za procese koji se mijenjaju svaki mjesec jer firma još traži način na koji ih želi voditi.
Ako imate više kandidata, ocijenite svaki po vrijednosti (koliko sati ili kašnjenja uklanja) i po riziku (koliko košta pogrešan rezultat koji prođe neprimijećen). Počnite s velikom vrijednošću i malim rizikom, čak i ako vam neki drugi proces izgleda zanimljivije. Mali agent koji radi svaki dan gradi više povjerenja od ambicioznog koji nikada ne izađe iz testiranja.
Počnite od procesa: prva pitanja
Prije podataka, sistema i modela, sam proces mora biti dovoljno jasan da ga opišete nekome novom. Ako ga ne možete objasniti novom kolegi, i agent će ga teško pratiti. Ovo su prva pitanja iz kontrolne liste, iz grupe Proces:
- Da li je proces zapisan dovoljno dobro da ga novi kolega može pratiti?
- Postoji li jedna osoba koja može odlučiti kako proces treba raditi?
- Odvija li se proces dovoljno često da bude važan, sedmično ili češće?
- Može li neko za nekoliko minuta provjeriti da li je rezultat tačan?
- Znate li otprilike koliko vremena ili kašnjenja proces danas košta?
- Znate li najčešće izuzetke i kako se danas rješavaju?
Ako ste na dva ili više pitanja odgovorili s ne, to je korisna informacija. Obično znači da je prvi posao mapirati proces i dogovoriti pravila, a to možete uraditi bez ijedne linije koda. Timovi koji preskoče ovaj korak često otkriju da agent izbaci na vidjelo neslaganja o tome kako posao treba raditi, pa izrada stoji dok se to ne riješi.
Ostatak vodiča pokriva cijelu kontrolnu listu (podaci, sistemi i pristup, rizik i nadzor, ljudi i odgovornost), kako čitati rezultat i zatvoriti praznine, zašto prvi agenti zapnu i šta prva verzija treba sadržavati.