Šta je AI governance?
AI governance (upravljanje AI sistemima) skup je pravila, uloga i provjera koji određuje koje AI sisteme organizacija koristi, ko je odgovoran za svaki od njih, šta svaki smije raditi i kako znate da radi. U praksi je to registar sistema, u kojem su za svaki sistem zabilježeni vlasnik, nivo rizika, pravila o podacima i rezultati testova.
Ovaj članak je za direktore operacija (COO), direktore IT-a (CIO) i rukovodioce za usklađenost ili upravljanje rizikom u srednjim kompanijama koje već koriste AI alate i agente. Okvir je prilagođen njima: kratki dokumenti koje ljudi redovno ažuriraju, s najviše truda tamo gdje AI utiče na kupce, novac ili prava ljudi.
Izrađujemo i održavamo AI agente za klijente, a prije nego što ijedan krene s radom, neko mora reći šta smije dirati, ko odobrava njegove rizičnije akcije i koji je test prošao.
Dijelovi okvira za AI governance
Okvir za AI governance koji radi u praksi ima devet dijelova. Svaki odgovara na pitanje koje će prije ili kasnije postaviti revizor, kupac ili vaša uprava, i svaki ostavlja dokaze koje možete pokazati. Neke od tih dijelova vaši IT procesi i procesi zaštite podataka vjerovatno već pokrivaju.
| Dio | Pitanje na koje odgovara | Dokazi koje čuvate |
|---|---|---|
| Popis sistema | Koji se AI sistemi i alati koriste, uključujući one za koje su se zaposleni sami prijavili (shadow AI, alati koje niko nije odobrio)? | Registar sa svrhom, dobavljačem, podacima i korisnicima za svaki sistem |
| Vlasništvo | Ko odgovara za svaki sistem kada krene s radom? | Imenovan vlasnik za svaki unos u registru |
| Nivo rizika | Koliko štete ova upotreba može napraviti ako pođe po zlu? | Kratka procjena rizika za svaku primjenu |
| Pravila o podacima | Koji podaci smiju ići kojem modelu i gdje se obrađuju? | Klase podataka povezane s odobrenim alatima i lokacijama |
| Ljudski nadzor | Koje akcije prvo traže odobrenje čovjeka? | Pravila odobravanja i zapis o svakom odobrenju |
| Testiranje prije puštanja u rad | Radi li sistem posao dovoljno dobro na stvarnim slučajevima? | Rezultati evaluacija za svaku verziju, u odnosu na dogovoreni prag prolaznosti |
| Praćenje i logovi | Radi li sistem i dalje, i šta je radio prošle sedmice? | Logovi pokretanja, provjere kvaliteta, izvještaji o upotrebi i troškovima |
| Postupanje s incidentima | Šta se dešava kada sistem pogriješi? | Procedura, način da se sistem pauzira i evidencija incidenata |
| Provjera dobavljača | Možete li dobavljaču povjeriti svoje podatke? | Odgovori na sigurnosni upitnik za AI dobavljače, ugovori i ugovori o obradi podataka |
Bez registra ostalih osam dijelova pokriva samo sisteme kojih se neko sjetio.
Kako ga postaviti u prvim mjesecima
AI governance postavite redom kojim dokazi zavise jedni od drugih. Prvo utvrdite šta se koristi i ko je za to odgovoran, zatim procijenite rizik svake upotrebe, pa dodajte pravila i provjere tamo gdje je rizik najveći. Koordinaciju povjerite jednoj osobi, a dokumente držite dovoljno kratkim da ih ljudi ažuriraju.
- 01Napravite popis sistema. Pitajte svaki odjel koje AI alate koristi, a zatim u troškovima softvera i logovima jedinstvene prijave (single sign-on) potražite one koje niko nije spomenuo. Uključite i AI funkcije u proizvodima koje već imate, kao što je CRM.
- 02Imenujte vlasnika za svaki sistem. Obično je to rukovodilac čiji se tim oslanja na rezultat, jer može procijeniti da li je rezultat tačan i ima ovlaštenje da sistem pauzira.
- 03Procijenite svaku primjenu. Za početak su dovoljna tri nivoa: nizak za interne nacrte i pretragu, srednji za sve što stiže do kupaca ili mijenja zapise, visok za odluke o ljudima, novcu ili pristupu uslugama. Zabilježite svaku upotrebu u oblasti koju EU AI Act ograničava.
- 04Napišite pravila o podacima i provjerite dobavljače. Podatke podijelite u nekoliko klasa, kao što su interni, povjerljivi i lični, i navedite koji odobreni alati smiju primati svaku klasu i gdje se obrada mora odvijati. Svim AI dobavljačima postavite ista pitanja.
- 05Dodajte provjere tamo gdje je rizik. Alatima niskog rizika treba malo više od unosa u registar i pravila o podacima. Sistemi srednjeg i visokog rizika dobijaju i pravila odobravanja, test koji moraju proći prije puštanja u rad i logove.
- 06Napišite proceduru za incidente. Odredite šta se smatra AI incidentom, koga obavijestiti i kako pauzirati sistem, i povežite proceduru s postojećim procedurama za sigurnost i povrede podataka.
- 07Odredite ritam pregleda. Registar pregledajte po fiksnom rasporedu, na primjer kvartalno, a sisteme visokog rizika češće. Sistem pregledajte i svaki put kada mu se promijene model, podaci, dobavljač ili svrha.
Trud držite u srazmjeri s rizikom. Alat koji sažima sastanke i agent koji mijenja zapise o kupcima traže vrlo različitu količinu papirologije, a kompanija koja ima samo alate niskog rizika može završiti nakon četvrtog koraka.
Kada pišemo plan uvođenja AI rješenja za više inicijativa, svaka inicijativa dobija vlasnika, klasifikaciju rizika, pravila ljudskog nadzora i ciklus pregleda.
Ko je za šta zadužen
Uprava je zadužena za pravila i odlučuje koliki rizik kompanija prihvata. Svaki vlasnik sistema odgovara za jedan sistem. IT ili sigurnost vodi tehničke kontrole, usklađenost ili zaštita podataka provjerava pravnu stranu, a ljudi koji koriste AI poštuju pravila i prijavljuju probleme.
| Uloga | Odgovara za | Tipične odluke |
|---|---|---|
| Uprava | AI politiku, prihvatljiv nivo rizika i budžet | Koje su upotrebe zabranjene, idu li upotrebe visokog rizika dalje, ko koordinira |
| Vlasnik sistema | Jedan AI sistem, od puštanja u rad do gašenja | Prag prolaznosti za testiranje, ko šta odobrava, kada pauzirati |
| IT ili sigurnost | Pristup, integracije, logove i odobrene alate | Koji se alati povezuju s kojim sistemima, pravila za pristupne podatke, sigurnosne provjere dobavljača |
| Usklađenost ili službenik za zaštitu podataka (DPO) | Pravne provjere i provjere zaštite podataka | Da li je potrebna procjena učinka na zaštitu podataka, klasifikacija prema EU AI Actu, ugovori o obradi podataka |
| Ljudi koji koriste AI | Korištenje odobrenih alata u okviru pravila o podacima | Kada eskalirati neobičan rezultat ili prijaviti incident |
Uloga vlasnika sistema najlakše se izgubi kada neko promijeni posao, pa je provjerite pri svakom pregledu. U manjim kompanijama jedna osoba može imati više uloga, i to funkcioniše dok god je svaka uloga zapisana.
Gdje se uklapa EU AI Act
Provjereno 16. septembra 2026.
EU AI Act, Uredba (EU) 2024/1689, evropski je propis o vještačkoj inteligenciji. Stupio je na snagu 2024. godine, a njegove obaveze primjenjuju se postepeno. Propis AI razvrstava prema riziku upotrebe, pa isti model u jednoj upotrebi može imati minimalan rizik, a u drugoj visok.
- Zabranjene prakse. Kratak spisak zabranjenih upotreba, kao što je društveno bodovanje (social scoring).
- Visokorizični sistemi. AI sistemi u navedenim oblastima, kao što su zapošljavanje, procjena kreditne sposobnosti pojedinaca i pristup osnovnim javnim i privatnim uslugama, kao i AI u određenim regulisanim proizvodima. Za njih važe dodatne obaveze, kao što su dokumentacija, vođenje logova i ljudski nadzor, i za pružaoca i za organizaciju koja sistem koristi. Te obaveze važe od 2. decembra 2027. za navedene oblasti i od 2. augusta 2028. za regulisane proizvode.
- Obaveze transparentnosti. Neki sistemi moraju jasno pokazati da je u pitanju AI, na primjer chatbot koji ljudima kaže da razgovaraju s AI-jem, ili oznake na određenom generisanom sadržaju.
- Minimalan rizik. Sve ostalo. Propis ovdje dodaje malo obaveza, a drugi propisi, kao što je GDPR, i dalje važe.
Većina kompanija koje koriste AI alate spada u deployere (deployers), kako propis naziva organizaciju koja AI sistem koristi pod svojom nadležnošću. Ako razvijate AI sistem i stavljate ga na tržište ili u upotrebu pod svojim imenom, možda ste pružalac (provider), s više obaveza.
Mnoge poslovne upotrebe, kao što su obrada dokumenata ili interni asistent, obično ne spadaju u visoki rizik. Upotrebe u oblastima kao što su zapošljavanje, krediti ili pristup osnovnim uslugama mogu biti visokorizične. Klasifikacija prati upotrebu, pa interni asistent koji počne rangirati kandidate za posao može postati visokorizičan.
Okvir iz ovog članka pomaže vam da pripremite dokaze koje traže propis i vaši revizori: popis sistema, procjenu rizika za svaku primjenu, logove i zapise o ljudskom nadzoru. Da li određena upotreba ispunjava zahtjeve propisa pravna je procjena, a GDPR se primjenjuje uz propis kad god su u pitanju lični podaci.
Naš sažetak EU AI Acta detaljnije opisuje nivoe rizika, rokove i obaveze deployera. Cijeli tekst propisa: Uredba (EU) 2024/1689 na EUR-Lexu (otvara se u novoj kartici). Ovaj dio je opća informacija i nije pravni savjet. Smjernice i pravila se mogu mijenjati, pa svoju situaciju provjerite sa svojim pravnim savjetnikom.
Šta se mijenja kada AI agenti izvršavaju akcije
Kada AI samo piše nacrte, čovjek pročita rezultat prije nego što se išta desi. AI agent djeluje sam: ažurira zapise, šalje poruke ili pokreće plaćanja u vašim sistemima. Governance tada mora biti ugrađen u sam sistem, kroz alate koje agent ima, akcije koje čekaju odobrenje i zapis koji ostavlja svako pokretanje.
- Ograničeni alati. Agent dobija uske alate, kao što su pregled narudžbe ili pisanje nacrta odgovora, s ograničenjima upisanim u kod i s vlastitim pristupnim podacima. Za akcije koje nikad ne smije poduzeti alat ne postoji.
- Odobrenje prije akcija s velikim posljedicama. Plaćanja, poruke kupcima i izmjene u glavnim sistemima evidencije čekaju imenovanu osobu, koja vidi predloženu akciju i dokaze za nju. Naš članak o AI agentima uz ljudsko odobrenje opisuje obrasce.
- Log svakog pokretanja. Okidač, ulazi, verzija modela i prompta, svaki poziv alata i svako odobrenje, da i mjesecima kasnije možete objasniti svaku akciju.
- Skup testova prije svake izmjene. Novi model, prompt ili alat može promijeniti ponašanje, pa svaka izmjena ponovo prolazi skup stvarnih ranijih slučajeva i ide u rad samo ako ga prođe. Kako sastaviti takav skup, pročitajte u članku LLM evaluacije prije svake nove verzije.
Te kontrole su ujedno i dokazi za governance agenta. Kada izrađujemo agente, kontrole postavljamo prije prve verzije, agenta pokrećemo na nacrtima koje pregleda čovjek i proširujemo ono što smije raditi kako rezultati to potvrde.
Česte greške
Većina grešaka u upravljanju AI sistemima nastaje kada se pravila pišu prije nego što iko zna šta se koristi, ili kada su kontrole toliko teške da ih ljudi zaobilaze. U nastavku je pet grešaka na koje treba paziti, uz način da svaku ispravite dokumentima opisanim iznad.
- Politika bez popisa sistema. Niko ne može provjeriti politiku prihvatljive upotrebe bez spiska sistema koji se koriste. Prvo napravite registar, a politiku napišite prema onome što u njemu jeste.
- Zabrana AI alata. Zabrana bez odobrene alternative tjera ljude na lične naloge bez logova i ugovora o podacima, i tako raste shadow AI. Odobrite nekoliko alata koji ispunjavaju vaša pravila o podacima i učinite ih lako dostupnim.
- Jedna komisija odobrava sve. Kada svaka primjena čeka isti mjesečni sastanak, zahtjevi niskog rizika čekaju iza onih visokog rizika, a timovi prestanu pitati. Neka vlasnici sistema odobravaju upotrebe niskog rizika, a komisiju zadržite za visoki rizik.
- Nema vlasnika nakon puštanja u rad. Projektni tim pređe na drugi posao i niko ne primijeti da su rezultati sve lošiji. Imenujte vlasnika prije puštanja u rad i upišite datum pregleda u registar.
- Uvjeravanja dobavljača kao dovoljan dokaz. Certifikat ili stranica o povjerenju (trust page) opisuju kontrole dobavljača. Malo govore o tome kako ste vi podesili proizvod ili koje podatke vaši zaposleni u njega unose, pa provjerite i vlastitu upotrebu.
Pitanja o upravljanju AI sistemima
Šta je okvir za AI governance?
Okvir za AI governance je radni skup dokumenata i rutina kojim organizacija upravlja AI sistemima: registar sistema s vlasnikom i nivoom rizika za svaki, uz pravila o podacima, odobrenja, testiranje, praćenje, postupanje s incidentima i provjeru dobavljača. Okvir pretvara politiku AI governancea u stvari koje ljudi rade i zapise koje čuvaju.
Ko je odgovoran za AI governance?
Za AI governance odgovara uprava, koja postavlja pravila. U svakodnevnom radu svaki AI sistem ima imenovanog vlasnika u poslovanju. Podršku mu daju IT ili sigurnost za tehničke kontrole i usklađenost ili zaštita podataka za pravne provjere, a jedna osoba koordinira registar.
Primjenjuje li se EU AI Act na našu kompaniju?
EU AI Act se može primjenjivati na svaku organizaciju koja razvija ili koristi AI sisteme u EU, uključujući kompanije izvan EU čiji se AI koristi u EU. Šta propis traži zavisi od upotrebe: malo za upotrebe minimalnog rizika, više u oblastima visokog rizika kao što su zapošljavanje ili odluke o kreditima.
Ovaj odgovor je opća informacija i nije pravni savjet, pa svoju situaciju provjerite sa svojim pravnim savjetnikom. U našem radu na AI strategiji pomažemo kompanijama da popišu svoje AI sisteme i klasifikuju svaku upotrebu, zajedno s njihovim pravnim savjetnicima.
Treba li malim timovima AI governance?
Treba, u lakšem obliku. Malom timu koji koristi nekoliko AI alata za nacrte i pretragu trebaju registar, vlasnik za svaki alat i pravilo o podacima na jednoj stranici. Za to je dovoljna jedna tabela, bez vanjske pomoći.
Ostalo može čekati dok AI ne počne uticati na kupce, novac ili odluke o ljudima. Kada planirate taj prvi sistem, kontrolna lista spremnosti za AI navodi pitanja na koja treba odgovoriti prije nego što sistem krene s radom.