Svi projekti

LLM evaluacije omogućile su asistentu za štete sedmične verzije uz 94% tačnosti

94%tačnost odgovora, testirana na svakoj verziji

Na svaku promjenu pokreće se četiri stotine ocijenjenih slučajeva. Tako bolji prompt ne može neprimjetno pokvariti odgovor koji je ranije bio tačan.

Klijent
Tim za štete u osiguranju
Sektor
Osiguranje
Usluga
Evaluacije

Problem

Svaka promjena asistenta za štete mogla je pokvariti odgovore koji su ranije bili tačni. Zato su nove verzije izlazile samo jednom u kvartalu.

Šta smo izradili

Skup testova od četiri stotine ocijenjenih slučajeva koji se pokreće na svaku promjenu. Praćenje tačno pokazuje koji su se odgovori promijenili i zašto.

Rezultat

Nova verzija asistenta izlazi svake sedmice, s tačnošću odgovora od 94%, testiranom na svakoj verziji.

Započnite saradnju s Vantionom.