Hoe LLM-evaluaties een schadeassistent elke week laten releasen met 94% juiste antwoorden

94%juiste antwoorden, getest bij elke release

Vierhonderd beoordeelde cases draaien bij elke wijziging. Zo maakt een betere prompt nooit ongemerkt een antwoord kapot dat eerst goed was.

Het probleem

Elke wijziging aan de schadeassistent kon antwoorden kapotmaken die eerst goed waren. Daarom kwam er nog maar één release per kwartaal.

Een testset van vierhonderd beoordeelde cases die bij elke wijziging draait. Tracing laat precies zien welke antwoorden veranderden en waarom.

De assistent krijgt nu elke week een nieuwe release. Elke release is getest en geeft 94% juiste antwoorden.