Vurderingar som endra avgjerder

Den øydelagde hentingsvegen

Semantisk søk i kommunale dokument fungerte fint i demo, men ble stille brutt i produksjon for skopede søk: spør innenfor en kommune eller et utvalg uten et eksakt søkeord, og rett dokument kom sjelden tilbake. En liten retrieval-evaluering, ni vektede søk med kjente riktige og forbudte dokumenter, gjorde feilen synlig og målbar: den semantiske kategorien scoret null. Fiksen rutet skopede søk gjennom et filter-first tett søk i stedet for det generelle indeks. Den kategorien gikk fra null til perfekt, den vektede treffprosenten steg, og evalueringen vokter nå veien mot regresjon. En kategori, gjenfinning av en saks tidligere utvalgbehandling, rangerer fortsatt rett dokument for lavt til å passere, og står på listen. Uten evalueringen ville alt dette ha blitt arkivert under AI som upålitelig, når modellen aldri var problemet.

Omtalaren som ikkje kunne sjå bestillingsfeil

Ein del av laben sitt kodesystem er ein automatisk feilfinnar. Kandidattre vart testa på lappar med innlagde feil. Overraskinga var ikkje rangeringa, det var forma: den billigaste plausible kandidaten var heilt blind for ein type feil, medan han fanga andre heilt fint. Gjennomsnittsresultat skjuler det; per-klasse-resultat avslører det. Standardfeilfinnaren endra seg, og lærdommen vart sitjande. Val av modell er eit per-oppgåve-val, og ei evaluering som berre rapporterer ein enkelt skår vil etter kvart lyga til deg.

Benchmark der det enkle vann

Det fleir-agentbaserte seletøyet vart benchmarket mot eit enklare enkeltmodell-seletøy på ein blanda oppgåvekloss, og det enklare seletøyet kom best ut. Resultatet er i open benchmark record, negativt utfall inkludert, fordi poenget med benchmark var å finne ut kor mykje kompleksitet som faktisk fortener sin plass. Noko av det gjorde ikkje det. Evaluering er korleis kompleksitet blir forkasta, ikkje berre korleis funksjonar blir skrytt av.

Vanane

Mønsteret er det same for alle tre: små, spesifikke, knytt til ei avgjerd. Ni merka tilfelle slår tusen vibrasjonar. Talestraumen bak transkripsjonsarbeidet går på same vis: feilrate og talartilskriving blir målt mot eit gullsett før og etter kvar endring, og dei tala har stogga endringar som kjendest som forbetringar.