Sådan læser I et AI-benchmark

To AI-modeller kan se næsten ens ud i en rangliste og stadig være vidt forskellige at bruge i jeres virksomhed. Den ene kan være hurtig til korte spørgsmål. Den anden kan være bedre til at levere et svar i præcis det format, jeres system forventer. På benchmarksiden kan I vælge den egenskab, der betyder mest for opgaven. Se på målemetoden og datoen sammen med resultatet. En offentlig test, en beregnet pris og en vurdering af dansk sprog siger noget om tre forskellige ting. Overvej eksempelvis en opgave, hvor en model skal læse et dokument og aflevere tre felter. Et svar kan være velformuleret, selv om ét felt mangler. For den kollega, der skal rette sagen, er det felt vigtigere end en samlet placering. Tag et par typiske eksempler fra jeres egen opgave og tegn den mindste test, der kan fortælle jer noget. Skriv på forhånd, hvordan I vil genkende et acceptabelt svar. På metodesiden kan I også se, hvilke tidligere tal der er trukket tilbage, så en gammel score ikke kommer til at styre et nyt valg. Åbn metoden og rettelsesloggen på benchmarksiden. Vælg derefter den måling, der passer til jeres opgave, og sammenlign to modeller på det samme materiale.