Struktureret AI-output: JSON, schema og korrekte værdier
Datagrundlag og metode
Vi sammenholder officielle integrationsmuligheder og beskriver en testprotokol uden udokumenterede succesprocenter. Berkeley Function Calling Leaderboard måler værktøjsbrug; en BFCL-score kan ikke omregnes til en generel garanti for JSON-output i jeres applikation.
Kilder: Berkeley Function Calling Leaderboard V4 · OpenAI: Structured Outputs · Anthropic: Structured Outputs · Google: Structured Outputs
Tre forskellige krav til et svar
| Niveau | Kontrol | Eksempel på fejl |
|---|---|---|
| Syntaks | Kan dokumentet parses som JSON? | Et uafsluttet objekt |
| Schema | Matcher typer, felter og regler? | En streng hvor der kræves et tal |
| Betydning | Er værdierne korrekte og tilladte? | Et gyldigt kundenummer tilhører den forkerte kunde |
Et strukturelt korrekt svar kan stadig være fagligt forkert.
Kilder: OpenAI: Structured Outputs · Anthropic: Structured Outputs · Google: Structured Outputs
Brug udbyderens schemafunktion
OpenAI dokumenterer Structured Outputs med JSON Schema og særskilt håndtering af afvisninger og ufuldstændige svar. JSON mode alene er ikke det samme som schemaoverholdelse. Anthropic dokumenterer output_config.format med type json_schema. Gemini dokumenterer struktureret output med JSON Schema og kræver stadig validering af værdier i applikationen.
Kilder: OpenAI: Structured Outputs · Anthropic: Structured Outputs · Google: Structured Outputs
Et retvisende forsøg
Test normale input, manglende oplysninger, usædvanlige tegn, ugyldige enum-værdier og forsøg på at ignorere formatet. Hold prompt-only, JSON mode og strengt schema som separate forsøgsbetingelser. Alle modeller skal få samme data og samme accepterede struktur.
- Fastlås schema, prompt og model-ID før kørsel.
- Validér felttyper, længder, enums, arraygrænser og ekstra felter rekursivt.
- Registrér afvisning, timeout, outputgrænse og parsefejl separat.
- Rapportér første forsøg og succes efter retry hver for sig.
- Tæl korrekte forretningsværdier og pris pr. godkendt svar.
Function calling er en anden testopgave
BFCL V4 er en primær reference for modeller, der vælger og bruger funktioner. Det er relevant for agenter, men det må ikke blive til en opdigtet procent for alle typer JSON. Vælg metrik efter den fejl, jeres system skal kunne opdage.
Det kan du ikke udlede af siden
- Ingen nye egne JSON-succesrater er målt i denne opdatering.
- Understøttede JSON Schema-delområder og modelfunktioner kan variere.
- En korrekt afvisning er ikke et svar i forretningsschemaet og bør have sin egen resultatkategori.
Sådan bruger I det i en beslutning
Brug struktureret output, validér svaret i kode, og behold en tydelig fejlvej. Mål forretningsmæssig korrekthed ved siden af formatet.
Kilder og kontroltidspunkt
- Berkeley Function Calling Leaderboard V4 · UC Berkeley / Gorilla · kontrolleret
- OpenAI: Structured Outputs · OpenAI · kontrolleret
- Anthropic: Structured Outputs · Anthropic · kontrolleret
- Google: Structured Outputs · Google · kontrolleret
Skal modellerne vurderes på jeres opgave?
Beskriv arbejdsgangen og jeres vigtigste kvalitetskrav. Vi kan afklare rammerne for en afgrænset test og et konkret tilbud. Samtalen er uforpligtende.
- Gennemgang af opgave og datagrundlag
- Afklaring af kvalitet, pris og svartid
- Forslag til et overskueligt testforløb