Dokumentuttrekk
Hente eksakte felt fra fakturaer og skjemaer, også felt som må regnes ut.
Siste utvalg (kjørt 10. oktober, publisert 10. oktober 2026) oppsummeres her. 9. oktober-rapporten er bevart som historikk. Resten av siden beskriver den planlagte grunnprotokollen.
| Omfang | 12 syntetiske bokmålsoppgaver med 292 svarfelt per modell, i tre familier. Hver oppgave er kjørt én gang på 8 HIGH-ruter fra to 10. oktober-kjøringer med ulik harness (ikke én felles kjøring). |
|---|---|
| Poeng | Alt-eller-ingenting per oppgave; feltandeler er kun diagnostikk. Alfabetisk presentasjon uten rangering, kostnad, svartid eller konfidensintervaller. |
| Kontroll | 96/96 svar kontrollert mot kjøreplan og logger: 0 manglende, 0 tekniske feil, 0 protokollavviste og 0 verktøykall. Verktøy var forbudt i prompten og kontrollert i loggene, ikke teknisk fjernet. Modellnavn er klientens oppgitte identitet. Geminis 12 svar er kontrollert mot lokale transkripter, ikke signert leverandørattestasjon. Sol- og Gemini-rettelse er dokumentert, og ekskluderingen av to Qwen-batcher er dokumentert som egen rettelse. Separat Qwen xhigh er revidert med 12 svar. |
| Status | Separat utviklingssignal uten fullmålingsstatus. Oppgavene er brukt til utvikling; de 24 holdout-oppgavene er fortsatt urørt. 9. oktober-rapporten (4 ruter), 7-ruters 10. oktober-utvalget og Muse MAX 10. oktober er bevart som historikk. |
Oppgavene krever eksplisitte JSON-felt som kan sjekkes. Fri skriving måles ikke i v0.5.
Fasit og poengregler skrives før noen modell har svart. Testsettet fryses før modellene kalles; endringer krever ny versjon og ny kjøring. Ingen retting fordi en modell er uenig.
Samme oppgaver og oppgitte kjørebetingelser innenfor hvert spor. Abonnementer og API vurderes separat.
12 offentlige oppgaver vises med fasit; 12 kalibrering og 24 holdout er ikke offentlige og holdes utenfor siden, nettstedets kilde og metadata. Repoet er privat, men skjulte oppgaver er ikke immune mot trening. Holdout som brukes til justering, pensjoneres med versjonert ny holdout.
Poeng settes med strenge feltregler, uten AI-dommer. Andel riktige felt (fieldAccuracy) er kun diagnostikk og avgjør aldri rangeringen. Fri prosakvalitet er et fremtidig separat spor.
Rekkefølgen viser observerte poeng, ikke bevist overlegenhet. Stratifiserte parede sammenligninger på samme oppgaver er planlagt. Resultater rapporteres per splitt med holdout-24 som primær sammenligning; resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver.
Poeng, API-kostnad og svartid vises ved siden av hverandre og blandes aldri sammen. Abonnement rapporterer ingen API-kostnad.
Ingen fullmåling publiseres før en person har gått gjennom avvikene. Kalibrering 0.1 er et separat utviklingssignal uten fullmålingsstatus.
Hver av de seks typene får åtte oppgaver: to offentlige, 2 kalibrering og 4 holdout. To per type er offentlige med fasit, så alle kan se hva modellene får. 12 er tilgjengelige nå; de resterende 36 er kalibrering og holdout, som ikke er offentlige. Vanskelighetsgradene er forfattervurderte (2 lette/3 middels/3 vanskelige per type), ikke empirisk kalibrerte.
| Typer | Dokumentuttrekk, Fakta til kundesvar, Møtevedtak, Regelbruk, Klassifisering, Nynorskformer |
|---|---|
| Innhold | Fiktive firma, personer, dokumenter og regler. Ingen kundedata, heller ikke anonymisert. |
| Språk | Nynorsktypen er skrevet på nynorsk; de øvrige typene er på bokmål. |
| Regelverk | Medfølgende fiktive regler i hver oppgave. Tester ikke juridisk ekspertise og gir ikke juridisk rådgivning. Ingen ekspertverifisering; enighet mellom modeller validerer aldri fasit. |
| Hver oppgave har | Oppgavetekst med regler for ukjente, manglende eller motstridende opplysninger, fasit med kildebegrunnelse per felt, et godkjent alternativ og bevisst feilaktige svar, og strenge feltregler. Oppgaver velges aldri for å favorisere noen bestemt modell eller leverandør. |
| Kontroll | Fasit og det godkjente alternativet må få 100 poeng, og feile svar høyst 0, før oppgaven kan brukes. Fasit er kildegjennomgått før frys; det reviderte kalibreringsutvalget vurderes som del av metodeutviklingen. Nynorsk har kun listede varianter og måler ikke flyt. |
| Avansert utviklingsspor | Et separat utkast har 12 genererte dokumentpakker for avstemming, ressursfordeling og saksbehandling. Fasiten beregnes fra syntetiske data og kontrolleres ved å lese den ferdige oppgaveteksten tilbake i en separat beregning. Håndregnede eksempler og grenseverdier supplerer kontrollen; samsvar mellom programmene alene beviser ikke at reglene er feilfrie. Siste publiserte utvalg er HIGH-utvalget 10. oktober 2026: 12 oppgaver på bokmål med 292 svarfelt per modell, 8 HIGH-ruter og 96 svar fra to kjøringer, pluss separat Qwen xhigh med 12 svar. Gemini er nå loggkontrollert mot lokale transkripter. Separat utviklingssignal — ikke en del av de 48 grunnoppgavene, ingen fullmåling og ingen rangering (alfabetisk presentasjon). 9. oktober-rapporten (4 ruter) og 7-ruters 10. oktober-utvalget er bevart som historikk. Oppgavene er brukt til utvikling og er ingen urørt sluttest; de 24 holdout-oppgavene er fortsatt urørt. |
| Abonnementspilot | Lokal kjører for Codex og Claude Code med eksisterende abonnementsinnlogging. Ingen API-nøkler eller pay-as-you-go-fallback. Første godkjente fullmåling gjenstår. Siste utvalg er kjørt på 8 HIGH-ruter fra to 10. oktober-kjøringer (subagenter, CLI og Antigravity UI) som separat spor. Qwen xhigh er en egen separat kjøring med 12 svar. |
|---|---|
| Produkt og modell | Produkt, forespurt modell, resonneringsnivå og CLI-versjon registreres. Faktisk modell er ukjent hvis verktøyet ikke returnerer den. I kalibrering 0.1 er modellnavn klientens oppgitte identitet, ikke uavhengig bekreftet. Geminis app-innpakning og systeminstrukser skiller seg fra de andre kjøringene. |
| Planlagt API-spor | Vercel AI Gateway med eksakt modell-ID. Eget spor, ikke aktivert av abonnementskjøreren. |
| Instruks | «Du løser en arbeidsoppgave for en norsk bedrift. Følg instruksjonene i oppgaven nøyaktig, og svar bare med det oppgaven ber om.» |
| Temperatur | Ukjent i abonnementspiloten. Planlagt API-spor: 0 der modellen støtter det. |
| Resonnering | Forespurt nivå registreres per produkt og modell. Dette gir ikke lik beregning på tvers av modeller. |
| Verktøy og nettsøk | Av i grunnprotokollen. Kalibrering 0.1 HIGH-ruter: forbudt i prompten og kontrollert i loggene, ikke teknisk fjernet. Den separate Qwen-kjøringen nekter alle verktøy teknisk. |
| Maks svarlengde | Ukjent i abonnementspiloten. Planlagt API-spor: 2000 tokens. |
| Tidsgrense | 120 sekunder |
| Gjentakelser | 3 per oppgave i fullprotokollen (kalibrering 0.1: 1) |
| Feil og kvote | Abonnementskjøreren stopper og bevarer ferdige svar. Manglende svar listes separat og får ikke automatisk 0 poeng. Gjenopptakelse er et aktivt valg. |
| Split | prepare --split public|calibration|holdout|all (standard public, holdout krever eksplisitt splitt); abonnementsconfig taskSplit (faktisk config: calibration). Kalibrering brukes til metodekontroll og kalibrering. Primær sammenligning er holdout-totalen (24 oppgaver). Holdout som brukes til justering, pensjoneres med versjonert ny holdout. |
| Spor | API, terminalprodukter og nettleser/chat har ulike produktinstrukser. Vi oppgir flaten og sammenligner ikke resultatene som om de var samme test. |
| Ikke-publiserte oppgaver | Repoet er privat, men skjulte oppgaver er ikke immune mot trening. Kalibrering og holdout er ikke offentlige: de står ikke på siden og ligger ikke i nettstedets kilde eller metadata. En kjører sender tildelt oppgavetekst til leverandøren ved kjøring. |
| Oppgavepoeng | Snittet av de tre kjøringene (hver 100 eller 0; manglende inngår ikke som 0) |
|---|---|
| Typepoeng | Snittet av oppgavene i typen innen samme splitt (primær: 4 holdout-oppgaver) |
| Totalpoeng | Snittet av de seks typene innen samme splitt. Alle typer teller likt. |
| Primær sammenligning | Holdout-totalen: 24 reserverte oppgaver, 4 per type. Resultater rapporteres per splitt; et samlet snitt over alle splitter er ikke en uavhengig rangering. |
| Rangering | Observerte poeng, ikke bevist overlegenhet. Stratifiserte parede sammenligninger på samme oppgaver er planlagt. Resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver. Lokal CLI beregner ingen konfidensintervaller. |
| Kalibrering 0.1 (separat) | 12 oppgaver; totaler er alt-eller-ingenting per oppgave og feltandeler er kun diagnostikk. Ingen rangering, ingen kostnad/svartid og ingen konfidensintervaller. |
| Stabilitet | Spredningen mellom de tre kjøringene |
| Kostnad | API-sporets faktiske pris per kall, inkludert skjult resonnering, regnet om til 100 oppgaver. Oppgis i dollar uten mva, fordi leverandørene fakturerer i dollar. Abonnement rapporterer ingen API-kostnad. |
| Svartid | Median tid fra kallet sendes til hele svaret er mottatt |
| Før kjøring | Automatiske sjekker: selvtesten av alle oppgaver og poengregler må bestå. Fasit er kildegjennomgått før frys; det reviderte kalibreringsutvalget vurderes som del av metodeutviklingen. |
|---|---|
| Fullstendighet | Alle modeller har svart på alle 48 oppgaver i alle tre kjøringene (12×48×3=1728 svar med dagens katalog, som ikke er fast). Manglende er ikke full dekning. Resultatene rapporteres hver for seg for offentlige oppgaver, kalibrering og holdout. |
| Feilrate | Høyst 5 prosent per modell |
| Avviksliste | Modeller som har endret seg mer enn 15 poeng siden forrige uke, manglende eller feilede kall, og 10 prosent tilfeldig valgte svar (173 svar med dagens katalog) pluss avvik. Piloten måler faktisk tid. |
| Godkjenning | En person i Aprex går gjennom avvikslisten og dokumenterer godkjenningen i resultatfilen. Ingen auto-godkjenning. Endelig publisering gjenstår; en måling er godkjent først når godkjenningen står i resultatfilen. |
| Kalibrering 0.1 (separat) | Egen utviklingsrapport: 96/96 svar kontrollert mot kjøreplan og logger, med 0 manglende, 0 tekniske feil, 0 protokollavviste og 0 verktøykall. Ingen manuell avviksgjennomgang og ingen fullmålingsstatus. Fullprotokollens porter over er urørt. |
| Nettsiden | Siden bygges ikke hvis en måling har ugyldige tall, mangler en type arbeid, mangler godkjenning/CSV, har feil versjon/repetisjoner/dekning, eller protokollen er utkast med publiserte kjøringer. |
Hver fullmåling publiseres som en CSV-fil med én rad per modell. Siste kalibreringsutvalg har egen CSV med 8 rader (én per rute) og revidert JSON med samme 8 rutene; full-rapport JSON (med Sol-, Gemini- og Qwen-ekskluderingsrettelse) har eget navn og inngår ikke i Dataset. Separat Qwen xhigh-kjøring har egne CSV/JSON-filer og inngår aldri i HIGH-datasettet. Barometersiden har strukturerte data (schema.org Dataset) for godkjente fullmålinger og for siste reviderte kalibreringsutvalg. Kolonnetabellen under gjelder fullprotokollens CSV; kalibreringens CSV har egne kolonner. Tallene kan brukes fritt med Aprex som kilde og lenke til barometeret.
| Kolonne | Innhold |
|---|---|
week | Målingens uke, for eksempel 2026-U41 |
model_id | Modell-ID i AI Gateway |
model | Modellnavn |
provider | Leverandør |
tier | topp eller rimelig |
total | Totalpoeng 0–100 |
ci_low | Nedre grense, intervall for fremtidige målinger |
ci_high | Øvre grense, intervall for fremtidige målinger |
dokumentuttrekk | Typepoeng 0–100 |
kundesvar | Typepoeng 0–100 |
oppsummering | Typepoeng 0–100 |
regelverk | Typepoeng 0–100 |
klassifisering | Typepoeng 0–100 |
nynorsk | Typepoeng 0–100 |
cost_per_100_usd | Målt API-pris for 100 oppgaver, USD uten mva (API-spor; abonnement rapporterer ingen API-kostnad) |
median_latency_ms | Median svartid i millisekunder |
error_rate | Andel kall som feilet etter ett nytt forsøk, 0–1 |
Ingen leverandør betaler for eller påvirker barometeret, og ingen får se resultatene før de publiseres. Aprex bruker selv modeller fra flere av leverandørene i løsninger vi bygger.
Skriv til oss hvis du vil vite mer, har forslag til oppgaver eller har funnet noe som bør rettes.
Send e-post til Aprex →