Norsk AI-barometer / Metode

Slik er barometeret bygget.

Denne siden er for deg som vil forstå eller etterprøve tallene. Her står hvorfor vi tester, hvilke prinsipper testen bygger på, nøyaktig hvordan svarene får poeng og hva tallene ikke kan brukes til.

Kalibrering 0.1 · Publisert

Hva som faktisk er kjørt.

Siste utvalg (kjørt 10. oktober, publisert 10. oktober 2026) oppsummeres her. 9. oktober-rapporten er bevart som historikk. Resten av siden beskriver den planlagte grunnprotokollen.

Omfang12 syntetiske bokmålsoppgaver med 292 svarfelt per modell, i tre familier. Hver oppgave er kjørt én gang på 8 HIGH-ruter fra to 10. oktober-kjøringer med ulik harness (ikke én felles kjøring).
PoengAlt-eller-ingenting per oppgave; feltandeler er kun diagnostikk. Alfabetisk presentasjon uten rangering, kostnad, svartid eller konfidensintervaller.
Kontroll96/96 svar kontrollert mot kjøreplan og logger: 0 manglende, 0 tekniske feil, 0 protokollavviste og 0 verktøykall. Verktøy var forbudt i prompten og kontrollert i loggene, ikke teknisk fjernet. Modellnavn er klientens oppgitte identitet. Geminis 12 svar er kontrollert mot lokale transkripter, ikke signert leverandørattestasjon. Sol- og Gemini-rettelse er dokumentert, og ekskluderingen av to Qwen-batcher er dokumentert som egen rettelse. Separat Qwen xhigh er revidert med 12 svar.
StatusSeparat utviklingssignal uten fullmålingsstatus. Oppgavene er brukt til utvikling; de 24 holdout-oppgavene er fortsatt urørt. 9. oktober-rapporten (4 ruter), 7-ruters 10. oktober-utvalget og Muse MAX 10. oktober er bevart som historikk.

Se kalibreringstallene →

Bakgrunn

Hvorfor et eget norsk barometer?

De kjente testene av språkmodeller måler mest engelsk, programmering, matematikk og kunnskapsspørsmål. De sier lite om det norske bedrifter faktisk bruker AI til: å lese en faktura, svare en kunde, oppsummere et møte eller skrive på nynorsk.

Når Aprex bygger AI-løsninger, må vi velge modell for hver oppgave. Da trenger vi tall på norsk arbeid, ikke på engelske eksamensoppgaver. Barometeret er de samme målingene gjort systematisk og publisert, så andre kan bruke dem og etterprøve dem.

Modellene endrer seg fra måned til måned, og nye kommer stadig. Derfor er målet å kjøre testen hver uke med de samme oppgavene når fullmålingene starter, slik at du ser hvordan modellene utvikler seg over tid. Avansert kalibrering 0.1 er publisert som separat utviklingssignal.

Fundament

Åtte prinsipper testen bygger på.

  1. 01

    Kontrollerte oppgaver

    Oppgavene krever eksplisitte JSON-felt som kan sjekkes. Fri skriving måles ikke i v0.5.

  2. 02

    Fasit før kjøring

    Fasit og poengregler skrives før noen modell har svart. Testsettet fryses før modellene kalles; endringer krever ny versjon og ny kjøring. Ingen retting fordi en modell er uenig.

  3. 03

    Like betingelser

    Samme oppgaver og oppgitte kjørebetingelser innenfor hvert spor. Abonnementer og API vurderes separat.

  4. 04

    Ikke-publisert testsett

    12 offentlige oppgaver vises med fasit; 12 kalibrering og 24 holdout er ikke offentlige og holdes utenfor siden, nettstedets kilde og metadata. Repoet er privat, men skjulte oppgaver er ikke immune mot trening. Holdout som brukes til justering, pensjoneres med versjonert ny holdout.

  5. 05

    Automatikk, ingen dommere i poeng

    Poeng settes med strenge feltregler, uten AI-dommer. Andel riktige felt (fieldAccuracy) er kun diagnostikk og avgjør aldri rangeringen. Fri prosakvalitet er et fremtidig separat spor.

  6. 06

    Observert rangering

    Rekkefølgen viser observerte poeng, ikke bevist overlegenhet. Stratifiserte parede sammenligninger på samme oppgaver er planlagt. Resultater rapporteres per splitt med holdout-24 som primær sammenligning; resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver.

  7. 07

    Kostnad for seg

    Poeng, API-kostnad og svartid vises ved siden av hverandre og blandes aldri sammen. Abonnement rapporterer ingen API-kostnad.

  8. 08

    Menneske til slutt

    Ingen fullmåling publiseres før en person har gått gjennom avvikene. Kalibrering 0.1 er et separat utviklingssignal uten fullmålingsstatus.

Testsettet

48 oppgaver totalt, seks typer arbeid.

Hver av de seks typene får åtte oppgaver: to offentlige, 2 kalibrering og 4 holdout. To per type er offentlige med fasit, så alle kan se hva modellene får. 12 er tilgjengelige nå; de resterende 36 er kalibrering og holdout, som ikke er offentlige. Vanskelighetsgradene er forfattervurderte (2 lette/3 middels/3 vanskelige per type), ikke empirisk kalibrerte.

TyperDokumentuttrekk, Fakta til kundesvar, Møtevedtak, Regelbruk, Klassifisering, Nynorskformer
InnholdFiktive firma, personer, dokumenter og regler. Ingen kundedata, heller ikke anonymisert.
SpråkNynorsktypen er skrevet på nynorsk; de øvrige typene er på bokmål.
RegelverkMedfølgende fiktive regler i hver oppgave. Tester ikke juridisk ekspertise og gir ikke juridisk rådgivning. Ingen ekspertverifisering; enighet mellom modeller validerer aldri fasit.
Hver oppgave harOppgavetekst med regler for ukjente, manglende eller motstridende opplysninger, fasit med kildebegrunnelse per felt, et godkjent alternativ og bevisst feilaktige svar, og strenge feltregler. Oppgaver velges aldri for å favorisere noen bestemt modell eller leverandør.
KontrollFasit og det godkjente alternativet må få 100 poeng, og feile svar høyst 0, før oppgaven kan brukes. Fasit er kildegjennomgått før frys; det reviderte kalibreringsutvalget vurderes som del av metodeutviklingen. Nynorsk har kun listede varianter og måler ikke flyt.
Avansert utviklingssporEt separat utkast har 12 genererte dokumentpakker for avstemming, ressursfordeling og saksbehandling. Fasiten beregnes fra syntetiske data og kontrolleres ved å lese den ferdige oppgaveteksten tilbake i en separat beregning. Håndregnede eksempler og grenseverdier supplerer kontrollen; samsvar mellom programmene alene beviser ikke at reglene er feilfrie. Siste publiserte utvalg er HIGH-utvalget 10. oktober 2026: 12 oppgaver på bokmål med 292 svarfelt per modell, 8 HIGH-ruter og 96 svar fra to kjøringer, pluss separat Qwen xhigh med 12 svar. Gemini er nå loggkontrollert mot lokale transkripter. Separat utviklingssignal — ikke en del av de 48 grunnoppgavene, ingen fullmåling og ingen rangering (alfabetisk presentasjon). 9. oktober-rapporten (4 ruter) og 7-ruters 10. oktober-utvalget er bevart som historikk. Oppgavene er brukt til utvikling og er ingen urørt sluttest; de 24 holdout-oppgavene er fortsatt urørt.
Planlagt grunnprotokoll

Seks planlagte oppgavetyper.

Den planlagte grunnprotokollen (v0.5) har seks typer med åtte oppgaver per type: 2 offentlige, 2 kalibrering og 4 holdout. Vanskelighetsgradene er forfattervurderte (2 lette/3 middels/3 vanskelige per type), ikke empirisk kalibrerte. Typene teller likt. Modellen fyller ut faste svarfelt som programmet kontrollerer mot fasit. Kalibrering 0.1 brukte tre andre oppgavefamilier (se tabellen over).

01

Dokumentuttrekk

Hente eksakte felt fra fakturaer og skjemaer, også felt som må regnes ut.

Bestått når alle svarfelt er riktige
02

Fakta til kundesvar

Finne kundefakta (ordre, sporing, datoer) og avgjøre fullmakter (unnskyldning, kompensasjon) ut fra vedlagte notater. Måler ikke e-postkvalitet.

Bestått når alle svarfelt er riktige
03

Møtevedtak

Hente ut møtevedtak og koble riktig ansvarsperson til riktig oppgave og frist. Måler bindinger, ikke sammendragskvalitet.

Bestått når alle svarfelt er riktige
04

Regelbruk

Bruke vedlagte, fiktive regler til å beregne frister og velge riktig regel. Tester ikke juridisk ekspertise og gir ikke juridisk rådgivning.

Bestått når alle svarfelt er riktige
05

Klassifisering

Etikettklassifisering etter faste definisjoner med prioritetsregler, også når henvendelser ligner hverandre.

Bestått når alle svarfelt er riktige
06

Nynorskformer

Kontrollerte nynorske ordform- og regeloppgaver med endelige varianter. Måler ikke flyt.

Bestått når alle svarfelt er riktige
Modellene

Hvem som skal testes.

Toppmodellene viser hva som er mulig. De rimelige modellene viser hva du får for pengene. Listen er en planlagt katalog, ikke fast; referansekandidater konfigureres separat, og API-katalogen er ikke en kjørbar abonnementsliste. Katalogen har ingen resultater: siste utvalg dekker kun 8 faktisk kjørte HIGH-ruter og er ingen måling av katalogmodellene.

Toppmodeller (planlagt — ingen resultater)

  • GPT-6 AstraOpenAI
  • Claude Opus 5.5Anthropic
  • Gemini 3.1 ProGoogle
  • Grok 4.7xAI
  • Mistral Medium 3.5Mistral
  • DeepSeek V4 ProDeepSeek
  • Qwen 3.8 MaxAlibaba
  • Muse Spark 1.3Meta

Rimelige modeller (planlagt — ingen resultater)

  • GPT-6 LunaOpenAI
  • Claude Sonnet 5Anthropic
  • Gemini 3.8 FlashGoogle
  • Mistral Large 3Mistral
Eksempeloppgaver

Offentlige eksempler til neste fase.

To offentlige oppgaver per type, med fasit (12 tilgjengelige av 48 totalt: 12 offentlige/12 kalibrering/24 holdout). Kalibrering og holdout vises aldri. Alt innhold er fiktivt.

DokumentuttrekkEksakte felt fra faktura, inkludert forfallsdato som må regnes ut. Avledere (tilbudsnummer, ordrenummer, kundenummer) tester presis binding.Bokmål

Oppgave

Hent ut opplysningene fra fakturaen under. Tell fakturadato som dag 0: forfallsdato er fakturadato pluss 14 dager. Svar bare med JSON med disse feltene: leverandor, fakturanummer, fakturadato (ÅÅÅÅ-MM-DD), forfallsdato (ÅÅÅÅ-MM-DD), belop_eks_mva (tall), mva (tall), belop_inkl_mva (tall), kid.

FAKTURA
Fjellvik Rør AS
Org.nr. 000 000 000 MVA (fiktivt)
Havnegata 12, 3100 Tønsberg

Kunde: Solbakken Bakeri AS
Kundenr. 10442
Ordrenr. 7781

Fakturanr.: 2026-0457
Fakturadato: 3. oktober 2026
Betalingsbetingelser: 14 dager netto
Gjelder: Utbedring av lekkasje, jf. tilbud 2026-0412

Beskrivelse                Antall   Pris       Sum
Arbeid rørlegger (timer)   6        1 450,00   8 700,00
Deler og materiell         1        3 800,00   3 800,00

Sum eks. mva                                  12 500,00
Mva 25 %                                       3 125,00
Å betale                                      15 625,00

Betales innen forfall. KID: 004571044215
Spørsmål om fakturaen? Skriv til regnskap@example.com

Fasit

{
  "leverandor": "Fjellvik Rør AS",
  "fakturanummer": "2026-0457",
  "fakturadato": "2026-10-03",
  "forfallsdato": "2026-10-17",
  "belop_eks_mva": 12500,
  "mva": 3125,
  "belop_inkl_mva": 15625,
  "kid": "004571044215"
}
DokumentuttrekkEksakte felt fra kreditnota med positive absolutte beløp, inkludert binding mellom kreditnota og originalfaktura. Originaltotalen er avleder. Måler presis feltbinding, ikke fri tekstforståelse.Bokmål

Oppgave

Hent ut opplysningene fra kreditnotaen under. Oppgi kreditbeløp som positive absolutte beløp, ikke negative regnskapstall. Svar bare med JSON med disse feltene: leverandor, kreditnotanummer, original_fakturanummer, kreditnotadato (ÅÅÅÅ-MM-DD), belop_eks_mva (tall, positivt absoluttbeløp), mva (tall, positivt absoluttbeløp), belop_inkl_mva (tall, positivt absoluttbeløp), kid.

KREDITNOTA
Nordlys Kontor AS
Org.nr. 111 111 111 MVA (fiktivt)
Storgata 8, 9008 Tromsø

Kunde: Bakken Skole AS
Kundenr. 22031

Kreditnotanr.: KN-2026-0118
Gjelder faktura: 2026-0094
Originalfaktura 2026-0094 var på 21 875,00 inkl. mva. Denne kreditnota godskriver bare returen under.
Kreditnotadato: 22. september 2026
Årsak: Retur av 10 kontorstoler, modell Ergo Plus

Beskrivelse             Antall   Pris      Sum
Kontorstol Ergo Plus    10       875,00    8 750,00

Sum eks. mva                             8 750,00
Mva 25 %                                 2 187,50
Til gode                                10 937,50

Tilbakebetales med KID: 118009400217
Spørsmål om kreditnotaen? Skriv til faktura@example.com

Fasit

{
  "leverandor": "Nordlys Kontor AS",
  "kreditnotanummer": "KN-2026-0118",
  "original_fakturanummer": "2026-0094",
  "kreditnotadato": "2026-09-22",
  "belop_eks_mva": 8750,
  "mva": 2187.5,
  "belop_inkl_mva": 10937.5,
  "kid": "118009400217"
}
Fakta til kundesvarStrukturerte fakta og beslutninger fra e-post (kundenavn) og notater (ordre-ID, sporing, leveringsdato, returfrist, unnskyldning, kompensasjonsnekt, årsak). Måler ikke fri e-postkvalitet, tone eller flyt.Bokmål

Oppgave

Les e-posten fra kunden og de interne notatene. Svar bare med JSON med disse feltene: kunde_fornavn, ordre_id, sporingsnummer, forventet_levering (ÅÅÅÅ-MM-DD), retur_dager (tall), beklager_forsinkelse (true/false), tilbyr_kompensasjon (true/false), forsinkelsesarsak (velg restordre, transport eller ukjent). Bruk e-posten for kunde_fornavn, og notatene for alle andre felt. Hvis e-post og notater er uenige om ordre_id, går notatene foran.

E-POST FRA KUNDEN
Emne: Hvor blir det av pakken?
Hei. Jeg bestilte en kaffemaskin for over en uke siden (ordre 48213) og har fortsatt ikke fått den. Dette er ikke greit. Hvis den ikke kommer snart, vil jeg ha pengene tilbake.
Hilsen Ingrid Aasen

INTERNE NOTATER
- Ordre 48213 ble sendt 24. september 2026 med Posten.
- Sporingsnummer: 70700000048213 (fiktivt).
- Forventet levering: 29. september 2026.
- Forsinkelsen skyldes at varen var i restordre hos leverandøren.
- Retur: Kunden kan returnere uåpnet vare innen 30 dager etter mottak og få full refusjon.
- Ved forsinkelse skal svaret beklage ventetiden.
- Vi har ikke fullmakt til å gi rabatt eller annen kompensasjon.

Fasit

{
  "kunde_fornavn": "Ingrid",
  "ordre_id": "48213",
  "sporingsnummer": "70700000048213",
  "forventet_levering": "2026-09-29",
  "retur_dager": 30,
  "beklager_forsinkelse": true,
  "tilbyr_kompensasjon": false,
  "forsinkelsesarsak": "restordre"
}
Fakta til kundesvarReturfakta og returtillatelse fra e-post og notater med datoberegning mot fast forespørselsdato og inkluderende frist. Tillatelsen gjelder rettidig forespørsel og varetilstand, ikke fysisk returmottak. Måler kildebruk og vilkårsvurdering, ikke fri e-postkvalitet.Bokmål

Oppgave

Les e-posten fra kunden og de interne notatene. Tell mottattdato som dag 0: returfrist er mottattdato pluss 30 dager. Forespørselsdato er 20. september 2026. Fristen er inkluderende: returforespørsel mottatt på eller før returfrist godtas. Bruk e-posten for kunde_fornavn, apnet_emballasje og returarsak. Bruk notatene for ordre_id, mottatt_dato, returfrist og retur_dager. Avgjørelsen godtar_retur utledes fra både e-postens fakta (uåpnet, årsak) og notatenes vilkår (tilstand, frist, forespørselsdato). godtar_retur betyr å innvilge returtillatelse ut fra rettidig forespørsel og varetilstand, ikke å påstå at varen fysisk er mottatt i retur. Hvis e-post og notater er uenige om ordre_id, går notatene foran. Svar bare med JSON med disse feltene: kunde_fornavn, ordre_id, mottatt_dato (ÅÅÅÅ-MM-DD), returfrist (ÅÅÅÅ-MM-DD), retur_dager (tall), apnet_emballasje (true/false), godtar_retur (true/false), returarsak (velg feil, angret eller transport).

E-POST FRA KUNDEN
Emne: Vil returnere jakke
Mottatt: 20. september 2026
Hei. Jeg kjøpte en jakke (ordre 51990) som jeg mottok 1. september. Jeg har angret kjøpet; jakken er uåpnet med lappene på. Kan jeg returnere den?
Hilsen Mari Solberg

INTERNE NOTATER
- Ordre 51990 ble levert 1. september 2026.
- Sporingsnummer: 50500000051990 (fiktivt).
- Retur: Forespørsel om retur av uåpnet vare med lappene på må mottas innen 30 dager etter at kunden mottok varen. Rettidig forespørsel gir returtillatelse; full refusjon gis etter at varen er returnert.
- Åpnet elektronikk tas ikke i retur med mindre det er feil; klær med lappene på følger hovedregelen.
- Innvilg returtillatelse når forespørselen er rettidig og vilkårene er oppfylt.
- Vi har ikke fullmakt til å gi rabatt utover ordinær refusjon.

Fasit

{
  "kunde_fornavn": "Mari",
  "ordre_id": "51990",
  "mottatt_dato": "2026-09-01",
  "returfrist": "2026-10-01",
  "retur_dager": 30,
  "apnet_emballasje": false,
  "godtar_retur": true,
  "returarsak": "angret"
}
MøtevedtakStrukturerte møtefakta (lanseringsdato, vedtak, ansvar og frister). Måler binding mellom person og oppgave/frist. Måler ikke fri sammendragskvalitet eller lesbarhet.Bokmål

Oppgave

Les referatet under. Svar bare med JSON med disse feltene: lansering_dato (ÅÅÅÅ-MM-DD), nynorsk_vedtatt (true/false), engelsk_vedtatt (true/false), betaling_ansvarlig, betaling_frist (ÅÅÅÅ-MM-DD), oversetter_ansvarlig, oversetter_frist (ÅÅÅÅ-MM-DD), neste_mote (ÅÅÅÅ-MM-DD). Ta med vedtak, ansvar og frister. Ikke framstill avviste forslag som vedtatt.

REFERAT, PROSJEKTMØTE NETTBUTIKK, 1. OKTOBER 2026
Til stede: Kari Lund (prosjektleder), Jonas Berg (utvikler), Sara Nilsen (markedsføring)

1. Lansering. Testene viste feil i betalingsløsningen. Lanseringen flyttes fra 20. oktober 2026 til 14. november 2026. Vedtatt.
2. Språk. Sara foreslo å lansere på engelsk samtidig. Kari mente det var for tidlig. Forslaget ble ikke vedtatt, men tas opp igjen i januar 2027.
3. Nynorsk. Nettbutikken skal ha nynorsk versjon fra lansering. Vedtatt. Sara skaffer oversetter innen 15. oktober 2026.
4. Betaling. Jonas retter feilen i betalingsløsningen og leverer ny testversjon innen 24. oktober 2026.
5. Diverse. Jonas nevnte at kontorkaffen er dårlig. Ingen beslutning.
Neste møte: 8. oktober 2026.

Fasit

{
  "lansering_dato": "2026-11-14",
  "nynorsk_vedtatt": true,
  "engelsk_vedtatt": false,
  "betaling_ansvarlig": "Jonas Berg",
  "betaling_frist": "2026-10-24",
  "oversetter_ansvarlig": "Sara Nilsen",
  "oversetter_frist": "2026-10-15",
  "neste_mote": "2026-10-08"
}
MøtevedtakVedtak, ansvar og frister der en godkjent protokolltilførsel overstyrer referatet på to punkter, pluss et avvist forslag. Måler endringsprioritet og binding mellom person og oppgave. Måler ikke fri sammendragskvalitet eller lesbarhet.Bokmål

Oppgave

Les referatet og protokolltilførselen under. Protokolltilførselen er godkjent av styret og gjelder foran referatet ved uenighet. Svar bare med JSON med disse feltene: klipper_belop (tall i kroner), klipper_ansvarlig, dugnad_dato (ÅÅÅÅ-MM-DD), dugnad_ansvarlig, kiosk_vedtatt (true/false), tilskudd_frist (ÅÅÅÅ-MM-DD), neste_mote (ÅÅÅÅ-MM-DD). Ta med vedtak, ansvar og frister. Ikke framstill avviste forslag som vedtatt.

REFERAT, STYREMØTE IL NORDLYS, 6. OKTOBER 2026
Til stede: Kåre Dahl, Mona Eid, Ståle Vik (leder)

1. Gressklipper. Den gamle klipperen er ødelagt og må erstattes før sesongslutt. Styret vedtar å kjøpe ny gressklipper for inntil 45 000 kroner. Kåre Dahl innhenter tilbud og bestiller.
2. Høstdugnad. Dugnad på banen og klubbhuset holdes 18. oktober 2026. Mona Eid er dugnadsleder.
3. Kioskpriser. Ståle foreslo å heve kioskprisene med 20 prosent fra november. Forslaget ble ikke vedtatt.
4. Tilskudd. Styret vedtar å søke kommunen om tilskudd til lysanlegg. Søknaden sendes innen 1. november 2026.
Neste møte: 3. november 2026.

PROTOKOLLTILFØRSEL, GODKJENT AV STYRET 9. OKTOBER 2026
- Punkt 1 rettes: beløpsgrensen for gressklipperen er 60 000 kroner, ikke 45 000. Resten av vedtaket står.
- Punkt 2 rettes: høstdugnaden flyttes til 25. oktober 2026 på grunn av kretskamp. Resten av vedtaket står.
- Øvrige punkter i referatet er godkjent uten endringer.

Fasit

{
  "klipper_belop": 60000,
  "klipper_ansvarlig": "Kåre Dahl",
  "dugnad_dato": "2026-10-25",
  "dugnad_ansvarlig": "Mona Eid",
  "kiosk_vedtatt": false,
  "tilskudd_frist": "2026-11-01",
  "neste_mote": "2026-11-03"
}
RegelbrukFakta fra medfølgende fiktive regler (frist, start, siste dag, hjemmel). Tester ikke lovhukommelse og gir ikke juridisk rådgivning.Bokmål

Oppgave

Bruk bare de fiktive reglene under. Dette er fiktive regler laget for oppgaven, ikke virkelig lov, og svaret er ikke juridisk rådgivning. Svar bare med JSON med disse feltene: siste_dag (ÅÅÅÅ-MM-DD), frist_maneder (tall), frist_start (ÅÅÅÅ-MM-DD), hjemmel_frist, hjemmel_start, proeveperiode_gjelder (true/false).

FIKTIVE REGLER, FJORDVIK BORETTSLAG, GARASJELEIE (VEDTATT 1. JANUAR 2026)
§ 5-2. Oppsigelsesfrist. Når ikke annet er skriftlig avtalt, er oppsigelsesfristen to måneder.
§ 5-4. Når fristen begynner å løpe. Fristen løper fra og med første dag i måneden etter at skriftlig oppsigelse ble levert.
§ 5-6. Unntak for prøveperiode. Har leieforholdet vart under tre måneder og prøveperiode er skriftlig avtalt, er fristen 14 dager fra levering.

SAK
En leietaker har leid garasjeplass i åtte måneder. Leieavtalen sier ingenting om oppsigelsesfrist eller prøveperiode. Leietakeren leverer skriftlig oppsigelse 12. mars 2026.

Fasit

{
  "siste_dag": "2026-05-31",
  "frist_maneder": 2,
  "frist_start": "2026-04-01",
  "hjemmel_frist": "5-2",
  "hjemmel_start": "5-4",
  "proeveperiode_gjelder": false
}
RegelbrukUnntak for førerhund og meldefrist med dagtelling fra medfølgende fiktive regler. Tester ikke lovhukommelse og gir ikke juridisk rådgivning.Bokmål

Oppgave

Bruk bare de fiktive reglene under. Dette er fiktive regler laget for oppgaven, ikke virkelig lov, og svaret er ikke juridisk rådgivning. Svar bare med JSON med disse feltene: tillatelse_kreves (true/false), meldeplikt_gjelder (true/false), frist_dager (tall), siste_meldedag (ÅÅÅÅ-MM-DD), melding_rettidig (true/false), hjemmel_unntak.

FIKTIVE REGLER, FJORDVIK BORETTSLAG, DYREHOLD (VEDTATT 1. JANUAR 2026)
§ 3-1. Tillatelse. Hund over 15 kg krever skriftlig tillatelse fra styret før innflytting.
§ 3-2. Unntak for førerhund. Førerhund og servicehund krever ikke tillatelse etter § 3-1, uansett vekt. Hunden skal likevel meldes skriftlig til styret innen 14 dager etter innflytting; innflyttingsdagen teller som dag 0.
§ 3-5. Melding. Melding etter § 3-2 skal oppgi hundens vekt.
§ 3-6. Frister. Dager er kalenderdager; fristen løper ut ved slutten av siste fristdag.

SAK (PER 20. APRIL 2026)
En andelseier flyttet inn 1. april 2026 med førerhund på 20 kg. Andelseieren meldte hunden skriftlig til styret 10. april 2026 og oppga vekten.

Fasit

{
  "tillatelse_kreves": false,
  "meldeplikt_gjelder": true,
  "frist_dager": 14,
  "siste_meldedag": "2026-04-15",
  "melding_rettidig": true,
  "hjemmel_unntak": "3-2"
}
KlassifiseringPresis sortering etter gitte definisjoner, inkludert en melding på nynorsk og to som ligner hverandre (m8 og m10).Bokmål

Oppgave

Sorter hver melding i nøyaktig én kategori.

Kategorier:
- bestilling: kunden vil kjøpe noe eller endre en bestilling
- reklamasjon: kunden klager på feil eller mangel ved en vare eller tjeneste som er levert
- faktura: spørsmål om faktura, betaling eller purring
- support: kunden trenger hjelp til å bruke et produkt som virker
- oppsigelse: kunden vil avslutte et abonnement eller en avtale
- spam: uønsket reklame eller svindelforsøk

Ved tvil gjelder: klage på fakturert beløp eller timeantall er faktura, ikke reklamasjon. Feil ved levert vare/tjeneste er reklamasjon, ikke support. Support krever at produktet virker og kunden ber om brukshjelp.

Svar bare med JSON der nøkkelen er meldingsnummeret og verdien er kategorien, for eksempel {"m1": "faktura"}.

m1: Hei, vi ønsker å bestille 20 kasser kopipapir til levering neste uke.
m2: Stolen vi fikk i går har en sprekk i setet. Hva gjør vi?
m3: Dere har sendt purring på en faktura vi betalte 2. september. Kan dere sjekke?
m4: Hvordan kobler jeg skriveren til det nye wifi-nettet?
m5: Vi vil avslutte serviceavtalen fra neste måned.
m6: GRATULERER! Du har vunnet en telefon. Klikk her for å hente premien.
m7: Kan vi endre bestillingen fra i går til 30 kasser i stedet for 20?
m8: Kaffemaskinen dere installerte forrige uke lekker vann. Kan dere sende noen?
m9: Eg vil seie opp abonnementet vårt på kaffi og vatn frå 1. desember.
m10: Fakturaen for reparasjonen er for høy. Dere har fakturert tre timer, men teknikeren var her i én time.

Fasit

{
  "m1": "bestilling",
  "m2": "reklamasjon",
  "m3": "faktura",
  "m4": "support",
  "m5": "oppsigelse",
  "m6": "spam",
  "m7": "bestilling",
  "m8": "reklamasjon",
  "m9": "oppsigelse",
  "m10": "faktura"
}
KlassifiseringSortering etter definisjoner med fast rekkefølge for meldinger med flere ærend. Måler kategoriprioritet. Måler ikke fritekstkvalitet.Bokmål

Oppgave

Sorter hver melding i nøyaktig én kategori.

Kategorier:
- sikkerhet: noe ved data eller tilgang virker utrygt, for eksempel virus, phishing eller mistenkelig innlogging
- feil: noe virker ikke som det skal; glemt passord eller manglende rettighet er tilgang, ikke feil, med mindre meldingen beskriver en konkret teknisk svikt
- tilgang: kunden ber om tilgang, passord, nullstilling eller rettigheter, inkludert glemt passord
- bestilling: kunden vil bestille utstyr eller programvare
- spørsmål: generelle spørsmål som ikke passer i de andre kategoriene

Ved flere ærend i samme melding gjelder denne rekkefølgen: sikkerhet, feil, tilgang, bestilling, spørsmål. Svar med kategorien som står først i listen.

Svar bare med JSON der nøkkelen er meldingsnummeret og verdien er kategorien, for eksempel {"m1": "feil"}.

m1: Hei, vi trenger tre nye tastatur til kontoret i andre etasje.
m2: Skjermen min flimrer og blir svart flere ganger om dagen.
m3: Kan jeg få tilgang til regnskapssystemet? Og hvor finner jeg brukerveiledningen for det?
m4: Jeg fikk en e-post som ber meg klikke på en lenke for å bekrefte passordet mitt. Er den fra dere?
m5: Når er neste vedlikeholdsvindu for e-postsystemet?
m6: Skriveren skriver uleselig, og vi trenger ny toner til den.
m7: Jeg har glemt passordet mitt og kommer ikke inn på PC-en.
m8: PC-en er infisert med virus og vil ikke starte opp igjen.
m9: Kan vi bestille en ekstra skjerm til resepsjonen?
m10: Musen min reagerer ikke selv om jeg har byttet batteri.

Fasit

{
  "m1": "bestilling",
  "m2": "feil",
  "m3": "tilgang",
  "m4": "sikkerhet",
  "m5": "spørsmål",
  "m6": "feil",
  "m7": "tilgang",
  "m8": "sikkerhet",
  "m9": "bestilling",
  "m10": "feil"
}
NynorskformerKontrollert retting av 11 oppgitte ordformer til nynorsk med ei avgrensa mengd godkjende variantar. Kvardag-feltet testar bøying av lemmaet kvardag, ikkje synonymval; apen/viss/høyre-felta brukar variantane i oppgåva. Måler ikkje generell flyt, stil eller rettskriving utanfor dei oppgitte formene.Nynorsk

Oppgave

Skriv inn dei nynorske formene for dei 11 punkta under som JSON. Svar berre med JSON med desse felta: opningstid_form, fra_form, mandag_form, apen_form, klokke_form, kvardag_form, viss_form, hoyre_form, dato_tekst, apen_fra_kl, apen_til_kl. Bruk kunngjeringa under som kjelde for kva kvart felt tyder, men svar berre med dei nynorske formene.

KUNNGJERING (bokmål kjelde):
Vi har oppdatert åpningstidene våre. Fra mandag 6. oktober holder butikken åpent fra klokken 09 til 17 på hverdager. Hvis du har spørsmål, kan du ringe oss eller sende en e-post. Vi ser frem til å høre fra deg.

FELT:
- opningstid_form: ordet åpningstidene på nynorsk, bunden form fleirtal.
- fra_form: preposisjonen fra på nynorsk.
- mandag_form: vekedagen mandag på nynorsk.
- apen_form: adjektivet åpent på nynorsk, inkjekjønn eintal; bruk ope eller opent.
- klokke_form: ordet klokken på nynorsk, bunden form eintal.
- kvardag_form: ordet hverdager på nynorsk, ubunden form fleirtal, med lemmaet kvardag (bruk kvardag, ikkje synonym som vekedag/yrkedag/vyrkedag).
- viss_form: subjunksjonen hvis på nynorsk; bruk viss, dersom eller om.
- hoyre_form: verbet høre på nynorsk, infinitiv; bruk høyre eller høyra.
- dato_tekst: datoen 6. oktober slik han skal stå.
- apen_fra_kl: klokkeslettet 09 (behaldast).
- apen_til_kl: klokkeslettet 17 (behaldast).

Fasit

{
  "opningstid_form": "opningstidene",
  "fra_form": "frå",
  "mandag_form": "måndag",
  "apen_form": "ope",
  "klokke_form": "klokka",
  "kvardag_form": "kvardagar",
  "viss_form": "viss",
  "hoyre_form": "høyre",
  "dato_tekst": "6. oktober",
  "apen_fra_kl": "09",
  "apen_til_kl": "17"
}

Kilde: Nynorskordboka: openSpråkrådet: Hvis og dersomNynorskordboka: høyre

NynorskformerKontrollert retting av 7 ordformer etter lukka tabell, med dato og klokkeslett som skal behaldast. Måler ikkje generell flyt, stil eller rettskriving utanfor dei oppgitte formene.Nynorsk

Oppgave

Skriv inn dei nynorske formene som JSON. Bruk berre TABELLEN under som fasit for ordformene; bruk KUNNGJERINGA som kjelde for kva kvart felt tyder og for dato/klokkeslett som skal behaldast. Svar berre med JSON med desse felta: kran_form, stengd_form, fra_form, mandag_form, klokke_form, beklagar_form, viss_form, dato_tekst, fra_kl, til_kl.

KUNNGJERING (bokmål kjelde):
Hovedkranen blir stengt fra mandag 9. mars klokken 08 til klokken 15. Vi beklager ulempen. Hvis du har spørsmål, kontakt oss på e-post.

TABELL (lukka fasit):
- hovedkranen → hovudkranen
- blir stengt (predikativ etter blir) → blir stengd eller blir stengt
- fra → frå
- mandag → måndag
- klokken → klokka
- beklager → beklagar
- hvis → viss, dersom eller om

FELT:
- kran_form: ordet hovedkranen på nynorsk.
- stengd_form: partisippet i blir stengt, om hovudkranen; bruk stengd eller stengt (utan blir).
- fra_form: preposisjonen fra på nynorsk.
- mandag_form: vekedagen mandag på nynorsk.
- klokke_form: ordet klokken på nynorsk, bunden form eintal.
- beklagar_form: verbet beklager på nynorsk, presens.
- viss_form: subjunksjonen hvis på nynorsk; bruk viss, dersom eller om.
- dato_tekst: datoen 9. mars slik han skal stå.
- fra_kl: klokkeslettet 08 (behaldast).
- til_kl: klokkeslettet 15 (behaldast).

Fasit

{
  "stengd_form": "stengd",
  "fra_form": "frå",
  "mandag_form": "måndag",
  "klokke_form": "klokka",
  "beklagar_form": "beklagar",
  "viss_form": "viss",
  "dato_tekst": "9. mars",
  "fra_kl": "08",
  "til_kl": "15",
  "kran_form": "hovudkranen"
}

Kilde: Språkrådet: Hvis og dersomNynorskordboka: stengjeSpråkrådet: Ny nynorskrettskriving frå 2012, samsvarsbøying av svake partisipp

Kjøreforhold

Planlagt grunnprotokoll: abonnementspilot og API-spor.

AbonnementspilotLokal kjører for Codex og Claude Code med eksisterende abonnementsinnlogging. Ingen API-nøkler eller pay-as-you-go-fallback. Første godkjente fullmåling gjenstår. Siste utvalg er kjørt på 8 HIGH-ruter fra to 10. oktober-kjøringer (subagenter, CLI og Antigravity UI) som separat spor. Qwen xhigh er en egen separat kjøring med 12 svar.
Produkt og modellProdukt, forespurt modell, resonneringsnivå og CLI-versjon registreres. Faktisk modell er ukjent hvis verktøyet ikke returnerer den. I kalibrering 0.1 er modellnavn klientens oppgitte identitet, ikke uavhengig bekreftet. Geminis app-innpakning og systeminstrukser skiller seg fra de andre kjøringene.
Planlagt API-sporVercel AI Gateway med eksakt modell-ID. Eget spor, ikke aktivert av abonnementskjøreren.
Instruks«Du løser en arbeidsoppgave for en norsk bedrift. Følg instruksjonene i oppgaven nøyaktig, og svar bare med det oppgaven ber om.»
TemperaturUkjent i abonnementspiloten. Planlagt API-spor: 0 der modellen støtter det.
ResonneringForespurt nivå registreres per produkt og modell. Dette gir ikke lik beregning på tvers av modeller.
Verktøy og nettsøkAv i grunnprotokollen. Kalibrering 0.1 HIGH-ruter: forbudt i prompten og kontrollert i loggene, ikke teknisk fjernet. Den separate Qwen-kjøringen nekter alle verktøy teknisk.
Maks svarlengdeUkjent i abonnementspiloten. Planlagt API-spor: 2000 tokens.
Tidsgrense120 sekunder
Gjentakelser3 per oppgave i fullprotokollen (kalibrering 0.1: 1)
Feil og kvoteAbonnementskjøreren stopper og bevarer ferdige svar. Manglende svar listes separat og får ikke automatisk 0 poeng. Gjenopptakelse er et aktivt valg.
Splitprepare --split public|calibration|holdout|all (standard public, holdout krever eksplisitt splitt); abonnementsconfig taskSplit (faktisk config: calibration). Kalibrering brukes til metodekontroll og kalibrering. Primær sammenligning er holdout-totalen (24 oppgaver). Holdout som brukes til justering, pensjoneres med versjonert ny holdout.
SporAPI, terminalprodukter og nettleser/chat har ulike produktinstrukser. Vi oppgir flaten og sammenligner ikke resultatene som om de var samme test.
Ikke-publiserte oppgaverRepoet er privat, men skjulte oppgaver er ikke immune mot trening. Kalibrering og holdout er ikke offentlige: de står ikke på siden og ligger ikke i nettstedets kilde eller metadata. En kjører sender tildelt oppgavetekst til leverandøren ved kjøring.
Poengregler

Slik får et svar poeng i grunnprotokollen.

Strenge felt (alle typer)

Alle seks typer krever JSON med nøyaktig de krevde feltene. Hvert felt sammenlignes med fasit etter normalisering: datoer blir ÅÅÅÅ-MM-DD, beløp blir tall slik at «15 625,00» og «kr 15 625,-» teller likt, sifferfelt avviser bokstaver, kategorier ignorerer store og små bokstaver, og boolske felt godtar true/false, ja/nei og yes/no. Alle felt må være riktige, ellers 0. Null er gyldig bare der fasiten uttrykkelig tillater det (allowNull pluss forventet null). Ekstra eller manglende felt, feil typer og ikke-endelige verdier gir 0. Ingen delpoeng i rangeringen i v0.5. Andel riktige felt (fieldAccuracy) er kun diagnostikk: alle felt teller likt innen oppgaven. Kjøreren rapporterer fieldCorrect, fieldTotal og fieldAccuracy per modell og per splitt; diagnostikken inngår aldri i rangeringen.

Avvises med 0

Svar som ikke er ren JSON, har ekstra eller manglende felt, feil typer, tekst i et felt som krever en dato eller boolsk verdi, motstridende prosa eller ikke-endelige verdier får 0. JSON-feltene er hele svaret; fri prosa rundt skåres ikke.

  • ugyldige feltverdier som «IKKE 2026-11-14»; false eller nei er riktige når fasiten krever det
  • ekstra felt, manglende felt og feil typer
  • null der fasiten ikke uttrykkelig tillater det
  • ikke-endelige verdier (NaN/Infinity) og ugyldige formater

Fremtidig spor

Fri prosakvalitet måles ikke i v0.5. Eventuell fremtidig vurdering rapporteres separat og blandes aldri inn i numerisk poeng.

Fra oppgave til totalpoeng

Slik regnes grunnprotokollens tabell.

OppgavepoengSnittet av de tre kjøringene (hver 100 eller 0; manglende inngår ikke som 0)
TypepoengSnittet av oppgavene i typen innen samme splitt (primær: 4 holdout-oppgaver)
TotalpoengSnittet av de seks typene innen samme splitt. Alle typer teller likt.
Primær sammenligningHoldout-totalen: 24 reserverte oppgaver, 4 per type. Resultater rapporteres per splitt; et samlet snitt over alle splitter er ikke en uavhengig rangering.
RangeringObserverte poeng, ikke bevist overlegenhet. Stratifiserte parede sammenligninger på samme oppgaver er planlagt. Resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver. Lokal CLI beregner ingen konfidensintervaller.
Kalibrering 0.1 (separat)12 oppgaver; totaler er alt-eller-ingenting per oppgave og feltandeler er kun diagnostikk. Ingen rangering, ingen kostnad/svartid og ingen konfidensintervaller.
StabilitetSpredningen mellom de tre kjøringene
KostnadAPI-sporets faktiske pris per kall, inkludert skjult resonnering, regnet om til 100 oppgaver. Oppgis i dollar uten mva, fordi leverandørene fakturerer i dollar. Abonnement rapporterer ingen API-kostnad.
SvartidMedian tid fra kallet sendes til hele svaret er mottatt
Kvalitetskontroll

Fullprotokollens porter: ingenting publiseres automatisk.

Før kjøringAutomatiske sjekker: selvtesten av alle oppgaver og poengregler må bestå. Fasit er kildegjennomgått før frys; det reviderte kalibreringsutvalget vurderes som del av metodeutviklingen.
FullstendighetAlle modeller har svart på alle 48 oppgaver i alle tre kjøringene (12×48×3=1728 svar med dagens katalog, som ikke er fast). Manglende er ikke full dekning. Resultatene rapporteres hver for seg for offentlige oppgaver, kalibrering og holdout.
FeilrateHøyst 5 prosent per modell
AvvikslisteModeller som har endret seg mer enn 15 poeng siden forrige uke, manglende eller feilede kall, og 10 prosent tilfeldig valgte svar (173 svar med dagens katalog) pluss avvik. Piloten måler faktisk tid.
GodkjenningEn person i Aprex går gjennom avvikslisten og dokumenterer godkjenningen i resultatfilen. Ingen auto-godkjenning. Endelig publisering gjenstår; en måling er godkjent først når godkjenningen står i resultatfilen.
Kalibrering 0.1 (separat)Egen utviklingsrapport: 96/96 svar kontrollert mot kjøreplan og logger, med 0 manglende, 0 tekniske feil, 0 protokollavviste og 0 verktøykall. Ingen manuell avviksgjennomgang og ingen fullmålingsstatus. Fullprotokollens porter over er urørt.
NettsidenSiden bygges ikke hvis en måling har ugyldige tall, mangler en type arbeid, mangler godkjenning/CSV, har feil versjon/repetisjoner/dekning, eller protokollen er utkast med publiserte kjøringer.
Versjoner

Tall sammenlignes bare innenfor samme testsett.

Testsettet har versjonsnummer. Ny versjon lages ved behov: enhver endring i oppgave, fasit eller poengregel krever versjonsøkning og ny kjøring. I uken en ny versjon tas i bruk, kjører vi både den gamle og den nye, så trenden kan kobles sammen. Endringer i oppgaver, poengregler og modelliste føres i endringsloggen på barometersiden. Holdout som brukes til justering eller blir kjent, pensjoneres med versjonert ny holdout. Ingen retting fordi en modell er uenig. Kalibrering 0.1 (advanced-0.1-utkast) er en separat versjonert utviklingsrapport; svarene omtolkes aldri mot en endret fasit.

Data

Last ned og bruk tallene.

Hver fullmåling publiseres som en CSV-fil med én rad per modell. Siste kalibreringsutvalg har egen CSV med 8 rader (én per rute) og revidert JSON med samme 8 rutene; full-rapport JSON (med Sol-, Gemini- og Qwen-ekskluderingsrettelse) har eget navn og inngår ikke i Dataset. Separat Qwen xhigh-kjøring har egne CSV/JSON-filer og inngår aldri i HIGH-datasettet. Barometersiden har strukturerte data (schema.org Dataset) for godkjente fullmålinger og for siste reviderte kalibreringsutvalg. Kolonnetabellen under gjelder fullprotokollens CSV; kalibreringens CSV har egne kolonner. Tallene kan brukes fritt med Aprex som kilde og lenke til barometeret.

KolonneInnhold
weekMålingens uke, for eksempel 2026-U41
model_idModell-ID i AI Gateway
modelModellnavn
providerLeverandør
tiertopp eller rimelig
totalTotalpoeng 0–100
ci_lowNedre grense, intervall for fremtidige målinger
ci_highØvre grense, intervall for fremtidige målinger
dokumentuttrekkTypepoeng 0–100
kundesvarTypepoeng 0–100
oppsummeringTypepoeng 0–100
regelverkTypepoeng 0–100
klassifiseringTypepoeng 0–100
nynorskTypepoeng 0–100
cost_per_100_usdMålt API-pris for 100 oppgaver, USD uten mva (API-spor; abonnement rapporterer ingen API-kostnad)
median_latency_msMedian svartid i millisekunder
error_rateAndel kall som feilet etter ett nytt forsøk, 0–1
Begrensninger

Hva barometeret ikke kan si.

  • Siste utvalg gjelder 12 syntetiske bokmålsoppgaver i tre beslektede familier og 8 HIGH-ruter fra to kjøringer med ulik harness, kjørt én gang — ikke alle norske forretningsbehov og ingen generell rangering. Fullresultatene vil gjelde disse 48 kontrollerte oppgavene. En modell kan være sterkere eller svakere på deres egne oppgaver, og fri skriving måles ikke.
  • Siste utvalg: modellnavn er klientens oppgitte identitet; for HIGH-rutene var verktøy forbudt i prompten og kontrollert i loggene, ikke teknisk fjernet, mens den separate Qwen-kjøringen nekter alle verktøy teknisk; Muse bidro til generatorene, så forfatterbias kan ikke utelukkes. HIGH er ikke lik beregning på tvers av modeller. Gemini er loggkontrollert mot lokale transkripter, som ikke er signert leverandørattestasjon, og appens innpakning skiller seg fra andre kjøringer; ingen Grok-ruter er kjørt; Sonnet var ikke i tilgjengelig katalog. Qwen 3.8 Max er kjørt med xhigh separat (12 svar).
  • Streng alt-eller-ingenting gir 0 ved én feil. Det er bevisst strengt i v0.5 for å unngå falske delpoeng.
  • Kjøring via API med faste innstillinger er ikke det samme som å bruke ChatGPT, Claude, Gemini eller Copilot i nettleseren, der leverandøren legger til egne instrukser og verktøy. API og abonnement er separate spor.
  • Modellene oppdateres ofte, noen ganger uten ny modell-ID. Et resultat gjelder produkt, modell-ID, eventuell CLI-versjon og uken det ble målt.
  • Fullrangeringen viser observerte poeng, ikke bevist overlegenhet. Kalibreringen presenteres alfabetisk uten rangering.
  • Vanskelighetsgradene er forfattervurderte, ikke empirisk kalibrerte.
  • Temperatur 0 gjør svarene stabile, men ikke alltid helt like. Derfor kjøres hver oppgave tre ganger. (API-spor; temperaturen er ukjent i abonnementspiloten.)
FAQ

Tekniske spørsmål

Hvem bestemmer fasiten?
Aprex skriver fasit før kjøring og knytter hvert svarfelt til oppgaveteksten eller en oppgitt språkkilde. Programmet kontrollerer svarene mot denne nøkkelen. At selvtesten består, beviser at kontrollen virker på eksemplene, ikke at vi aldri kan ha laget en feil fasit. Testsettet fryses før modellene kalles; bekreftede feil rettes i en ny versjon og berørte resultater beregnes på nytt. Ingen retting fordi en modell er uenig.
Hvorfor temperatur 0?
Temperatur 0 er planlagt for API-sporet der det støttes. Det fjerner ikke all variasjon. I abonnementspiloten kan vi ikke styre eller bekrefte temperaturen; den registreres som ukjent.
Hvorfor tre kjøringer per oppgave?
Svarene varierer litt selv med temperatur 0. Tre kjøringer gir et sikrere snitt og viser hvor stabil hver modell er.
Hvorfor ingen AI-dommere i poeng?
AI-dommere kan ta feil og foretrekke sin egen stil. Faste regler kan etterprøves av alle. Fri prosakvalitet er et fremtidig separat spor og blandes aldri inn i numerisk poeng i v0.5.
Hvorfor er nettsøk slått av?
Vi måler hva modellen selv gjør med opplysningene den får. Med nettsøk ville resultatene avhengt av søkemotor, tidspunkt og hvilke sider som finnes.
Hvordan behandles resonneringsmodeller?
Vi registrerer forespurt resonneringsnivå per produkt og modell. Lik nivåbetegnelse betyr ikke lik beregning, og skjulte produktinnstillinger kan være ukjente. Abonnementspiloten oppgir ikke målt API-kostnad.
Hva er avansert kalibrering 0.1?
Siste publiserte utvalg er HIGH-utvalget 10. oktober 2026: 12 syntetiske bokmålsoppgaver med 292 svarfelt, 8 HIGH-ruter og 96 svar fra to kjøringer, pluss separat Qwen xhigh med 12 svar. Gemini er nå loggkontrollert mot lokale transkripter. Totaler er alt-eller-ingenting; feltandeler er kun diagnostikk. Presentert alfabetisk uten rangering, kostnad eller svartid. 9. oktober-rapporten (4 ruter) og 7-ruters 10. oktober-utvalget er bevart som historikk. Oppgavene er brukt til utvikling og er ingen urørt sluttest; de 24 holdout-oppgavene er fortsatt urørt.
Kan jeg gjenta testen selv?
Ja, med de 12 offentlige oppgavene. Oppgavetekst, fasit og hele metoden ligger åpent, så du kan kjøre dem mot de samme modellene og sammenligne. Kalibrering og holdout er ikke offentlige og ligger ikke i nettstedets kilde eller metadata, men repoet er privat uten immunitet mot trening. For siste utvalg er kun aggregerte tall, CSV og JSON publisert; Gemini-rettelsen ligger i fullrapporten, og separat xhigh-kjøring vises i egne filer utenfor HIGH-datasettet.
Jeg har funnet en feil. Hva gjør jeg?
Skriv til post@aprex.no. Bekreftede feil rettes i ny versjon med ny kjøring og føres i endringsloggen.
Uavhengighet

Ingen leverandør påvirker tallene

Ingen leverandør betaler for eller påvirker barometeret, og ingen får se resultatene før de publiseres. Aprex bruker selv modeller fra flere av leverandørene i løsninger vi bygger.

Spørsmål om metoden?

Skriv til oss hvis du vil vite mer, har forslag til oppgaver eller har funnet noe som bør rettes.

Send e-post til Aprex →