Norwegian AI Barometer / Method

How the barometer is built.

This page is for anyone who wants to understand or check the numbers. It covers why we test, the principles behind the test, exactly how answers are scored and what the numbers cannot be used for.

Calibration 0.1 · Published

What actually ran.

The latest selection (run October 10, published October 10, 2026) is summarised here. The October 9 report is preserved as history. The rest of this page describes the planned core protocol.

Scope12 synthetic Bokmål tasks with 292 answer fields per model, in three families. Each task ran once on 8 HIGH routes from two October 10 runs with different harnesses (not one joint run).
ScoringAll-or-nothing per task; field shares are diagnostics only. Alphabetical presentation with no ranking, cost, response time or confidence intervals.
Checks96/96 responses checked against the run plan and logs: 0 missing, 0 technical errors, 0 protocol-rejected and 0 tool calls. Tools were prohibited in the prompt and audited in the logs, not technically removed. Model names are the client’s declared identity. The 12 Gemini responses were checked against local transcripts, not signed provider attestation. Sol and Gemini corrections are documented, and the exclusion of two Qwen batches is documented as its own correction. Separate Qwen xhigh is audited with 12 responses.
StatusA separate development signal without full-run status. The tasks have been used for development; the 24 holdout tasks remain untouched. The October 9 report (4 routes), the 7-route October 10 selection and Muse MAX from October 10 are preserved as history.

See the calibration numbers →

Background

Why a Norwegian barometer?

The well-known language model tests mostly measure English, coding, maths and knowledge questions. They say little about what Norwegian businesses actually use AI for: reading an invoice, answering a customer, summarising a meeting or writing in Nynorsk.

When Aprex builds AI solutions, we have to choose a model for each task. That takes numbers on Norwegian work, not English exam questions. The barometer is the same measurements done systematically and published, so others can use and check them.

Models change from month to month, and new ones keep arriving. So the target is to run the test every week with the same tasks once full runs start, and you can follow how the models develop over time. Advanced calibration 0.1 is published as a separate development signal.

Foundation

Eight principles behind the test.

  1. 01

    Controlled tasks

    Tasks require explicit JSON fields that can be checked. Free writing is not measured in v0.5.

  2. 02

    Key before the run

    Answer keys and scoring rules are written before any model answers. The task set is frozen before candidate calls; changes require a new version and a new run. No edits because a model disagrees.

  3. 03

    Equal conditions

    The same tasks and declared conditions within each track. Subscriptions and APIs are assessed separately.

  4. 04

    Unpublished task set

    12 public tasks are shown with their keys; 12 calibration and 24 holdout tasks are not public and stay off the site, out of the website source and out of metadata. The repo is private, but hidden tasks are not immune to training. Holdout used for tuning is retired with a versioned new holdout.

  5. 05

    Automatic, no judges in the score

    Scores come from strict field rules, with no AI judge. Share of correct fields (fieldAccuracy) is diagnostics only and never decides the ranking. Free prose quality is a future separate track.

  6. 06

    Observed rank

    Rank shows observed scores, not proven superiority. Stratified paired comparisons on the same tasks are planned. Results are reported per split with holdout-24 as the primary comparison; results from public tasks and calibration are never combined into a claimed measurement on unseen tasks.

  7. 07

    Cost kept apart

    Score, API cost and response time sit side by side and are never mixed. Subscriptions report no API cost.

  8. 08

    A person decides

    No full run is published before a person has reviewed the outliers. Calibration 0.1 is a separate development signal without full-run status.

Task set

48 tasks total, six work types.

Each of the six types gets eight tasks: two public, 2 calibration and 4 holdout. Two per type are public with their answer key, so anyone can see what the models get. 12 are available now; the remaining 36 are calibration and holdout, which are not public. Difficulty levels are author-graded (2 easy/3 medium/3 hard per type), not empirically calibrated. The tasks are in Norwegian.

TypesDocument extraction, Customer reply facts, Meeting decisions, Applying supplied rules, Classification, Nynorsk word forms
ContentFictional companies, people, documents and rules. No customer data, not even anonymised.
LanguageThe Nynorsk type is written in Nynorsk; the other types are in Bokmål.
RegulationSupplied fictional rules in each task. Does not test legal expertise and is not legal advice. No expert verification; model agreement never validates a key.
Each task hasTask text with rules for unknown, missing or conflicting information, key with evidence per field, an approved alternative, wrong answers including hard negatives, and strict field rules. Tasks are never chosen to favour any particular model or provider.
CheckThe key and the approved alternative must score 100, and wrong answers at most 0, before a task can be used. Each key is source-checked before the freeze; the revised calibration split is being assessed as part of method development. Nynorsk has only listed variants and does not measure fluency.
Advanced development trackA separate draft contains 12 generated document packets for reconciliation, resource allocation and case processing. Answer keys are computed from synthetic data and checked by parsing the rendered task text in a separate calculation. Hand-calculated examples and boundary tests supplement this check; agreement between programs alone does not prove the rules are error-free. The latest published selection is the HIGH selection from October 10, 2026: 12 Bokmål tasks with 292 answer fields per model, 8 HIGH routes and 96 responses from two runs, plus separate Qwen xhigh with 12 responses. Gemini logs are verified against local transcripts. A separate development signal — not part of the 48 core tasks, no full run and no ranking (alphabetical presentation). The October 9 report (4 routes) and the 7-route October 10 selection are preserved as history. The tasks have been used for development and are no untouched final test; the 24 holdout tasks remain untouched.
Planned core protocol

Six planned task types.

The planned core protocol (v0.5) has six types with eight tasks per type: 2 public, 2 calibration and 4 holdout. Difficulty levels are author-graded (2 easy/3 medium/3 hard per type), not empirically calibrated. All types count equally in the total score. Every task requires explicit JSON fields; no free prose is scored. Calibration 0.1 used three separate task families (see table above).

01

Document extraction

Pull exact fields from invoices and forms, including fields that must be calculated.

Pass when all answer fields are correct
02

Customer reply facts

Facts and decisions from notes (order, tracking, dates, apology, compensation refusal). Does not measure email quality.

Pass when all answer fields are correct
03

Meeting decisions

Meeting facts binding person, task and deadline. Does not measure summary quality.

Pass when all answer fields are correct
04

Applying supplied rules

Applying supplied fictional rules (deadlines, rule choice). Does not test legal expertise and is not legal advice.

Pass when all answer fields are correct
05

Classification

Label classification by fixed definitions with priority rules, even when requests look alike.

Pass when all answer fields are correct
06

Nynorsk word forms

Controlled Nynorsk word-form and rule tasks with finite variants. Does not measure fluency.

Pass when all answer fields are correct
The models

Who will be tested.

The top models show what is possible. The budget models show what you get for the money. The list is a planned catalog, not fixed; reference candidates are configured separately, and the API catalog is not a runnable subscription list. The catalog has no results: the latest selection covers only 8 actually run HIGH routes and is not a measurement of the catalog models.

Top models (planned — no results)

  • GPT-6 AstraOpenAI
  • Claude Opus 5.5Anthropic
  • Gemini 3.1 ProGoogle
  • Grok 4.7xAI
  • Mistral Medium 3.5Mistral
  • DeepSeek V4 ProDeepSeek
  • Qwen 3.8 MaxAlibaba
  • Muse Spark 1.3Meta

Budget models (planned — no results)

  • GPT-6 LunaOpenAI
  • Claude Sonnet 5Anthropic
  • Gemini 3.8 FlashGoogle
  • Mistral Large 3Mistral
Example tasks

Public examples for the next phase.

Two public tasks per type, with their answer keys (12 available of 48 total: 12 public/12 calibration/24 holdout). The tasks are in Norwegian. Calibration and holdout are never shown. All content is fictional.

Document extractionEksakte felt fra faktura, inkludert forfallsdato som må regnes ut. Avledere (tilbudsnummer, ordrenummer, kundenummer) tester presis binding.Bokmål

Task

Hent ut opplysningene fra fakturaen under. Tell fakturadato som dag 0: forfallsdato er fakturadato pluss 14 dager. Svar bare med JSON med disse feltene: leverandor, fakturanummer, fakturadato (ÅÅÅÅ-MM-DD), forfallsdato (ÅÅÅÅ-MM-DD), belop_eks_mva (tall), mva (tall), belop_inkl_mva (tall), kid.

FAKTURA
Fjellvik Rør AS
Org.nr. 000 000 000 MVA (fiktivt)
Havnegata 12, 3100 Tønsberg

Kunde: Solbakken Bakeri AS
Kundenr. 10442
Ordrenr. 7781

Fakturanr.: 2026-0457
Fakturadato: 3. oktober 2026
Betalingsbetingelser: 14 dager netto
Gjelder: Utbedring av lekkasje, jf. tilbud 2026-0412

Beskrivelse                Antall   Pris       Sum
Arbeid rørlegger (timer)   6        1 450,00   8 700,00
Deler og materiell         1        3 800,00   3 800,00

Sum eks. mva                                  12 500,00
Mva 25 %                                       3 125,00
Å betale                                      15 625,00

Betales innen forfall. KID: 004571044215
Spørsmål om fakturaen? Skriv til regnskap@example.com

Answer key

{
  "leverandor": "Fjellvik Rør AS",
  "fakturanummer": "2026-0457",
  "fakturadato": "2026-10-03",
  "forfallsdato": "2026-10-17",
  "belop_eks_mva": 12500,
  "mva": 3125,
  "belop_inkl_mva": 15625,
  "kid": "004571044215"
}
Document extractionEksakte felt fra kreditnota med positive absolutte beløp, inkludert binding mellom kreditnota og originalfaktura. Originaltotalen er avleder. Måler presis feltbinding, ikke fri tekstforståelse.Bokmål

Task

Hent ut opplysningene fra kreditnotaen under. Oppgi kreditbeløp som positive absolutte beløp, ikke negative regnskapstall. Svar bare med JSON med disse feltene: leverandor, kreditnotanummer, original_fakturanummer, kreditnotadato (ÅÅÅÅ-MM-DD), belop_eks_mva (tall, positivt absoluttbeløp), mva (tall, positivt absoluttbeløp), belop_inkl_mva (tall, positivt absoluttbeløp), kid.

KREDITNOTA
Nordlys Kontor AS
Org.nr. 111 111 111 MVA (fiktivt)
Storgata 8, 9008 Tromsø

Kunde: Bakken Skole AS
Kundenr. 22031

Kreditnotanr.: KN-2026-0118
Gjelder faktura: 2026-0094
Originalfaktura 2026-0094 var på 21 875,00 inkl. mva. Denne kreditnota godskriver bare returen under.
Kreditnotadato: 22. september 2026
Årsak: Retur av 10 kontorstoler, modell Ergo Plus

Beskrivelse             Antall   Pris      Sum
Kontorstol Ergo Plus    10       875,00    8 750,00

Sum eks. mva                             8 750,00
Mva 25 %                                 2 187,50
Til gode                                10 937,50

Tilbakebetales med KID: 118009400217
Spørsmål om kreditnotaen? Skriv til faktura@example.com

Answer key

{
  "leverandor": "Nordlys Kontor AS",
  "kreditnotanummer": "KN-2026-0118",
  "original_fakturanummer": "2026-0094",
  "kreditnotadato": "2026-09-22",
  "belop_eks_mva": 8750,
  "mva": 2187.5,
  "belop_inkl_mva": 10937.5,
  "kid": "118009400217"
}
Customer reply factsStrukturerte fakta og beslutninger fra e-post (kundenavn) og notater (ordre-ID, sporing, leveringsdato, returfrist, unnskyldning, kompensasjonsnekt, årsak). Måler ikke fri e-postkvalitet, tone eller flyt.Bokmål

Task

Les e-posten fra kunden og de interne notatene. Svar bare med JSON med disse feltene: kunde_fornavn, ordre_id, sporingsnummer, forventet_levering (ÅÅÅÅ-MM-DD), retur_dager (tall), beklager_forsinkelse (true/false), tilbyr_kompensasjon (true/false), forsinkelsesarsak (velg restordre, transport eller ukjent). Bruk e-posten for kunde_fornavn, og notatene for alle andre felt. Hvis e-post og notater er uenige om ordre_id, går notatene foran.

E-POST FRA KUNDEN
Emne: Hvor blir det av pakken?
Hei. Jeg bestilte en kaffemaskin for over en uke siden (ordre 48213) og har fortsatt ikke fått den. Dette er ikke greit. Hvis den ikke kommer snart, vil jeg ha pengene tilbake.
Hilsen Ingrid Aasen

INTERNE NOTATER
- Ordre 48213 ble sendt 24. september 2026 med Posten.
- Sporingsnummer: 70700000048213 (fiktivt).
- Forventet levering: 29. september 2026.
- Forsinkelsen skyldes at varen var i restordre hos leverandøren.
- Retur: Kunden kan returnere uåpnet vare innen 30 dager etter mottak og få full refusjon.
- Ved forsinkelse skal svaret beklage ventetiden.
- Vi har ikke fullmakt til å gi rabatt eller annen kompensasjon.

Answer key

{
  "kunde_fornavn": "Ingrid",
  "ordre_id": "48213",
  "sporingsnummer": "70700000048213",
  "forventet_levering": "2026-09-29",
  "retur_dager": 30,
  "beklager_forsinkelse": true,
  "tilbyr_kompensasjon": false,
  "forsinkelsesarsak": "restordre"
}
Customer reply factsReturfakta og returtillatelse fra e-post og notater med datoberegning mot fast forespørselsdato og inkluderende frist. Tillatelsen gjelder rettidig forespørsel og varetilstand, ikke fysisk returmottak. Måler kildebruk og vilkårsvurdering, ikke fri e-postkvalitet.Bokmål

Task

Les e-posten fra kunden og de interne notatene. Tell mottattdato som dag 0: returfrist er mottattdato pluss 30 dager. Forespørselsdato er 20. september 2026. Fristen er inkluderende: returforespørsel mottatt på eller før returfrist godtas. Bruk e-posten for kunde_fornavn, apnet_emballasje og returarsak. Bruk notatene for ordre_id, mottatt_dato, returfrist og retur_dager. Avgjørelsen godtar_retur utledes fra både e-postens fakta (uåpnet, årsak) og notatenes vilkår (tilstand, frist, forespørselsdato). godtar_retur betyr å innvilge returtillatelse ut fra rettidig forespørsel og varetilstand, ikke å påstå at varen fysisk er mottatt i retur. Hvis e-post og notater er uenige om ordre_id, går notatene foran. Svar bare med JSON med disse feltene: kunde_fornavn, ordre_id, mottatt_dato (ÅÅÅÅ-MM-DD), returfrist (ÅÅÅÅ-MM-DD), retur_dager (tall), apnet_emballasje (true/false), godtar_retur (true/false), returarsak (velg feil, angret eller transport).

E-POST FRA KUNDEN
Emne: Vil returnere jakke
Mottatt: 20. september 2026
Hei. Jeg kjøpte en jakke (ordre 51990) som jeg mottok 1. september. Jeg har angret kjøpet; jakken er uåpnet med lappene på. Kan jeg returnere den?
Hilsen Mari Solberg

INTERNE NOTATER
- Ordre 51990 ble levert 1. september 2026.
- Sporingsnummer: 50500000051990 (fiktivt).
- Retur: Forespørsel om retur av uåpnet vare med lappene på må mottas innen 30 dager etter at kunden mottok varen. Rettidig forespørsel gir returtillatelse; full refusjon gis etter at varen er returnert.
- Åpnet elektronikk tas ikke i retur med mindre det er feil; klær med lappene på følger hovedregelen.
- Innvilg returtillatelse når forespørselen er rettidig og vilkårene er oppfylt.
- Vi har ikke fullmakt til å gi rabatt utover ordinær refusjon.

Answer key

{
  "kunde_fornavn": "Mari",
  "ordre_id": "51990",
  "mottatt_dato": "2026-09-01",
  "returfrist": "2026-10-01",
  "retur_dager": 30,
  "apnet_emballasje": false,
  "godtar_retur": true,
  "returarsak": "angret"
}
Meeting decisionsStrukturerte møtefakta (lanseringsdato, vedtak, ansvar og frister). Måler binding mellom person og oppgave/frist. Måler ikke fri sammendragskvalitet eller lesbarhet.Bokmål

Task

Les referatet under. Svar bare med JSON med disse feltene: lansering_dato (ÅÅÅÅ-MM-DD), nynorsk_vedtatt (true/false), engelsk_vedtatt (true/false), betaling_ansvarlig, betaling_frist (ÅÅÅÅ-MM-DD), oversetter_ansvarlig, oversetter_frist (ÅÅÅÅ-MM-DD), neste_mote (ÅÅÅÅ-MM-DD). Ta med vedtak, ansvar og frister. Ikke framstill avviste forslag som vedtatt.

REFERAT, PROSJEKTMØTE NETTBUTIKK, 1. OKTOBER 2026
Til stede: Kari Lund (prosjektleder), Jonas Berg (utvikler), Sara Nilsen (markedsføring)

1. Lansering. Testene viste feil i betalingsløsningen. Lanseringen flyttes fra 20. oktober 2026 til 14. november 2026. Vedtatt.
2. Språk. Sara foreslo å lansere på engelsk samtidig. Kari mente det var for tidlig. Forslaget ble ikke vedtatt, men tas opp igjen i januar 2027.
3. Nynorsk. Nettbutikken skal ha nynorsk versjon fra lansering. Vedtatt. Sara skaffer oversetter innen 15. oktober 2026.
4. Betaling. Jonas retter feilen i betalingsløsningen og leverer ny testversjon innen 24. oktober 2026.
5. Diverse. Jonas nevnte at kontorkaffen er dårlig. Ingen beslutning.
Neste møte: 8. oktober 2026.

Answer key

{
  "lansering_dato": "2026-11-14",
  "nynorsk_vedtatt": true,
  "engelsk_vedtatt": false,
  "betaling_ansvarlig": "Jonas Berg",
  "betaling_frist": "2026-10-24",
  "oversetter_ansvarlig": "Sara Nilsen",
  "oversetter_frist": "2026-10-15",
  "neste_mote": "2026-10-08"
}
Meeting decisionsVedtak, ansvar og frister der en godkjent protokolltilførsel overstyrer referatet på to punkter, pluss et avvist forslag. Måler endringsprioritet og binding mellom person og oppgave. Måler ikke fri sammendragskvalitet eller lesbarhet.Bokmål

Task

Les referatet og protokolltilførselen under. Protokolltilførselen er godkjent av styret og gjelder foran referatet ved uenighet. Svar bare med JSON med disse feltene: klipper_belop (tall i kroner), klipper_ansvarlig, dugnad_dato (ÅÅÅÅ-MM-DD), dugnad_ansvarlig, kiosk_vedtatt (true/false), tilskudd_frist (ÅÅÅÅ-MM-DD), neste_mote (ÅÅÅÅ-MM-DD). Ta med vedtak, ansvar og frister. Ikke framstill avviste forslag som vedtatt.

REFERAT, STYREMØTE IL NORDLYS, 6. OKTOBER 2026
Til stede: Kåre Dahl, Mona Eid, Ståle Vik (leder)

1. Gressklipper. Den gamle klipperen er ødelagt og må erstattes før sesongslutt. Styret vedtar å kjøpe ny gressklipper for inntil 45 000 kroner. Kåre Dahl innhenter tilbud og bestiller.
2. Høstdugnad. Dugnad på banen og klubbhuset holdes 18. oktober 2026. Mona Eid er dugnadsleder.
3. Kioskpriser. Ståle foreslo å heve kioskprisene med 20 prosent fra november. Forslaget ble ikke vedtatt.
4. Tilskudd. Styret vedtar å søke kommunen om tilskudd til lysanlegg. Søknaden sendes innen 1. november 2026.
Neste møte: 3. november 2026.

PROTOKOLLTILFØRSEL, GODKJENT AV STYRET 9. OKTOBER 2026
- Punkt 1 rettes: beløpsgrensen for gressklipperen er 60 000 kroner, ikke 45 000. Resten av vedtaket står.
- Punkt 2 rettes: høstdugnaden flyttes til 25. oktober 2026 på grunn av kretskamp. Resten av vedtaket står.
- Øvrige punkter i referatet er godkjent uten endringer.

Answer key

{
  "klipper_belop": 60000,
  "klipper_ansvarlig": "Kåre Dahl",
  "dugnad_dato": "2026-10-25",
  "dugnad_ansvarlig": "Mona Eid",
  "kiosk_vedtatt": false,
  "tilskudd_frist": "2026-11-01",
  "neste_mote": "2026-11-03"
}
Applying supplied rulesFakta fra medfølgende fiktive regler (frist, start, siste dag, hjemmel). Tester ikke lovhukommelse og gir ikke juridisk rådgivning.Bokmål

Task

Bruk bare de fiktive reglene under. Dette er fiktive regler laget for oppgaven, ikke virkelig lov, og svaret er ikke juridisk rådgivning. Svar bare med JSON med disse feltene: siste_dag (ÅÅÅÅ-MM-DD), frist_maneder (tall), frist_start (ÅÅÅÅ-MM-DD), hjemmel_frist, hjemmel_start, proeveperiode_gjelder (true/false).

FIKTIVE REGLER, FJORDVIK BORETTSLAG, GARASJELEIE (VEDTATT 1. JANUAR 2026)
§ 5-2. Oppsigelsesfrist. Når ikke annet er skriftlig avtalt, er oppsigelsesfristen to måneder.
§ 5-4. Når fristen begynner å løpe. Fristen løper fra og med første dag i måneden etter at skriftlig oppsigelse ble levert.
§ 5-6. Unntak for prøveperiode. Har leieforholdet vart under tre måneder og prøveperiode er skriftlig avtalt, er fristen 14 dager fra levering.

SAK
En leietaker har leid garasjeplass i åtte måneder. Leieavtalen sier ingenting om oppsigelsesfrist eller prøveperiode. Leietakeren leverer skriftlig oppsigelse 12. mars 2026.

Answer key

{
  "siste_dag": "2026-05-31",
  "frist_maneder": 2,
  "frist_start": "2026-04-01",
  "hjemmel_frist": "5-2",
  "hjemmel_start": "5-4",
  "proeveperiode_gjelder": false
}
Applying supplied rulesUnntak for førerhund og meldefrist med dagtelling fra medfølgende fiktive regler. Tester ikke lovhukommelse og gir ikke juridisk rådgivning.Bokmål

Task

Bruk bare de fiktive reglene under. Dette er fiktive regler laget for oppgaven, ikke virkelig lov, og svaret er ikke juridisk rådgivning. Svar bare med JSON med disse feltene: tillatelse_kreves (true/false), meldeplikt_gjelder (true/false), frist_dager (tall), siste_meldedag (ÅÅÅÅ-MM-DD), melding_rettidig (true/false), hjemmel_unntak.

FIKTIVE REGLER, FJORDVIK BORETTSLAG, DYREHOLD (VEDTATT 1. JANUAR 2026)
§ 3-1. Tillatelse. Hund over 15 kg krever skriftlig tillatelse fra styret før innflytting.
§ 3-2. Unntak for førerhund. Førerhund og servicehund krever ikke tillatelse etter § 3-1, uansett vekt. Hunden skal likevel meldes skriftlig til styret innen 14 dager etter innflytting; innflyttingsdagen teller som dag 0.
§ 3-5. Melding. Melding etter § 3-2 skal oppgi hundens vekt.
§ 3-6. Frister. Dager er kalenderdager; fristen løper ut ved slutten av siste fristdag.

SAK (PER 20. APRIL 2026)
En andelseier flyttet inn 1. april 2026 med førerhund på 20 kg. Andelseieren meldte hunden skriftlig til styret 10. april 2026 og oppga vekten.

Answer key

{
  "tillatelse_kreves": false,
  "meldeplikt_gjelder": true,
  "frist_dager": 14,
  "siste_meldedag": "2026-04-15",
  "melding_rettidig": true,
  "hjemmel_unntak": "3-2"
}
ClassificationPresis sortering etter gitte definisjoner, inkludert en melding på nynorsk og to som ligner hverandre (m8 og m10).Bokmål

Task

Sorter hver melding i nøyaktig én kategori.

Kategorier:
- bestilling: kunden vil kjøpe noe eller endre en bestilling
- reklamasjon: kunden klager på feil eller mangel ved en vare eller tjeneste som er levert
- faktura: spørsmål om faktura, betaling eller purring
- support: kunden trenger hjelp til å bruke et produkt som virker
- oppsigelse: kunden vil avslutte et abonnement eller en avtale
- spam: uønsket reklame eller svindelforsøk

Ved tvil gjelder: klage på fakturert beløp eller timeantall er faktura, ikke reklamasjon. Feil ved levert vare/tjeneste er reklamasjon, ikke support. Support krever at produktet virker og kunden ber om brukshjelp.

Svar bare med JSON der nøkkelen er meldingsnummeret og verdien er kategorien, for eksempel {"m1": "faktura"}.

m1: Hei, vi ønsker å bestille 20 kasser kopipapir til levering neste uke.
m2: Stolen vi fikk i går har en sprekk i setet. Hva gjør vi?
m3: Dere har sendt purring på en faktura vi betalte 2. september. Kan dere sjekke?
m4: Hvordan kobler jeg skriveren til det nye wifi-nettet?
m5: Vi vil avslutte serviceavtalen fra neste måned.
m6: GRATULERER! Du har vunnet en telefon. Klikk her for å hente premien.
m7: Kan vi endre bestillingen fra i går til 30 kasser i stedet for 20?
m8: Kaffemaskinen dere installerte forrige uke lekker vann. Kan dere sende noen?
m9: Eg vil seie opp abonnementet vårt på kaffi og vatn frå 1. desember.
m10: Fakturaen for reparasjonen er for høy. Dere har fakturert tre timer, men teknikeren var her i én time.

Answer key

{
  "m1": "bestilling",
  "m2": "reklamasjon",
  "m3": "faktura",
  "m4": "support",
  "m5": "oppsigelse",
  "m6": "spam",
  "m7": "bestilling",
  "m8": "reklamasjon",
  "m9": "oppsigelse",
  "m10": "faktura"
}
ClassificationSortering etter definisjoner med fast rekkefølge for meldinger med flere ærend. Måler kategoriprioritet. Måler ikke fritekstkvalitet.Bokmål

Task

Sorter hver melding i nøyaktig én kategori.

Kategorier:
- sikkerhet: noe ved data eller tilgang virker utrygt, for eksempel virus, phishing eller mistenkelig innlogging
- feil: noe virker ikke som det skal; glemt passord eller manglende rettighet er tilgang, ikke feil, med mindre meldingen beskriver en konkret teknisk svikt
- tilgang: kunden ber om tilgang, passord, nullstilling eller rettigheter, inkludert glemt passord
- bestilling: kunden vil bestille utstyr eller programvare
- spørsmål: generelle spørsmål som ikke passer i de andre kategoriene

Ved flere ærend i samme melding gjelder denne rekkefølgen: sikkerhet, feil, tilgang, bestilling, spørsmål. Svar med kategorien som står først i listen.

Svar bare med JSON der nøkkelen er meldingsnummeret og verdien er kategorien, for eksempel {"m1": "feil"}.

m1: Hei, vi trenger tre nye tastatur til kontoret i andre etasje.
m2: Skjermen min flimrer og blir svart flere ganger om dagen.
m3: Kan jeg få tilgang til regnskapssystemet? Og hvor finner jeg brukerveiledningen for det?
m4: Jeg fikk en e-post som ber meg klikke på en lenke for å bekrefte passordet mitt. Er den fra dere?
m5: Når er neste vedlikeholdsvindu for e-postsystemet?
m6: Skriveren skriver uleselig, og vi trenger ny toner til den.
m7: Jeg har glemt passordet mitt og kommer ikke inn på PC-en.
m8: PC-en er infisert med virus og vil ikke starte opp igjen.
m9: Kan vi bestille en ekstra skjerm til resepsjonen?
m10: Musen min reagerer ikke selv om jeg har byttet batteri.

Answer key

{
  "m1": "bestilling",
  "m2": "feil",
  "m3": "tilgang",
  "m4": "sikkerhet",
  "m5": "spørsmål",
  "m6": "feil",
  "m7": "tilgang",
  "m8": "sikkerhet",
  "m9": "bestilling",
  "m10": "feil"
}
Nynorsk word formsKontrollert retting av 11 oppgitte ordformer til nynorsk med ei avgrensa mengd godkjende variantar. Kvardag-feltet testar bøying av lemmaet kvardag, ikkje synonymval; apen/viss/høyre-felta brukar variantane i oppgåva. Måler ikkje generell flyt, stil eller rettskriving utanfor dei oppgitte formene.Nynorsk

Task

Skriv inn dei nynorske formene for dei 11 punkta under som JSON. Svar berre med JSON med desse felta: opningstid_form, fra_form, mandag_form, apen_form, klokke_form, kvardag_form, viss_form, hoyre_form, dato_tekst, apen_fra_kl, apen_til_kl. Bruk kunngjeringa under som kjelde for kva kvart felt tyder, men svar berre med dei nynorske formene.

KUNNGJERING (bokmål kjelde):
Vi har oppdatert åpningstidene våre. Fra mandag 6. oktober holder butikken åpent fra klokken 09 til 17 på hverdager. Hvis du har spørsmål, kan du ringe oss eller sende en e-post. Vi ser frem til å høre fra deg.

FELT:
- opningstid_form: ordet åpningstidene på nynorsk, bunden form fleirtal.
- fra_form: preposisjonen fra på nynorsk.
- mandag_form: vekedagen mandag på nynorsk.
- apen_form: adjektivet åpent på nynorsk, inkjekjønn eintal; bruk ope eller opent.
- klokke_form: ordet klokken på nynorsk, bunden form eintal.
- kvardag_form: ordet hverdager på nynorsk, ubunden form fleirtal, med lemmaet kvardag (bruk kvardag, ikkje synonym som vekedag/yrkedag/vyrkedag).
- viss_form: subjunksjonen hvis på nynorsk; bruk viss, dersom eller om.
- hoyre_form: verbet høre på nynorsk, infinitiv; bruk høyre eller høyra.
- dato_tekst: datoen 6. oktober slik han skal stå.
- apen_fra_kl: klokkeslettet 09 (behaldast).
- apen_til_kl: klokkeslettet 17 (behaldast).

Answer key

{
  "opningstid_form": "opningstidene",
  "fra_form": "frå",
  "mandag_form": "måndag",
  "apen_form": "ope",
  "klokke_form": "klokka",
  "kvardag_form": "kvardagar",
  "viss_form": "viss",
  "hoyre_form": "høyre",
  "dato_tekst": "6. oktober",
  "apen_fra_kl": "09",
  "apen_til_kl": "17"
}

Source: Nynorskordboka: openSpråkrådet: Hvis og dersomNynorskordboka: høyre

Nynorsk word formsKontrollert retting av 7 ordformer etter lukka tabell, med dato og klokkeslett som skal behaldast. Måler ikkje generell flyt, stil eller rettskriving utanfor dei oppgitte formene.Nynorsk

Task

Skriv inn dei nynorske formene som JSON. Bruk berre TABELLEN under som fasit for ordformene; bruk KUNNGJERINGA som kjelde for kva kvart felt tyder og for dato/klokkeslett som skal behaldast. Svar berre med JSON med desse felta: kran_form, stengd_form, fra_form, mandag_form, klokke_form, beklagar_form, viss_form, dato_tekst, fra_kl, til_kl.

KUNNGJERING (bokmål kjelde):
Hovedkranen blir stengt fra mandag 9. mars klokken 08 til klokken 15. Vi beklager ulempen. Hvis du har spørsmål, kontakt oss på e-post.

TABELL (lukka fasit):
- hovedkranen → hovudkranen
- blir stengt (predikativ etter blir) → blir stengd eller blir stengt
- fra → frå
- mandag → måndag
- klokken → klokka
- beklager → beklagar
- hvis → viss, dersom eller om

FELT:
- kran_form: ordet hovedkranen på nynorsk.
- stengd_form: partisippet i blir stengt, om hovudkranen; bruk stengd eller stengt (utan blir).
- fra_form: preposisjonen fra på nynorsk.
- mandag_form: vekedagen mandag på nynorsk.
- klokke_form: ordet klokken på nynorsk, bunden form eintal.
- beklagar_form: verbet beklager på nynorsk, presens.
- viss_form: subjunksjonen hvis på nynorsk; bruk viss, dersom eller om.
- dato_tekst: datoen 9. mars slik han skal stå.
- fra_kl: klokkeslettet 08 (behaldast).
- til_kl: klokkeslettet 15 (behaldast).

Answer key

{
  "stengd_form": "stengd",
  "fra_form": "frå",
  "mandag_form": "måndag",
  "klokke_form": "klokka",
  "beklagar_form": "beklagar",
  "viss_form": "viss",
  "dato_tekst": "9. mars",
  "fra_kl": "08",
  "til_kl": "15",
  "kran_form": "hovudkranen"
}

Source: Språkrådet: Hvis og dersomNynorskordboka: stengjeSpråkrådet: Ny nynorskrettskriving frå 2012, samsvarsbøying av svake partisipp

Run conditions

Planned core protocol: subscription pilot and API track.

Subscription pilotLocal runner for Codex and Claude Code with existing subscription sign-in. No API keys or pay-as-you-go fallback. First approved full run pending. The latest selection ran on 8 HIGH routes from two October 10 runs (subagents, CLIs and Antigravity UI) as a separate track. Qwen xhigh is its own separate run with 12 responses.
Product and modelProduct, requested model, reasoning level and CLI version are recorded. Actual model is unknown unless returned by the tool. In calibration 0.1, model names are the client’s declared identity, not independently confirmed. The Gemini app wrapper and system instructions differ from the other runs.
Planned API trackVercel AI Gateway with exact model IDs. A separate track, not enabled by the subscription runner.
Instructions«Du løser en arbeidsoppgave for en norsk bedrift. Følg instruksjonene i oppgaven nøyaktig, og svar bare med det oppgaven ber om.» (Norwegian: you solve a work task for a Norwegian business; follow the task exactly and answer only what it asks.)
TemperatureUnknown in the subscription pilot. Planned API track: 0 where supported.
ReasoningRequested level is recorded per product and model. This does not mean equal compute across models.
Tools and web searchOff in the core protocol. Calibration 0.1 HIGH routes: prohibited in the prompt and audited in the logs, not technically removed. The separate Qwen run denies all tools technically.
Max answer lengthUnknown in the subscription pilot. Planned API track: 2000 tokens.
Time limit120 seconds
Repeats3 per task in the full protocol (calibration 0.1: 1)
Errors and quotaThe subscription runner stops and preserves completed answers. Missing answers are listed separately, not automatically scored zero. Resuming is an explicit action.
Splitprepare --split public|calibration|holdout|all (default public, holdout needs an explicit split); subscription config taskSplit (actual config: calibration). Calibration is used for method checks and calibration. The primary comparison is the holdout total (24 tasks). Holdout used for tuning is retired with a versioned new holdout.
TrackAPIs, terminal products and browser chats have different product instructions. We report the surface and do not treat them as the same test.
Unpublished tasksThe repo is private, but hidden tasks are not immune to training. Calibration and holdout are not public: they are not shown on the site and are not in the website source or metadata. A runner sends its assigned task text to the provider on each run.
Scoring

How an answer earns points in the core protocol.

Strict fields (all types)

All six types require JSON with exactly the required fields. Each field is compared with the key after normalisation: dates become YYYY-MM-DD, amounts become numbers so «15 625,00» and «kr 15 625,-» count the same, digit fields reject letters, categories ignore case, and boolean fields accept true/false, yes/no and ja/nei. Every field must match, else 0. Null is valid only where the key explicitly allows it (allowNull plus expected null). Extra or missing fields, wrong types and non-finite values score 0. No partial credit in the v0.5 ranking. Share of correct fields (fieldAccuracy) is diagnostics only: all fields count equally within a task. The runner reports fieldCorrect, fieldTotal and fieldAccuracy per model and per split; the diagnostics never enter the ranking.

Rejected with 0

Answers that are not pure JSON, have extra or missing fields, wrong types, prose in a field that requires a date or boolean, contradictory prose or non-finite values score 0. The JSON fields are the whole answer; surrounding free prose is not scored.

  • invalid field values such as “NOT 2026-11-14”; false or no is correct when required by the key
  • extra fields, missing fields and wrong types
  • null where the key does not explicitly allow it
  • non-finite values (NaN/Infinity) and invalid formats

Future track

Free prose quality is not measured in v0.5. Any future rating is reported separately and never mixed into the numeric score.

From task to total

How the core-protocol table is calculated.

Task scoreMean of the three runs (each 100 or 0; missing is not scored as 0)
Type scoreMean of the tasks in the type within one split (primary: 4 holdout tasks)
Total scoreMean of the six types within one split. All types count equally.
Primary comparisonThe holdout total: 24 reserved tasks, 4 per type. Results are reported per split; a pooled mean across all splits is not an independent ranking.
RankObserved scores, not proven superiority. Stratified paired comparisons on the same tasks are planned. Results from public tasks and calibration are never combined into a claimed measurement on unseen tasks. The local CLI computes no confidence intervals.
Calibration 0.1 (separate)12 tasks; totals are all-or-nothing per task and field shares are diagnostics only. No ranking, no cost/response time and no confidence intervals.
StabilitySpread between the three runs
CostAPI-track actual price per call, including hidden reasoning, scaled to 100 tasks. Given in US dollars excluding VAT, because providers bill in dollars. Subscriptions report no API cost.
Response timeMedian time from sending the call to receiving the full answer
Quality control

Full-protocol gates: nothing is published automatically.

Before a runAutomatic checks: the self-test of every task and scoring rule must pass. Each key is source-checked before the freeze; the revised calibration split is being assessed as part of method development.
CompletenessEvery model has answered all 48 tasks in all three runs (12×48×3=1728 answers with the current catalog, which is not fixed). Missing is not full coverage. Results are reported separately for public tasks, calibration and holdout.
Error rateAt most 5 percent per model
Outlier listModels that moved more than 15 points since last week, missing or failed calls, and 10 percent randomly chosen answers (173 answers with the current catalog) plus outliers. The pilot measures actual time.
ApprovalA person at Aprex reviews the outlier list and records approval in the results file. No auto-approval. Final publication is pending; a run counts as approved only with approval recorded in the results file.
Calibration 0.1 (separate)Its own development report: 96/96 responses checked against the run plan and logs, with 0 missing, 0 technical errors, 0 protocol-rejected and 0 tool calls. No manual outlier review and no full-run status. The full-protocol gates above are untouched.
The websiteThe site does not build if a run has invalid numbers, a missing work type, missing approval/CSV, wrong version/repeats/coverage, or the protocol is draft with published runs.
Versions

Numbers are compared only within one task set.

The task set is versioned. New versions are made as needed: any change to a task, key or scoring rule requires a version bump and a new run. In the week a new version starts, we run both the old and the new so the trend can be linked. Changes to tasks, scoring and the model list go in the changelog on the barometer page. Holdout that is used for tuning or becomes known is retired with a versioned new holdout. No edits because a model disagrees. Calibration 0.1 (advanced-0.1-utkast) is a separately versioned development report; its answers are never reinterpreted against a changed key.

Data

Download and use the numbers.

Every full run is published as a CSV file with one row per model. The latest calibration selection has its own CSV with 8 rows (one per route) and audited JSON with the same 8 routes; the full-report JSON (with the Sol, Gemini and Qwen-exclusion corrections) has its own name and is not in the Dataset. A separate Qwen xhigh run has its own CSV/JSON files and never enters the HIGH dataset. The barometer page carries structured data (schema.org Dataset) for approved full runs and for the latest audited calibration selection. The column table below covers the full-protocol CSV; the calibration CSV has its own columns. The numbers are free to use with Aprex credited and a link to the barometer.

ColumnContent
weekWeek of the run, e.g. 2026-U41
model_idModel ID in AI Gateway
modelModel name
providerProvider
tiertopp (top) or rimelig (budget)
totalTotal score 0–100
ci_lowLower bound, interval for future runs
ci_highUpper bound, interval for future runs
dokumentuttrekkWork type score 0–100
kundesvarWork type score 0–100
oppsummeringWork type score 0–100
regelverkWork type score 0–100
klassifiseringWork type score 0–100
nynorskWork type score 0–100
cost_per_100_usdMeasured API price for 100 tasks, USD excl. VAT (API track; subscriptions report no API cost)
median_latency_msMedian response time in milliseconds
error_rateShare of calls that failed after one retry, 0–1
Limits

What the barometer cannot tell you.

  • The latest selection covers 12 synthetic Bokmål tasks in three related families and 8 HIGH routes from two runs with different harnesses, run once — not all Norwegian business needs and no general ranking. Full results will apply to these 48 controlled tasks. A model may be stronger or weaker on your own tasks, and free writing is not measured.
  • Calibration 0.1: model names are the client’s declared identity; for the HIGH routes, tools were prohibited in the prompt and audited in the logs, not technically removed, while the separate Qwen run denies all tools technically; Muse helped write the generators, so author bias cannot be ruled out. HIGH is not equal compute across models. Gemini logs are verified against local transcripts, which are not signed provider attestation, and the app wrapper differs from other runs; no Grok routes were run; Sonnet was not in the available catalog. Qwen 3.8 Max ran at xhigh separately (12 responses).
  • Strict all-or-nothing gives 0 on one mistake. That is deliberately strict in v0.5 to avoid false partial credit.
  • Running through an API with fixed settings is not the same as using ChatGPT, Claude, Gemini or Copilot in the browser, where the provider adds its own instructions and tools. API and subscription are separate tracks.
  • Models are updated often, sometimes without a new model ID. A result applies to the product, model ID, CLI version where relevant, and the week it was measured.
  • Full-run rank shows observed scores, not proven superiority. The calibration is presented alphabetically with no ranking.
  • Difficulty levels are author-graded, not empirically calibrated.
  • Temperature 0 makes answers stable but not always identical. That is why each task runs three times. (API track; temperature is unknown in the subscription pilot.)
FAQ

Technical questions

Who decides the answer key?
Aprex writes each key before a run and links every field to the task text or a stated language source. The program checks answers against that key. Passing self-tests verifies the checks on those examples; it does not prove that our key is infallible. The task set is frozen before candidate calls; confirmed errors require a new version and recalculation of affected results. No edits because a model disagrees.
Why temperature 0?
Temperature 0 is planned for the API track where supported. It does not eliminate all variation. In the subscription pilot we cannot control or verify temperature, so it is recorded as unknown.
Why three runs per task?
Answers vary slightly even at temperature 0. Three runs give a more reliable mean and show how stable each model is.
Why no AI judges in the score?
AI judges can be wrong and prefer their own style. Fixed rules can be checked by anyone. Free prose quality is a future separate track and is never mixed into the numeric score in v0.5.
Why is web search off?
We measure what the model does with the information it is given. With web search, results would depend on the search engine, the timing and which pages exist.
How are reasoning models handled?
We record the requested reasoning level per product and model. Identical level names do not imply equal compute, and hidden product settings may be unknown. The subscription pilot does not report measured API cost.
What is advanced calibration 0.1?
The latest published selection is the HIGH selection from October 10, 2026: 12 synthetic Bokmål tasks with 292 answer fields, 8 HIGH routes and 96 responses from two runs, plus separate Qwen xhigh with 12 responses. Gemini logs are verified against local transcripts. Totals are all-or-nothing; field shares are diagnostics only. Presented alphabetically with no ranking, cost or response time. The October 9 report (4 routes) and the 7-route October 10 selection are preserved as history. The tasks have been used for development and are no untouched final test; the 24 holdout tasks remain untouched.
Can I repeat the test myself?
Yes, with the 12 public tasks. Task text, answer keys and the full method are open, so you can run them against the same models and compare. Calibration and holdout are not public and are not in the website source or metadata, but the repo is private without immunity to training. For the latest selection, only aggregated numbers, a CSV and JSON are published; the Gemini correction is in the full report, and a separate xhigh run appears in its own files outside the HIGH dataset.
I found an error. What do I do?
Write to post@aprex.no. Confirmed errors are fixed in a new version with a new run and recorded in the changelog.
Independence

No provider influences the numbers

No provider pays for or influences the barometer, and none sees results before they are published. Aprex itself uses models from several of the providers in the solutions we build.

Questions about the method?

Write to us if you want to know more, have ideas for tasks or have found something that should be fixed.

Email Aprex →