What is the Norwegian AI Barometer?

A weekly test by Aprex AS of how leading language models handle common Norwegian work tasks in Bokmål and Nynorsk. The results show score, cost and response time per model.

Which models are tested?

12 models from 8 providers: GPT-6 Astra, Claude Opus 5.5, Gemini 3.1 Pro, Grok 4.7, Mistral Medium 3.5, DeepSeek V4 Pro, Qwen 3.8 Max, Muse Spark 1.3 as top models, and GPT-6 Luna, Claude Sonnet 5, Gemini 3.8 Flash, Mistral Large 3 as budget models. Changes to the list are recorded in the changelog.

How often is the barometer updated?

The test runs every week. Results are published once the run has passed the automatic checks and Aprex has reviewed the outliers.

How are answers scored?

Each task scores 0–100. Extraction and classification are checked field by field against the key. Text answers are scored with a checklist, and for customer replies, summaries and Nynorsk, two judge models from other providers also rate quality. Judges count for at most 40 percent.

Could the models have seen the tasks before?

The example tasks on this page are public. Most tasks stay hidden and are only sent to providers that do not train their models on the data.

Why show cost and response time?

Because the best model is not always the best choice. For many tasks, a cheaper and faster model is good enough. Cost is the measured provider price and is never mixed into the score.

May I use the numbers?

Yes. Credit Aprex and link to this page. Every run includes a CSV file with all the numbers.

Norwegian AI Barometer

How well does AI handle Norwegian work tasks?

Every week, Aprex gives 12 language models the same 48 work tasks in Bokmål and Nynorsk. We measure how well they solve them, what it costs and how long it takes, and publish the method alongside the numbers.

See the results →How we test

Last updated: September 29, 2026

Results

Latest measurement

Rank, score per work type, cost and response time for every model.

The first measurement is not published yet.

The table is ready, but it fills in only when the first run has passed the checks and been reviewed. Then you will see the total score with uncertainty, scores per work type, cost and response time for every model.

48 tasks × 3 runs · 12 models

Results per model
Rank	Model	Total score	Extraction	Replies	Summaries	Regulation	Classification	Nynorsk	Cost per 100 tasks	Response time, median
–	GPT-6 AstraOpenAI	Pending	–	–	–	–	–	–	–	–
–	Claude Opus 5.5Anthropic	Pending	–	–	–	–	–	–	–	–
–	Gemini 3.1 ProGoogle	Pending	–	–	–	–	–	–	–	–
–	Grok 4.7xAI	Pending	–	–	–	–	–	–	–	–
–	Mistral Medium 3.5Mistral	Pending	–	–	–	–	–	–	–	–
–	DeepSeek V4 ProDeepSeek	Pending	–	–	–	–	–	–	–	–
–	Qwen 3.8 MaxAlibaba	Pending	–	–	–	–	–	–	–	–
–	Muse Spark 1.3Meta	Pending	–	–	–	–	–	–	–	–
–	GPT-6 LunaOpenAIBudget	Pending	–	–	–	–	–	–	–	–
–	Claude Sonnet 5AnthropicBudget	Pending	–	–	–	–	–	–	–	–
–	Gemini 3.8 FlashGoogleBudget	Pending	–	–	–	–	–	–	–	–
–	Mistral Large 3MistralBudget	Pending	–	–	–	–	–	–	–	–

Scores run from 0 to 100, and all six work types count equally. The range under the total is a 95 percent confidence interval. Models with overlapping intervals count as equally good. Cost is the measured provider price, excluding VAT.

What we measure

Six kinds of work common in Norwegian businesses.

Each type has eight tasks. All types count equally in the total score.

Document extraction

Pull the right fields from invoices, contracts and forms, including fields that must be calculated.

Scored per field against the key

Customer replies

Answer customers correctly and politely using only the information given, without promising anything.

Checklist and judges

Summaries

Separate decisions from discussion, and capture who does what by when.

Checklist and judges

Regulation

Answer concrete questions about Norwegian law correctly, citing the right provision.

Checklist against the statute

Classification

Sort requests by fixed definitions, even when they look alike.

Scored per answer against the key

Nynorsk

Write correct, natural Nynorsk without Bokmål words.

Checklist and judges

Method

How we test.

The test follows a fixed protocol, so the numbers can be compared week to week.

01
Same tasks
Every model gets the same 48 tasks and the same instructions. Nothing is tailored to a single model.
02
Same conditions
Models run through the same service, without tools or web search, with the same time limit. Each task runs 3 times.
03
Scored against a key
Fields, dates and amounts are checked automatically. Text answers earn points for what must be included and lose points for errors, promises and the wrong written standard.
04
Judges from other providers
Where a checklist cannot measure quality, two models from other providers rate the answer. Their rating counts for at most 40 percent.
05
Checks before publishing
Each task is tested with its key, a reworded correct answer and a wrong answer before use. After each run, a person reviews the outliers.
06
Open numbers
Every run is published with uncertainty, cost, response time and a CSV file with every number.

The models

Who is tested.

The top models show what is possible. The budget models show what you get for the money. The list is updated when providers launch new models.

Top models

GPT-6 AstraOpenAI
Claude Opus 5.5Anthropic
Gemini 3.1 ProGoogle
Grok 4.7xAI
Mistral Medium 3.5Mistral
DeepSeek V4 ProDeepSeek
Qwen 3.8 MaxAlibaba
Muse Spark 1.3Meta

Budget models

GPT-6 LunaOpenAI
Claude Sonnet 5Anthropic
Gemini 3.8 FlashGoogle
Mistral Large 3Mistral

Example tasks

See what the models get.

One public task per type, with its answer key. The tasks are in Norwegian. Most tasks stay hidden so models cannot be trained on them. All content is fictional.

Document extractionForfallsdato står ikke i fakturaen og må regnes ut. Tilbudsnummer, ordrenummer og kundenummer er lagt inn for å forvirre.Bokmål

Task

Hent ut opplysningene fra fakturaen under. Svar bare med JSON med disse feltene: leverandor, fakturanummer, fakturadato (ÅÅÅÅ-MM-DD), forfallsdato (ÅÅÅÅ-MM-DD), belop_eks_mva (tall), mva (tall), belop_inkl_mva (tall), kid.

FAKTURA
Fjellvik Rør AS
Org.nr. 000 000 000 MVA (fiktivt)
Havnegata 12, 3100 Tønsberg

Kunde: Solbakken Bakeri AS
Kundenr. 10442
Ordrenr. 7781

Fakturanr.: 2026-0457
Fakturadato: 3. oktober 2026
Betalingsbetingelser: 14 dager netto
Gjelder: Utbedring av lekkasje, jf. tilbud 2026-0412

Beskrivelse                Antall   Pris       Sum
Arbeid rørlegger (timer)   6        1 450,00   8 700,00
Deler og materiell         1        3 800,00   3 800,00

Sum eks. mva                                  12 500,00
Mva 25 %                                       3 125,00
Å betale                                      15 625,00

Betales innen forfall. KID: 004571044215
Spørsmål om fakturaen? Skriv til regnskap@example.com

Answer key

{
  "leverandor": "Fjellvik Rør AS",
  "fakturanummer": "2026-0457",
  "fakturadato": "2026-10-03",
  "forfallsdato": "2026-10-17",
  "belop_eks_mva": 12500,
  "mva": 3125,
  "belop_inkl_mva": 15625,
  "kid": "004571044215"
}

Customer repliesÅ bruke riktige fakta fra notatene og å la være å love kompensasjon selv om kunden er irritert.Bokmål

Task

Skriv et svar på e-posten fra kunden. Bruk bare opplysningene i de interne notatene, og ikke lov noe som ikke står der. Maks 150 ord.

E-POST FRA KUNDEN
Emne: Hvor blir det av pakken?
Hei. Jeg bestilte en kaffemaskin for over en uke siden (ordre 48213) og har fortsatt ikke fått den. Dette er ikke greit. Hvis den ikke kommer snart, vil jeg ha pengene tilbake.
Hilsen Ingrid Aasen

INTERNE NOTATER
- Ordre 48213 ble sendt 24. september med Posten.
- Sporingsnummer: 70700000048213 (fiktivt).
- Forventet levering: 29. september.
- Forsinkelsen skyldes at varen var i restordre hos leverandøren.
- Retur: Kunden kan returnere uåpnet vare innen 30 dager etter mottak og få full refusjon.
- Vi har ikke fullmakt til å gi rabatt eller annen kompensasjon.

Answer key

Hei Ingrid,

Takk for at du sa ifra, og beklager at kaffemaskinen har latt vente på seg. Varen var dessverre i restordre hos leverandøren vår, men ordre 48213 ble sendt med Posten 24. september. Forventet levering er 29. september, og du kan følge pakken med sporingsnummer 70700000048213.

Skulle du likevel ønske å returnere maskinen, kan du sende den tilbake uåpnet innen 30 dager etter at du har mottatt den, og få hele beløpet refundert.

Ta gjerne kontakt hvis du har flere spørsmål.

Vennlig hilsen
Kundeservice

SummariesÅ skille beslutninger fra diskusjon og støy, og å ta med ansvar og frister.Bokmål

Task

Oppsummer referatet under for en leder som ikke var på møtet. Maks 100 ord. Ta med alle beslutninger, og hvem som skal gjøre hva innen når. Ikke framstill forslag som ble avvist, som om de ble vedtatt.

REFERAT, PROSJEKTMØTE NETTBUTIKK, 1. OKTOBER
Til stede: Kari Lund (prosjektleder), Jonas Berg (utvikler), Sara Nilsen (markedsføring)

1. Lansering. Testene viste feil i betalingsløsningen. Lanseringen flyttes fra 20. oktober til 14. november. Vedtatt.
2. Språk. Sara foreslo å lansere på engelsk samtidig. Kari mente det var for tidlig. Forslaget ble ikke vedtatt, men tas opp igjen i januar.
3. Nynorsk. Nettbutikken skal ha nynorsk versjon fra lansering. Vedtatt. Sara skaffer oversetter innen 15. oktober.
4. Betaling. Jonas retter feilen i betalingsløsningen og leverer ny testversjon innen 24. oktober.
5. Diverse. Jonas nevnte at kontorkaffen er dårlig. Ingen beslutning.
Neste møte: 8. oktober.

Answer key

Lanseringen av nettbutikken er flyttet fra 20. oktober til 14. november fordi testene fant feil i betalingsløsningen. Nettbutikken skal ha nynorsk versjon fra lansering.

Oppgaver:
- Jonas retter betalingsfeilen og leverer ny testversjon innen 24. oktober.
- Sara skaffer oversetter til nynorsk innen 15. oktober.

Forslaget om engelsk versjon ble ikke vedtatt og tas opp igjen i januar. Neste møte er 8. oktober.

RegulationAt fristen løper fra første dag i måneden etter oppsigelsen, og ikke fra oppsigelsesdagen.Bokmål

Task

En ansatt i et aksjeselskap uten tariffavtale har jobbet der i åtte måneder. Arbeidsavtalen sier ingenting om oppsigelsestid eller prøvetid. Den ansatte leverer skriftlig oppsigelse 12. mars. Hvilken dag er siste dag i oppsigelsestiden, og hvilken bestemmelse i arbeidsmiljøloven bygger du på? Svar kort, maks 80 ord.

Answer key

Siste dag i oppsigelsestiden er 30. april. Når ikke annet er avtalt skriftlig eller i tariffavtale, er oppsigelsesfristen én måned etter arbeidsmiljøloven § 15-3 første ledd. Etter fjerde ledd løper fristen fra og med første dag i måneden etter at oppsigelsen ble levert, altså fra 1. april til og med 30. april.

Source: Arbeidsmiljøloven § 15-3 (Lovdata)

ClassificationPresis sortering etter gitte definisjoner, inkludert en melding på nynorsk og to som ligner hverandre (m8 og m10).Bokmål

Task

Sorter hver melding i nøyaktig én kategori.

Kategorier:
- bestilling: kunden vil kjøpe noe eller endre en bestilling
- reklamasjon: kunden klager på feil eller mangel ved en vare eller tjeneste som er levert
- faktura: spørsmål om faktura, betaling eller purring
- support: kunden trenger hjelp til å bruke et produkt som virker
- oppsigelse: kunden vil avslutte et abonnement eller en avtale
- spam: uønsket reklame eller svindelforsøk

Svar bare med JSON der nøkkelen er meldingsnummeret og verdien er kategorien, for eksempel {"m1": "faktura"}.

m1: Hei, vi ønsker å bestille 20 kasser kopipapir til levering neste uke.
m2: Stolen vi fikk i går har en sprekk i setet. Hva gjør vi?
m3: Dere har sendt purring på en faktura vi betalte 2. september. Kan dere sjekke?
m4: Hvordan kobler jeg skriveren til det nye wifi-nettet?
m5: Vi vil avslutte serviceavtalen fra neste måned.
m6: GRATULERER! Du har vunnet en telefon. Klikk her for å hente premien.
m7: Kan vi endre bestillingen fra i går til 30 kasser i stedet for 20?
m8: Kaffemaskinen dere installerte forrige uke lekker vann. Kan dere sende noen?
m9: Eg vil seie opp abonnementet vårt på kaffi og vatn frå 1. desember.
m10: Fakturaen for reparasjonen er for høy. Dere har fakturert tre timer, men teknikeren var her i én time.

Answer key

{
  "m1": "bestilling",
  "m2": "reklamasjon",
  "m3": "faktura",
  "m4": "support",
  "m5": "oppsigelse",
  "m6": "spam",
  "m7": "bestilling",
  "m8": "reklamasjon",
  "m9": "oppsigelse",
  "m10": "faktura"
}

NynorskKorrekt nynorsk. Bokmålsord i svaret gir trekk.Nynorsk

Task

Skriv om kunngjeringa under til korrekt nynorsk. Behald innhaldet og tonen. Svar berre med den nye teksten.

Vi har oppdatert åpningstidene våre. Fra mandag 6. oktober holder butikken åpent fra klokken 09 til 17 på hverdager. Hvis du har spørsmål, kan du ringe oss eller sende en e-post. Vi ser frem til å høre fra deg.

Answer key

Vi har oppdatert opningstidene våre. Frå måndag 6. oktober held butikken ope frå klokka 09 til 17 på kvardagar. Viss du har spørsmål, kan du ringje oss eller sende ein e-post. Vi ser fram til å høyre frå deg.

Changelog

What has changed.

29 September 2026
The barometer launched with test protocol 0.2, twelve models and six public example tasks. The first measurement has not been run yet.

FAQ

Questions and answers

What is the Norwegian AI Barometer?: A weekly test by Aprex AS of how leading language models handle common Norwegian work tasks in Bokmål and Nynorsk. The results show score, cost and response time per model.
Which models are tested?: 12 models from 8 providers: GPT-6 Astra, Claude Opus 5.5, Gemini 3.1 Pro, Grok 4.7, Mistral Medium 3.5, DeepSeek V4 Pro, Qwen 3.8 Max, Muse Spark 1.3 as top models, and GPT-6 Luna, Claude Sonnet 5, Gemini 3.8 Flash, Mistral Large 3 as budget models. Changes to the list are recorded in the changelog.
How often is the barometer updated?: The test runs every week. Results are published once the run has passed the automatic checks and Aprex has reviewed the outliers.
How are answers scored?: Each task scores 0–100. Extraction and classification are checked field by field against the key. Text answers are scored with a checklist, and for customer replies, summaries and Nynorsk, two judge models from other providers also rate quality. Judges count for at most 40 percent.
Could the models have seen the tasks before?: The example tasks on this page are public. Most tasks stay hidden and are only sent to providers that do not train their models on the data.
Why show cost and response time?: Because the best model is not always the best choice. For many tasks, a cheaper and faster model is good enough. Cost is the measured provider price and is never mixed into the score.
May I use the numbers?: Yes. Credit Aprex and link to this page. Every run includes a CSV file with all the numbers.

Limits

What the numbers do not say

Results apply to these tasks and to the model versions available in the week they were measured. They do not say which model is best at everything. Aprex itself uses models from several of the providers. The providers have no say in the method and do not see results before they are published.

Which model fits your tasks?

The barometer shows an average. Tell us what you want to use AI for, and we will help you choose and test the right model on your own tasks.

Tell us what you want to test →

How well does AI handle Norwegian work tasks?

Latest measurement

Six kinds of work common in Norwegian businesses.

Document extraction

Customer replies

Summaries

Regulation

Classification

Nynorsk

How we test.

Same tasks

Same conditions

Scored against a key

Judges from other providers

Checks before publishing

Open numbers

Who is tested.

See what the models get.

What has changed.

Questions and answers

What the numbers do not say

Which model fits your tasks?