Hvilke modeller skal testes?

12 modeller fra 8 leverandører er planlagt: GPT-6 Astra, Claude Opus 5.5, Gemini 3.1 Pro, Grok 4.7, Mistral Medium 3.5, DeepSeek V4 Pro, Qwen 3.8 Max, Muse Spark 1.3 som toppmodeller, og GPT-6 Luna, Claude Sonnet 5, Gemini 3.8 Flash, Mistral Large 3 som rimelige modeller. Listen er ikke fast; referansekandidater konfigureres separat. Ingen godkjente resultater er publisert ennå. Endringer i listen står i endringsloggen.

Hvor ofte oppdateres barometeret?

Målet er hver uke. Ingen godkjente resultater er publisert ennå. Resultater publiseres først når en kjøring har bestått de automatiske kontrollene og Aprex har gått gjennom avvikene.

Hvordan får svarene poeng?

Hver oppgave gir 100 eller 0. Svaret må være JSON med nøyaktig de krevde feltene. Alle felt må være riktige etter normalisering (datoer, beløp, siffer, kategorier, boolske verdier). Null er gyldig bare der fasiten uttrykkelig tillater det. Det gis ingen delpoeng i rangeringen i v0.5; andel riktige felt er bare diagnostikk. Manglende svar listes separat uten 0. Ingen AI-dommer.

Kan modellene ha sett oppgavene før?

De 12 eksempeloppgavene på denne siden er offentlige og kan være kjent for en modell. Kalibrering og holdout er ikke offentlige: de står ikke på siden og ligger ikke i nettstedets kilde eller metadata. Repoet er privat uten immunitet mot trening, og en kjører sender tildelt oppgavetekst til leverandøren ved kjøring. Holdout er reservert sluttevaluering. Resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver.

Hvorfor viser dere kostnad og svartid?

Fordi den beste modellen ikke alltid er det beste valget. For mange oppgaver kan en rimeligere og raskere modell være god nok. Kostnaden er målt API-pris hos leverandøren og blandes ikke inn i poengene. Abonnementspiloten rapporterer ingen API-kostnad. API og abonnement er separate spor.

Kan jeg bruke tallene?

Ja, når de er publisert. Oppgi Aprex som kilde og lenk til denne siden. Hver måling får en CSV-fil med alle tall.

Hvilken modell bør vi velge?

Start med oppgaven, ikke modellen. Se på poengene for den typen arbeid dere skal gjøre, ikke bare totalen, og sammenlign med kostnaden. For enkle oppgaver som sortering og uttrekk kan en rimeligere modell være god nok. Test alltid på noen av deres egne eksempler før dere bestemmer dere.

Kan vi bruke AI på kundedata og personopplysninger?

Ja, men det krever avklaringer først: databehandleravtale med leverandøren, hvor dataene behandles, om leverandøren kan trene modeller på dem, og at dere bare sender det som trengs. Personvernforordningen gjelder også når en AI-modell behandler opplysningene.

Blir dataene i Norge eller EU?

Det avhenger av leverandør, produkt og avtale. Noen tilbyr behandling i EU eller EØS, andre gjør det ikke. Sjekk hvor dataene lagres og behandles, og få det skrevet inn i avtalen.

Er AI god nok på norsk og nynorsk?

Barometeret måler avgrensede oppgaver med fast fasit, ikke generell flyt. Nynorsk-typen har kun kontrollerte ordform- og regeloppgaver. Se poengene når første godkjente måling er publisert, og test på deres egne tekster.

Hva koster det å bruke AI i drift?

Via API betaler dere per bruk, og prisen varierer mye mellom modellene. Kostnad per 100 oppgaver vil vise målt API-pris for oppgaver som dem i testen. Abonnementspiloten rapporterer ingen API-kostnad; lisenser til chattjenester har fast pris per bruker. API og abonnement er separate spor og sammenlignes ikke direkte. Utvikling og drift av selve løsningen kommer i tillegg.

Vi har allerede ChatGPT eller Copilot. Holder det?

For ansatte som skriver, oppsummerer og søker, kommer man ofte langt med det. Når en oppgave skal gjøres likt mange ganger, hente data fra egne systemer eller kjøre uten at noen sitter og chatter, trengs en integrasjon. Da er det modellen bak som betyr noe. Første pilot bruker Codex og Claude Code med abonnement. API og nettleseropplevelsen er separate spor; produkt, modell og versjon oppgis i hver måling.

Hva betyr KI-forordningen for oss?

EUs KI-forordning stiller krav etter risiko. Vanlige bruksområder som kundesvar, oppsummering og dokumentuttrekk regnes vanligvis ikke som høyrisiko, men det finnes krav om åpenhet, for eksempel at kunder skal vite når de snakker med en AI.

Hvordan kommer vi i gang?

Velg én arbeidsflyt som tar mye tid og har tydelige regler. Samle ti til tjue ekte eksempler, test to eller tre modeller på dem, og mål tid og feil før og etter. Det er det samme vi gjør i barometeret, bare på deres oppgaver.

Norsk AI-barometer · Under utvikling

Hvor godt løser AI norske arbeidsoppgaver?

Målet er at Aprex hver uke gir 12 språkmodeller de samme 48 arbeidsoppgavene med fast fasit på bokmål og nynorsk (12 offentlige/12 kalibrering/24 holdout). Vi vil måle hvor godt de løser dem, hva API-bruken koster og hvor lang tid det tar. Første godkjente måling er ikke kjørt. 12 offentlige eksempeloppgaver er tilgjengelige nå.

Se resultatene →Slik tester vi

Sist oppdatert: 8. oktober 2026 · v0.5-utkast

Resultater

Siste måling

Plassering, poeng per type arbeid, API-kostnad og svartid for hver modell. Rekkefølge er observerte poeng, ikke bevist overlegenhet.

Under utvikling. Første godkjente måling gjenstår.

Tolv offentlige eksempeloppgaver er klare av 48 totalt (12 offentlige/12 kalibrering/24 holdout). Testen kontrollerer avgrensede svar mot en lagret fasit. Tabellen får tall etter første godkjente måling. Kvaliteten på frie tekster inngår ikke i denne testen.

48 oppgaver × 3 kjøringer · 12 modeller

Resultater per modell
Plass	Modell	Totalpoeng	Uttrekk	Kundesvar	Vedtak	Regler	Klassifisering	Nynorsk	API-kostnad per 100 oppgaver	Svartid, median
–	GPT-6 AstraOpenAI	Venter	–	–	–	–	–	–	–	–
–	Claude Opus 5.5Anthropic	Venter	–	–	–	–	–	–	–	–
–	Gemini 3.1 ProGoogle	Venter	–	–	–	–	–	–	–	–
–	Grok 4.7xAI	Venter	–	–	–	–	–	–	–	–
–	Mistral Medium 3.5Mistral	Venter	–	–	–	–	–	–	–	–
–	DeepSeek V4 ProDeepSeek	Venter	–	–	–	–	–	–	–	–
–	Qwen 3.8 MaxAlibaba	Venter	–	–	–	–	–	–	–	–
–	Muse Spark 1.3Meta	Venter	–	–	–	–	–	–	–	–
–	GPT-6 LunaOpenAIRimelig	Venter	–	–	–	–	–	–	–	–
–	Claude Sonnet 5AnthropicRimelig	Venter	–	–	–	–	–	–	–	–
–	Gemini 3.8 FlashGoogleRimelig	Venter	–	–	–	–	–	–	–	–
–	Mistral Large 3MistralRimelig	Venter	–	–	–	–	–	–	–	–

Poeng er 0–100, og de seks oppgavetypene teller likt. Rekkefølgen viser observerte poeng, ikke bevist overlegenhet. Statistisk sammenligning på samme oppgaver kommer senere. Kostnad viser API-sporets målte pris, uten mva; abonnement rapporterer ingen API-kostnad.

Bakgrunn

Hvorfor vi lager barometeret.

Bedrifter tar i bruk AI raskt, men har lite å gå etter når de skal velge modell til norske oppgaver.

Norske oppgaver trenger egne målinger

De kjente testene av språkmodeller måler mest engelsk, programmering og matematikk. De sier lite om en norsk faktura, et kundesvar eller et referat på nynorsk.

Bedrifter må velge modell

Valget tas ofte på magefølelse eller markedsføring. Tall på norske arbeidsoppgaver gir et bedre grunnlag, også for kostnaden.

Vi måler uansett

Aprex tester modeller når vi bygger AI-løsninger. Nå gjør vi det systematisk og publiserer tallene med metoden når første godkjente måling er klar.

Hva vi måler

Seks avgrensede oppgavetyper.

Åtte oppgaver per type: 2 offentlige, 2 kalibrering og 4 holdout. Vanskelighetsgradene er forfattervurderte (2 lette/3 middels/3 vanskelige per type), ikke empirisk kalibrerte. Typene teller likt. Modellen fyller ut faste svarfelt som programmet kontrollerer mot fasit.