Norsk AI-barometer · Kalibrering 0.1

Hvor godt løser AI norske arbeidsoppgaver?

Aprex tester AI på norske arbeidsoppgaver med fast fasit. Se resultatene og hvordan vi kontrollerer dem.

Resultater oppdatert

Resultater · Kalibrering

Siste resultater

Avansert kalibrering 0.1 · 12 syntetiske bokmålsoppgaver · én repetisjon per modell. Åtte HIGH-ruter (96 svar fra to kjøringer), pluss en separat Qwen-test med xhigh.

Modeller med HIGH

Alfabetisk · 12 oppgaver per modell
  • Claude Haiku 5.5HIGH11/12helt riktigeDetaljer

    Riktige felt: 290/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    4/4 oppgaver104/104 felt
    Saksflyt og frister
    3/4 oppgaver106/108 felt
    Kilde og kjøreoppsett
    modell-ID
    anthropic/claude-haiku-5-5
    kjøring
    advanced-v01-2026-10-10-haiku · 2026-10-10
    Leverandørrute
    Anthropic
    verktøy
    Codex native subagents
    commit
    5f55d82430baa317bbd8dff30829b2d799f75b6b
    definisjon
    e3f59476abe8455fd4e519fb3dea247270af42f7f0dddfaac4f7b861cd6309eb
    Manifest / scores
    0a084315b28d5438ad2a2a3daf406048c8138dc0ce5c4bd763547929327e7b6e
    48f5b0998db0aef3517533240a4a93946c71ef58facb8b24599b94d7ee9468fd
  • Claude Opus 5.5HIGH11/12helt riktigeDetaljer

    Riktige felt: 291/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    3/4 oppgaver103/104 felt
    Saksflyt og frister
    4/4 oppgaver108/108 felt
    Kilde og kjøreoppsett
    modell-ID
    anthropic/claude-opus-5-5
    kjøring
    advanced-v01-2026-10-10-opus · 2026-10-10
    Leverandørrute
    Anthropic
    verktøy
    Codex native subagents
    commit
    5f55d82430baa317bbd8dff30829b2d799f75b6b
    definisjon
    722c15b7dd27939c5b298d6efa6c7f49eb9a612ef70ab1fe3e726e36b7994678
    Manifest / scores
    a2f2e872ee49b14d57e1c11b3354dbbd5e3f81271580302178fb2921c34e4fc7
    16f082c0966955b427aad0d930c8c9b6e668129aa5c5d616a15354d183a30e6e
  • DeepSeek V4.1 FlashHIGH9/12helt riktigeDetaljer

    Riktige felt: 288/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    4/4 oppgaver104/104 felt
    Saksflyt og frister
    1/4 oppgaver104/108 felt
    Kilde og kjøreoppsett
    modell-ID
    opencode-go/deepseek-v4.1-flash
    kjøring
    advanced-v01-2026-10-10-deepseek · 2026-10-10
    Leverandørrute
    OpenCode Go
    verktøy
    Codex native subagents
    commit
    5f55d82430baa317bbd8dff30829b2d799f75b6b
    definisjon
    90b1a48c6548e487b81a1c802ad7c1ab6ed0d206edb8f0e58326b1f1f7a021ee
    Manifest / scores
    7b079382e576759867a991e77bfc97c9e78e6be58b11553481d7be59027a4cae
    19c2f610da3d9b3c9b79b5e6cc46884401f8be4a347d230154ca3384ac142306
  • GPT-6 AstraHIGH12/12helt riktigeDetaljer

    Riktige felt: 292/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    4/4 oppgaver104/104 felt
    Saksflyt og frister
    4/4 oppgaver108/108 felt
    Kilde og kjøreoppsett
    modell-ID
    openai/gpt-6-astra
    kjøring
    advanced-v01-high-extension-2026-10-10-astra · 2026-10-10
    Leverandørrute
    OpenAI
    verktøy
    Terminal Codex CLI 0.155.1 --ignore-user-config, ChatGPT login, read-only sandbox, empty workspace
    commit
    a230b80a22b962b1f69f39170b22950db657986d
    definisjon
    fccb8e875ae7fbc0546bd740eddc9c27a4a830bdb11414baed5964c34e1a311a
    Manifest / scores
    a6e1ea40acd26fe488d294a8aaf9385bf20b4b70ad8a6cc0daaa3c4bfdefa76b
    50b516678c5c3db2397f923ade83ea3674956282fb6934b4751432fd0581fbad
  • GPT-6 LunaHIGH4/12helt riktigeDetaljer

    Riktige felt: 270/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    3/4 oppgaver79/80 felt
    Fakturaavstemming
    1/4 oppgaver96/104 felt
    Saksflyt og frister
    0/4 oppgaver95/108 felt
    Kilde og kjøreoppsett
    modell-ID
    codex/gpt-6-luna
    kjøring
    advanced-v01-2026-10-10-luna · 2026-10-10
    Leverandørrute
    OpenAI
    verktøy
    Codex native subagents
    commit
    5f55d82430baa317bbd8dff30829b2d799f75b6b
    definisjon
    544706915eea14f643d4bb929df1b47748519423db5f3c4ac5243401ff5a2174
    Manifest / scores
    71e4e55a203776ffd8ce4d0d2708d6a3e2cfd21958217bcf7e8ff31fae7baa9f
    078d9d0f541daad196d654abed9124978f9618340c34aadac5eeb3424807b87f
  • GPT-6.1 SolHIGH12/12helt riktigeDetaljer

    Riktige felt: 292/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    4/4 oppgaver104/104 felt
    Saksflyt og frister
    4/4 oppgaver108/108 felt
    Kilde og kjøreoppsett
    modell-ID
    openai/gpt-6.1-sol
    kjøring
    advanced-v01-high-extension-2026-10-10-sol · 2026-10-10
    Leverandørrute
    OpenAI
    verktøy
    Bundled app Codex CLI 0.162.0-alpha.17.2, user config loaded, ChatGPT login, read-only sandbox, empty workspace
    commit
    a230b80a22b962b1f69f39170b22950db657986d
    definisjon
    9ffb1f7958ea5f323cb0e4c340f6ccb3d3012a4d5230ab4cc36a0dcb9dee233b
    Manifest / scores
    c555ade670f7d768f32e1ab7835411b329d6e61690bb3ed7649f962bb97b0a06
    2e96682bb57236d544b6ed2027dfbc0d3399c39383f41bbf87aed20b185a5d98
  • Gemini 3.8 FlashHIGH12/12helt riktigeDetaljer

    Riktige felt: 292/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    4/4 oppgaver104/104 felt
    Saksflyt og frister
    4/4 oppgaver108/108 felt
    Kilde og kjøreoppsett
    modell-ID
    google/gemini-3.8-flash
    kjøring
    advanced-v01-high-extension-2026-10-10-gemini · 2026-10-10
    Leverandørrute
    Antigravity UI
    verktøy
    Antigravity native UI, No Project, new conversation per task
    commit
    a230b80a22b962b1f69f39170b22950db657986d
    definisjon
    bc4762926981f3674f92d986415fef29c50d1f4b550a0e2c48f3efe929f413a8
    Manifest / scores
    172889dcbcb3d48f53b1c8f90d9357bcd03d2ffc2f64c604375880822b5d4004
    d31d7434cf37fc33733c85fa7ea62ffabd6a9214a6088b457327287717515a59
  • Muse Spark 1.3HIGH10/12helt riktigeDetaljer

    Riktige felt: 289/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    2/4 oppgaver101/104 felt
    Saksflyt og frister
    4/4 oppgaver108/108 felt
    Kilde og kjøreoppsett
    modell-ID
    meta-muse/muse-spark-1.3-contributor
    kjøring
    advanced-v01-high-extension-2026-10-10-muse · 2026-10-10
    Leverandørrute
    Meta Muse
    verktøy
    Codex subagent V1
    commit
    a230b80a22b962b1f69f39170b22950db657986d
    definisjon
    199d5ef3e6d9e75a45e6855d3dc090f390771dc905f61d7227da6a90dce56e33
    Manifest / scores
    1473ea0c803278eddbff91a53015d0eb6966b8fa36ecd514ad9574747aff456b
    d75dc632ce7a7aeab8ddc6da543b5390c1bfd4b6e3dba0074b0ff1af7e4b3281
Sammenlign oppgavetyper
Siste utvalg per oppgavefamilie
ModellLager og ordre4 oppgaver · 80 feltFakturaavstemming4 oppgaver · 104 feltSaksflyt og frister4 oppgaver · 108 felt
Claude Haiku 5.54/480/80 felt4/4104/104 felt3/4106/108 felt
Claude Opus 5.54/480/80 felt3/4103/104 felt4/4108/108 felt
DeepSeek V4.1 Flash4/480/80 felt4/4104/104 felt1/4104/108 felt
GPT-6 Astra4/480/80 felt4/4104/104 felt4/4108/108 felt
GPT-6 Luna3/479/80 felt1/496/104 felt0/495/108 felt
GPT-6.1 Sol4/480/80 felt4/4104/104 felt4/4108/108 felt
Gemini 3.8 Flash4/480/80 felt4/4104/104 felt4/4108/108 felt
Muse Spark 1.34/480/80 felt2/4101/104 felt4/4108/108 felt

Separat test: xhigh

Separat kjøring med xhigh (inngår ikke i HIGH-tallene)

  • Qwen 3.8 MaxXHIGH12/12helt riktigeDetaljer

    Riktige felt: 292/292. diagnostikk · ingen delpoeng.

    Lager og ordre
    4/4 oppgaver80/80 felt
    Fakturaavstemming
    4/4 oppgaver104/104 felt
    Saksflyt og frister
    4/4 oppgaver108/108 felt
    Kilde og kjøreoppsett
    modell-ID
    opencode-go/qwen3.8-max
    kjøring
    qwen-xhigh-isolated-2026-10-10 · 2026-10-10
    Leverandørrute
    OpenCode Go
    verktøy
    OpenCode CLI 1.18.33 --pure, OpenCode Go subscription, explicit isolated cwd outside repo, all tools denied
    commit
    a230b80a22b962b1f69f39170b22950db657986d
    definisjon
    75d73dca32bf2f5c9f4c94f4100e6a2787a5ab43fd67218d8dab3242f05a0ea4
    Manifest / scores
    35f4c3da16476b15e1f4e73ab5407fea6d72175f43a3e71e7663742d64eb311a
    4e2c0130fdf98dcc45858540f97bfa6e053b544b03df9f335b163e0117167d80
    revisjon
    7a16849f6dff0cf0ea1af7ec7029b8919e34bdaf137492d060a6b56e8f663c54
    Kontroll
    Audited separate xhigh run on the same frozen tasks; not comparable to HIGH as an equal-compute test. One repetition, reused calibration, no ranking. Both earlier batches excluded whole for harness context before scoring; raw outputs preserved.
    Kjøreoppsett
    OpenCode CLI isolated cwd verified in each exported session and assistant path; isolated config, neutral local AGENTS, Claude compatibility disabled, plugin loading disabled, all tools denied; exact prompt inside documented quote wrapper; watchdog 900 seconds. Local client-declared identity, not signed provider attestation.
Dokumentasjon, nedlastinger og rettelser
Versjon
Kalibreringsrapport · advanced-0.1-utkast
Kjørt
10. oktober 2026
Publisert
10. oktober 2026
Utvalg
8 HIGH-ruter fra to 10. oktober-kjøringer · ikke én 96-svars kjøring
Omfang
12 oppgaver × 1 kjøring · 292 felt per modell · 8 ruter
Svar
96 av 96 kontrollert
Avvik
0 manglende · 0 tekniske feil · 0 protokollavviste · 0 verktøykall
Sporbarhet
snapshot 5132dfd81cbb · skårer 4f26f9806b58 · revisjon ca60602200a7

Rettelser 10. oktober 2026

  • Sol var først avvist i terminalens Codex 0.155.1 med --ignore-user-config før svar. Appens Codex 0.162.0-alpha.17.2 med brukerconfig fullførte deretter alle 12 oppgaver med HIGH, loggkontrollert 12/12 og 292/292. Første forsøk er bevart, ikke scoret og ikke skjult. To innstillinger var endret; enkeltårsak er ikke isolert. Ingen generell blokkering.
  • Gemini er nå loggkontrollert: samme 12 samtaler er kontrollert mot komplette lokale transkripter med 12/12 eksakte prompttreff, 12/12 svartreff, logget Gemini 3.8 Flash (High) og 0 registrerte verktøykall – fortsatt 12/12 og 292/292. Beviset er lokale applogger, ikke signert attestasjon fra leverandøren; modellnavnet er klientoppgitt; appens innpakning og systeminstrukser skiller seg fra de andre kjøringene. Tidsstempler brukes ikke som svartidsmåling.
  • 10. oktober: to Qwen-batcher ble ekskludert før scoring og er bevart, ikke scoret – først 9 påbegynte (6 fullførte, 1 databasestopp, 2 avbrutte, 3 ikke startet) fordi arbeidsmappen lå under repoet og AGENTS-filer kunne ha forurenset konteksten; deretter 11 påbegynte (7 fullførte, 1 watchdog-stopp, 3 avbrutte, 1 ikke startet) fordi arvet PWD registrerte repoet som arbeidsmappe. Til sammen 20 påbegynte og 13 ekskluderte svar.

Separat kjøring med xhigh (inngår ikke i HIGH-tallene)

  • 12 svar · 0 manglende · 0 tekniske feil · 0 protokollavviste · 0 verktøykall (separat kjøring)
  • Qwen 3.8 Max med xhigh vises her som separat kjøring, utenfor HIGH-sammenligningen. xhigh-tall slås aldri sammen med HIGH-tall.
  • Egen ren kjøring utenfor repoet: verifisert arbeidsmappe, ingen plugins, alle verktøy nektet og watchdog på 900 sekunder. Oppgaveteksten lå i anførselstegn rundt den frosne teksten; den frosne teksten inni er eksakt.

Omfang og forbehold

  • 12 syntetiske oppgaver på bokmål med 292 svarfelt per modell, i tre familier med 4 oppgaver hver. Hver oppgave er kjørt én gang per rute. «Hele oppgaver» er primær (alt-eller-ingenting); riktige felt er kun diagnostikk og gir ingen delpoeng.
  • 96 av 96 svar er kontrollert mot kjøreplan og logger: 0 manglende, 0 tekniske feil, 0 protokollavviste svar og 0 verktøykall. Siste utvalg er satt sammen fra to 10. oktober-kjøringer med ulik harness; det er ikke én felles 96-svars kjøring. Geminis 12 svar er kontrollert mot lokale transkripter og er ikke signert leverandørattestasjon.
  • Ulik harness og bakgrunnskontekst: Codex-subagenter, Codex CLI, appens Codex CLI og Antigravity UI har ulike produktinstrukser. HIGH betyr ikke lik beregning på tvers av modeller.
  • For HIGH-rutene var verktøy forbudt i oppgaveprompten og kontrollert i loggene; de var ikke teknisk fjernet fra kandidatmiljøet. Den separate Qwen-kjøringen nekter alle verktøy teknisk.
  • Modellnavn er klientens oppgitte identitet, ikke uavhengig bekreftet av underliggende leverandør.
  • Muse bidro til å skrive oppgavegeneratorene. Ferske kandidatkontekster og separat kontroll reduserer lekkasjerisiko, men fjerner ikke forfatterbias.
  • Sonnet var ikke i tilgjengelig subagentkatalog. Ingen Grok-ruter er kjørt. Qwen 3.8 Max er kjørt med xhigh som separat kjøring (12 svar), utenfor HIGH-sammenligningen.
  • De 24 reserverte holdout-oppgavene i grunnprotokollen er fortsatt urørt. Denne kalibreringen er et separat utviklingssignal — ingen fullmåling og ingen rangering — og slås aldri sammen med holdout til en påstått måling på usette oppgaver.
  • Før eventuell offentlig rangering må nye, på forhånd fryste oppgaver og gjentakelser vise om forskjellene holder seg. Alfabetisk rekkefølge; ingen vinnerkåring.

Slik siterer du

Aprex AS, Norsk AI-barometer, avansert kalibrering 0.1, gjeldende reviderte utvalg 10. oktober 2026 (advanced-v01-audited-selection-2026-10-10). Lenk til denne siden og oppgi CSV/JSON-dato, utvalg og rettelsene.

Denne testen

Tre typer arbeid

Fire oppgaver i hver kategori. Alle dokumenter og regler er fiktive. Testen måler presise svar, ikke fri skriving eller juridisk ekspertise.

01

Lager og ordre

Fordele begrenset lager og løse konkurrerende ordre etter vedlagte regler.

02

Fakturaavstemming

Koble fakturaer, betalinger og justeringer på tvers av flere dokumenter.

03

Saksflyt og frister

Bruke unntak og beregne frister fra en fiktiv sakshistorikk.

Offentlige eksempler fra den planlagte grunntesten →

Metode

Slik tester vi.

Tallene som er publisert, er en kalibrering. Første fullmåling på reserverte oppgaver gjenstår.

  1. 01

    Fast fasit

    Programmet sammenligner svaret med en fasit beregnet fra syntetiske data. Ingen AI-dommer setter poengene.

  2. 02

    Alle felt må stemme

    En oppgave er riktig bare når alle påkrevde felt er riktige. Felttall forklarer feil og gir ingen delpoeng.

  3. 03

    Loggkontroll før publisering

    Sendt oppgave, svar, modellinnstilling og verktøyhistorikk kontrolleres. Kjøreverktøy og reasoning følger hvert resultat.

Les hele metoden: poengregler, usikkerhet og dataformat →

Hvorfor vi lager barometeret.

Bedrifter tar i bruk AI raskt, men har lite å gå etter når de skal velge modell til norske oppgaver.

Norske oppgaver trenger egne målinger

De kjente testene av språkmodeller måler mest engelsk, programmering og matematikk. De sier lite om en norsk faktura, et kundesvar eller et referat på nynorsk.

Bedrifter må velge modell

Valget tas ofte på magefølelse eller markedsføring. Tall på norske arbeidsoppgaver gir et bedre grunnlag, også for kostnaden.

Vi måler uansett

Aprex tester modeller når vi bygger AI-løsninger. Nå gjør vi det systematisk og publiserer tallene med metoden. Siste HIGH-utvalg 10. oktober er publisert med Gemini loggkontrollert; tidligere tall er bevart som historikk. Første godkjente fullmåling gjenstår.

Neste fase: planlagte oppgavetyper, modeller og offentlige eksempler →

Endringslogg

Resultater og historikk

Tidligere rapporter er bevart. Ulike testversjoner skal ikke leses som en utviklingskurve for modellene.

Tidligere kalibrering (historikk, uendret)

Tidligere resultatfiler beholdes som egne versjoner.

Endringer og rettelser
  • 10. oktober: separat Qwen 3.8 Max xhigh-kjøring er revidert (12/12 oppgaver, 292/292 felt, 12 svar uten avvik) og publisert med egne filer utenfor HIGH-sammenligningen. Dagens utvalg er 8 HIGH-ruter med 96 svar pluss separat xhigh med 12 svar. Ekskluderingen av to tidligere Qwen-batcher (20 påbegynte, 13 svar) er dokumentert som datert rettelse.
  • Rettelse 10. oktober: Gemini 3.8 Flash HIGH er nå loggkontrollert mot komplette lokale transkripter (12/12 eksakte prompt- og svartreff, logget Gemini 3.8 Flash High, 0 registrerte verktøykall) og inngår i det gjeldende reviderte utvalget: 8 HIGH-ruter og 96 svar, samme 12 oppgaver og 292 felt. Transkriptbeviset er lokalt, ikke signert leverandørattestasjon; modellnavnet er klientoppgitt; appens innpakning skiller seg fra andre kjøringer; én repetisjon, gjenbrukte kalibreringsoppgaver, ingen rangering. 7-ruters 10. oktober-utvalget, 9. oktober-rapporten og Muse MAX er bevart som historikk.
  • 10. oktober: to Qwen-batcher (til sammen 20 påbegynte forsøk og 13 fullførte svar) ble ekskludert før scoring og er bevart, ikke scoret – først mulig AGENTS-kontekstforurensning, deretter arvet PWD som registrerte repoet som arbeidsmappe. Dette var status før den rene kjøringen. Den fullførte og kontrollerte Qwen-kjøringen er dokumentert i oppføringen over og vises separat fra HIGH-sammenligningen.
  • Publisert siste HIGH-utvalg 10. oktober: 7 reviderte ruter, 84 svar, samme 12 oppgaver og 292 felt. Foreløpig Gemini-resultat vises separat og inngår ikke. Sol-rettelse 10. oktober er med. 9. oktober-rapporten og Muse MAX er bevart som historikk.
  • Publisert avansert kalibrering 0.1 fra 9. oktober: 12 oppgaver, 292 svarfelt og fire modellruter. Viser helt riktige oppgaver og feltdiagnostikk, med CSV og metodebegrensninger. Dette er en kalibreringsrapport; sluttesten er fortsatt ikke kjørt.
Endringer og rettelser
  • Protokoll 0.5-utkast: seks vanskelige kalibreringsoppgaver er revidert etter at første kalibrering av 0.4 ga full score for fem modellruter. Oppgavene krever flere sammenhengende kildevalg, beregninger og unntak. Seks lette kontrolloppgaver, tolv offentlige eksempler og 24 reserverte sluttestoppgaver er beholdt. Fasit og poengregler fryses før ny kjøring. Codex-subagentkalibrering har egen dokumentert isolasjon og loggkontroll. Kalibrering er metodeutvikling, ingen offentlig sluttrangering. Ingen godkjente resultater.
Endringer og rettelser
  • Protokoll 0.4-utkast: 48 oppgaver (12 offentlige / 12 kalibrering / 24 holdout), åtte per type med 2 lette, 3 middels og 3 vanskelige som forfattervurdert utkast uten empirisk kalibrering. 12 offentlige eksempeloppgaver, to per type. Streng 100/0 beholdes som rangering; andel riktige felt er bare diagnostikk, null bare der fasiten uttrykkelig tillater det, og manglende svar og avbrutte kall listes separat uten 0. Oppgaveteksten har regler for ukjente, manglende eller motstridende opplysninger. Ingen AI-dommer. Abonnementskjører kun Codex og Claude Code uten API-fallback, med --split og taskSplit (standard offentlig). Primær sammenligning er de 24 reserverte holdout-oppgavene; publiseringsporten krever fortsatt full 48-dekning, så frigivingsprotokollen må oppdateres før framtidig publisering. Frys før modellene kalles, versjonsøkning ved endring, brukt holdout pensjoneres med versjonert ny holdout, ingen retting fordi en modell er uenig. Empirisk kalibrering på kalibreringssplitten og endelig publisering gjenstår. Ingen godkjente resultater. Første godkjente måling gjenstår.
Endringer og rettelser
  • Protokoll 0.3-utkast: strenge strukturerte oppgaver med 100/0 feltpoeng for alle seks typer, ingen sjekklister eller dommere i poeng. Regelverk bruker fiktive regler, nynorsk retter kun listede former. 6 eksempeloppgaver tilgjengelige av 48 planlagte. Første måling gjenstår.
  • Barometeret er lansert med testprotokoll 0.2, tolv modeller og seks offentlige eksempeloppgaver. Første måling er ikke kjørt ennå.
For bedrifter

Det norske bedrifter lurer på.

Hvilken modell bør vi velge?

Start med oppgaven, ikke modellen. Se på poengene for den typen arbeid dere skal gjøre, ikke bare totalen, og sammenlign med kostnaden. For enkle oppgaver som sortering og uttrekk kan en rimeligere modell være god nok. Test alltid på noen av deres egne eksempler før dere bestemmer dere.

Kan vi bruke AI på kundedata og personopplysninger?

Ja, men det krever avklaringer først: databehandleravtale med leverandøren, hvor dataene behandles, om leverandøren kan trene modeller på dem, og at dere bare sender det som trengs. Personvernforordningen gjelder også når en AI-modell behandler opplysningene. Les mer →

Blir dataene i Norge eller EU?

Det avhenger av leverandør, produkt og avtale. Noen tilbyr behandling i EU eller EØS, andre gjør det ikke. Sjekk hvor dataene lagres og behandles, og få det skrevet inn i avtalen. Les mer →

Er AI god nok på norsk og nynorsk?

Barometeret måler avgrensede oppgaver med fast fasit, ikke generell flyt. Nynorsk-typen har kun kontrollerte ordform- og regeloppgaver. Se poengene når første godkjente fullmåling er publisert — kalibreringen over er kun et utviklingssignal på 12 bokmålsoppgaver — og test på deres egne tekster.

Hva koster det å bruke AI i drift?

Via API betaler dere per bruk, og prisen varierer mye mellom modellene. Kostnad per 100 oppgaver vil vise målt API-pris for oppgaver som dem i testen. Abonnementspiloten rapporterer ingen API-kostnad; lisenser til chattjenester har fast pris per bruker. API og abonnement er separate spor og sammenlignes ikke direkte. Den publiserte kalibreringen inneholder ingen kostnads- eller svartidsmålinger. Utvikling og drift av selve løsningen kommer i tillegg. Les mer →

Vi har allerede ChatGPT eller Copilot. Holder det?

For ansatte som skriver, oppsummerer og søker, kommer man ofte langt med det. Når en oppgave skal gjøres likt mange ganger, hente data fra egne systemer eller kjøre uten at noen sitter og chatter, trengs en integrasjon. Da er det modellen bak som betyr noe. Første pilot bruker Codex og Claude Code med abonnement. API og nettleseropplevelsen er separate spor; produkt, modell og versjon oppgis i hver måling. Les mer →

Hva betyr KI-forordningen for oss?

EUs KI-forordning stiller krav etter risiko. Vanlige bruksområder som kundesvar, oppsummering og dokumentuttrekk regnes vanligvis ikke som høyrisiko, men det finnes krav om åpenhet, for eksempel at kunder skal vite når de snakker med en AI. Les mer →

Kan vi stole på AI-svar om lover og regler?

Ikke uten kontroll. Barometerets regelverkstype bruker kun medfølgende fiktive regler, tester ikke juridisk ekspertise og gir ikke juridisk rådgivning. Bruk AI til å finne og oppsummere, og la en person kontrollere mot kilden før svaret brukes.

Hvordan kommer vi i gang?

Velg én arbeidsflyt som tar mye tid og har tydelige regler. Samle ti til tjue ekte eksempler, test to eller tre modeller på dem, og mål tid og feil før og etter. Det er det samme vi gjør i barometeret, bare på deres oppgaver. Les mer →

FAQ

Spørsmål og svar

Hva er Norsk AI-barometer?

Et barometer under utvikling fra Aprex AS (0.5-utkast) for avgrensede norske oppgaver med etterprøvbar fasit på bokmål og nynorsk: 48 oppgaver (12 offentlige/12 kalibrering/24 holdout). Vanskelighetsgradene er forfattervurderte, ikke empirisk kalibrerte. Første godkjente fullmåling er ikke publisert. Siste HIGH-utvalg 10. oktober (12 syntetiske bokmålsoppgaver, 8 ruter, 96 svar, pluss separat Qwen xhigh med 12 svar) er publisert som separat utviklingssignal. Fullresultatene vil vise poeng per splitt med holdout-24 som primær sammenligning, API-kostnad og svartid per modell.

Hvilke modeller skal testes?

12 modeller fra 8 leverandører er planlagt: GPT-6 Astra, Claude Opus 5.5, Gemini 3.1 Pro, Grok 4.7, Mistral Medium 3.5, DeepSeek V4 Pro, Qwen 3.8 Max, Muse Spark 1.3 som toppmodeller, og GPT-6 Luna, Claude Sonnet 5, Gemini 3.8 Flash, Mistral Large 3 som rimelige modeller. Listen er ikke fast; referansekandidater konfigureres separat. Katalogen har ingen resultater; siste utvalg dekker kun de 8 faktisk kjørte HIGH-rutene. Endringer i listen står i endringsloggen.

Hvor ofte oppdateres barometeret?

Målet er hver uke. Ingen godkjente fullmålinger er publisert ennå; avansert kalibrering 0.1 er publisert som separat utviklingssignal. Fullresultater publiseres først når en kjøring har bestått de automatiske kontrollene og Aprex har gått gjennom avvikene.

Hvordan får svarene poeng?

Hver oppgave gir 100 eller 0. Svaret må være JSON med nøyaktig de krevde feltene. Alle felt må være riktige etter normalisering (datoer, beløp, siffer, kategorier, boolske verdier). Null er gyldig bare der fasiten uttrykkelig tillater det. Det gis ingen delpoeng i rangeringen i v0.5; andel riktige felt er bare diagnostikk. Manglende svar listes separat uten 0. Ingen AI-dommer. Kalibreringen bruker samme 100/0-regel.

Kan modellene ha sett oppgavene før?

De 12 eksempeloppgavene på metodesiden er offentlige og kan være kjent for en modell. Kalibrering og holdout er ikke offentlige: de står ikke på siden og ligger ikke i nettstedets kilde eller metadata. Repoet er privat uten immunitet mot trening, og en kjører sender tildelt oppgavetekst til leverandøren ved kjøring. Holdout er reservert sluttevaluering. Resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver. De 12 avanserte kalibreringsoppgavene er brukt til utvikling og er ingen urørt sluttest; de 24 holdout-oppgavene er fortsatt urørt.

Hvorfor viser dere kostnad og svartid?

Fordi den beste modellen ikke alltid er det beste valget. For mange oppgaver kan en rimeligere og raskere modell være god nok. Kostnaden er målt API-pris hos leverandøren og blandes ikke inn i poengene. Abonnementspiloten rapporterer ingen API-kostnad. API og abonnement er separate spor. Kalibreringen rapporterer ingen kostnad eller svartid.

Kan jeg bruke tallene?

Ja. Kalibreringstallene kan brukes nå; oppgi Aprex som kilde og lenk til denne siden. Hver måling får en CSV-fil med alle tall.

Begrensninger

Hva tallene ikke sier

Siste utvalg gjelder 12 syntetiske bokmålsoppgaver og 8 HIGH-ruter fra to kjøringer med ulik harness, pluss separat Qwen xhigh med 12 svar, presentert alfabetisk uten rangering eller påstand om generell overlegenhet. Fullresultatene vil gjelde disse 48 avgrensede oppgavene og de produkt- og modellversjonene som var tilgjengelige den uken de ble målt. Vanskelighetsgradene er forfattervurderte, ikke empirisk kalibrerte. Fri skriving, tone og flyt måles ikke. Aprex bruker selv modeller fra flere av leverandørene. Leverandørene har ingen innflytelse på metoden og får ikke se resultatene før de publiseres.

Hvilken modell passer deres oppgaver?

Barometeret viser et snitt på kontrollerte oppgaver. Fortell hva dere vil bruke AI til, så hjelper vi dere med å velge og teste riktig modell på deres egne oppgaver.

Fortell hva dere vil teste →