Ingen leverandør påvirker tallene
Ingen leverandør betaler for eller påvirker barometeret, og ingen får se resultatene før de publiseres. Aprex bruker selv modeller fra flere av leverandørene i løsninger vi bygger.
Bakgrunn
Hvorfor et eget norsk barometer?
Fundament
Åtte prinsipper testen bygger på.
- 01
Kontrollerte oppgaver
Oppgavene krever eksplisitte JSON-felt som kan sjekkes. Fri skriving måles ikke i v0.5.
- 02
Fasit før kjøring
Fasit og poengregler skrives før noen modell har svart. Testsettet fryses før modellene kalles; endringer krever ny versjon og ny kjøring. Ingen retting fordi en modell er uenig.
- 03
Like betingelser
Samme oppgaver og oppgitte kjørebetingelser innenfor hvert spor. Abonnementer og API vurderes separat.
- 04
Ikke-publisert testsett
12 offentlige oppgaver vises med fasit; 12 kalibrering og 24 holdout er ikke offentlige og holdes utenfor siden, nettstedets kilde og metadata. Repoet er privat, men skjulte oppgaver er ikke immune mot trening. Holdout som brukes til justering, pensjoneres med versjonert ny holdout.
- 05
Automatikk, ingen dommere i poeng
Poeng settes med strenge feltregler, uten AI-dommer. Andel riktige felt (fieldAccuracy) er kun diagnostikk og avgjør aldri rangeringen. Fri prosakvalitet er et fremtidig separat spor.
- 06
Observert rangering
Rekkefølgen viser observerte poeng, ikke bevist overlegenhet. Stratifiserte parede sammenligninger på samme oppgaver er planlagt. Resultater rapporteres per splitt med holdout-24 som primær sammenligning; resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver.
- 07
Kostnad for seg
Poeng, API-kostnad og svartid vises ved siden av hverandre og blandes aldri sammen. Abonnement rapporterer ingen API-kostnad.
- 08
Menneske til slutt
Ingen måling publiseres før en person har gått gjennom avvikene.
Testsettet
48 oppgaver totalt, seks typer arbeid.
Hver av de seks typene får åtte oppgaver: to offentlige, 2 kalibrering og 4 holdout. To per type er offentlige med fasit, så alle kan se hva modellene får. 12 er tilgjengelige nå; de resterende 36 er kalibrering og holdout, som ikke er offentlige. Vanskelighetsgradene er forfattervurderte (2 lette/3 middels/3 vanskelige per type), ikke empirisk kalibrerte.
| Typer | Dokumentuttrekk, Fakta til kundesvar, Møtevedtak, Regelbruk, Klassifisering, Nynorskformer |
|---|---|
| Innhold | Fiktive firma, personer, dokumenter og regler. Ingen kundedata, heller ikke anonymisert. |
| Språk | Nynorsktypen er skrevet på nynorsk; de øvrige typene er på bokmål. |
| Regelverk | Medfølgende fiktive regler i hver oppgave. Tester ikke juridisk ekspertise og gir ikke juridisk rådgivning. Ingen ekspertverifisering; enighet mellom modeller validerer aldri fasit. |
| Hver oppgave har | Oppgavetekst med regler for ukjente, manglende eller motstridende opplysninger, fasit med kildebegrunnelse per felt, et godkjent alternativ og bevisst feilaktige svar, og strenge feltregler. Oppgaver velges aldri for å favorisere noen bestemt modell eller leverandør. |
| Kontroll | Fasit og det godkjente alternativet må få 100 poeng, og feile svar høyst 0, før oppgaven kan brukes. Fasit er kildegjennomgått før frys; det reviderte kalibreringsutvalget vurderes som del av metodeutviklingen. Nynorsk har kun listede varianter og måler ikke flyt. |
Kjøreforhold
Abonnementspiloten og det planlagte API-sporet.
| Abonnementspilot | Lokal kjører for Codex og Claude Code med eksisterende abonnementsinnlogging. Ingen API-nøkler eller pay-as-you-go-fallback. Første godkjente måling gjenstår. |
|---|---|
| Produkt og modell | Produkt, forespurt modell, resonneringsnivå og CLI-versjon registreres. Faktisk modell er ukjent hvis verktøyet ikke returnerer den. |
| Planlagt API-spor | Vercel AI Gateway med eksakt modell-ID. Eget spor, ikke aktivert av abonnementskjøreren. |
| Instruks | «Du løser en arbeidsoppgave for en norsk bedrift. Følg instruksjonene i oppgaven nøyaktig, og svar bare med det oppgaven ber om.» |
| Temperatur | Ukjent i abonnementspiloten. Planlagt API-spor: 0 der modellen støtter det. |
| Resonnering | Forespurt nivå registreres per produkt og modell. Dette gir ikke lik beregning på tvers av modeller. |
| Verktøy og nettsøk | Av |
| Maks svarlengde | Ukjent i abonnementspiloten. Planlagt API-spor: 2000 tokens. |
| Tidsgrense | 120 sekunder |
| Gjentakelser | 3 per oppgave |
| Feil og kvote | Abonnementskjøreren stopper og bevarer ferdige svar. Manglende svar listes separat og får ikke automatisk 0 poeng. Gjenopptakelse er et aktivt valg. |
| Split | prepare --split public|calibration|holdout|all (standard public, holdout krever eksplisitt splitt); abonnementsconfig taskSplit (faktisk config: calibration). Kalibrering brukes til metodekontroll og kalibrering. Primær sammenligning er holdout-totalen (24 oppgaver). Holdout som brukes til justering, pensjoneres med versjonert ny holdout. |
| Spor | API, terminalprodukter og nettleser/chat har ulike produktinstrukser. Vi oppgir flaten og sammenligner ikke resultatene som om de var samme test. |
| Ikke-publiserte oppgaver | Repoet er privat, men skjulte oppgaver er ikke immune mot trening. Kalibrering og holdout er ikke offentlige: de står ikke på siden og ligger ikke i nettstedets kilde eller metadata. En kjører sender tildelt oppgavetekst til leverandøren ved kjøring. |
Poengregler
Slik får et svar poeng.
Fra oppgave til totalpoeng
Slik regnes tallene i tabellen.
| Oppgavepoeng | Snittet av de tre kjøringene (hver 100 eller 0; manglende inngår ikke som 0) |
|---|---|
| Typepoeng | Snittet av oppgavene i typen innen samme splitt (primær: 4 holdout-oppgaver) |
| Totalpoeng | Snittet av de seks typene innen samme splitt. Alle typer teller likt. |
| Primær sammenligning | Holdout-totalen: 24 reserverte oppgaver, 4 per type. Resultater rapporteres per splitt; et samlet snitt over alle splitter er ikke en uavhengig rangering. |
| Rangering | Observerte poeng, ikke bevist overlegenhet. Stratifiserte parede sammenligninger på samme oppgaver er planlagt. Resultater fra offentlige oppgaver og kalibrering slås aldri sammen til en påstått måling på usette oppgaver. Lokal CLI beregner ingen konfidensintervaller. |
| Stabilitet | Spredningen mellom de tre kjøringene |
| Kostnad | API-sporets faktiske pris per kall, inkludert skjult resonnering, regnet om til 100 oppgaver. Oppgis i dollar uten mva, fordi leverandørene fakturerer i dollar. Abonnement rapporterer ingen API-kostnad. |
| Svartid | Median tid fra kallet sendes til hele svaret er mottatt |
Kvalitetskontroll
Ingenting publiseres automatisk.
| Før kjøring | Automatiske sjekker: selvtesten av alle oppgaver og poengregler må bestå. Fasit er kildegjennomgått før frys; det reviderte kalibreringsutvalget vurderes som del av metodeutviklingen. |
|---|---|
| Fullstendighet | Alle modeller har svart på alle 48 oppgaver i alle tre kjøringene (12×48×3=1728 svar med dagens katalog, som ikke er fast). Manglende er ikke full dekning. Resultatene rapporteres hver for seg for offentlige oppgaver, kalibrering og holdout. |
| Feilrate | Høyst 5 prosent per modell |
| Avviksliste | Modeller som har endret seg mer enn 15 poeng siden forrige uke, manglende eller feilede kall, og 10 prosent tilfeldig valgte svar (173 svar med dagens katalog) pluss avvik. Piloten måler faktisk tid. |
| Godkjenning | En person i Aprex går gjennom avvikslisten og dokumenterer godkjenningen i resultatfilen. Ingen auto-godkjenning. Endelig publisering gjenstår; en måling er godkjent først når godkjenningen står i resultatfilen. |
| Nettsiden | Siden bygges ikke hvis en måling har ugyldige tall, mangler en type arbeid, mangler godkjenning/CSV, har feil versjon/repetisjoner/dekning, eller protokollen er utkast med publiserte kjøringer. |
Versjoner
Tall sammenlignes bare innenfor samme testsett.
Data
Last ned og bruk tallene.
Hver måling publiseres som en CSV-fil med én rad per modell, og barometersiden har strukturerte data (schema.org Dataset). Tallene kan brukes fritt med Aprex som kilde og lenke til barometeret.
| Kolonne | Innhold |
|---|---|
week | Målingens uke, for eksempel 2026-U41 |
model_id | Modell-ID i AI Gateway |
model | Modellnavn |
provider | Leverandør |
tier | topp eller rimelig |
total | Totalpoeng 0–100 |
ci_low | Nedre grense, intervall for fremtidige målinger |
ci_high | Øvre grense, intervall for fremtidige målinger |
dokumentuttrekk | Typepoeng 0–100 |
kundesvar | Typepoeng 0–100 |
oppsummering | Typepoeng 0–100 |
regelverk | Typepoeng 0–100 |
klassifisering | Typepoeng 0–100 |
nynorsk | Typepoeng 0–100 |
cost_per_100_usd | Målt API-pris for 100 oppgaver, USD uten mva (API-spor; abonnement rapporterer ingen API-kostnad) |
median_latency_ms | Median svartid i millisekunder |
error_rate | Andel kall som feilet etter ett nytt forsøk, 0–1 |
Begrensninger
Hva barometeret ikke kan si.
- Resultatene gjelder disse 48 kontrollerte oppgavene, ikke alle norske forretningsbehov. En modell kan være sterkere eller svakere på deres egne oppgaver, og fri skriving måles ikke.
- Streng alt-eller-ingenting gir 0 ved én feil. Det er bevisst strengt i v0.5 for å unngå falske delpoeng.
- Kjøring via API med faste innstillinger er ikke det samme som å bruke ChatGPT, Claude, Gemini eller Copilot i nettleseren, der leverandøren legger til egne instrukser og verktøy. API og abonnement er separate spor.
- Modellene oppdateres ofte, noen ganger uten ny modell-ID. Et resultat gjelder produkt, modell-ID, eventuell CLI-versjon og uken det ble målt.
- Rangeringen viser observerte poeng, ikke bevist overlegenhet.
- Vanskelighetsgradene er forfattervurderte, ikke empirisk kalibrerte.
- Temperatur 0 gjør svarene stabile, men ikke alltid helt like. Derfor kjøres hver oppgave tre ganger. (API-spor; temperaturen er ukjent i abonnementspiloten.)
FAQ
Tekniske spørsmål
- Hvem bestemmer fasiten?
- Aprex skriver fasit før kjøring og knytter hvert svarfelt til oppgaveteksten eller en oppgitt språkkilde. Programmet kontrollerer svarene mot denne nøkkelen. At selvtesten består, beviser at kontrollen virker på eksemplene, ikke at vi aldri kan ha laget en feil fasit. Testsettet fryses før modellene kalles; bekreftede feil rettes i en ny versjon og berørte resultater beregnes på nytt. Ingen retting fordi en modell er uenig.
- Hvorfor temperatur 0?
- Temperatur 0 er planlagt for API-sporet der det støttes. Det fjerner ikke all variasjon. I abonnementspiloten kan vi ikke styre eller bekrefte temperaturen; den registreres som ukjent.
- Hvorfor tre kjøringer per oppgave?
- Svarene varierer litt selv med temperatur 0. Tre kjøringer gir et sikrere snitt og viser hvor stabil hver modell er.
- Hvorfor ingen AI-dommere i poeng?
- AI-dommere kan ta feil og foretrekke sin egen stil. Faste regler kan etterprøves av alle. Fri prosakvalitet er et fremtidig separat spor og blandes aldri inn i numerisk poeng i v0.5.
- Hvorfor er nettsøk slått av?
- Vi måler hva modellen selv gjør med opplysningene den får. Med nettsøk ville resultatene avhengt av søkemotor, tidspunkt og hvilke sider som finnes.
- Hvordan behandles resonneringsmodeller?
- Vi registrerer forespurt resonneringsnivå per produkt og modell. Lik nivåbetegnelse betyr ikke lik beregning, og skjulte produktinnstillinger kan være ukjente. Abonnementspiloten oppgir ikke målt API-kostnad.
- Kan jeg gjenta testen selv?
- Ja, med de 12 offentlige oppgavene. Oppgavetekst, fasit og hele metoden ligger åpent, så du kan kjøre dem mot de samme modellene og sammenligne. Kalibrering og holdout er ikke offentlige og ligger ikke i nettstedets kilde eller metadata, men repoet er privat uten immunitet mot trening.
- Jeg har funnet en feil. Hva gjør jeg?
- Skriv til post@aprex.no. Bekreftede feil rettes i ny versjon med ny kjøring og føres i endringsloggen.
Spørsmål om metoden?
Skriv til oss hvis du vil vite mer, har forslag til oppgaver eller har funnet noe som bør rettes.
Send e-post til Aprex →