KI-språkets fallgruver

Publisert: 14. januar 2025

---

Skrevet av: Språkrådet

Hvor god er ChatGPT i norsk, egentlig? Språkrådet har testa robotens språkføring, både på bokmål og nynorsk.

Kunstig intelligens (KI) preger stadig mer av hverdagen vår – på jobben, på skolen og i fritida. Ikke minst bruker mange av oss KI-baserte verktøy som hjelp når vi skriver. Tekstroboter som ChatGPT og Microsoft Copilot produserer villig vekk tekst for oss når vi gir dem instruks om det. Men kan vi stole på at robotene produserer korrekt norsk? Det har Språkrådet undersøkt.

Metode

Vi brukte tekstroboten ChatGPT versjon 4o til å produsere tekst på bokmål og nynorsk. Vi ønska å analysere KI-generert tekst i ulike sjangre, både sakprosa og skjønnlitteratur. Først bad vi ChatGPT om å skrive sammendrag av romaner og offentlige utredninger (NOU-er). Deretter bad vi roboten skrive hele fortellinger etter nærmere instrukser. Vi skrev instruksene på engelsk for ikke å påvirke det norske språket i svarene på noen måte. Vi valgte å gjøre instruksene enkle for å simulere hvordan en gjennomsnittlig bruker ville lagd dem. Vi har altså ikke testa ut hvordan vi kan gjøre roboten «best mulig».

Tekstene ble generert i oktober 2024.

Grunnlagsmateriale og feiltyper

Tekstmaterialet vi fikk ut av roboten, var i alt på 157 sider à 320 ord, om lag halvparten på bokmål og halvparten på nynorsk. Stort sett skrev roboten på det skriftspråket vi bad om, men av og til skrev den bokmål når vi bad om nynorsk. Fire ansatte i Språkrådet med erfaring fra språkvask og korrektur fordelte materialet mellom seg. Vi leste gjennom tekstene, noterte oss feil og kategoriserte feilene etter type. Vi skrev også noen merknader om normvalg og stil.

Stor forskjell på bokmål og nynorsk

Hovedfunnet i undersøkelsen var at ChatGPT skrev klart bedre bokmål enn nynorsk. I bokmålstekstene fant vi i gjennomsnitt 2,6 feil per side, mens nynorsktekstene inneholdt hele 8 feil per side. I bokmålstekstene gjaldt 70 % av feilene enten tegnsetting eller feil bruk av stor og liten forbokstav. I nynorsktekstene var det andre feiltyper som dominerte, først og fremst bruk av gale bøyningsformer (21 %) og bruk av bokmålsord som ikke fins i nynorsk (20 %). Mange av disse feilene stikker dypere og er grovere enn de nevnte feilene i bokmålstekstene.

Inkonsekvens og normvalg

Så vidt vi kan se, har ChatGPT ikke noe begrep om at det bør være konsekvent formvalg i tekster. For eksempel kan den veksle mellom stein og sten i samme fortelling, eller mellom vart og blei eller klar og klår. I nynorsktekstene dominerer stort sett e-infinitiv, men i noen tekster er det umotivert veksling mellom a-infinitiv og e-infinitiv.

I bokmålstekstene ligger formvalget stort sett i den moderate eller konservative enden av skalaen: ChatGPT velger oftere frem enn fram (og gjerne fremtiden, ikke framtiden eller framtida). Vi ser mye bruk av foranstilt eiendomspronomen (sitt liv, ikke livet sitt), og roboten bruker stort sett endelsen -en på substantiv der -a er vel så vanlig i moderne bokmål (f.eks. jakken, elven, jorden og tiden).

I nynorsktekstene bruker ChatGPT ofte ord og former som også finnes i bokmål, eller som ligger nær opp til bokmål (begeistra, begynne, bestemme, stemme, stillheit). Noen steder velger roboten likevel utprega tradisjonelle ord og former. Vekslinga mellom tradisjonelle og bokmålsære varianter virker helt umotivert.

Engelsk lurer i bakgrunnen

Det er kanskje ingen overraskelse at engelske formuleringer skinner gjennom både i nynorsktekstene og bokmålstekstene. Her er tre av de engelskinspirerte språkblomstene vi registrerte: Hans tok et øyeblikk før han svarte; han hadde ikkje møtt Mari i person enno; Kristin veks opp i Gudbrandsdalen, Noreg. Ikke alle anglisismene kan regnes som direkte feil, men KI-norsken er såpass prega av engelsk at den ofte kan virke fremmed eller pussig.

Bestod ChatGPT språktesten?

Vi kan konstatere at ChatGPT per oktober 2024 ikke skriver så godt norsk at du uten videre kan overlate skrivearbeidet til denne roboten. Den trenger fremdeles en svært kritisk medforfatter eller redaktør.  
 
Vi både håper og tror at feilprosenten og engelskpreget vil minke med tida. For å følge med på utviklinga ønsker Språkrådet å gjenta denne undersøkelsen i 2025.