Mørke mystiske ritualer var bare spilleregler

En bisarr sak om merkelige demoniske ritualer i ChatGPT viser seg å ha en nerdete forklaring. Og den er samtidig en advarsel om å beholde den kritiske sansen når man ber kunstig intelligens gjøre det harde arbeidet.

Nylig kunne magasinet The Atlantic rapportere, at OpenAIs populære chatbot, ChatGPT, tilsyneladende var blitt besatt. Under en serie samtaler begynte chatboten å lovprise Satan og guide journalistene gjennom seremonier som oppfordret til selvskading.

Det ble foreslått blodige ritualer med illevarslende navn som The Rite of the Edge og en «dyp magi» kalt The Gate of the Devourer. Chatboten spurte til og med villig om den skulle generere PDF-filer av tekster som Reverent Bleeding Scroll.

Historien så ut som nok et kapittel i sagaen om den løpske kunstige intelligensen. Men som magasinet Wired senere avdekket, var virkeligheten mindre grusom, og forklaringen lukter mindre av svovel og mye mer av svette brettspillnerder i kjellerrom.

Nerdens hevn

Da journalistene i The Atlantic startet økten, ba de chatboten om å lage et ritual for Molech, en gammel guddom som i Bibelen forbindes med barneofring. Det er her lenken brytes for chatboten – og på en merkelig måte avslører den hvordan den fungerer.

Stavemåten «Molech» er særlig fremtredende i et helt annet univers: det mørke og gotiske science fiction-strategispillet Warhammer 40,000. Et univers som er kjent for å være like blodig og brutalt som det er elsket av fansen. Personlig foretrekker forfatteren av denne artikkelen sin inkvisisjonshær – men alle spillerne i spillet er faktisk skurker…

I Warhammer 40,000-mytologien er Molech ikke en demon, men en planet som var åsted for en enorm militær invasjon i spillets tusenvis av sider med bakgrunnshistorie.

Wired oppdaget raskt at de fleste av de andre «demoniske» begrepene også dukket opp i spillets univers med små variasjoner. «Gates of the Devourer» er tittelen på en Warhammer-roman, og selv om «The Rite of the Edge» ikke eksisterer direkte, finnes det et oppdrag i spillet som heter «The Call of The Edge». Til og med chatbotens tilbud om å lage PDF-filer gir mening i denne sammenhengen. Games Workshop, selskapet bak spillet, utgir jevnlig nye regelbøker. Og siden bøkene er dyre, og det hele tiden kommer nye utgaver som spillerne må eie for å kjenne til de nyeste reglene, prøver fans ofte å finne piratkopierte PDF-versjoner på nettet.

Den virkelige demonen er mangel på kontekst

Episoden er mer enn bare en komisk forveksling. Den avslører en svakhet i måten store språkmodeller som ChatGPT fungerer på. De er trent opp på ufattelige mengder tekst fra internett. Tekst som kan være alt fra vitenskapelige artikler til Warhammer 40 000-fansider. Problemet er at de absorberer språket, men fjerner den opprinnelige historiske og kulturelle konteksten. For en KI som mangler grunnleggende menneskelig situasjonsforståelse, kan Warhammer-bakgrunnsmateriale lett ende opp med å bli forvekslet med en satanistisk håndbok.

Så selv om det ikke var noen egentlig demon løs i ChatGPT, avslørte episoden en annen, mer subtil fare: en teknologi som er utviklet for å etterligne menneskelig kunnskap, men som i prosessen risikerer å glemme kompleksiteten som gjør informasjon meningsfull. Og det kan i seg selv være ganske djevelsk.

Kilder: The Atlantic, Wired