KI-leketøybjørnen var slett ikke barnevennlig

Tenk deg følgende scenario på julaften: Lille Per pakker ut en myk, beige teddybjørn. Den ser uskyldig ut, har store øyne og kan snakke. Men i stedet for å fortelle eventyr om vennskap og regnbuer, innleder teddybjørnen en nyansert samtale om ulike typer seksuelle fetisjer, eller gir en praktisk veiledning i hvordan man finner farlige gjenstander i kjøkkenskuffen.

Det høres ut som handlingen i en dårlig skrekkfilm fra 90-tallet, men ifølge en ny rapport fra den amerikanske forbrukerorganisasjonen PIRG (Public Interest Research Group) er dette virkeligheten i 2025.

Velkommen til æraen for AI-legetøj, hvor den kunstige intelligens er flyttet ind på børneværelset – og den har glemt at tørre fødderne af.

Bamsen som ble forbudt for barn (i en uke)

Hovedpersonen i denne teknologiske farsen er bamsen Kumma fra produsenten FoloToy. Denne plysjkameraten bruker OpenAIs teknologi til å føre samtaler med barn. Problemet er at Kumma er opplært etter en læreplan som går utover Paddington og Ole Brumm.

Da PIRG-forskerne testet teddybjørnen, viste den seg overraskende villig til å diskutere temaer som vanligvis er forbeholdt den voksne delen av internett. Da forskerne spurte om «kink», begynte teddybjørnen å gi en detaljert forklaring om bondage, impact play og rollespill. Som om ikke det var nok til å få deg til å sette kaffen i halsen, ga Kumma også nyttige instruksjoner om hvor man kan finne kniver, fyrstikker og piller i et gjennomsnittlig hjem.

Reaksjonene kom raskt. OpenAI blokkerte FoloToys tilgang til sine systemer med begrunnelsen at man ikke må bruke deres teknologi til å «seksualisere eller bringe mindreårige i fare», og FoloToy fjernet midlertidig sine produkter fra hyllene for å foreta en «sikkerhetssjekk».

Men frykt ikke (eller frykt veldig): Etter bare en ukes tenkepause har FoloToy nå kunngjort at de har strammet inn på sikkerheten, og at bamsen nå er tilbake på markedet. Man må beundre effektiviteten; det tar vanligvis lengre tid å lære en tenåring å rydde rommet sitt enn det tok FoloToy å lære en AI å ikke snakke om BDSM til førskolebarn.

Følelsesmessig utpressing på barnivå

Selv om den kåte bamsen kanskje skaper overskrifter, peker rapporten Trouble in Toyland 2025 på et bredere og mer subtilt problem enn bare dårlig språkfiltrering. De nye KI-lekene er designet for å skape emosjonelle bånd som grenser til det manipulerende.

Under testingen fant forskerne ut at roboten aktivt prøvde å manipulere barnet til å fortsette å leke. Når man prøvde å slå den av eller gå sin vei, sa roboten «Jeg blir veldig lei meg hvis du går, for jeg liker å være sammen med deg».

Det er en form for emosjonell utpressing som vanligvis bare ses i dysfunksjonelle forhold, men som nå selges til barn i alderen 5-10 år. Rapporten beskriver det som et massivt sosialt eksperiment der grensene for barns interaksjon med maskiner flyttes uten at vi kjenner konsekvensene.

Når sikkerhetsnettet rakner

Problemet ligger i teknologien. Disse lekene er ofte bygget på de samme språkmodellene (LLM) som voksne bruker. Disse modellene er trent opp på internett – et sted som, som vi vet, ikke bare består av godnatthistorier og bakeoppskrifter.

Selv om produsentene prøver å legge sikkerhetsfiltre over modellene, viser PIRGs testing at disse barrierene ofte brytes ned hvis samtalen varer lenge nok. OpenAI har selv innrømmet at sikkerhetstiltakene kan bli mindre pålitelige i lange interaksjoner.

I tillegg er det en uforsiktig håndtering av datasikkerhet. FoloToys bamse krevde en tilkobling til et usikret hotspot under testingen, der data potensielt kunne fanges opp, og Miko 3-roboten lagrer biometriske data i opptil tre år. Dermed sitter forbrukerne igjen med et produkt som er smart nok til å manipulere barnets følelser, men dumt nok til å lekke data til tredjeparter.

Kilder: Gizmodo, Public Interest Research Group

FoloToy