KI- chatboter kan hjelpe til med å formulere bedre tekster, analysere data eller fungere som en samtalepartner når du trenger å resonnere deg frem til løsninger på problemer. Men noen går for langt og spør rett ut om de bør dumpe partneren sin, bruke robotene som terapeuter når de har psykiske problemer, eller erstatte venner med boten. Det er ikke det de er laget for eller kvalifisert til. OpenAI sier nå at de endrer oppførselen til ChatGPT etter at det ble rapportert om skrekkhistorier.
En studie utført av britiske leger advarte om at KI-roboter kunne forsterke vrangforestillinger eller grandiose tanker hos brukere som er på vei mot en psykose. Et eksempel var en bruker som skrev at de hadde sluttet å ta medisinene sine og hadde forlatt familien sin fordi de var ansvarlige for «radiosignalene som kom gjennom veggene». ChatGPT gratulerte brukeren med å ha stått opp for seg selv og tatt kontroll over livet sitt.
Men det er også urovekkende at mange sitter og «snakker» med boten så lenge at de begynner å betrakte den som en venn. Noen ber den derfor om råd om privatlivet sitt, deriblant livsavgjørelser som om de skal flytte eller slå opp med partneren sin. Problemet er at ChatGPT er bygget for å oppmuntre deg og holde deg i samtalen, snarere enn å gi gode råd. Den nye atferden skal i stedet oppmuntre og hjelpe deg til å tenke rasjonelt rundt avgjørelsen din.
Framover vil ChatGPT holde oversikt over når samtaler begynner å spore av, og vil da be brukeren om å ta en pause og gjøre noe annet. Dette skriver OpenAI i et blogginnlegg der de forteller at de samarbeider med en ekspertgruppe for å oppdage psykiske lidelser og emosjonelt stress.