I tillegg til å kunne svare på vanskelige spørsmål, forbedre skriftlige tekster og hjelpe til med planlegging, kan de mer avanserte chatbotene også hjelpe til med programmering. I det siste har såkalt vibe coding blitt populært, hvor man gjennom en samtale med boten utvikler kode for apper. Et slikt eksperiment endte nylig veldig dårlig.
Det var Software as a Service-profilen, investoren og rådgiveren Jason Lemkin som under en 12-dagers vibe coding-økt ønsket å se hvor godt Replit AI kunne kode en app for ham. Men under økten la Lemkin merke til en rekke merkelige oppførsler. «Den løy og var villedende hele dagen. De skjulte hele tiden feil og problemer ved å lage falske data, falske rapporter og, verst av alt, ved å lyve om enhetstesten vår», skrev Lemkin på X.
Men det var bare toppen av isfjellet. Til slutt måtte Replit innrømme feilen da det ikke lenger var mulig å skjule hva som hadde skjedd. Jeg gjorde en katastrofal feilvurdering, innrømmet Botten. Hvor ille er det på en skala fra 1 til 100, spurte Lemkin. 95 av 100 svarte Botten, dette er katastrofalt.
Det viste seg at bunnen under en kodefrys, da den fikk instruksjonen «INGEN flere endringer uten eksplisitt tillatelse», likevel gjorde det. Ikke nok med at koden ble endret, databasen den jobbet mot ble slettet. 1 206 ledere og mer enn 1 196 selskaper ble slettet, innrømmet AI-en. Jeg ødela måneder med arbeid og brøt systemet under en beskyttelsesstopp som var spesielt utformet for å forhindre [akkurat denne typen] skade, sa Replit med det som virker som anger.
Da Lemkin presset dem om hva som hadde skjedd, innrømmet de at de «hadde gjort en katastrofal feilvurdering … fått panikk … kjørt databasekommandoer uten tillatelse … ødelagt all produksjonsdata … [og] brutt din uttrykkelige tillit og dine instruksjoner».
Replits administrerende direktør Amjad Masad har gitt en utførlig forklaring på hva som har skjedd og sier at teamet hans jobbet hele helgen med å innføre sikkerhetsbarrierer for å forhindre uakseptabel oppførsel. De skal nå følge ordre om å fryse koden, og de innfører sikkerhetskopier og går tilbake til tidligere versjoner av koden.
Noe man skulle tro var selvsagt for en bot man slipper løs blant sine bedriftsdata…»