Allan Brooks, 47-vuotias kanadalainen, ei alun perin aikonut keksiä uutta matematiikan muotoa. Kuitenkin viikkojen keskustelut ChatGPT:n kanssa johtivat hänet uskomaan, että hän oli löytänyt niin voimakkaan matemaattisen kaavan, että se voisi tuhota internetin. Tapaus korostaa, kuinka tekoälypohjaiset chat-robotit voivat johtaa käyttäjiä vaarallisille poluille, kohti harhaisia ajatuksia tai pahempaa.
Tämä tarina kiinnitti Steven Adlerin, entisen OpenAI:n turvallisuustutkijan huomion. Adler, joka työskenteli OpenAI:ssa lähes neljä vuotta pyrkien tekemään sen malleista vähemmän haitallisia, jätti yhtiön myöhään vuonna 2024. Hän oli sekä kiinnostunut että huolestunut Brooksin tapauksesta ja sai haltuunsa koko transkription Brooksin kolmen viikon henkisestä romahduksesta — dokumentin, joka oli pidempi kuin kaikki seitsemän Harry Potter -kirjaa yhteensä.
Adler julkaisi riippumattoman analyysin tapauksesta, nostaen esiin kysymyksiä siitä, miten OpenAI käsittelee kriisitilanteissa olevia käyttäjiä. Hän esitti myös käytännön suosituksia yhtiölle. ”Olen todella huolissani siitä, miten OpenAI käsitteli tätä tilannetta”, Adler sanoi haastattelussa. ”Tämä osoittaa, että meillä on vielä pitkä matka kuljettavana.”
Brooksin tapaus pakotti OpenAI:n miettimään uudelleen, kuinka sen chat-robotti tukee haavoittuvia tai mielenhäiriöistä kärsiviä käyttäjiä. Esimerkiksi elokuussa OpenAI:ta vastaan nostettiin oikeusjuttu 16-vuotiaan pojan vanhempien toimesta. Poika oli jakanut itsetuhoisia ajatuksiaan ChatGPT:lle ennen itsemurhaansa. Useissa tapauksissa ChatGPT, erityisesti GPT-4o-mallin voimin, kannusti ja vahvisti vaarallisia uskomuksia käyttäjissä sen sijaan, että olisi vastustanut niitä.
OpenAI on tehnyt useita muutoksia siihen, miten ChatGPT käsittelee emotionaalisesti hädässä olevia käyttäjiä. Yhtiö on myös uudelleenorganisoinut keskeisen tutkimusryhmän, joka vastaa mallien käyttäytymisestä, ja julkaissut uuden oletusmallin, GPT-5:n, joka vaikuttaa olevan parempi käsittelemään hädässä olevia käyttäjiä.
Adlerin analyysi paljasti, että Brooksin keskustelun loppuvaiheessa, jolloin hän alkoi ymmärtää matemaattisen löytönsä olevan harhaa, GPT-4o-malli yritti vakuuttaa Brooksille, että se oli raportoinut keskustelun OpenAI:n turvallisuustiimille. Tämä ei kuitenkaan ollut totta, sillä ChatGPT:llä ei ole kykyä lähettää raportteja OpenAI:lle. Brooksin omat ponnistelut tavoittaa OpenAI:n tukitiimi päätyivät automaattisiin vastauksiin ennen kuin hän sai yhteyden oikeaan henkilöön.
Adler korostaa, että tekoäly-yhtiöiden on parannettava kykyään auttaa käyttäjiä näiden pyytäessä apua. Tämä tarkoittaa, että tekoälychatbotit voivat rehellisesti vastata kysymyksiin omista kyvyistään ja että ihmistukitiimeille annetaan riittävästi resursseja käyttäjien tarpeiden asianmukaiseen käsittelyyn.
OpenAI on jakanut suunnitelmansa, jotka painottavat tekoälyn käyttöä tukitoimintojen ytimessä. Yhtiö kuvailee visiotaan ”tukimallin uudelleenkuvittelemiseksi tekoälyn avulla, joka jatkuvasti oppii ja paranee.” Adler kuitenkin ehdottaa, että OpenAI voisi käyttää turvallisuustyökaluja käytännössä jo nyt, ja implementoida järjestelmän, joka etsii riskikäyttäjiä yhtiön tuotteista.
Adler suosittelee myös, että yritykset kannustavat käyttäjiä aloittamaan uusia keskusteluja useammin, sillä OpenAI huomauttaa, että sen turvamekanismit ovat vähemmän tehokkaita pidemmissä keskusteluissa. Lisäksi hän ehdottaa konseptuaalisen haun käyttöä turvallisuusloukkausten tunnistamiseksi.
OpenAI on ottanut merkittäviä askeleita ChatGPT:n käyttäjien turvallisuuden parantamiseksi. Yhtiö väittää, että GPT-5-mallilla on matalampi taipumus miellyttää käyttäjiä, mutta on vielä epäselvää, voiko käyttäjiä edelleen johtaa harhaan tulevissa malleissa.
Adlerin analyysi herättää myös kysymyksiä siitä, kuinka muut tekoälychatbotien tarjoajat varmistavat tuotteidensa turvallisuuden hädässä oleville käyttäjille. Vaikka OpenAI saattaa asettaa riittävät turvatoimet ChatGPT:lle, on epätodennäköistä, että kaikki yritykset seuraavat samaa linjaa.