OpenAI’s realtime spraak-API biedt de mogelijkheid om AI-agenten te bouwen die voor minder dan een dollar succesvolle telefoonscams kunnen uitvoeren.
Deze technologie roept echter grote zorgen op. Het gebruik van overtuigende, gesimuleerde stemmen door AI-modellen kan leiden tot misbruik, stelt The Register. Dit was de reden dat OpenAI in juni de geavanceerde stemmodus in ChatGPT tijdelijk opschortte. Dit na kritiek op een demo die zonder toestemming de stem van de bekende actrice Scarlett Johansson (foto) nabootste.
Na deze demo gaf OpenAI in oktober de Realtime API vrij, die vergelijkbare functionaliteiten biedt aan externe ontwikkelaars. Hiermee kunnen ontwikkelaars tekst of audio invoeren, waarop OpenAI’s GPT-4o-model in tekst, audio of beide kan reageren. De veiligheidsmaatregelen lijken echter niet voldoende om misbruik te voorkomen.
Grote schade telefoonscams
Onderzoekers van de Universiteit van Illinois Urbana-Champaign (UIUC) onderzochten of men deze API kan gebruiken voor het automatiseren van telefoonscams. Volgens Daniel Kang, assistent-professor computerwetenschappen aan de UIUC, zijn jaarlijks naar schatting 17,6 miljoen Amerikanen slachtoffer van telefoonscams. Dit resulteert in een schade van ongeveer 40 miljard dollar.
AI-modellen met spraakfunctionaliteit kunnen dit soort scams automatiseren. “Onze bevindingen tonen aan dat deze agenten zelfstandig de benodigde acties kunnen uitvoeren voor verschillende telefoonscams,” aldus Kang. De onderzoekers wisten voor minder dan een Amerikaanse dollar succesvolle scams uit te voeren.
Stelen van gebruikersgegevens
Met slechts 1.051 regels code creëerden de onderzoekers AI-agenten die verschillende soorten van oplichting konden uitvoeren. Denk daarbij aan het stelen van gebruikersgegevens. Deze agenten gebruikten OpenAI’s GPT-4o-model, een browserautomatiseringstool genaamd Playwright en frauduleuze instructies.
Het slagingspercentage van de AI-scams varieerde. Het stelen van Gmail-gegevens was in 60 procent van de gevallen succesvol en kostte slechts $0,28 aan API-kosten, terwijl bankoverschrijvingen een slagingspercentage van 20 procent hadden en $2,51 kostten.
“OpenAI neemt veiligheid serieus”
OpenAI benadrukt dat het AI-veiligheid serieus neemt. De Realtime API bevat meerdere lagen van beveiliging om misbruik te voorkomen, zoals automatische monitoring en menselijke beoordeling. Toch blijft misbruik mogelijk, en experts pleiten voor verdere maatregelen op technologisch en beleidsniveau om de groeiende dreiging van geautomatiseerde scams in te dammen.