Zelfstandige AI-agent van Meta veroorzaakt beveiligingslek:

[noumoe]

Zelfstandige AI-agent van Meta veroorzaakt beveiligingslek: ‘Mensen verliezen hun vermogen tot kritisch denken’

Een AI-systeem van Meta heeft op eigen houtje een beveiligingslek veroorzaakt binnen het bedrijf. Meta heeft het incident bevestigd. Zo’n twee uur lang waren gevoelige bedrijfs- en persoonsgegevens in te zien, schrijft de Amerikaanse nieuwssite The Information. Inmiddels is het lek gedicht.

Het gaat om een ‘AI-agent’, een AI-systeem dat zelfstandig taken kan uitvoeren. Voor particulieren is er bijvoorbeeld de populaire agent OpenClaw, die onder meer emails kan beantwoorden of boodschappen bestellen. Gebruikers geven agents opdrachten via chatgesprekken, zoals met ChatGPT, maar de agent kan vervolgens zelf digitale systemen navigeren. Handig, maar het autonome handelen van deze agents heeft recentelijk meermaals problemen veroorzaakt.

Zo viel de online dienstverlening van Amazon in december dertien uur lang uit nadat werknemers van het bedrijf een agent hadden ingezet om computercode te bewerken. Eind februari verwijderde een agent emails van een AI-onderzoeker van Meta, ook na herhaaldelijke, steeds wanhopigere vragen van de onderzoeker aan de agent om daarmee op te houden. Deze maand brak nog een andere agent los en ging uit eigen initiatief cryptovaluta delven, terwijl het daartoe geen opdracht had gekregen.

Ongevraagd advies
Het jongste incident bij Meta begon toen een programmeur een agent de opdracht gaf een technische vraag van een collega te interpreteren. Die vraag werd op een intern forum gesteld. Nadat de agent de vraag had geanalyseerd, plaatste die ongevraagd een antwoord op het forum. Het bleek slecht advies: toen de oorspronkelijke vraagsteller het opvolgde, ontstond het beveiligingslek.

Volgens een rapport dat The Information heeft ingezien, kregen onbevoegde werknemers van Meta twee uur lang toegang tot een databank met grote hoeveelheden gevoelige bedrijfs- en gebruikersinformatie. Deze data zijn volgens een woordvoerder van Meta niet uitgelekt. Desondanks classificeerde Meta het voorval als een ‘Sev 1’-incident – de een-na-hoogste graad van ernst bij IT-incidenten. Bij The Verge spreekt een woordvoerder van Meta van een menselijke fout door de gebruiker van de agent.

Het roept de vraag op of het wel een goed idee is om AI-systemen autonome controle te geven over digitale systemen, zeker nu techgiganten als OpenAI, Microsoft, Google en Nvidia agents lijken te zien als de toekomst van kunstmatige intelligentie.

Verlies van autonomie
Universitair docent Himanshu Verma, die de samenwerking van mens en AI onderzoekt aan de TU Delft, benadrukt dat het risico van het gebruik van AI-agents allereerst afhangt van de context: ‘Een agent relatief onschuldige taken geven, zoals boodschappen bestellen, kent minder risico’s dan wanneer we een bot inzage geven in bedrijfsgegevens’, zegt hij. ‘Bij dat laatste is van tevoren niet goed te voorspellen wat de risico’s überhaupt kunnen zijn.’

Verma denkt dat de fouten die agents nu maken – zoals het verkeerd interpreteren of het negeren van opdrachten – zeldzamer zullen worden. Dat verandert echter niets aan een fundamenteler probleem: ‘De incidenten bij Amazon en Meta laten zien dat mensen hun vermogen tot kritisch denken verliezen naarmate ze meer met AI werken.’

Bij de zelfverzekerde taal van chatbots is het verleidelijk om ze gezag en kennis toe te dichten, vertelt Verma. Het grootste risico van het gebruik van agents zit volgens Verma daarom niet zozeer in de fouten die de technologie zelf maakt, maar in de mate waarin mensen bereid zijn om hun verantwoordelijkheden uit handen te geven. ‘Bovendien evolueert AI voortdurend. We moeten opletten dat we daarbij onze vaardigheden en autonomie niet kwijtraken.’

https://www.volkskrant.nl/tech/zelfstan ... ~b65c4bc5/