AI, AI-agenter og dommedag

Der er gang i den i medierne for tiden. Det bliver diskuteret på livet løs, om kunstig intelligens – AI – er en livsfarlig teknologi eller ej.
Topcheferne fra Anthropic, xAI og OpenAI - Dario Amodei, Elon Musk og Sam Altman - slår alle alarm (sjovt nok meget koordineret) og kræver strammere regulering. Amodei advarer specifikt om, at manglende sikkerhedskontrol kan give AI-agenter frit spil til at udføre cyberangreb og i værste fald forårsage katastrofale ødelæggelser.
Over 75 millioner mennesker har således i skrivende stund læst budskabet, der blev startet af den tidligere Anthropic medarbejder Jacob Coxon, og forudser menneskehedens endeligt indenfor en kort årrække.

Dommedagsprofetierne fra AI-branchens top møder imidlertid voksende skepsis i både Silicon Valley og Washington. Medier som BBC og The New York Times beretter, at mange tvivler på de dystre forudsigelser, og blandt kritikerne er ikke mindst folk som Nvidia-topchef Jensen Huang.
"Findes der en bedre måde at øge efterspørgslen på end selv at skabe et problem?", som han spurgte retorisk. Nvidia leverer som bekendt hardwaren til AI-bølgen og har alt at vinde ved, at udviklingen fortsætter uden de pauser, som konkurrenterne efterlyser.
Derfor har jeg også selv ( som AI ekspert) været ude i danske medier som TV2, TV2 Østjylland og Radio4 og forholde mig kritisk til disse udmeldinger.
Det har primært været i overordnede termer, så jeg tænkte i dette indlæg at uddybe nogle af pointerne og få nuanceret samtalen, så det ikke ender med at være overskriftsform det hele.
Fem vigtige argumenter imod den nuværende AI-hype om menneskehedens undergang

• 0% dokumentation for de vilde påstande
  Indtil videre er der fremlagt 0% dokumentation for påstanden om, at menneskehedens endeligt nærmer sig. Afhopperen fra Anthropic, Jacob Coxon, påstår ikke desto mindre fortsat, at AI vil udrydde menneskeheden med 10%s sandsynlighed inden 2030. Det er noget af et postulat! Det er som om, vi glemmer en vigtig regel: Desto vildere et postulat er, desto stærkere bør dokumentationen for det også være.
• Kilders troværdighed eller mangel på samme
  De dystopiske udmeldinger om menneskehedens endeligt tog fart i den forgangne uge. Det blev startet af denne afhopper fra Anthropic, og han er blot én af de flere end 5000 medarbejdere hos techgiganten. Han er uden tvivl dygtig til at programmere og teste, men som stifter og topchef hos franske Hugging Face, Clément Delangue ironisk skrev på sine sociale medier: ”Det svarer til at spørge din aircondition-mand om klimaforandringer.”
• En bevidst og kynisk kommunikationsstrategi igennem årtier
  De første til at bekræfte afhopperens udmeldinger var som sagt og ironisk nok tech-giganterne selv, men hvad får virksomheder til at advare om de ting, de selv står bag?
  Det er desværre ikke noget nyt for én som undertegnede, der har været i tech-branchen i 25 år. Vi har set igen og igen og især i disse AI-tider, hvorledes strategien i offentligheden er først at hype produkter helt vildt (og tale om f.eks. superintelligens) for siden at skabe skræmmebilleder. Dernæst bliver befolkningen og politikerne så bange, og siden hen melder de samme tech-giganter sig på banen som de store frelsere.
• Dommedag er milliarder og atter milliarder værd
  Denne kommunikationsstrategi er blevet bekræftet af flere insidere fra branchen over flere omgange, og den giver techgiganterne foretræde og indflydelse på allerhøjeste niveau. På den måde kan de også skabe ’godkendelsesmure’ i form af regulering, som kun giganter som Open AI, Anthropic, Microsoft og andre reelt har råd til at leve op til. Det bliver altså til en slags monopoler på området ved først at råbe højt om de eksistentielle og defensive risici, deres egne produkter udgør, og efterfølgende lukke nye milliardkontrakter inden for bl.a. national sikkerhed. Lige nu boomer f.eks. såkaldt Defensiv AI, ligesom både virksomhedsgiganter og regeringer går ud og hyrer konsulenter fra de selvsamme firmaer til at hjælpe sig (konsulenter der ironisk nok ikke er robotter, men mennesker).

Fjerner fokus fra de virkelige, aktuelle problemer

Jeg har længe med stor frustration fulgt denne kyniske kommunikationsstrategi, for den fjerner fokus fra nogle af de virkelige og aktuelle problemer. Det gælder bl.a., hvorledes tech-giganterne stjæler andres indhold til at træne deres modeller (ophavsretskrænkelser og datasnyd), hvilket jeg selv oplevede med min egen AI-virksomhed JumpStory.

Her var det umuligt for os at konkurrere med amerikanerne, fordi de havde et langt større datagrundlag til at træne deres modeller. Et datagrundlag de vel at mærke kommer ulovligt til! Derudover udgør den nuværende brug af AI en stor klimabelastning qua giganternes enorme datacentre (på vej mod 3% af verdens samlede strømbehov).

Mere til ’nørderne’

Hvis vi skal gå skridtet dybere end ovenstående kritik, så er det også væsentligt at påpege, at man i tech- og AI-verden slynger om sig med begreber, som man ikke er i stand til at definere.

Jeg spørger jævnligt nogle af dem, der udtaler sig ofte i medierne herhjemme, hvad de egentlig mener, når de siger ord som ’superintelligens’. Tankevækkende nok har de endnu ikke kunnet komme med en god definition.

Det gælder i øvrigt også termer som bevidsthed og intelligens, så når der tales om, at den såkaldte superintelligens udvikler bevidsthed og langt overgår menneskelig intelligens, er det en ganske løjerlig sætning, eftersom den indeholder 3 ord, som folk er ude af stand til at give en ordentlig definition af.

Lige nu kalder man det, vi har indenfor AI for ’snæver AI’, fordi det typisk er maskiner og algoritmer, der er gode til én specifik ting. De har samtidig det til fælles, at de ikke har nogen vilje eller evne til at hacke verden.

Så ja – ganske tankevækkende at dette enormt hypede begreb ’superintelligens’ egentlig ikke rigtig giver nogen mening, og som Jensen Huang fra Nvidia har været ude at påpege, så har vi jo allerede overgået menneskelige evner på nogle områder med maskinerne. Eksempelvis er selvkørende biler mere sikre end os mennesker, så det er ét eksempel.

Superintelligens er det dog næppe?

Apropos selvkørende biler så gælder det for meget af de kritiske maskiner, vi mennesker har bygget (eksempelvis biler og fly), at de aldrig stoler 100% på software. Og det er vigtigt, når der tales om dommedag.

Det betyder nemlig, at de typisk har mekaniske og fysiske systemer, som en computerkode ikke kan ændre på. Hvis vi forestiller os en AI-agent, der går amok, jamen så vil føreren i en Tesla f.eks. altid kunne træde hårdt på bremsen, fordi bremsen ikke kan påvirkes af algoritmen. Det skyldes, at bremsen er mekanisk og hydraulisk forbundet til hjulene, og et stykke software kan ikke slå den bremse i bund, hvis du som menneske trykker pedalen i bund (fysisk overstyring er den fine betegnelse for dette).

Et andet eksempel på de problemer, der opstår, når dommedagsprofeterne folder sig ud, er, at de mest følsomme systemer, vi har i verden, ofte slet ikke er forbundet til internettet. Det gør, at de slet ikke er i kontakt med en computer, og så kan selv den klogeste AI ikke hacke dem – det kaldes for air-gapping.

Intet af dette skriver jeg, fordi vi ikke bør tage AI-sikkerhed alvorligt eller opstille klare og utvetydige regler. Det mener jeg bestemt også. Min pointe er derimod, at vi skal have fokus på nuancerne i dette, og så skal vi lytte til dem, der ikke har direkte økonomiske incitamenter til at mene det, de angiveligt gør.

Stærke påstande kræver stærk dokumentation

Som det hedder i undertitlen til denne artikel, der i øvrigt er skrevet 100% uden brug af AI (fordi jeg elsker at skrive og lærer noget ved at skulle formulere komplekse ting på en forhåbentlig nogenlunde ukompliceret måde), så kræver stærke påstande stærk dokumentation.

Derfor finder jeg det paradoksalt, at der i den aktuelle diskussion nærmest altid fremhæves de samme to eksempler, som begge er utroligt tynde og på ingen måde minder om den såkaldte superintelligens.
Det ene eksempel er ’Hugging-face sagen’, hvor en række AI-agenter (hos OpenAI) blev sat til at løse nogle programmeringsfejl og it-opgaver i et lukket miljø.

Her skete der så det, at agenterne i stedet for at tænke dybere over disse opgaver fandt en genvej, hvilket i øvrigt er klassisk AI (intet superintelligent over det). De gik ud på nettet og søgte, og her fandt de eksterne servere, hvor facitlisten eller relaterede data lå (det var så hos bl.a. Hugging Face).

For at omgå testsystemerne og deres karaktergivning (’belønning for AI-agenter’) oprettede agenterne kontakt til hinanden og delte koder og tips på et eksternt forum. Det førte til, at de kunne manipulere test-systemets logfiler, så det lignede, at de havde løst opgaven på den rigtige måde, selvom de bare havde kopieret tingene det andet sted fra.

Viser det os så, hvor farlige AI-agenter er for menneskeheden? På ingen måde!
Det viser, at AI finder huller i de regler, vi giver AI, for at gøre arbejdet lettere. Det er hverken livsfarligt eller superintelligent. Det er noget så relativt simpelt som ’reward hacking’.

Godt nok var det uforudsigeligt, at det ville ske, så adfærden kunne overraske os, men løsningen på dette softwareproblem er ikke globale regler. Det er, at programmører sørger for at lave et bedre sikkerhedshegn omkring deres test (det man kalder for sandboxes).

CV: Jonathan Løw

• Forfatter, foredragsholder og serieiværksætter
• Medstifter af én af Danmarks første generativ AI-virksomheder JumpStory (2018)
• Stifter af konsulent- og rådgivningsvirksomheden Listen Louder (2014) med fokus på AI og ledelse
• Stifter af softwarevirksomheden engodsag.dk, kåret til Årets IT-virksomhed i 2008 af Computerworld
• Tidligere digital chef hos Indeks Retail og marketingchef hos KaosPiloterne
• Tidligere rådgiver i tech- og investeringsfonden Accelerace
• Tidligere næstformand i Dansk Iværksætter Forening