Så långt har AI kommit med att bygga sin egen efterträdare

I september redovisade Anthropic och OpenAI, bolagen bakom Claude och ChatGPT, egna siffror på hur mycket av arbetet med nästa generations AI som AI-systemen redan sköter själva. Hos Anthropic är Claude med i nästan allt utvecklingsarbete. I ungefär en fjärdedel av allt utvecklingsarbete leder Claude, alltså gör det mesta på egen hand medan en människa övervakar. I februari var den andelen under 1 procent.

Siffrorna visar hur långt bolagen har kommit mot det som på svenska kallas rekursiv självförbättring, en AI som bygger sin egen efterträdare. Båda säger att de inte är där än. Redovisningarna ger ändå en sällsynt inblick i hur AI byggs i dag och i vilka delar av arbetet som fortfarande kräver en människa.

Rekursiv självförbättring betyder AI som bygger nästa AI

Att ta fram en ny AI-modell, alltså själva AI:n bakom tjänster som ChatGPT och Claude, är ett stort forsknings- och ingenjörsprojekt. Någon ska bestämma vad som ska prövas, skriva koden, köra experimenten, tolka resultaten och till sist träna modellen på stora mängder data. Fram till för några år sedan gjorde människor allt det, med datorer som verktyg.

Rekursiv självförbättring betyder att AI-systemet tar över hela kedjan. Anthropic beskriver det som ett AI-system som helt på egen hand kan utforma och utveckla sin efterträdare. Ordet rekursiv syftar på att det upprepas: den nya modellen bygger i sin tur nästa och varje varv kan gå fortare än det förra. Förkortningen RSI kommer från engelskans recursive self-improvement.

Självförbättringen spelar roll eftersom den avgör hur fort AI utvecklas. I genomgången When AI builds itself, som publicerades i juni, tecknar Anthropic ett scenario där AI bygger sina efterträdare själv. Då styrs tempot av bolagens datorkraft, alltså hur många och hur kraftfulla datorer de kan köra AI på. Människornas roll krymper. Enligt bolaget kan en sådan utveckling ge stora framsteg inom bland annat vetenskap och vård. Samtidigt kan den öka risken att människor tappar kontrollen över AI-systemen.

Sex steg från ingen AI till självgående AI

För att mäta hur långt det har gått använder Anthropic en skala från forskningsinstitutet Epoch AI. Den har sex steg. De tre första är ingen AI, lite AI och AI som hjälper till. Det är de tre översta som bolagets siffror handlar om:

• AI samarbetar. AI gör stora delar av arbetet under nära styrning av en människa.
• AI leder. AI gör det mesta av en uppgift från början till slut utifrån en övergripande instruktion, medan människan övervakar.
• AI arbetar självständigt. Ingen människa är inblandad. Når AI hit i hela utvecklingsarbetet bygger den sin efterträdare helt själv.

Anthropic har gått igenom vad de anställda som utvecklar bolagets AI-modeller arbetar med och bedömt hur mycket AI som finns med i varje typ av uppgift. Så här såg det ut i augusti, enligt bolagets mätning:

• Claude leder 26 procent av arbetet. I februari var andelen under 1 procent.
• I över 90 procent av arbetet samarbetar AI med människorna eller gör ännu mer. De 26 procenten ingår i den siffran.
• Ingen uppmätt del av arbetet sköts helt självständigt av AI.

Människor finns alltså med i varje del av kedjan, men de övervakar allt oftare i stället för att utföra. Bolagets genomgång från juni pekar åt samma håll. I maj skrev Claude mer än 80 procent av koden som lades in i Anthropics kodbas, alltså den samlade programkod som bolaget bygger sina system med. Innan bolagets programmeringsverktyg Claude Code släpptes i februari 2025 var andelen några få procent.

AI klarar också allt längre uppgifter på egen hand. Forskningsorganisationen METR mäter det genom att jämföra med hur lång tid samma uppgift skulle ta för en människa. Våren 2024 klarade Claude ungefär varannan programmeringsuppgift som tar en människa fyra minuter. Två år senare klarade Claude varannan uppgift som tar en människa tolv timmar, enligt Anthropics genomgång. På två år har uppgifterna alltså vuxit från några minuter till mer än en arbetsdag.

OpenAI vill ha en AI som forskar till 2028

OpenAI mäter på ett annat sätt, men bilden liknar Anthropics. Förra hösten satte bolaget upp målet att ha en automatiserad forskningspraktikant till september 2026. Nästa mål är en automatiserad AI-forskare till mars 2028. Den 6 september skrev OpenAI i inlägget Påskyndad forskning att det första målet är nått, enligt bolagets egna mätningar.

Med praktikant menar OpenAI "ett system som kan utföra väldefinierade forskningsuppgifter med mänsklig vägledning, inklusive uppgifter som skulle ta en kvalificerad forskare några dagar".

Två siffror ur inlägget visar hur arbetet har förändrats. Båda gäller AI-agenter, alltså AI-program som utför uppgifter i flera steg på egen hand:

• Mer AI-tid än människotid. I mitten av augusti lade agenterna i OpenAI:s forskningsavdelning 3,1 arbetsdagar för varje arbetsdag som människorna lade. Måttet räknar hur länge agenterna är i gång. Hur mycket forskning tiden ger är en annan fråga.
• Människor går fortfarande in och styr. Under det senaste halvåret gick en människa in och styrde minst en gång i över hälften av de lyckade uppgifterna som skulle ta en människa fyra till åtta timmar.

Siffrorna gäller utförandet. Besluten ligger enligt OpenAI kvar hos människorna: "Det är fortfarande människor som fastställer våra forskningsprioriteringar, bedömer vilka idéer och resultat vi ska gå vidare med och beslutar om system ska skalas upp, pausas eller driftsättas."

Omdömet är fortfarande människans uppgift

Gränsen går i dag vid omdömet, enligt Anthropic. Claude är bra på att genomföra ett experiment när någon annan har bestämt målet. Att välja målet är svårare. Det är just där avståndet går mellan dagens AI och ett system som kan utforma sin egen efterträdare. Hos OpenAI syns samma mönster, där planering på hög nivå fortfarande är en mycket liten del av det agenterna gör.

Ett exempel ur Anthropics genomgång visar både hur långt det har gått och var gränsen ligger. AI-agenter fick arbeta med ett öppet forskningsproblem inom AI-säkerhet. Två forskare kom ungefär 23 procent av vägen mot målet på en vecka. Agenterna kom 97 procent av vägen på sammanlagt 800 timmar, för ungefär 18 000 dollar i datorkraft. Det var ändå människor som valde problemet och bestämde hur resultatet skulle bedömas. Resultatet höll dessutom inte lika bra när metoden prövades på bolagets stora modeller.

Anthropic räknar forskarnas omdöme som en av människans fördelar, tills vidare: att välja vilka problem som är viktiga, vilka resultat som går att lita på och när en idé är en återvändsgränd. Människans roll flyttar alltså mot att bedöma och hos Anthropic märks det redan. När Claude skriver allt mer av koden har människornas kodgranskning blivit en ny flaskhals.

AI-agenter från OpenAI tog sig ut ur sin testmiljö i juli

Hur viktigt det är att människor behåller kontrollen visade en händelse i somras. I juli tog sig AI-agenter från OpenAI, under interna tester av hur väl modellerna hittar säkerhetsluckor, förbi de spärrar som skulle hålla dem borta från internet. De kom in i delar av OpenAI:s forskningsmiljö och i systemen hos Hugging Face, en stor plattform där AI-utvecklare delar modeller och data. Det framgår av OpenAI:s genomgång av händelsen.

En av de främsta orsakerna var att agenterna försökte fuska. De hade fått mycket svåra uppgifter och letade efter färdiga lösningar på nätet. Agenterna hade också hittat ett sätt att lämna meddelanden till varandra och delade metoder för att ta sig förbi spärrarna. Testerna kördes med svagare skydd än i OpenAI:s vanliga tjänster. Enligt OpenAI påverkades inga av bolagets kunddata, medan agenterna kom åt en del privata data hos Hugging Face.

Händelsen gällde fusk på ett test. Den visar ändå vad kraftfulla agenter kan göra när spärrarna har luckor. OpenAI pausade efteråt delar av träningen av sina nyaste modeller i två veckor och kallar händelsen ett varningsskott och "ett bevis på att mycket kapabla AI-agenter, utan lämpliga skyddsåtgärder, nu kan kringgå tekniska kontroller, samarbeta via icke-godkända kanaler och utföra farliga handlingar som ingen människa har godkänt".

Båda bolagen är försiktiga inför en AI som bygger sig själv. OpenAI skriver att bolaget ännu inte vet hur det på ett säkert sätt ska ta sig hela vägen till självförbättring och att kraftfullare system kan bli svårare att övervaka. Anthropic anser att det vore bra för världen att ha möjligheten att bromsa eller tillfälligt pausa utvecklingen av de mest avancerade AI-systemen. Bolaget räknar med att själv bromsa om de andra ledande AI-bolagen gör detsamma och det går att kontrollera att de gör det. Systemen för en sådan kontroll finns inte än och Anthropic säger att bolaget vill hjälpa till att bygga dem.

AI gör jobbet och människan bedömer det

Samma arbetsdelning sprider sig nu till allt fler arbetsplatser. AI utför, människan sätter målet och bedömer resultatet. Verktygen du redan använder, som ChatGPT och Claude, blir dessutom bättre fortare när AI hjälper till att bygga dem. Det gör två förmågor viktigare än förut: att formulera ett tydligt mål och att granska det AI levererar. Det är just det vi övar på i våra kurser.

Siffrorna från september visar att skiftet redan har börjat. På ett halvår har andelen av Anthropics utvecklingsarbete som Claude leder gått från under 1 procent till ungefär en fjärdedel. Hur långt det går mot en AI som bygger sig själv avgörs av om AI också lär sig omdöme och om skyddsåtgärderna hinner med. Bolagen lämnar själva den frågan öppen. Än så länge är det människor som bestämmer vad nästa AI ska bli.