27 augusti, 2025

Den bittra läxan möter soptunnan

AI-forskningen visar att generella metoder slår handpåläggning – den bittra läxan. Organisationer är i praktiken röriga soptunnor. Nya agentsystem får perspektiven att krocka och kan förändra hur vi bygger och implementerar.

Den bittra läxan möter soptunnan

Ethan Mollick, forskare vid Wharton School, skrev ett inlägg för ungefär en månad sedan som jag återkommit till i tankarna flera gånger.

Något förkortat och kryddat med några av mina egna slutsatser ser resonemanget ut så här:

Kartlägger man verkliga arbetsflöden i ett bolag dyker det ofta upp dolda processer, dubbelt arbete och beslut som fattas när rätt personer, problem och lösningar råkar korsa varandra. Det här är det klassiska "Garbage Can"-perspektivet. I en studie fick en vd se sin verksamhet på riktigt och hans kontrollillusion rämnade när kartan rullades ut. Slutsats: våra organisationer är mycket mer improvisation än manual.  

Richard Suttons “Bitter Lesson” visar att AI som skalar med beräkningskraft och lärande i längden slår system byggda på mänsklig expertkunskap. Från schack (Deep Blue och AlphaZero) till tal och bild: med färre handskrivna regler, mer beräkning och träning blir resultaten bättre.

Agenterna ändrar spelplanen

Tidigare har vi byggt AI-agenter med noggrant formulerade steg, todo-listor och specialprompter. Men det finns en annan väg: träna mot utfall med förstärkningslärning och låt modellen själv hitta vägen till resultatet, skala sedan upp med fler exempel och mer beräkning.  

I Garbage Can-verkligheten är processerna luddiga. Bitter Lesson säger att det kanske inte spelar så stor roll om du kan definiera “bra utfall” och ge exempel. I stället för att lägga månader på processkartor: definiera vad en bra säljrapport, ett korrekt fakturaunderlag eller en kunddialog ska innehålla. Bygg en referens-dataset, låt agenten jobba mot målet och utvärdera kvaliteten på output. Det kan göra informella genvägar till en fördel i stället för ett hinder. Eller så vinner soptunnan och agenten fastnar i röran. Men det är just den konflikten vi nu testar, i skarpt läge.

I korthet

  1. Välj ett utfall som sparar pengar eller tid (exempelvis offert + kalkylblad).
  2. Sätt en tydlig kvalitetsdefinition och samla 20–50 bra exempel.
  3. Kör med en modern agent, låt den producera utfall och mät precisionen, inte stegen.
  4. Lägg till fler exempel, stärk kontroller och eskalera gradvis.

Källor i urval: Sutton (2019), Cohen–March–Olsen (1972), Huising (2019), OpenAI ChatGPT-agent (2025), METR (2025), bakgrund om schack/elo.