Nick Bostroms Superintelligens: vägar, faror, strategier lär vara boken man måste läsa när det gäller existentiella risker med artificiell superintelligens. Man skulle kunna hävda att scenarier med artificiell intelligens som löper amok är science fiction-fantasier som, om de någonsin kommer att bli en verklig risk, ligger långt in i framtiden. Det vet vi dock egentligen inte så mycket om, och även om det skulle vara så att det inte är något som kommer att bli aktuellt de närmaste hundra åren så är det högst rimligt att ta frågan på allvar och börja fundera över den redan nu.
Blogginläggets rubrik syftar på en kort oavslutad fabel som Bostrom inleder sin bok med. Fabeln handlar om några sparvar som kommer på att det skulle vara förträffligt om de hade en uggla som kunde ta hand om dem, bygga deras bon och skydda dem mot faror. De inleder därför försök att införskaffa ett uggleägg eller en liten uggleunge. En vresig gammal sparv invänder dock att innan man skaffar sig en uggla bör man säkerställa att man faktiskt kan kontrollera den. Kontrollproblemet är också centralt i Bostroms bok. Hur ska sparvarna (mänskligheten) kunna kontrollera ugglan (den artificiella superintelligensen som vi nog en dag, högst oklart när, kommer att skapa)?
Bostrom argumenterar övertygande för att när vi väl får artificiell superintelligens kan det komma att ske mycket snabbt, närmast explosionsartat, när vår skapelse väl kan börjar använda sina resurser för att förbättra sig själv. Och när den artificiella superintelligensen väl fått övertaget talar det mesta för att den kommer att vara en ohotad hegemon som med lätthet kommer att kunna göra sig av med mänskligheten om den så önskar, vilket den skulle om vi på något sätt står i vägen för dess slutmål. Och stå i vägen för dess slutmål skulle vi göra även om det rör sig om så banala saker som att räkna ut decimalerna i pi eller tillverka så många gem som möjligt. Mänskligheten upptar ju bland annat resurser som skulle kunna användas för att skapa mer beräkningskraft eller tillverka fler gem. Att försöka få in mänsklighetens välgång i superintelligensens slutmål är heller inte det lättaste, ty slutmålen kan lätt perverteras. Ett slutmål att göra mänskligheten lycklig kan exempelvis resultera i att superintelligensen helt enkelt planterar elektroder i människornas lustcentrum.
När det gäller kontrollproblemet föreslår Bostrom en rad åtgärder, av vilka alla har sina nackdelar och svaga punkter. Och om simpla människor kan se möjliga vägar förbi säkerhetsåtgärderna, vad ska då inte en vida överlägsen superintelligent artificiell intelligens kunna göra? Kanske är nyckeln att reducera riskerna genom designval, såsom att istället för att skapa en agent låta superintelligensen vara någon form av orakel som enbart besvarar frågor eller endast fungera som ett verktyg för oss människor. Det är dock inte så enkelt som man först skulle kunna tro och de olika designvalen är i slutändan inte skarpt avgränsade mot varandra.
Det går inte att komma ifrån att superintelligensen på något vis måste laddas med värden vilket kommer att vara en mycket stor utmaning. Det går knappast att skriva ned värdena i datakod utan värden är något den artificiella intelligensen troligen först kan omfamna fullt ut när den tagit språnget ikapp och förbi människan, och då kan det mycket väl vara för sent att ändra på något eftersom den artificiella intelligensen sannolikt kommer att motsätta sig att man ändrar på dess slutmål. Bostrom diskuterar i boken ett antal olika metoder för värdeladdning, men precis som med säkerhetsåtgärderna har var och en av dem sina möjliga baksidor och svagheter.
Skulle man lyckas lösa värdeladdningsproblemet så återstår frågan vilka värden den artificiella superintelligensen bör laddas med. Man kan ju leka med tanken att värdeladdningen av superintelligensen hade skett i någon tidsepok när man hade helt andra värderingar än nu för att inse att vår moraluppfattning av framtida människor nog kommer att anses vara förkastlig i vissa avseenden. Kanske är lösningen att ge den artificiella intelligensen slutmålet att förverkliga vår koherenta extrapolerade vilja, vår vilja såsom den skulle komma till uttryck hos en idealiserad version av mänskligheten.
Det finns många anledningar till att det är viktigt att börja fundera över implementationen av artificiell superintelligens så tidigt som möjligt. Även om skapandet av en artificiell superintelligens skapar en existentiell risk så minskar den samtidigt andra risker markant. Dock kan vissa teknologier kanske göra att vi har större möjligheter att minimera riskerna med superintelligensen och det skulle därför vara önskvärt att vi anammade dem först. Det kan därför vara avgörande i vilken ordning nya teknologier utvecklas av mänskligheten.
I bokens sista kapitel argumenterar Bostrom slutligen för att vi bör förbereda oss genom att förbättra vår strategiska analys och bygga upp kapacitet för att möta det som måste anses vara mänsklighetens mest betydelsefulla utmaning, där vi antingen förgörs av vår skapelse eller går en lysande framtid till mötes.
