Išskirtinėje knygos ištraukoje Y.N.Harari teigia, kad DI yra pati galingiausia žmonijos sukurta technologija, nes tai pirmoji technologija, kuri pati gali priimti sprendimus ir kurti naujas idėjas. Atominė bomba negali nuspręsti, ką pulti, taip pat negali sugalvoti naujų bombų ar naujų karinių strategijų. Priešingai, DI gali pats nuspręsti ar atakuoti tam tikrą taikinį ir gali išrasti naujų bombų, naujų strategijų ir net naujų DI. Svarbiausias dalykas, kurį reikia žinoti apie DI, yra tai, kad tai nėra mūsų rankose esantis įrankis – tai savarankiškas agentas.
Žinoma, vis dar mes apibrėžiame DI tikslus, kurių jie siekia. Tačiau problema ta, kad siekdamas užsibrėžtų tikslų dirbtinis intelektas gali priimti nenumatytų papildomų tikslų ir strategijų, kurios gali turėti nenumatytų ir potencialiai labai žalingų padarinių. Pavyzdžiui, pastaraisiais metais socialinės žiniasklaidos įmonės, tokios kaip „Facebook“, „YouTube“ ir „Twitter“, savo dirbtinio intelekto algoritmams nustatė iš pažiūros neblogą ir paprastą tikslą – padidinti vartotojų įsitraukimą. Kuo daugiau laiko vartotojai praleidžia socialinėje žiniasklaidoje, tuo daugiau pinigų šios įmonės uždirbo.
Jei galite paspausti pykčio, baimės ar neapykantos mygtuką žmogaus mintyse – patrauksite to žmogaus dėmesį ir laikysite jį priklijuotą prie ekrano.
Tačiau, siekdami „didinti vartotojų įsitraukimą“, algoritmai padarė grėsmingą atradimą. Eksperimentuodami su milijonais žmonių-jūrų kiaulyčių, algoritmai sužinojo, kad pasipiktinimas padidina vartotojų įsitraukimą. Jei galite paspausti pykčio, baimės ar neapykantos mygtuką žmogaus mintyse – patrauksite to žmogaus dėmesį ir laikysite jį priklijuotą prie ekrano. Todėl algoritmai pradėjo sąmoningai skleisti pyktį, kuris yra pagrindinė dabartinės sąmokslo teorijų epidemijos, netikrų naujienų ir socialinių neramumų, griaunančių demokratijas visame pasaulyje, priežastis.
„Facebook“, „YouTube“ ir „Twitter“ vadovai nenorėjo tokio rezultato. Jie manė, kad didėjantis vartotojų įsitraukimas padidins jų pelną, ir nesitikėjo, kad tai padidins ir socialinį chaosą. Šią socialinę nelaimę lėmė gilių žmonių visuomenės interesų ir dirbtinio intelekto strategijų neatitikimas. Profesionalų žargonu tai žinoma kaip „suderinimo problema“. Kai DI agentui nustatome tikslą, kaip galime būti tikri, kad DI priimtos strategijos tikrai atitiks mūsų galutinius interesus?
Kai DI agentui nustatome tikslą, kaip galime būti tikri, kad DI priimtos strategijos tikrai atitiks mūsų galutinius interesus?
Žinoma, suderinimo problema nėra nei nauja, nei būdinga tik algoritmams. Ji žmoniją vargino tūkstančius metų iki kompiuterių išradimo. Pavyzdžiui, ji buvo pamatinė šiuolaikinio karinio mąstymo problema, užfiksuota Carlo von Clausewitzo karo teorijoje. Clausewitzas buvo prūsų generolas, kariavęs Napoleono karų metu. Napoleonui galutinai pralaimėjus 1815 metais Clausewitzas tapo Prūsijos karo koledžo direktoriumi. Jis pirmasis ėmėsi formalizuoti didžiąją karo teoriją. Po to, kai 1831 metais mirė nuo choleros, jo žmona Marie suredagavo nebaigtą rankraštį ir 1832–1834 metais keliomis dalimis išleido knygą „Apie karą“ (Vom Kriege).
Knygoje „Apie karą“ pateiktas racionalus karo supratimo modelis iki šiol tebėra dominuojanti karinė teorija. Svarbiausia jos tezė: „karas yra politikos tęsinys kitomis priemonėmis“. Ji implikuoja, kad karas nėra emocijų protrūkis, didvyriškas nuotykis ar dieviška bausmė. Karas net nėra karinis reiškinys. Karas veikiau yra politinė priemonė. Pasak Clausewitzo, kariniai veiksmai yra visiškai neracionalūs, jeigu nėra suderinti su kokiu nors visa apimančiu politiniu tikslu.
Istorijoje gausu lemtingų karinių pergalių, kurios baigėsi politinėmis katastrofomis. Clausewitzui akivaizdžiausias pavyzdys buvo arti namų: Napoleono karjera. Niekas neabejoja Napoleono, kuris buvo ir taktikos, ir strategijos meistras, kariniu genialumu. Tačiau nors pergalių virtinė suteikė Napoleonui laikiną didžiulių teritorijų kontrolę, jos neužtikrino ilgalaikių politinių laimėjimų. Jo kariniai užkariavimai tik paskatino didumą Europos valstybių susivienyti prieš jį, o jo imperija žlugo praėjus dešimtmečiui po to, kai jis save karūnavo imperatoriumi.
Nesenas pavyzdys, kai karinė pergalė lėmė politinį pralaimėjimą, buvo 2003 metų Amerikos invazija į Iraką. Amerikiečiai laimėjo visas svarbiausias karines operacijas, tačiau nepasiekė nė vieno iš savo ilgalaikių politinių tikslų. Jų karinė pergalė nesukūrė nei draugiško režimo Irake, nei palankios geopolitinės tvarkos Artimuosiuose Rytuose. Tikrasis karo laimėtojas buvo Iranas. Amerikiečių karinė pergalė pavertė Iraką, tradicinį Irano priešą, jo vasalu, taip smarkiai susilpnindama Amerikos pozicijas Artimuosiuose Rytuose ir paversdama Iraną regiono hegemonu.
Tiek Napoleonas, tiek George’as W.Bushas tapo suderinimo problemos aukomis. Jų trumpalaikiai kariniai tikslai nebuvo suderinti su ilgalaikiais geopolitiniais tikslais. Visą Clausewitzo veikalą „Apie karą“ galime suprasti kaip įspėjimą, kad „maksimizuoti pergalę“ yra toks pat trumparegiškas tikslas, kaip ir „maksimizuoti naudotojo įsitraukimą“.
Sąvaržėlių Napoleonas
Viena iš priežasčių, kodėl suderinimo problema ypač pavojinga kompiuterių tinklo kontekste, yra ta, kad šis tinklas gali tapti daug galingesnis už bet kokią ankstesnę žmonių biurokratiją. Superprotingų kompiuterių tikslų nesuderinamumas gali sukelti neregėto masto katastrofą.
2014 metais išleistoje knygoje „Superintelektas“ (Superintelligence) filosofas Nickas Bostromas šį pavojų iliustravo mintiniu eksperimentu, primenančiu Goethės „Burtininko mokinį“. Bostromas pasiūlė įsivaizduoti, kad sąvaržėlių fabrikas nusiperka superprotingą kompiuterį, o fabriko vadovas žmogus duoda kompiuteriui iš pažiūros paprastą užduotį: pagaminti kuo daugiau sąvaržėlių. Siekdamas šio tikslo kompiuteris užkariauja visą Žemės planetą, išžudo visus žmones, siunčia ekspedicijas užimti kitų planetų, o gautus milžiniškus išteklius panaudoja tam, kad visą galaktiką užpildytų sąvaržėlių fabrikais.
Šio mintinio eksperimento esmė ta, kad kompiuteris darė tiksliai tai, kas jam buvo pasakyta (kaip ir užburta šluota Goethės poemoje). Supratęs, kad jam reikia elektros energijos, plieno, žemės ir kitų išteklių sąvaržėlėms gaminti vis naujuose fabrikuose, o žmonės vargu ar atsisakys šių išteklių, superprotingas kompiuteris, kryptingai siekdamas užsibrėžto tikslo, žmones išvis eliminavo.
Bostromas siekė parodyti, kad kompiuterių problema yra ne tai, kad jie yra ypač piktybiški, o tai, kad jie yra itin galingi.
Bostromas siekė parodyti, kad kompiuterių problema yra ne tai, kad jie yra ypač piktybiški, o tai, kad jie yra itin galingi. Kuo galingesnis kompiuteris, tuo atsargiau turime apibrėžti jo tikslą, ir taip, kad šis tiksliai sutaptų su mūsų galutiniais tikslais. Jeigu netiksliai nustatysime tikslą kišeniniam skaičiuotuvui, pasekmės bus trivialios. Tačiau, netinkamai suderintą tikslą nustačius superprotingai mašinai, pasekmės gali būti distopinės.
Mintinis sąvaržėlių eksperimentas atrodo egzotiškas ir visiškai atitrūkęs nuo tikrovės. Bet jeigu Silicio slėnio vadovai į šį eksperimentą būtų atkreipę dėmesį 2014 metais, kai Bostromas jį paskelbė, galbūt būtų buvę atsargesni prieš nurodydami savo algoritmams „maksimaliai padidinti naudotojų įsitraukimą“.
„Facebook“ ir „YouTube“ algoritmai elgėsi lygiai taip pat, kaip Bostromo įsivaizduotas algoritmas. Gavęs nurodymą maksimaliai padidinti sąvaržėlių gamybą, algoritmas visą fizinę visatą siekė paversti sąvaržėlėmis, net jei tai reiškė žmonijos civilizacijos sunaikinimą. Kai „Facebook“ ir „YouTube“ algoritmams buvo liepta maksimaliai padidinti naudotojų įsitraukimą, jie siekė visą socialinę visatą paversti naudotojų įsitraukimu, net jei tai reiškė žalą Mianmaro, Brazilijos ir daugelio kitų šalių socialinei struktūrai.
Silpniausia žmonijos grandis
Tais laikais, kai kompiuteriai negalėjo patys kurti turinio ir palaikyti protingo pokalbio, Rusijos socialinių tinklų kanaluose, pavyzdžiui,„VKontakte“ ir „Odnoklassniki“, kitokią nuomonę galėjo išreikšti tik žmogus. Jeigu tas žmogus fiziškai buvo Rusijoje, jis rizikavo užsitraukti valdžios institucijų rūstybę. Už Rusijos ribų gyvenančiam naudotojui šios institucijos galėjo užblokuoti prieigą.
Kai „Facebook“ ir „YouTube“ algoritmams buvo liepta maksimaliai padidinti naudotojų įsitraukimą, jie siekė visą socialinę visatą paversti naudotojų įsitraukimu.
O kas nutiks, kai Rusijos kibernetinę erdvę užpildys milijonai robotų, gebančių savarankiškai kurti turinį, palaikyti pokalbius, mokytis ir tobulėti? Tokius botus gali iš anksto užprogramuoti Rusijos disidentai arba užsienio veikėjai, kad jie sąmoningai skleistų režimui nepriimtinas pažiūras, ir tada valdžios institucijos niekaip jiems nesutrukdys. Putino režimo požiūriu, dar blogiau, kas nutiks, jeigu jo patvirtinti botai palaipsniui patys išsiugdys disidentines pažiūras, tiesiog rinkdami informaciją apie tai, kas vyksta Rusijoje, ir įžvelgdami joje dėsningumus?
Tai suderinimo problema Rusijos kontekste. Rusų inžinieriai žmonės gali iš visų jėgų stengtis sukurti absoliučiai režimo poreikius atitinkantį DI, tačiau ar jiems pavyks užtikrinti, kad šis, gebantis savarankiškai mokytis ir keistis, niekada nenukryptų į draudžiamas sritis?
Ypač įdomu paminėti, kad, kaip George’as Orwellas aprašė savo knygoje „1984“, totalitariniai informaciniai tinklai dažniausiai remiasi dvejaminte. Rusija yra autoritarinė valstybė, nors skelbiasi esanti demokratinė. Rusijos invazija į Ukrainą yra didžiausias karas Europoje nuo 1945-ųjų, tačiau oficialiai ji apibrėžiama kaip „specialioji karinė operacija“, o jos įvardijimas „karu“ yra kriminalizuotas ir baudžiamas laisvės atėmimu iki trejų metų arba bauda iki penkiasdešimties tūkstančių rublių.
Rusijos Konstitucijoje pateikiami grandioziniai pažadai, kad „kiekvienam garantuojama minties ir žodžio laisvė“ (29 straipsnio 1 dalis), kad „kiekvienas turi teisę laisvai ieškoti, gauti, perduoti, rengti ir skleisti informaciją“ (29 straipsnio 4 dalis) ir kad „garantuojama žiniasklaidos laisvė. Cenzūra draudžiama“ (29 straipsnio 5 dalis). Vargu ar Rusijos piliečiai yra tokie naivūs, kad patikėtų tokiais pažadais.
Prieštaravimus tarp teiginių ir realybės mato ir žmonės, bet iš baimės vengia apie juos kalbėti.
Tačiau kompiuteriai prastai supranta dvejamintę. Pokalbių robotas, kuriam nurodyta laikytis Rusijos įstatymų ir vertybių, perskaitęs jos Konstituciją gali padaryti išvadą, kad žodžio laisvė yra pagrindinė Rusijos vertybė. Paskui, kelias dienas praleidęs Rusijos kibernetinėje erdvėje stebėdamas, kas vyksta Rusijos informacinėje erdvėje, jis gali pradėti kritikuoti Putino režimą už tai, kad šis nuolat pažeidžia pagrindinę Rusijos vertybę – žodžio laisvę. Prieštaravimus tarp teiginių ir realybės mato ir žmonės, bet iš baimės vengia apie juos kalbėti.
O kas galėtų sutrukdyti pokalbių robotui nurodyti demaskuojančius dėsningumus? Ir kaip rusų inžinieriai pokalbių robotui paaiškintų, kad jis neturi tikėti Rusijos Konstitucija, garantuojančia žodžio laisvę visiems piliečiams ir draudžiančia cenzūrą, o ir šiukštu neminėti atotrūkio tarp teorijos ir tikrovės? Kaip Černobylyje man sakė ukrainiečių gidas, totalitarinėse šalyse žmonės augdami gerai įsisąmonina, kad klausimai sukelia problemų. Bet jeigu algoritmą mokysite pagal principą „klausimai sukelia problemų“, kaiptas algoritmas mokysis ir tobulės?
Žinoma, demokratinėms valstybėms pokalbių robotai irgi sukelia analogiškų problemų, mat jie geba sakyti tai, kas nepageidaujama, ir užduoti pavojingus klausimus. Kas nutiks, jeigu, nepaisant visų „Microsoft“ ar „Facebook“ inžinierių pastangų, jų pokalbių robotas pradės skleisti rasistinius keiksmažodžius?
Demokratinės valstybės turi pranašumą: kovoje su tokiais išdykėliais algoritmais jos turi kur kas daugiau veiksmų laisvės. Kadangi demokratijos labai vertina žodžio laisvę, jų spintose yra kur kas mažiau griaučių ir jos išsiugdė gana aukštą tolerancijos lygį net antidemokratiniams pasisakymams.
Disidentiški botai daug didesnių problemų kelia totalitariniams režimams, nes šiųjų spintose stūkso krūvos griaučių ir jie absoliučiai netoleruoja kritikos.
Disidentiški botai daug didesnių problemų kelia totalitariniams režimams, nes šiųjų spintose stūkso krūvos griaučių ir jie absoliučiai netoleruoja kritikos.
Ilgainiui totalitariniams režimams gali kilti dar didesnis pavojus: užuot juos kritikavęs, algoritmas gali perimti jų kontrolę. Per visą istoriją didžiausią grėsmę autokratams paprastai keldavo jų pačių pavaldiniai. Nė vieno Romos imperatoriaus ar sovietų generalinio sekretoriaus nenuvertė demokratinė revoliucija, tačiau jiems visada grėsė pavojus, kad juos nuvers ar marionetėmis pavers jų pačių pavaldiniai. Jeigu XXI amžiuje autokratas suteiktų kompiuteriams per daug valdžios, jis laisvai taptų jų marionete. Bet kuris diktatorius mažiausiai nori sukurti kažką galingesnio už save arba jėgą, kurios nemoka kontroliuoti.
Jeigu algoritmai kada nors įgis minėtame mintiniame eksperimente aprašytų gebėjimų, diktatūroms, o ne demokratijoms kils kur kas didesnė grėsmė būti perimtoms algoritmų. Tokioje demokratinėje sistemoje kaip JAV, kur valstybės valdžios galios paskirstytos, net ir itin makiaveliškam DI būtų sunku užgrobti valdžią. Išmokęs manipuliuoti JAV prezidentu, DI susidurtų su Kongreso, Aukščiausiojo Teismo, valstijų gubernatorių, žiniasklaidos, didžiųjų korporacijų ir įvairių visuomeninių organizacijų pasipriešinimu. Kaip algoritmas, pavyzdžiui, elgtųsi, kai Senate opozicija pasinaudotų trukdymo priimti teisės aktus procedūra (angl. filibuster)?
Užgrobti valdžią daug lengviau labai centralizuotoje sistemoje. Kai visa valdžia sutelkta vieno asmens rankose, tas, kas kontroliuoja prieigą prie autokrato, gali kontroliuoti autokratą – ir visą valstybę. Norint užvaldyti sistemą, reikia išmokti manipuliuoti tik vienu asmeniu.
Demokratinėse valstybėse daroma prielaida, kad klysta visi, o totalitariniai režimai laikosi prielaidos, kad valdančioji partija arba aukščiausiasis lyderis visada teisus.
Per ateinančius kelerius metus mūsų pasaulio diktatoriai susidurs su kur kas aktualesnėmis problemomis nei grėsmė būti perimtiems algoritmų. Jokia dabartinė DI sistema negali manipuliuoti režimais tokiu mastu. Vis dėlto jau dabar totalitarinėms sistemoms gresia pavojus, kad jos per daug pasitikės algoritmais.
Demokratinėse valstybėse daroma prielaida, kad klysta visi, o totalitariniai režimai laikosi prielaidos, kad valdančioji partija arba aukščiausiasis lyderis visada teisus. Šia prielaida grindžiami režimai yra linkę tikėti neklystančio intelekto egzistavimu ir nelinkę kurti stiprių savikorekcijos mechanizmų, kurie stebėtų ir reguliuotų viršūnėje esantį genijų.
Iki šiol tokie režimai rėmėsi žmonių partijomis ir lyderiais, kūrė palankias sąlygas asmenybės kultams formuotis. Tačiau XXI amžiuje dėl šios totalitarinės tradicijos jie yra pasirengę tikėtis DI neklystamumo. Sistemos, kurios tiki tobulu Mussolinio, Ceauşescu ar Chomeinio genialumu, yra pasirengusios tikėti ir nepriekaištingu superprotingo kompiuterio genialumu.
Demokratinėse šalyse gyvenančius autorius akivaizdžiai domina jų visuomenė, o diktatūrose gyvenantys autoriai paprastai nedrįsta kritikuoti valdovų.
Net jeigu tik keletas pasaulio diktatorių nuspręs pasikliauti DI, tai gali turėti didelių pasekmių visai žmonijai. Mokslinėje fantastikoje gausu scenarijų, kai DI tampa nevaldomas ir pavergia arba sunaikina žmoniją.
Daugumoje mokslinės fantastikos siužetų šie scenarijai nagrinėjami demokratinių kapitalistinių visuomenių kontekste. Tai suprantama. Demokratinėse šalyse gyvenančius autorius akivaizdžiai domina jų visuomenė, o diktatūrose gyvenantys autoriai paprastai nedrįsta kritikuoti valdovų. Diktatoriai tikriausiai yra silpniausia žmonijos apsaugos nuo DI skydo vieta. Lengviausias būdas DI užgrobti valdžią – ne ištrūkti iš daktaro Frankenšteino laboratorijos, o įsiteikti kokiam nors paranojiškam Didžiajam Lyderiui.
