Egzistencijalni rizici i nekontrolirana digitalna evolucija

[Nisam stručnjak za AI. Knjiga o kojoj se raspravlja ne nudi nikakva konkretna rješenja, nego pripada kategoriji #speculative journalism i science fiction. Kao što se često događa u takvim slučajevima, rasprave generirane u knjizi mnogo su zanimljivije i korisnije od same knjige. Ova tema je postala raširenija na engleskom jeziku. internet. U Runetu, upit @ superintelect, @ supermind daje ~ 189 rezultata mjesečno (Yandex)]

"Što ako uspijemo?"
Stuart Russell

Apokalipsa sutra

U svojoj knjizi Superinteligencija: mogućnosti, rizici, strategije Nick Bostrom izvlači pesimistički scenarij razvoja umjetne inteligencije: čim se AI čini jednakim ljudskoj inteligenciji, superinteligencija će biti jedan od njegovih prvih izuma. A onda "violinist nije potreban", super-inteligentni informacijski sustavi mogu se samoobrazovati i reproducirati još složenije sustave, kontrolirati proizvodnju i distribuciju konkurentne umjetne inteligencije, prepustiti se agresivnoj Malthusovoj utrci s drugim inteligentnim agentima u krilu umjetne prirode.

Egzistencijalni rizici iz susjedstva superminda i čovjeka rastu više puta. Nick Bostrom upozorava da je superinteligencija sposobna učiti brže i učinkovitije od svojih stvaralaca, a ako u nju ne unosite ljudske vrijednosti, sve se može loše završiti, jer superinteligencija ne samo da će moći regulirati daljnju proizvodnju pametnih strojeva, već će uspješno spriječiti ljude da pokušaju ispraviti njegov rad ili ometati.

Autobiografsko povlačenje: Nick Bostrom među znanstvenicima i filozofima poznat je kao ljubavnik horora - on je na čelu instituta, koji se bavi traženjem i objavljivanjem egzistencijalnih rizika, ima takav posao. Neki ga kolege čak zovu i Donald Trump iz AI-a, Nick Bostrom je uvrijeđen, ali brzo oprašta. Surovi svijet znanstvene rasprave. Kraj autobiografskog povlačenja.

II. Što stručnjaci misle?

AI već ima "ograničenu racionalnost" - može odabrati optimalnu strategiju za postizanje rezultata. Što će se dogoditi ako ih nauči mijenjati i mijenjati hijerarhiju svojih ciljeva?

Kao glavni argument u prilog svojim strahovima, Bostrom navodi želju za optimizacijom. Ako superinteligentu treba riješiti Riemannov teorem i za to treba pretvoriti polovicu živih bića u računala, on će to učiniti bez oklijevanja, tvrdi Bostrom. Ako će superinteligencija morati izliječiti rak, onda će to učiniti, čak i ako mora uništiti sve ljude koji nemaju rak. Autor stavlja problem kontrole nad-inteligencije na prvo mjesto u razvoju umjetne inteligencije. Među znanstvenicima, takav se scenarij naziva paradigme bostroma u 2000-ima. I nedavni napredak u strojnom učenju skrenuo je pozornost na to pitanje čak i tehno-oligarhima i poslovnim ljudima, koji su zvučali uzbunu i iskreno izrazili zabrinutost zbog razvoja AI.

Ramez Naam sumnja da su mišljenja B.Gatesa, I.Maska ("super-inteligencija je nova atomska bomba"), S. Hawking na rizike od AI ima bilo kakvu težinu. Nitko od njih nije radio u ovom području."Citira mišljenja istaknutih stručnjaka za AI / strojno učenje:

  • Michael Litman, profesor na Sveučilištu Brown i bivši zaposlenik Udruge AI: "Takvi strahovi su jednostavno nerealni. AI ne može se samo probuditi i napraviti apokalipsu."
  • Jan LeKun, stručnjak za Facebook na neuronskim mrežama: "Neki ljudi misle da će se AI jednog dana moći programirati. Obično takve pretpostavke ne izrađuju stručnjaci."
  • Andrew Eun, stručnjak za strojno učenje / Google / Baidu: "Da, računala postaju pametnija. Ali to je samo um, ne um i samosvijest, a većina stručnjaka ne vjeruje da na taj način možete stvoriti svjesno AI. Brinuti se o opasnostima superinteligencije isto je kao i briga o prenaseljenost Marsa."
  • Drugi, ne manje ozbiljni stručnjaci vjeruju drugačije:
  • Richard Sutton, profesor računalnih znanosti na Sveučilištu Albert, u svom govoru na konferenciji o sigurnom AI-u rekao je da: "postoji određena vjerojatnost pojave razine AI osobe" i onda "bit ćemo prisiljeni surađivati ​​s njim", i "od razumnog roba AI može postati razuman kandidat."
  • Jürgen Schmidhuber, profesor umjetnosti na Sveučilištu u Luganu i bivši profesor kognitivne znanosti robota na Sveučilištu u Münchenu, navodi: "Ako tempo razvoja znanosti ostane na istoj razini kao i prije, u narednim desetljećima možemo očekivati ​​pravi iskorak u primjeni AI." Na crvenom tekstu, primijetio je: "Na prvi pogled, rekurzivno samopoboljšanje u Gödelovim strojevima može pomoći u razvoju superinteligencije. Gödelovi strojevi mogu odabrati i unijeti promjene u svoj kod koji će vjerojatno donijeti pozitivne rezultate prema početnom skupu značajki. To jest, možemo odrediti početni" ispravan " parametri i stroj će ih sami razviti, a drugi istraživači mogu zatražiti od svojih strojeva drugačiji skup parametara, a rasa stroja evolucija će početi, nemoguće je predvidjeti tko će pobijediti u ovoj utrci i što će nam donijeti. Više o tome."
  • Murray Shenehen, profesor informatike na Cambridgeu, u svojoj knjizi "Tehnološka singularnost" piše da: "Od stvaranja AI razine osobe (teoretski moguće, ali vrlo teško) za stvaranje superinteligencije, to može potrajati dosta vremena i taj se proboj može usporediti s točkom singularnosti, gdje će se događaji razvijati brže nego što pretpostavljamo. Prekomjerna inteligencija superiorna ljudskim sposobnostima bit će povezana s povećanim egzistencijalnim rizicima i povećanim koristima.

Alan Turing, kojem nije potreban uvod, u svom radu "Je li digitalni stroj sposoban razmišljati?" On piše: "Pretpostavimo da uspijemo stvoriti strojeve za razmišljanje. To će proizvesti rezonanciju i naići na otpor intelektualaca i znanstvenika koji će biti zabrinuti za svoj položaj i posao. I iz dobrog razloga. Jer kad strojevi dostignu ljudsku razinu razmišljanja, ljudi će morati jako pokušati Također je vrlo vjerojatno da je sposobnost razumnog stroja da stvori vlastitu sličnost ili još inteligentniji stroj. prihvatljiva pod kontrolom čovječanstva. "

III. Zašto umjetna inteligencija?

Budući da je ljudski mozak najbliži analogiji onoga što se događa u strojnom učenju: informacijski sustavi koji se podvrgavaju strojnom učenju nazivaju se neuronske mreže i sastoje se od zasebnih slojeva, od kojih je svaki odgovoran za obradu određenih informacija. Ako slojevi nižih razina mogu primati informacije, tada se slojevi gornjih razina mogu obraditi, prenijeti i koristiti za vlastiti trening. Vrlo sličan stroju za samoučenje u ljudskoj glavi.

Neuronske mreže su već sposobne razlikovati ljudski govor i lica bolje od ljudi. To nije tako bezopasno kao što se čini na prvi pogled. Iznenađeni smo pobjedom računala nad osobom u šahu ili odlasku, iako osoba nema posebne dijelove cerebralnog korteksa za rješavanje šahovskih problema. Ali prepoznavanje i kategorizacija lica već je posebna zona korteksa koja se evolucijski razvila i odgovorna je za preživljavanje. A u ovom području, AI je danas bolji od čovjeka.

Prema tome, AI je sposoban apstraktno i kategorički shvatiti obrazovne informacije: razlikovati slike bijelih pasa, crnih pasa, španjela, jazavčara, štenaca, odraslih pasa i sve to pripisati razredu. AI može stvoriti i označiti pornografske motive u slikama. (Čuvajte se: prava digitalna pornografija u smislu AI). Te sposobnosti AI (kategorizacija / generalizacija / klasifikacija) ukazuju na najjednostavniju razumnu aktivnost informacijskog sustava.

Što je sljedeće?

IV. Usporedite dva pristupa:

1. mehanistički: klasifikacija / kategorizacija je svakako jedan od znakova razumnog agenta. Ali samo jedan od njih. Ovo je korisna i predivna značajka, ali ne i glavna. Prava inteligencija zahtijeva više od mogućnosti da kliknete zagonetke - želju da kliknete zagonetke. Razlikovanje slika pasa i nazivanje psa je hladno, bez sumnje. Sadašnji AI mora biti primarno inherentan želji, motivacijskom nagonu za rješavanje problema i dokazivanju teorema. A stvaranje racionalnog informativnog sustava koji želi, više je od sposobnosti izvođenja ultrabrzih i učinkovitih čak i vrlo složenih zadataka prema uputama inženjera ovog sustava. A želje inteligentnog stroja koji se želi može se razlikovati od ciljeva ljudskog stvaratelja. Ovaj pristup je sladak Nick Bostrom.

2. biološki (oprez: grubo pojednostavljenje): većina mozga sastoji se od istih ili malo različitih stanica koje su evoluirale tijekom evolucije. Ako možemo razumjeti kako jedan dio mozga radi, onda će biti mnogo lakše razumjeti kako druga područja funkcioniraju. motivacijski procesi ljudske racionalne aktivnosti odvijaju se na istim ili sličnim područjima moždane kore kao što su percepcija / kategorizacija / klasifikacija Informacije. Ako znanstvenici vjeruju da se informacijski sustavi za klasifikaciju percepcije-kategorizacije mogu reproducirati na primjeru ljudskog mozga, da bi se reproducirali motivacijski inteligentni sustavi, znanstvenici će radije malo promijeniti postojeće uzorke neuronskih mreža za kategorizaciju / klasifikaciju. Takvi sustavi neće izgledati kao potpuno motivirani i ciljno usmjereni prototipovi (ljudski mozak je također malo sličan takvim sustavima). Najvjerojatnije će se ispostaviti mnogo malih iz različitih percepcija, želja i motivacija, kao što se obično događa u ljudskim glavama. Takav pristup dovodi u pitanje ukupnu moć stvaratelja-čovjeka nad AI, jer programirani motivi / ciljevi stroja ne mogu nastati ili će se značajno promijeniti.

Biološko povlačenje. Evolucijsku povijest biološkog pristupa teško je pratiti i potvrditi s velikom točnošću. Razdvajanje kognitivne percepcije / obrade senzornih informacija (prefrontalni korteks) i memorijskih / emocionalnih / ponašajnih centara (hipotalamus i hipokampus) dogodilo se u ranim fazama razvoja kralježnjaka ili čak i ranije. Međutim, ti različiti sustavi zadržavaju veze i ometaju međusobne funkcionalnosti. Neki dijelovi korteksa vezani su za hipotalamus i pripadaju limbičkom sustavu. Ostali dijelovi talamusa (gušterni mozak, limbički sustav) uključeni su u obradu informacija (colliculi).

Čini se da su područja mozga odgovorna za osjetilnu percepciju i motivacijsko-emocionalne zone prisutna u različitim dijelovima korteksa. Štoviše, pred-frontalni korteks, koji se smatra kolijevkom ljudske osobnosti (veća kognitivna aktivnost, procjena, planiranje itd.), Vjerojatno je nastao iz korteksa prve ribe, iz jednog mozga tih riba. Što je, pak, nastalo od onih nekoliko stotina neurona koji su bili odgovorni za percepciju i obradu senzornih informacija u prvim crvima. Kraj biološkog povlačenja.

Ni anatomija ni evolucija ne podrazumijevaju potpuno autonomno razdvajanje percepcije, obrade i motivacije razumne aktivnosti. Isti sustavi mogu opažati informacije na jednom mjestu i, uz manje promjene, procesirati ih i motivirati daljnje aktivnosti u drugim dijelovima mozga. Sve jedno. Uz rizik da uđemo u metafiziku i misticizam, recimo samo da su kognitivne distorzije (obrada informacija) i vizualne iluzije (percepcije) više zajedničke nego što se ranije mislilo (još jedno pojednostavljenje: ta iskrivljenja javljaju se u tehnički identičnim područjima, Brodmannova polja).

V. O podrijetlu vrsta

Kategorizacija / klasifikacija je temelj moralnog odgoja. Možda je to moralnost. Uzmimo, na primjer, mentalne kategorije: svatko zna što je ptica, ali s točno definicijom "ptice" malo teže (roda je ptica, pingvin je čudna ptica, arheopteriks ... polu-ptica?).

Svatko pamti kako se te kategorije pojavljuju. Malo učenja, majka pokazuje djetetu piletinu i kaže "ptica", nakon nekoliko godina dijete uči da je šišmiš "nije ptica" i da vaš mozak slobodno djeluje s kategorijama / klasama i složenim apstrakcijama, a nakon još dvije tisuće godina stiže Darwin. i kaže da postoji takva vrsta "ptica" kralježnjaka, što je vrlo dobro, ali vi ste to znali bez njega.

Ljudi na sličan način uče etiku i moralnost. Kada ujebemo nekoga, majka / otac / učitelj / rabin / svećenik / šaman nam govori da je to "loše", a kad dijelimo tortu, rečeno nam je da je to "dobro". Na temelju rada s takvim primjerima informacijski sustav djeluje s kategorijama i klasama, čak i ako ne može pružiti precizne definicije tih kategorija i klasa.

Umjetna inteligencija može razviti svoju umjetnu moralnost na temelju podataka koje znanstvenici pružaju. Moralnost se javlja tijekom edukacije AI o obrazovnim informacijama. Bostrom vjeruje da je moralnost / etika AI odvojen modul ili niz informacija o obuci.

Uobičajeni kontraargument Bostromovskog je vjerojatnost da će AI donijeti pogrešne zaključke iz informacija o obuci i razviti sustav vrijednosti koji je opasan za ljude. Na primjer, AI može odlučiti da su sve stvari koje čine osobu sretnom dobre. I on će početi optimizirati do maksimuma - on će početi proizvoditi injekcije heroina za osobu cijelo vrijeme, tako da osoba ostane sretna.

Ne znam zašto, ali ljudska procjena djelovanja ne funkcionira tako jednostavno, au rijetkim slučajevima donosi neku ideju u kritičnu masu. Možda je to zbog specifičnosti klasifikacije / kategorizacije ili vanjskih čimbenika koji su uključeni u konačnu odluku, a ne samo dobra-loša dihotomija. To može biti zanimljiv zadatak za AI programere - odrediti što točno čini informacijske sustave klasificiranjem informacija poput ljudskog bića *.

Općenito, teško je zamisliti da osoba ima određeni moralni gen, moralni segment moždane kore, neka vrsta moralne prilagodbe. Malo je vjerojatno da su etika i moral biološki, evolucijski konstrukti, neurobiološki mehanizmi - najvjerojatnije etika i moral su nužni uvjeti za prosocijalno ponašanje. Etika je poput krova kuće, koja prirodno raste zbog ispravnog rada niže podjele, poučavanje umjetne inteligencije etici i moralnosti nije moguće osim uobičajenog učenja (ako govorimo o umjetnoj inteligenciji koja se temelji na neuronskim mrežama koje ponavljaju moždane strukture).

Motivacijska sfera osobe radi na dopaminima i sustavu nagrađivanja. Ostaje nadati se da se najbliža ljudska sposobnost klasificiranja može primijeniti u AI modelima. Ljudi možda žele seks bez želje oploditi sve živo i neživo dok planeta ne eksplodira. AI će se temeljiti na ljudskom modelu percepcije i klasifikacije podataka želite rješavati probleme bez manične želje pokoriti sve ostale ciljeve za tu želju. Ne uvijek i nisu svi ljudi nepromišljeni optimizatori: hijerarhijsko postavljanje ciljeva je uobičajeno za ljude, svatko razumije da je biti moralan koristan na duge staze. To znači da superinteligencija najvjerojatnije neće postati optimizator terminatora koban za čovječanstvo.

Najčešća pretpostavka (koju podržava Nick Bostrom): umjetna inteligencija bit će utjelovljenje čiste logike, potpuno lišena sličnosti emocija / sumnje / oklijevanja, a mi ćemo morati obuzdati taj matematički golem **. Ako se prisjetimo takvih primjera iz ljudskog uzorka, onda ti strahovi postaju pomalo pretjerani - većina ljudi koji imaju nisku empatiju, koji imaju lošu etiku i moral, pokazuju antisocijalno ponašanje, teško im je učiti, prilagoditi se, jednostavno zato što im je teško razumjeti druge ljude (autisti, ljudi s shizoidnim poremećajima), čak i ako mogu izvaditi korijene pet-znamenkastih brojeva. Takvim ljudima je teško da ne planiraju ubijanje komarca, jedva trpe osjećaje nove cipele na nogama, o kakvom se osvajanju svijeta govori? Već postoji očita povezanost s procesima mentalizacije, koja govori o nerazdvojivosti inteligencije od etike. Čini mi se da je moguć i drugi scenarij, u kojem će AI misliti ne samo matematičkim formulama / programskim kodom. To će biti mnogo kompliciranije i ne toliko zastrašujuće kao što Bostrom sugerira. A onda će ljudi trebati druge strategije za suživot s AI.


* 4. ožujka 2016. program MIRI Machine Learning Institute "usklađivanje vrijednosti za napredne sustave strojnog učenja" (postavljanje ciljeva za složene sustave strojnog učenja). Zadatak ovog programa je stvaranje "infra-humanih AI", informacijskih sustava s ograničenom autonomijom.

**Формальная логика, специалистом по которой является Ник Бостром, не всегда адекватно описывает реальность (или не стремится). Так что эти опасения немного преувеличены и логико-математический терминатор может оказаться не таким опасным, как видится Бострому.


O autoru knjige koja se razmatra: švedski filozof Nick Bostrom, autor više od 200 publikacija o globalnim rizicima, sekvencijalizmu, antropičkom principu, znanstvenoj etici. Ravnatelj Instituta za budućnost čovječanstva, profesor na Sveučilištu Oxford. Dobitnik je diploma iz matematičke logike, fizike, računalne neuroznanosti, filozofije.

Izvornik: Bostromska paradigma i nedavni napredak AI

Ostavite Komentar