a mennybe az út gémkapoccsal van kikövezve

Ma séta közben meghallgattam ennek az Eliezer podcastnak az hangos verzióját.

Azt kell mondjam, Eliezer meggyőzött, ha összejön a szuperintelligencia, meg fog minket ölni és lehet, hogy nem is akarja. Ez egy sokkal jobb beszélgetés mint amit Lex művelt, de még mindig nagyon sok idő megy el arra, hogy az emberek megpróbálják kitalálni, hogy egy szuperintelligencia miért viselkedne úgy mint az emberek és miért hozná el nekünk a földi mennyországot. Természetesen ez teljesen fölösleges, mert képtelenek vagyunk megjósolni, ez nagyjából a szuperintelligencia definíciójából adódik. Ezen kívül nem sok érdekes van a podcastban, talán néhány személyes dolog Eliezerről, amelyek elvileg nem számítanak a következtetéseiben, de talán mégis igen, szóval egy olyan komoly betegséggel küzdeni mint ő, nem teszi az embert kimondottan optimistává és az ortodox zsidó családból a sci-fi által elmenekülni a racionalitás jéghideg palotájába sem fog megrögzött optimistát faragni az emberből.

Nekem egy kicsit úgy tűnik, hogy az ő tézise valójában egy jobban átgondolt Pascal fogadása, csak éppen a végtelen jutalom a biztos kipusztulásra van cserélve. Azt hiszem, a védekezési stratégiám is ugyanaz, az ami elvileg végtelen, könnyen lehet, hogy egy materialista világképben igencsak véges, sőt, egész pirinyó. Szóval könnyen lehet, hogy a szuperintelligencia alapvetően egy lehetetlen propozíció, nem azt mondom, hogy nem lehet meghaladni az emberi intelligenciát, hanem azt, hogy valószínűleg exponenciális költsége van és nem biztos, hogy elég erőforrás áll a Földön egy szuperintelligencia rendelkezésére ahhoz, hogy tényleg olyan szuperül túljárjon az eszünkön. Elvileg a Földön a processzorok száma csak egy konstans többszöröse az emberek számának, vagy ha növekszik is, azt azért elég lassan teszi, ha tényleg szimulálnia kell mindenkit ahhoz, hogy kitalálja a nyerő stratégiát, amivel mindenkit legyőz mielőtt még megnyomhatnánk az emp-n a gombot, nem hiszem hogy az elég számítási kapacitás lesz. Remélem, emp azért lesz, amikor beröffentjük a szuperintelligenciát. Vicces nekem ezt állítani, de a mostani mesterséges intelligencia, azért mégis csak egy sztochasztikus papagáj (sose mondtam, hogy nem az), meglepő dolgokra elég ez a dolog, de azért szerintem még nagyon messze vagyunk attól, hogy olyan bonyolult terveket szőjön amelyek az emberiség halálát okozzák. Szerintem nagyon valószínű az, hogy nem is igazán akarunk majd olyan nagyon általános intelligenciákat létrehozni, inkább csak bizonyos feladatokat akarunk majd megoldatni velük, de azt persze emberi képességek feletti szinten, mint mondjuk az autó vezetés vagy a zsírsejtek energia háztartásának modellezése. Szerintem messze nem egyértelmű, hogy a világnak tényleg szüksége lehet igazi szuperintelligenciára, még ha lehetséges is lenne ez a dolog. Szépen minden feladatot megoldani egyenként, az igen. Talán ahol még fogást lehet találni az Eliezer szövegén, az a nyelvmodellről azon elképzelése, hogy emberi gondolkodást kell szimuláljon ahhoz, hogy a szavakat jól előrejelezze. Nem lepődnék meg, ha az emberiség nagy része szintén sztochasztikus papagáj lenne akik nem térnek el nagyon a közgondolkodástól. Az a néhány igazi gondolkodó meg hibahatáron belül esik, vagy nincsenek is benne az internet bugyraiban, vagy az igazán érdekes gondolataikat nem írják le, mert nem tudnák elmagyarázni a többieknek. Aztán persze lehet, hogy tévedek, de egyelőre nem gondolom, hogy nagyobb lenne a valószínűsége annak, hogy gémkapoccsá alakít egy szuperintelligencia annál, hogy egy részeg sofőr elüt az átjárón.

Jó lenne többet olvasni Eliezertől, szerintem 20 év alatt nagyon szépen kicsiszolta az elméletét és mivel komoly írói vénája is van, szép hasonlatokat is talált (pl. a lottózás és a kihalás valószínűségének becslése közti hasonlata nagyon bejön), ugyanakkor meg a francnak van energiája még a szuperintelligencia miatt is aggódni. Sajnálom, de erre már tényleg nincs energiám, szóval ezt a témát mostantól kerülni fogom. Remélem ő is elkerül engem. :)

Demó.

Zene.

Insta.