az izzadó gpukat hűsítő tea leveleiből való jóslás

Néhány érdekes fejlemény és hangulat van a mesterséges intelligencia e heti információdömpingjében, szóval gondoltam egy kicsit spekulálok én is. 

Szóval az egyik legfontosabb elv a mesterséges intelligenciával kapcsolatban az az, hogy a nagy cégek mindig is előnyben lesznek-e a kis cégek által gyártott nyílt modellekkel szemben? Azért tűnik ez plauzibilisnek, mert most arról szól a modellgyártás, hogy minél több adaton tanítunk minél nagyobb modellt, amihez persze a kettő szorzata számítás szükséges és ezzel a versenyt a kicsik nem bírják. Csakhogy vannak közepes méretű cégek is, főként kínaiak, akik egy csomót fektettek a számítás hatékonyságának a növelésébe és szinte a nagy cégekkel egyenrangú modelleket tudnak gyártani, azokat aztán még tömörítik is úgy, hogy csak bizonyos feladatok megoldására élezzék ki őket, pl. a programozáséra. Így lehetséges az, hogy most kijött egy kínai modell, ami 2%-a a nagy kereskedelmi modelleknek, de csak 10%-al rosszabb eredményt ér el a programozásban meg a terminál használatában (ha jól vettem ki), és az az igazság, hogy nagyon sok mindenre már ez is bőven elég. Ráadásul, mivel a hardvergyártók ezekhez a bődületesen nagy modellekhez szabják a hardvert, a kicsi modellek mózerolása már az akadémiának is elérhetővé válik, márpedig az akadémiai kutatóktól jönnek a legdiverzebb ötletek és rendesen begyújthatják ezeket a kis modelleket. Ja, és az sem biztos, hogy azok az új módszerek, amelyek sokat dobnak a kis modellek hatékonyságán egyáltalán működnek a nagy modelleknél, szóval még az ingyen kutatást sem tudják felszívni a nagy cégek. Szóval egyre inkább kezd úgy kinézni, hogy a sok lúd disznót fog győzni, egyesek szerint ezért siet az antropik a tőzsdére, mert nemsokára vége a mítosznak. 

A másik érdekes fejlemény, hogy kipróbálták ezeket a rendszereket éles irodai munkakörülmények között és néhány hét alatt összeomlott a kártyavár, az emberek rájöttek, hogyan lehet kijátszani a modelleket és már nem voltak egyenlő partnerek. Ez egy kicsit összecseng azzal is, hogy gyakran azt emlegetik amikor új munkaerőt keresnek egy céghez, hogy szoft szkillek ugyanolyan fontosak mint a hard szkillek, azaz a kommunikációs képesség, az odafigyelés, az adaptáció a munkatársakhoz ugyanolyan fontos, mint hogy meg tudja-e az ember oldani a feladatot. Márpedig a mesterséges intelligencia szoft szkillekkel egyáltalán nem rendelkezik, csak egy bizonyos "átlag"-kommunikációra képes, ami átlagban jól működik, de a cégeknél definíció szerint nem átlagos munkát végez az ember, mert az már megvan (és ki is van számítva). Lehetne az, hogy adaptálódik a mesterséges intelligencia az új környezethez, azaz tanul, de az sajnos még nem megy valós időben és nem hinném, hogy a cégek a munkamenetük legapróbb részleteit a nagy modellgyártók rendelkezésére bocsátanák csak azért, hogy rájuk szabják valamennyire a modell következő iterációját. Itt is a kis modelleknek lesz esélye, amelyeket házon belül adaptálni lehet, addig amíg az igazi valós idejű tanulásra képesek lesznek a rendszerek, de az eléggé paradigmaváltás szagú. Erre a jelenségre más irányból is el lehetett volna jutni, én is elég szkeptikus vagyok az alapító zseni mítoszával, aki mindent tud és saját kezűleg felépíti a céget. Valójában a megfelelő csapat nélkül egyetlen zseninek sincs esélye, még akkor sem, ha nem kell aludjon, nem éhes és nem szomorú néha.

Vicces lesz, ha a mesterséges intelligencia modellek lesznek az első olyan dolog, amelyről kiderül, hogy a kapitalista rendszer képtelen optimálisan gyártani. Elvégre, Gödel óta tudjuk, hogy minden (kellően bonyolult) rendszerben vannak problémák amelyeket nem tud megoldani.

Ha a dolgok ilyetén állnak, akkor nemsokára megint a munkásoknak kell kezdjen állni a zászló, persze az is lehet, hogy előtte azért még kiereszt a tőzsdei lufi egyszer. 

Zene. Zene. Zene.

AI. AI.

Ehh. 

száguldás, mercédesz, szerelem

Régen mindenki a focihoz meg az autókhoz értett. Aztán változtak az idők, mindenkiből virológus lett, aztán hadászati szakértő. Azt hiszem, idén mindenki öregkori demencia szakértő lesz.

Demó.

Zene. Zene. Zene.

nézzük bele a kristály csolnakba jó mélyen

Az utóbbi napok a horror öregotthonokról szóltak Romániában, ami egy nagyon elszomorító dolog, nincs is kedvem írni róla. Ilyenkor mindig eszembe jut, hogy nem kéne írjak politikáról, mert egy szemét disznó banda az egész. De sajnos nem lehet kibújni előlük, legalábbis nem addig amíg el nem húzunk ebből az országból, de problémák mindenhol vannak sajnos.

Most viszont adódott egy érdekes probléma, amiben lehet kicsit spekulálni, ezért kihasználom az alkalmat. Szóval az van, hogy jókora lyuk tátong a költségvetésen és tuti adóemelés lesz a vége. A kérdés csak az, hogy milyen adót fognak emelni. Nem fogok minden lehetőségen végigmenni, az hosszú lenne, de szerintem az ÁFÁt fogják emelni, mert nem elég tökösek ahhoz, hogy egy társadalmi osztály haragját magukra vegyék, így teríteni lehet a hatásokat és az utálatot is. És persze rá lehet kenni az egészet a gonosz kapitalistákra, ami talán nem is egészen alaptalan most. Sőt, még arra is van egy kis esély, hogy kénytelenek lesznek lenyelni az adóemelést, mert eléggé kifutott már a kereslet növekedési potenciálja.

Persze, nem vagyok én közgazdász és mint a példa mutatja, ők sem látnak a jövőbe, szóval meglátjuk mi lesz. Visszatérünk a témára ha megvan a megoldás, ez az egész bejegyzés csak azt akarja tesztelni, mennyire fedi az amit én hiszek a racionalitásról azt amit a kormány hisz. Persze, lehet vannak olyan rejtett változók amelyeket én nem ismerek és teljesen mellé megy a számításom, ami persze az én bajom, meg azoké akik hasonlóan gondolkodnak mint én.

Demó.

Zene.

letészem a havasi kürtöt

Nem nagyon akartam az 5. hullám alatt a koronavírusról írni. Még mind befele megyünk, de szerintem ez hamarabb véget fog érni mint az előzőek, szóval nem tart sokáig a karantén a blogban.

Viszont ma volt egy interjú egy újságíróval, aki arról spekulált, hogy talán a román hatóságok feladták a harcot és nem fognak olyan megszorító intézkedéseket hozni, amelyeknek lenne esélye feltartóztatni a vírust, tehát nagy valószínűséggel mindenki találkozni fog a vírussal, remélhetőleg csak keveseknél fog komoly gondot okozni.

Csak azt akartam írni, hogy számomra meglepő, hogy eddig bírta a kormány a harcot. Nem számítottam volna rá a járvány kezdetén. Persze, nem meglepő módon, a vírus elleni harc is eljutott abba a fázisba, ahol egyre költségesebb egyre kisebb eredményt elérni és mi itt fogytunk el. Most akkor jöjjön aminek jönnie kell, mindenki megtapasztalja, hogy a premisszák amire felépítette a vírussal való megküzdési stratégiáját, mennyire állják meg a helyüket.

Még egy gondolat az omikron variánsról. Egyesek azt mondják, annyira furán illeszkedik a Sars-Cov2 törzsbe, hogy akár még laboratóriumi eredetű is lehet. Jó kérdés, hogy direkt vagy véletlenül szabadult el. Szerintem, ha nem mutálódik tovább, akkor az még tovább növeli annak a valószínűségét, hogy laboratóriumi kicsi mocsokkal állunk szemben. Meg annak is, hogy léteznek az ufok, mert amennyire én tudom, a vírusok olyan szintű modellezése, ami a mutálódási valószínűségeket ennyire pontosan megmondja, egyelőre nem lehetséges a mainstream tudomány számára. Na, ez jó kis összeesküvés elmélet lenne.

Nehéz ez a valószínűségszámítás.

Zene.

Melanie Mitchell legújabb könyve

Melanie Mitchell legújabb könyve, a mesterséges intelligencia gondolkodó embereknek. Nagy várakozással kezdtem olvasni, mert úgy gondoltam, hogy bizonyára az utóbbi 30 évben rájött, hogy miért nem halad jó irányba a mesterséges intelligencia kutatás, amit hangoztat is rendszeresen.

Ehhez képest, a könyv nagy része a most nagyon népszerű neurális hálók működési elveinek bemutatására van szánva, amit én untam, kritika pedig az, hogy hiányzik ezekből az a bizonyos "józan ész" és ezért nem képes megoldani jól a feladatokat. Semmi arról, hogy mit is kéne tenni a "józan ész" megtanulásához, vagy, hogy egyáltalán milyen bonyolult is az a "józan ész". Értem én, hogy egy neurális háló nem tudja, hogy ha X bemegy a szobába, akkor biztos, hogy nincs a konyhában, vagy ha tudja is ezt, akkor azt nem tudja, hogy ha X a Louvre képeit csodálja akkor nem a Moulin Rouge előtt stíröli a csajokat. De miért is olyan nehéz ezt megtanulni? Erre nincs magyarázat, ahogy arra sincs hogy a vizuális intelligencia kompozicionális természete és a nyelvi intelligencia kompozicionális természete izomorf-e egymással és ha nem, akkor melyik a tágabb kategória.

Szóval nekem az jött le, hogy még azok, akik külön utakon vizsgálják a mesterséges intelligenciát sem tudják azt, hogy mi a baj a mostani népszerű rendszerekkel, azon kívül, hogy nem adják a helyes választ. Ez némileg megnyugtató, bár ismeretlenek az akadályok az általános mesterséges intelligencia felé vezető úton, az is lehet, hogy csak képzeljük őket, mert még senki nem próbálta meg megoldani őket.

Pl itt van ez a józan ész által ismert tény, hogy ha egyik üvegből átöntjük egy másik üvegbe a vizet, akkor vagy az összes víz átmegy, vagy egy része kifolyik, de elegendő után kiürül az első üveg. Ezt még nem tudják a mostani mesterséges intelligencia módszerek, viszont egyesek már nagyon jó folyadék szimulációkat tudtak betanítani nekik, tehát szerintem már csak az kell, hogy a rendszer meg kell tanulja, hogy mikor kell beindítsa a folyadékszimuláló rendszerét és milyen paraméterekkel. A legtöbb ember akit ismerek, képtelen megmondani, hogy az egyik üvegben levő víz több vagy kevesebb mint a másik üveg térfogata, főként ha az üvegek nagyon eltérő alakúak. Hamar szuperember képességű intelligenciát fogunk alkotni, ha végül kiderül, hogy ez az a feladat, amit már az ember sem tud megtanulni 50 példa megtekintése által.

Persze lehet, hogy tévedek, a fogalmak fizikai vagy érzelmi jelenségekhez kapcsolása lehetetlen feladat a számítógép számára és így sosem lesz emberi szintű mesterséges intelligencia, de még csak univerzális feladatmegoldó gép sem. Akkor biza sok sört fogok veszíteni pár év múlva, de a morális győzelem az enyém lesz akkor is, mert szerintem ezt a csodálatos lényt, ami az ember, hagyni kéne, hogy szíve szerint cselekedjen, nem megbéklyózni vallással meg hazaszeretettel. Nyahahahahaha.

Egyébként itt van Mitchell egy új előadása ebben a témában, akinek van kedve megnézheti, én inkább másra áldozom azt az órát.

jótúb vs. közgazdaságtan

Én nem nagyon tudok közgázul. Valamikor tanultam a suliban (a Saliban). Azért kénytelen vagyok elméleteket szőni róla, hogy megértsem a világot. Jobb szeretném, ha jobban értenék hozzá, de lusta vagyok egy könyvet elolvasni.

Szóval ma reggel az pattant ki a fejemből, hogy mi lenne, ha a jótúbbal modelleznénk a közgazdaságot. Mindkettőben az emberek az aktorok, akiket racionálisnak gondolunk, de nem nagyon azok (mondjuk jótúbból megélni lehet, hogy ugyanolyan racionális döntés mint mondjuk zongorázásból). Mindkettőben vannak alapszükségletek (kaja vs. zene) és magasabb rendű szükségletek (filmnézés vs. cicás videó nézés). Mindkettőben nehéz valami újjal betörni, de azért sokan próbálkoznak (pl. wafer méretű deep learning processzorok vs. New York ingatlanpiac elemző kovid idején). Mindkettő a kapitalizmusra épül és a vesztébe rohan. Mindkettőben egyre inkább megéri hazudni és csalni.

Most ennyi, hirtelen elfogyott a kedvem a további párhuzamoktól. Ha valakinek van valami vicces ötlete, nyugodtan megoszthatja kommentben.

Még egy dolog. A jótúbon sokkal gyorsabban telik az idő mint a való világban. Lehet, hogy már a jövőben járunk ott? Érdemes odafigyelni a dinamikára.

Eyes on me.

dmca

Komolyan, unom, hogy mindig az van, amit a hülyék akarnak. Vicces ez az egész DMCA dolog, hogy rászálltak már a streamerekre is. Az egész világ úgy táncol ahogy ők fütyölnek. Azt fogják elérni, hogy lesznek "streamer friendly" helyek a városban, ahol nem DMCA zenék mennek és "fan friendly" helyek, ahol meg DMCA zenék mennek. Aztán majd az egyik tábor nyerni fog. Vajon melyik?

Meg aztán, gondolom lesz majd technikai megoldás, ami egyszerűen kiszűri valós időben a streamből a DMCA stuffot és amikor bekapcsolják, összedől az üzleti modelljük egyik napról a másikra és kirúgják az egész bagázst mert eljátszották azt a kevés jószándékot is, ha még van olyasmi.

Attila most éppen élőben.