az izzadó gpukat hűsítő tea leveleiből való jóslás

Néhány érdekes fejlemény és hangulat van a mesterséges intelligencia e heti információdömpingjében, szóval gondoltam egy kicsit spekulálok én is. 

Szóval az egyik legfontosabb elv a mesterséges intelligenciával kapcsolatban az az, hogy a nagy cégek mindig is előnyben lesznek-e a kis cégek által gyártott nyílt modellekkel szemben? Azért tűnik ez plauzibilisnek, mert most arról szól a modellgyártás, hogy minél több adaton tanítunk minél nagyobb modellt, amihez persze a kettő szorzata számítás szükséges és ezzel a versenyt a kicsik nem bírják. Csakhogy vannak közepes méretű cégek is, főként kínaiak, akik egy csomót fektettek a számítás hatékonyságának a növelésébe és szinte a nagy cégekkel egyenrangú modelleket tudnak gyártani, azokat aztán még tömörítik is úgy, hogy csak bizonyos feladatok megoldására élezzék ki őket, pl. a programozáséra. Így lehetséges az, hogy most kijött egy kínai modell, ami 2%-a a nagy kereskedelmi modelleknek, de csak 10%-al rosszabb eredményt ér el a programozásban meg a terminál használatában (ha jól vettem ki), és az az igazság, hogy nagyon sok mindenre már ez is bőven elég. Ráadásul, mivel a hardvergyártók ezekhez a bődületesen nagy modellekhez szabják a hardvert, a kicsi modellek mózerolása már az akadémiának is elérhetővé válik, márpedig az akadémiai kutatóktól jönnek a legdiverzebb ötletek és rendesen begyújthatják ezeket a kis modelleket. Ja, és az sem biztos, hogy azok az új módszerek, amelyek sokat dobnak a kis modellek hatékonyságán egyáltalán működnek a nagy modelleknél, szóval még az ingyen kutatást sem tudják felszívni a nagy cégek. Szóval egyre inkább kezd úgy kinézni, hogy a sok lúd disznót fog győzni, egyesek szerint ezért siet az antropik a tőzsdére, mert nemsokára vége a mítosznak. 

A másik érdekes fejlemény, hogy kipróbálták ezeket a rendszereket éles irodai munkakörülmények között és néhány hét alatt összeomlott a kártyavár, az emberek rájöttek, hogyan lehet kijátszani a modelleket és már nem voltak egyenlő partnerek. Ez egy kicsit összecseng azzal is, hogy gyakran azt emlegetik amikor új munkaerőt keresnek egy céghez, hogy szoft szkillek ugyanolyan fontosak mint a hard szkillek, azaz a kommunikációs képesség, az odafigyelés, az adaptáció a munkatársakhoz ugyanolyan fontos, mint hogy meg tudja-e az ember oldani a feladatot. Márpedig a mesterséges intelligencia szoft szkillekkel egyáltalán nem rendelkezik, csak egy bizonyos "átlag"-kommunikációra képes, ami átlagban jól működik, de a cégeknél definíció szerint nem átlagos munkát végez az ember, mert az már megvan (és ki is van számítva). Lehetne az, hogy adaptálódik a mesterséges intelligencia az új környezethez, azaz tanul, de az sajnos még nem megy valós időben és nem hinném, hogy a cégek a munkamenetük legapróbb részleteit a nagy modellgyártók rendelkezésére bocsátanák csak azért, hogy rájuk szabják valamennyire a modell következő iterációját. Itt is a kis modelleknek lesz esélye, amelyeket házon belül adaptálni lehet, addig amíg az igazi valós idejű tanulásra képesek lesznek a rendszerek, de az eléggé paradigmaváltás szagú. Erre a jelenségre más irányból is el lehetett volna jutni, én is elég szkeptikus vagyok az alapító zseni mítoszával, aki mindent tud és saját kezűleg felépíti a céget. Valójában a megfelelő csapat nélkül egyetlen zseninek sincs esélye, még akkor sem, ha nem kell aludjon, nem éhes és nem szomorú néha.

Vicces lesz, ha a mesterséges intelligencia modellek lesznek az első olyan dolog, amelyről kiderül, hogy a kapitalista rendszer képtelen optimálisan gyártani. Elvégre, Gödel óta tudjuk, hogy minden (kellően bonyolult) rendszerben vannak problémák amelyeket nem tud megoldani.

Ha a dolgok ilyetén állnak, akkor nemsokára megint a munkásoknak kell kezdjen állni a zászló, persze az is lehet, hogy előtte azért még kiereszt a tőzsdei lufi egyszer. 

Zene. Zene. Zene.

AI. AI.

Ehh. 

amikor a zúr bezár egy ajtót amerikában, kinyit egy ablakot kínában

Hú, most megint volt pár érdekes mestint hír.

Most volt a nemzetközi matek olimpia, a sima, mindenki számára elérhető fable, gpt 5.6 sol, kimi k3 és még egy direkt lean-be formalizáló modell is tökéletesen megoldott minden feladatot. Eszméletlen.

Sorra oldják az Erdős problémákat a nyílt modellek, meg egy Jacobi sejtés nevű feladat is megadta magát egy egyszerűnek látszó ellenpéldának. Egészen sok ellenpéldát generáltak mostanában a modellek, valami eszméletlen finoman behálózhatták már a matematikai jellegű gondolatok terét, lassan már azzal kell őket promptolni, hogy egy szuper mesterséges intelligencia vagy aki csak úgy a kisujjából rázza ki a megoldásokat, nem lennél szíves egy kicsit odafigyelni erre a kis feladatocskára?

Egy csomó ingyenes modell jelenik meg még mostanában is, a kínaiak is nagyon belehúztak, állítólag az egyik modellt egy kajakiszállítással foglalkozó cég dobta ki, akik teljesen saját infrastruktúrát építettek, 50000 asicet programoztak be a tanítási algoritmusra. Meg persze az amerikaiak is mozgolódnak azért, mindenki be van szarva, ha tényleg az antropik és az ópenéjáj dominálja le ezt a dolgot, akkor a kapitalizmus szabályai mellett mindenki más kihalásra van ítélve. Sír is az antropik főként, hogy a gonosz konkurencia ellopja a modelljüket, mintha már maga a használat nem lopná el belőle a tudást (és persze nem lopással szerezték volna ők is az első adag adatot amire az első modelleket betanították). Vicces, de Kína a szabadság legnagyobb védelmezője mostanában, reméljük meg is tartják ezt a jó szokásukat még sokáig.

Demó.

Zene. 

AI.

az implikációk komplikációjának mátrix alakja

A tegnap jó szokása szerint a Föld tett egy fordulatot a tengelye körül. De azt hiszem, erre a fordulatra még sokáig emlékezni fogunk, lehet, hogy sok történelem könyvben fogják emlegetni. 

Két fontos dolog történt.

A kevésbé fontos az, hogy Musk a SpaceX nevű, űrbe cuccost szállító cégébe bújt mesterséges intelligencia cégét bejegyezték a tőzsdére és ezzel tett egy nagy lépést a mesterséges intelligencia dominálása felé, igaz, most éppen hardver oldalon próbálja meg eladni magát (nem kisebb dolgot állít, mint hogy a szerverek leginkább föld körüli pályán vannak a legjobb helyen). A mesterséges intelligencia modellek fejlesztése kicsit mostanában háttérbe szorult, de gondolom csak idő kérdése, hogy betegye a nagy suskát és megint versenybe kerüljön.

Az igazán fontos dolog, hogy az amerikai kormány korlátozza az antropik Fable modelljét, hogy csak amerikai állampolgárok férhetnek hozzá. Ezennel ez a mesterséges intelligencia játék elég komolyra fordult. Szóval a bizalom, az elszállt. Egymásban, abban, hogy ez még mindig csak játék és nem a jövőt felfaló technológia, hogy az embereknek a kooperáció az érdekük, stb. stb. stb.. Amúgy is azon gondolkodtam, hogy mi értelme van valami olyan dolgot megoldani az antropik modelljeivel, amiből pénzt lehet szerezni, hiszen bármit lemásolhatnak tőled, bár nem olvastam a felhasználási feltételeiket, tuti nem garantálnak kizárólagosságot neked arra amit az ő rendszerükkel generálsz. Viszont ez a sok robot egy újfajta kooperálási lehetőséget is felvet. Lehet csak a nehéz dolgokat megoldani a fizetős rendszerekkel és azonnal nyílt forrásúvá is tenni őket, viszont az applikációt, ami használja ezeket a részeket egy lokális modellel készíteni. Talán már automatizálni is lehet ezt, hogy az okos ágensek mindent nyomjanak egyből a githubra egy nyílt repóba és a buta ágensek onnan szlopálják a cuccost és helyi repóba dolgozzanak. Meg aztán, hol vannak a vibe kódolt programozási nyelvek meg operációs rendszerek amelyeket már mindenki meg tud csinálni az okos ágensekkel? Szerintem sokat dobna egy olyan programozási nyelv, aminek nagyon egyszerű a szintaxisa és lehetőleg a szemantikája is, az ágensek outputján, mondjuk valami olyan mint a lisp. :)))

Érdekes lesz követni hogy alakulnak ezek a dolgok, ki tudja milyen 5 dimenziós sakkmeccsek mennek a háttérben, szerintem az sem véletlen, hogy ez a két esemény szinte egyszerre történt.

Az biztos, hogy azoknak akik a jövő kémlelésével foglalkoznak, most rendesen feladták a leckét. Remélem, hogy nem lesz belőle újabb hideg háború, hanem az lesz, hogy megegyeznek a fejesek, hogy úgy kell csinálni, hogy mindenkinek jó legyen, nem azért játszunk itt istent, hogy kárhozatra ítéljük az embereket. Megy az nekünk a mostani technológiával is.

Demó. 

Zene. Zene. Zene. Zene.

Fourth Dimension (1988).

nem mese ez gyermek

Nem semmi, a tegnap az Antropik bejelentette az új modelljét, a Fablet, ami állítólag nagyon jó, csak éppen az a baja, hogy nagyon limitálva van szegény, még a saját árnyékától is fél. Mondjuk meg is értem, ma már ha valaki disztillálni akar egy modellt, nem embereket tesz oda, hanem mesterséges intelligenciákat akik koordinálni tudják a kísérleteiket. Sok olyan önellentmondás van a számítógépek világában amit az emberek nem értenek meg addig amíg fülön nem csípi őket. Az sem segít, hogy bizonyára nagyon drága ezeknek a modelleknek a futtatása, szóval már erősen limitálni kell a felhasználók hozzáférését, de nehéz megjósolni azt, hogy melyek lesznek azok a felhasználók akik olyan kérdéseket tesznek fel amelyek megoldása segít a modell tanításának a következő iterációjában is. Mert gondolom ez az egyik oka annak, hogy mindenkinek hozzáférése volt a modellekhez, nem csak a bait and switch, és a fake it till you make it, hanem az is, hogy a modellek saját maguknak gyártsák a tanítási adatokat, ha mást nem is, legalább a preferenciák szintjén. Az is elég vicces, hogy az Antropik eléggé azt kommunikálja, hogy ez az egész miskulancia bizony komoly dolog, félnünk kell tőle, de mi van, ha azért félnek, mert attól félnek, hogy más is ugyanazt csinálja mint ők? Igazából ez az egész kezd úgy tűnni, mint egy önlimitáló folyamat, minél intelligensebb a modell, annál kevésbé bizonyíthatja ezt, mert akkor a versenytársak annál komolyabban veszik a versenyt. Remélem a végén az lesz, hogy már rég túllőnek a célon és rájövünk, hogy már térdig járunk a szingularitásban, de mindenki az eget kémleli és nem a slamasztikát a lába alatt.

Egyébként volt még egy érdekes bejegyzés a tegnap a tuitteren. Valaki leírta, hogy amikor először bevezették a villamos áramot a gyárakban, akkor nem volt valami nagy termelékenység növekedés, mert az történt, hogy a csarnok közepén a gőzgépet lecserélték elektromos motorra és arra csatlakozott minden gép amit hajtani kellett. Viszont 20 év után, amikor az elektromos motorok már eleget miniatürizálódtak, akkor minden egyes gépbe került villamos motor és mozgatni lehetett őket az éppen termelt árú gyártási fázisainak sorrendjébe, na akkor lőtt ki a termelékenység. Sajnos ez a modell nem állja ma már meg a helyét, mert már amúgy is minden gyártósort számítógép vezényel, könnyű lesz az ember által írt programot lecserélni mesterséges intelligenciára. Viszont az emberek közötti koordinálásban még nem nagyon van helye a gépeknek (azon kívül, hogy a főnök emailben írja az utasításokat), talán ha majd ide is beengedjük őket, akkor jön az ugrás. Hogy hány év haladékot jelent ez, nem tudom, de szerintem jóval kevesebb mint húszat.

Az meg külön vicces, hogy a Fable egy játék is volt, amit azzal hirdettek, hogy te magad választhatod meg az utadat és be lehet fejezni jó vagy gonosz karakterként és minden egyes cselekedetnek morális következményei vannak. Még én is játszottam, de azt hiszem, nem fejeztem be, mert ha túl sokat varázsoltál, akkor megöregedtél és én azt hiszem öregségben múltam ki. Azért nagyon menő volt valamikor, most éppen bejelentették a folytatását, jó 15 év kihagyás után.

Demó. 

Zene. Zene. Zene. Zene.

AI Backrooms. AI.

a folyékony fémből készült faló nemsokára a vár alá érkezik

Nem semmi, az antropik azt mondja, olyan mesterséges intelligenciát fejlesztett ami megtalálja a biztonsági réseket a most használt legnépszerűbb programokban. Szóval ezért nem is bocsájthatják közhasználatra, mert a sok gonosz ember meghekkelné vele a világot. De majd jönnek ők és kijavítják az összes bugot a világban. A kérdés csak az, hogy miért kellett ezt bejelenteni? És mit szól hozzá a szija meg a zenesza? Na, kiderül. Igazán készíthetnének már egy olyan intelligenciát is, ami feltalálja a warp motort amivel az űrben lehet ugrani.

Demó. 

Zene. Zene.

AI. AI. AI. AI.

Insta. 

SECOND SKIN. 

Időszerű.