Mesterséges intelligencia
Helyi AI egy 12 000 dolláros Mac Studión: mire képes a saját gépen futó ügynök
Mi történik, ha valaki nem a felhőbe küldi a személyes adatait, hanem a saját gépén futtat egy nagy nyelvi modellt? A The Verge egyik szerzője kipróbálta egy csúcskategóriás Mac Studión. A kísérlet sokat elárul arról, merre tart a személyi számítástechnika.
Mit jelent a helyi AI, és miért vonzó?
A ma ismert chatbotok többsége a szolgáltató adatközpontjaiban fut. Amit beírunk, az a cég szervereire kerül, és a komolyabb használatért gyakran tokenalapon fizetünk. A token a szövegfeldolgozás alapegysége, nagyjából szótöredéknyi darab. A helyi AI ezzel szemben a saját hardveren futtatja a nagy nyelvi modellt (LLM). Két előnye van: az adatok nem hagyják el a gépet, és nincs használat utáni díj. A Hermes Agent macOS-en, Windowson és Linuxon is fut, helyi modellekkel pedig ingyenesen használható. A pontos fejlesztője és a hivatalos letöltési forrása a cikkből nem derül ki.
Az ügynökalkalmazás, angolul agentic AI, több egy csevegőablaknál. Nem csupán válaszol a kérdésekre, hanem önállóan végrehajtható feladatokat kap: programokat, scripteket futtat, külső szolgáltatásokhoz csatlakozik, és ütemezve is dolgozhat. Ezek az eszközök jelenleg nagy divatot élveznek a technológiai iparban. Helyi futtatásnál ráadásul az ügynök által kezelt fájlok és adatok is a felhasználó gépén maradnak, ami különösen az érzékeny feladatoknál számít.
Mire használta a szerző?
A beszámolóban felsorolt feladatok jól mutatják, hogyan illeszkedhet egy helyi ügynök a mindennapokba. A lista vegyes: van benne kényelmi funkció, hobbiprojekt és munkához kötődő, bizalmas adatokat érintő feladat is. Utóbbiaknál különösen jól látszik, miért vonzó, hogy semmi sem kerül külső szerverre. A szerző a következőkre állította rá az ügynököt:
- reggeli összefoglaló, amelyet egy cron job, azaz időzített feladat indít el; - a szerző több mint 400 játékot számláló Steam-könyvtárának rendezése a Steam web API kulcsán keresztül; - pénzügyi adatok elemzése, vagyis éppen az a fajta érzékeny információ, amelyet sokan nem adnának ki a kezükből; - egy embargós laptop-specifikációs táblázat összeállítása, ahol a bizalmasság szintén kulcskérdés; - egy benchmark-automatizáló script, amely teljesítménymérést végezne, ez azonban még készül.
A modell nem kicsi. A Qwen 3.8 Flash Next a cikk szerint 125 milliárd paraméteres, és nagyjából 105 GB helyet foglal. Ekkora modellt csak nagyon sok memóriával rendelkező gép tud kényelmesen futtatni. A nevet és a paraméterszámot független forrásból nem sikerült megerősíteni, ezért ezeket fenntartással érdemes kezelni.
A hardver a szűk keresztmetszet
A helyi AI ma már valós lehetőség, de drága belépőt kér. A nagy modellekhez rengeteg gyorsan elérhető memória kell. Ezért népszerűek az Apple Silicon gépek, amelyeknél a processzor és a grafikus egység közös, egységes memóriát használ. Hasonló irányt képviselnek az AMD Strix Halo rendszerei is. A cikk szerint hamarosan akár 128 GB RAM-mal szerelt, kifejezetten ügynökalapú AI-ra szánt RTX Spark Windows gépek is érkeznek, ezek pontos megjelenési ideje azonban nem ismert. Az Apple is a helyi AI-t hangsúlyozza az új asztali Macjeinél.
A nyitott kérdések egyelőre számosak. Az M5 Ultra Mac Studio pontos ára és elérhetősége nem ellenőrzött, a 12 000 dolláros összeg a cikkből származik. Az sem világos, mennyire lesz megfizethető a nagy memóriájú hardver a következő években, hiszen az ilyen gépek ára egyelőre borsos. Az irány viszont egyértelmű: a gyártók a saját gépen futó, adatvédelmet ígérő AI-ra építenek, a felhasználóknak pedig azt kell mérlegelniük, megéri-e ezért a magas hardverárat megfizetni.