Hardver
Olcsóbb, 64 GB-os DGX Spark érkezik a memóriaválság közepén
Az Nvidia kisebb memóriájú, olcsóbb változatot ad ki helyi AI-munkaállomásából, a DGX Sparkból. A lépés a memóriaárak elszállására adott válasz: a 128 GB-os gépek ára mára messze elszakadt az eredetitől, ha egyáltalán kaphatók.
A háttérben a memóriapiac válsága áll. Az AI-adatközpontok kereslete miatt az LPDDR5X memória ára megugrott, ezt a jelenséget a szaksajtó „RAMpocalypse”-nek nevezi. A cikk szerint a 128 GB-os GB10-rendszerek ma nagyjából 7000–9000 dollárba kerülnek, ha egyáltalán kaphatók. A 64 GB-os változat így alacsonyabb belépési küszöböt jelent, bár hogy mennyivel olcsóbb a nagyobb testvérénél, az a piaci áraktól függ.
Ugyanaz a gép, feleannyi memóriával
A hardver többi része változatlan: marad a 20 magos Arm processzor, a 273 GB/s-os közös memória-sávszélesség és a ConnectX 7 RDMA hálózati kártya, amellyel több gép klaszterbe köthető. A GB10 az Nvidia Arm-alapú, egy tokban CPU-t és GPU-t egyesítő úgynevezett Superchipje. A kategóriában az AMD Strix Halo és az Apple M-sorozatú gépei a fő versenytársak.
Szoftveres újdonságokat is kapnak a gépek. Az Nvidia Sync Cluster Assistant a klaszterek kezelését segíti, a Sync Model Launcher pedig modelleket tölt le és indít el, majd az OpenCode nevű kódolóügynökhöz köti őket. Ez megkönnyíti, hogy a felhasználók helyben, felhő nélkül futtassanak nyelvi modelleket fejlesztési feladatokra.
Kinek melyik változat?
A 128 GB-os Spark továbbra is kapható marad: az Nvidia a nagyobb modellekhez, a klaszterekhez és a finomhangoláshoz (fine-tuning) ajánlja. A 64 GB-os változat inkább azoknak szól, akik kisebb, néhány tízmilliárd paraméteres modelleket futtatnának helyben. Az Nvidia hivatalos ajánlott árait egyik modellre sem ellenőrizték független források, így a végleges árak a bolti megjelenéskor derülnek ki.
A memóriapiac helyzete a helyi AI-t különösen érzékenyen érinti. A nyelvi modellek futtatásánál ugyanis az a döntő, hogy a modell elférjen a gép memóriájában: minél több a memória, annál nagyobb modell futtatható felhő nélkül. A 64 GB-os változat ezért kompromisszum, de sok fejlesztőnek és kutatónak éppen elég lehet, hogy saját gépén kísérletezzen. Az Nvidia saját bejelentését a beszámoló nem ellenőrizte, és a cikkben említett modellnevek is független megerősítésre várnak. Az új gépek valódi értékét így a megjelenés utáni tesztek és a bolti árak mutatják majd meg.