Hardver
OpenTPU: nyílt forrású AI-gyorsító, amelyet mesterséges intelligencia tervezett
A GitHubon megjelent OpenTPU egy nyílt forráskódú AI-gyorsító, amelyet a projekt leírása szerint mesterséges intelligencia fejlesztett. Egy régi, olcsó kártyán tíz valódi nyelvi modell fut rajta, igaz, lassan, de az átláthatósága miatt oktatási célra kiváló.
A projekt egy korábbi kísérlet, az auto-arch-tournament tanulságaira épít, és azt mutatja, hogy nagy nyelvi modellekre épülő ügynökök el tudják készíteni a hardver leírását (RTL), a fordítót és a szimulátort is. A gyártási változat 133,33 MHz-en fut, négyoszlopos úgynevezett szisztolikus mátrixegységgel, amely a neurális hálók alapművelete, a mátrixszorzás gyorsítására szolgál.
Tíz valódi modell egy régi kártyán
A készítő szerint tíz nyílt modell fut rajta valódi súlyokkal, köztük az LFM2, a SmolLM3, a Phi-4-mini, a Qwen3.5 és a Gemma 4. A kártya bitre pontosan ugyanazokat a tokeneket adja, mint a szimulátor, vagyis a hardver pontosan úgy működik, ahogy a tervezők szánták. A projekt ellenőrző eszköze egy processzoron futó referenciamodellel is összeveti a kimenetet.
A tempó szerény. A Gemma 4 E2B modell saját dekódolási hurokkal másodpercenként nagyjából 11–13 tokent, azaz szódarabot generál, a nagyobb E4B változat 3,83-at. A kártyánál nagyobb, több szakértő almodellből álló (MoE) modellek is futnak, a gazdagép tárolójáról betöltött részekkel: az LFM2.5-8B-A1B 10,6, a Qwen3.5-35B-A3B 3,95 tokent ad másodpercenként.
A memória a szűk keresztmetszet
A szöveggenerálás sebességét a memória korlátozza: a rendszer a DDR3 elméleti csúcssávszélességének 82–85 százalékát használja ki, egy újabb változat pedig 91–94 százalékot ér el, ami 8–9 százalékkal gyorsabb. A 4 bites súlyok, amelyek tömörebben tárolják a modellt, nagyjából 40–45 százalékkal gyorsítják a generálást, igaz, mérhető minőségveszteséggel.
A rendszer kártya nélkül is kipróbálható: a kártyán kívül minden fut egy laptopon, Python és a Verilator nevű szimulátor segítségével. Ez különösen vonzóvá teszi oktatási célra, hiszen bárki megnézheti, hogyan működik belülről egy AI-gyorsító, a hardverleírástól a szoftverig. A nyitott fejlesztési irányok között a memóriahatékonyság és a gyorsabb feldolgozás szerepel.
A mérések a készítő saját közlései, független ellenőrzésük hiányzik. A szövegben szereplő dátumok is szokatlanok, ezért érdemes a tárhely változtatási előzményeit ellenőrizni, és a projekt licence, valamint a közösségi visszhangja sem ismert. Az OpenTPU így nem a sebességével, hanem az átláthatóságával és az AI által vezetett tervezés demonstrációjával érdemel figyelmet.