POPA ReconMEMORY WALL - в AI / p.1
MEMORY WALL - в AI / p.1 Виды памяти в кластерах для ИИ: G0. SRAM [ on - chip ] Используется в основном в Groq LPU / Cerebras чипах. G1. GPU HBM Используется во всех ИИ чипах [ B200 / R200 / Trainium / TPU Google и других ] H100 [ 6 HBM стоек ] - 80 GB B200 [ 8 HBM стоек ] - 192 GB R200 [ 8 HBM стоек ] - 288 GB TPU v6e [ 4 стойки ] - 32 GB TPU v7 [ 8 стоек ] - 192 GB TPU v8 [ 8 стоек ] - 288 GB G2. Host-DRAM (внутри CPU) Используется во всех чипах CPU - которые обеспечивают работу кластеров GPU в дата-центрах NVIDIA GB200 NVL72 - внутри этого кластера 72 GPU чипа, которые обес…
The excerpt is quoted from a public Telegram channel, which owns its text.