POPA ReconMEMORY WALL - в AI / p.6
MEMORY WALL - в AI / p.6 Если брать по отдельности чип NVIDIA, одну штуку, например B200 или R200 - то наиболее затратная часть этого чипа для NVIDIA = затраты на память HBM, которые составляют > 50% себестоимости ( 2000 -3000$ ) Больше других типов памяти внутри самого чипа не ставят. Остальные уровни памяти, о которых говорил в постах выше - ставят уже в кластерах GPU. Все дата-центры работают на кластерах, а не на одиночных чипах. Все крупные клиенты NVIDIA закупают кластеры. Себестоимость, кластера из 72 чипов на примере NVIDIA GB200 NVL72: 3 200 000$ из которых > 15% уходит на G1…
The excerpt is quoted from a public Telegram channel, which owns its text.