"MTIA v2 的基本架構與 MTIA v1 非常相似。兩者均有 64 個處理元件 (PEs)，處理元件連接到 DDR5 記憶體控制器，每側四個，共十六個記憶體通道。Meta 像 Nvidia 使用 Grace CPU 一樣，選擇使用通常用於筆記型電腦的 LPDDR5 記憶體。（LP 是低功率的縮寫。）在 MTIA v1 中，外置的 LPDDR5 記憶體的容量為 64 GB，並且在這十六個通道上的帶寬為 176 GB/秒。在 MTIA v2 中，容量加倍至 128 GB，並且記憶體速度提高了 16.4%，這也將帶寬提高了相同的比例，達到 204.8 GB/秒" "如果 MTIA v2 價格能控制在 $2-3k USD，INT8 推理工作量比 T4 多 5.5 倍，但耗電量只多了 1.3 倍。而 H100 的工作量則多 5.7 倍，但耗電量高達 7.8 倍，並且成本可能在 10 倍到 15 倍之間" 本文討論內容聚焦在 MTIA 的 "推論" 晶片，也就是現在要出到 gen2 的 Artemis，MTIA 後面會不會也去做訓練晶片呢？ 不過在接下來的一段時間大概會是推論的主秀，從 NV 轉推 GB200 這種推論猛男可見一斑，企業開始聚焦實際變現情形 https://www.nextplatform.com/2024/04/10/with-mtia-v2-chip-meta-can-do-ai-training-as-well-as-inference/ 12.9K views15:20
