12月11日消息,仍被美國(guó)日前解禁了NVIDIA H200顯卡的禁華對(duì)華出口,這款顯卡相對(duì)之前閹割版的為已H200大幅提升,對(duì)提升大模型訓(xùn)練推理能力很有幫助。有自研替
伴隨H200解禁還有一個(gè)問(wèn)題值得關(guān)注,代品那就是仍被這款顯卡使用的HBM3e顯存是否也同樣解禁了,可惜答案是禁華否——美國(guó)對(duì)國(guó)內(nèi)企業(yè)的HBM出口禁令依然存在,并不允許單獨(dú)出售。為已
NVIDIA的有自研替H200顯卡使用了上代的Hopper架構(gòu),F(xiàn)P32性能67TFLOPS,代品FP16性能高達(dá)1979TFLOPS,仍被是禁華H20顯卡的6倍,同時(shí)也是為已全球首發(fā)HBM3e顯存的,容量141GB,有自研替帶寬高達(dá)4.8TB/s。代品
國(guó)內(nèi)的AI顯卡之前在用的還是HBM2e標(biāo)準(zhǔn)的,不論容量還是性能已經(jīng)跟不上頂級(jí)AI模型的需求了。
不過(guò)HBM3e雖然還是不能出口,但華為已經(jīng)有了自研的替代方案,今年9月份華為宣布自研了兩種HBM,分別是HiBL 1.0和HiZQ 2.0,可根據(jù)不同的場(chǎng)景用于不同的AI顯卡。
明年上半年的Ascend?950PR 采用了華為自研的低成本HBM技術(shù)HiBL 1.0,相比高性能、高價(jià)格的HBM3e/4e,能夠大大降低推理Prefill階段和推薦業(yè)務(wù)的投資。
明年下半年問(wèn)世的Ascend 950DT采用了HiZQ 2.0,使內(nèi)存容量達(dá)到144GB,內(nèi)存訪問(wèn)帶寬達(dá)到4TB/s。同時(shí)把互聯(lián)帶寬提升到了2TB/s。
未來(lái)的Ascend 960、Ascend 970還會(huì)進(jìn)一步提升容量到288GB,帶寬9.6TB/s、14.4TB/s,時(shí)間點(diǎn)在2027到2028年。