安謀科技Arm China發(fā)布全新“周易” X3 NPU:算力高達80 FP8 TFLOPS
11月18日消息,周易作為國內(nèi)領(lǐng)先的安謀芯片IP設(shè)計與服務(wù)提供商,安謀科技近日上海舉辦新品發(fā)布會,科技正式推出了新一代“周易”X3 NPU。發(fā)布
這也是全新安謀科技打造Arm China“All in AI”產(chǎn)品戰(zhàn)略之后,發(fā)布的算力第一款重磅產(chǎn)品,面向基礎(chǔ)設(shè)施、高達智能汽車、周易移動終端、安謀智能物聯(lián)網(wǎng)四大領(lǐng)域。科技
它可為AI加速卡、發(fā)布智能座艙、全新ADAS高級輔助駕駛、算力具身智能機器人、高達AI PC筆記本、周易AI手機、智能網(wǎng)關(guān)、智能IPC網(wǎng)絡(luò)攝像機等提供高效的端側(cè)AI計算能力。
安謀科技旗下?lián)碛幸幌盗凶匝挟a(chǎn)品,除了“周易”NPU,還有“星辰”CPU、“山海”SPU、“玲瓏”多媒體系列,全面覆蓋核心領(lǐng)域,可匹配多場景AI計算需求。
“周易”NPU團隊成立于2018年,是國內(nèi)最早的NPU研發(fā)團隊之一,可提供涵蓋硬件、軟件、工具的全棧式端到端方案,而且研發(fā)支持100%來自中國本土團隊。
“周易”X3 NPU基于專為大模型而生的最新DSP+DSA通用架構(gòu),兼顧CNN與Transformer,有效解決端側(cè)AI大模型運行難題。
它單個Cluster叢簇可配備最多4個核心,F(xiàn)P8算力8~80 TFlops(萬億次浮點計算),而且可靈活配置,單個核心的帶寬高達256GB/s。
在架構(gòu)層面,“周易”X3實現(xiàn)了多項創(chuàng)新,包括:
- 集成自研解壓硬件WDC:
大模型Weight軟件無損壓縮后,通過硬件解壓能獲得額外15-20%的等效帶寬提升。
- 新增端側(cè)W4A8/W4A16計算加速模式:
均為大模型運行必備。同構(gòu)對模型權(quán)重進行低比特量化,大幅降低帶寬消耗,支持云端大模型向端側(cè)的高效遷移。
- 集成AI專屬硬件引擎AIFF(AI Fixed-Function)與專用硬化調(diào)度器:
可實現(xiàn)超低至0.5%的CPU負載與低調(diào)度延遲,靈活支持端側(cè)多任務(wù)場景和任意優(yōu)先級調(diào)度場景,確保高優(yōu)先級任務(wù)的即時響應(yīng)。
- 支持INT4/8/16/32、FP4/8/16/32、BF16多精度融合計算和強浮點計算:
可靈活適配智能手機邊緣部署、AI PC推理、智能汽車等從傳統(tǒng)CNN到前沿大模型的數(shù)據(jù)類型需求,平衡性能與能效。
相比上代“周易”X2,CNN模型性能提升30-50%,多核算力線性度達到70-80%。
在同算力規(guī)格下,AIGC大模型能力較上一代產(chǎn)品實現(xiàn)10倍增長,這得益于16倍的FP16 TFLOPS、4倍的計算核心帶寬、超過10倍的Softmax和LayerNorm性能提升共同驅(qū)動。
基于上述優(yōu)化,“周易”X3 NPU的端側(cè)大模型推理更加高效。
Llama2 7B大模型實測中,“周易”X3 NPU IP在Prefill階段算力利用率高達72%,而且在安謀科技Arm China自研解壓硬件WDC的加持下,Decode階段有效帶寬利用率超過100%,遠超行業(yè)平均水平,從而滿足大模型解碼階段的高吞吐需求。
除了高性能硬件,“周易”X3 NPU IP還配套提供完善易用的“周易”Compass AI軟件平臺,通過軟硬一體協(xié)同設(shè)計,大大提升開發(fā)部署效率。
Compass AI軟件平臺通過覆蓋開發(fā)全流程的工具鏈、極致的易用性優(yōu)化、開放的生態(tài)布局,解決了端側(cè)AI開發(fā)“適配難、周期長、門檻高”等難題。
作為核心工具,平臺中的NN Compiler(神經(jīng)網(wǎng)絡(luò)編譯器)集成Parser(模型解析)、Optimizer(優(yōu)化器)、GBuilder(生成器)、AIPULLM(大模型運行工具),可實現(xiàn)主流模型的高效轉(zhuǎn)化、自動化優(yōu)化、部署配置生成。
它還具備以下核心能力:
- 廣泛的框架與模型支持:
支持超過160種算子與270種模型,兼容TensorFlow、ONNX、PyTorch、Hugging Face等主流AI框架,提供開箱即用的Model Zoo。
- 創(chuàng)新的Hugging Face模型“一鍵部署”:
通過AIPULLM工具鏈,直接支持Hugging Face格式模型,實現(xiàn)“一站式”轉(zhuǎn)化與部署,極大降低開發(fā)門檻。
- 先進的模型推理優(yōu)化:
業(yè)界領(lǐng)先的大模型動態(tài)shape支持,高效處理任意長度輸入序列;
提供Tensor、Channel、Token Level多樣量化方式,以及GPTQ等大模型主流量化方案,并增加對LLM/VLM/VLA及MoE等模型的高性能支持。
- 靈活的開發(fā)者賦能:
提供多種開放接口,支持用戶模型與自定義算子的開發(fā)與調(diào)試;
配備豐富的調(diào)試工具與Bit精度軟件仿真平臺,支持多層次白盒開發(fā)與性能調(diào)優(yōu),簡化算法移植與部署。
- 全面的系統(tǒng)與異構(gòu)兼容:
支持Android、Linux、RTOS、QNX等多種操作系統(tǒng),并通過TVM/ONNX實現(xiàn)SoC異構(gòu)計算,高效調(diào)度CPU、GPU、NPU等計算資源。
發(fā)布會現(xiàn)場,安謀科技還全面展示了“周易”NPU產(chǎn)品方案與落地成果。
- “周易”Z1:
算力0.32~3.75 TOPS,適用于AIoT場景,廣泛支持人臉識別、人臉及人體關(guān)鍵點檢測、文字識別等,已進入AI智能音箱等多種產(chǎn)品。
- “周易”Z2/Z3:
算力1.25~5 TOPS,面向AIoT、入門級座艙等市場,支持前視輔助駕駛方案、艙泊一體方案及安全儀表盤方案、圖像超分辨率優(yōu)化等。
- “周易”X1:
算力10 TOPS,面向高端AIoT、汽車座艙等市場,支持駕駛員監(jiān)控、乘客監(jiān)控、自動泊車、AVM 360環(huán)視、AI圖像降噪等。
- “周易”X2:
算力10-30 TOPS,面向高端AIoT、AI PC筆記本、AI平板機、AI手機等,現(xiàn)場展示了運行Stable Diffusion v1.5文生圖、CLIP文搜圖的能力,可實現(xiàn)端側(cè)多模態(tài)AI流暢運行。
- “周易”X3:
算力8-80 FP8 TFLOPS,面向基礎(chǔ)設(shè)施、智能汽車、移動終端、AIoT等市場,現(xiàn)場展示了基于“周易”X3的主流大模型效果,包括運行DeepSeek-R1-Distill-Qwen-1.5B模型的文生文AI流暢對話、運行Stable Diffusion v1.5的文生圖效果、運行MiniCPM v2.6模型的圖片識別及圖生文多模態(tài)應(yīng)用等,均展現(xiàn)出優(yōu)異的端側(cè)大模型推理性能。
-
(粵港澳全運會)專訪香港羽毛球隊總教練:比全運像開盲盒,有驚喜也有“驚嚇”(粵港澳全運會)一張球場合影,照見相融的力量實探哪吒汽車桐鄉(xiāng)工廠:無復(fù)工跡象、管理人駐廠辦公 第二次債權(quán)人會議即將召開(粵港澳全運會)皮劃艇首金誕生 福建隊名將全鑫加冕“三冠王”全息光刻美背太吸睛!OPPO Reno 15圖賞出租車錯過高速出口急剎減速 載54人大客車陷險境!盤點7個不知不覺患上糖尿病的習(xí)慣:很多人每天都在重復(fù)做實探哪吒汽車桐鄉(xiāng)工廠:無復(fù)工跡象、管理人駐廠辦公 第二次債權(quán)人會議即將召開愛圖仕News|愛圖仕榮獲“深圳市總部企業(yè)資格證書”iPhone 17通訊錄一夜之間多出20個“爸爸” 蘋果客服回應(yīng)
- ·(粵港澳全運會)葉詩文說這是自己最后一次全運會
- ·每個身份證信息10元 3名男子倒賣貨拉拉內(nèi)部信息被判刑
- ·百公里加速不小于5秒引熱議 《人民日報》:解讀不能變誤導(dǎo) 絕非“一刀切”的禁令
- ·Win11將魔改為AI OS引網(wǎng)友不滿:微軟直接禁止評論
- ·南寧動物園大猩猩抽煙手法嫻熟 回應(yīng):應(yīng)該是游客丟進去的 會加強巡邏
- ·(粵港澳全運會)皮劃艇首金誕生 福建隊名將全鑫加冕“三冠王”
- ·睡夢中被愛犬咬掉一根腳趾!男子選擇原諒:稱是一場意外
- ·特寫:航天員陳冬父母的三重期待
- ·淘寶閃購聯(lián)合阿里健康上線“居家閃檢”,上門取樣可測12種流感病原
- ·(粵港澳全運會)奧運冠軍吳愉全運奪冠 實現(xiàn)拳擊生涯“大滿貫”
- ·盤點7個不知不覺患上糖尿病的習(xí)慣:很多人每天都在重復(fù)做
- ·從不被看好到激活量即將破千萬 iPhone 17系列贏在哪兒
- ·OceanBase發(fā)布首款A(yù)I數(shù)據(jù)庫seekdb:三行代碼構(gòu)建AI應(yīng)用 實現(xiàn)百億級多模數(shù)據(jù)混合搜索
- ·(粵港澳全運會)清遠:將賽事“流量”轉(zhuǎn)化為推動城市發(fā)展的“增量”
- ·島國遭遇“熊災(zāi)”:專家稱熊災(zāi)是日本人口減少原因之一
- ·神舟二十一號載人飛船順利撤離空間站組合體 神舟二十號乘組踏上回家之旅
- ·Switch 游戲投影儀推薦哪款 當(dāng)貝 X7 Ultra 1ms 低延遲 +VRR 高刷最適合玩Switch
- ·(粵港澳全運會)陳露穎全運會女子200米蝶泳摘金 于子迪、張雨霏獲得銀牌和銅牌
- ·出租車錯過高速出口急剎減速 載54人大客車陷險境!
- ·百公里加速不小于5秒引熱議 《人民日報》:解讀不能變誤導(dǎo) 絕非“一刀切”的禁令
- ·行業(yè)首款自帶云臺的機器人手機!榮耀ROBOT PHONE真機首次亮相
- ·太帥了!阿諾之子COS父親《終結(jié)者》T800經(jīng)典裝扮
- ·訪錫林郭勒草原牧民家中的民俗傳承:氈繡技藝傳四代
- ·十五運會賽場內(nèi)外,用心勾勒青春的模樣
- ·臺積電AI營收將創(chuàng)新高 訂單能見度直達2028年
- ·寒潮來了!大風(fēng)雨雪降溫在路上
- ·(粵港澳全運會)香港“小女車神”李思穎場地自行車女子全能賽摘金
- ·iPhone 17通訊錄一夜之間多出20個“爸爸” 蘋果客服回應(yīng)
- ·用過就回不去了:水衛(wèi)士重油污清潔劑5.9元剛需速囤
- ·華為旗艦第一次!Mate 80 Pro Max/RS配備雙潛望長焦鏡頭
- ·行業(yè)首款定制AI芯片電競顯示器 AGON AG277UX 即將上市!
- ·下半年首場寒潮過程將影響我國 部分地區(qū)降溫12~14℃
- ·太離奇!加拿大男子劫走公交車后化身司機:一路??渴召M載客
- ·汪麗娜奪得“十五運”女子拳擊75公斤級銀牌
- ·華為Mate 30 RS保時捷被火燒到面目全非:還能充電玩游戲
- ·島國遭遇“熊災(zāi)”:專家稱熊災(zāi)是日本人口減少原因之一
