隨著大語(yǔ)言模型在文本分析、昇騰生態(tài)上交智能問(wèn)答等場(chǎng)景的硬核躍升廣泛應(yīng)用，處理1M超長(zhǎng)文本推理時(shí)，大攻大幅常常面臨顯存不足、克超運(yùn)算速度卡頓的長(zhǎng)上行業(yè)痛點(diǎn)，嚴(yán)重限制了超長(zhǎng)文本場(chǎng)景的下文性應(yīng)用。近日，推理上海交通大學(xué)李健教授團(tuán)隊(duì)依托上海交通大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心的難題算力支持，基于vLLM-Ascend 推理框架研發(fā)出一套針對(duì)超長(zhǎng)上下文推理的昇騰生態(tài)上交稀疏注意力 KV Cache 分層緩存管理系統(tǒng)。在昇騰 AI 軟硬件平臺(tái)的硬核躍升全方位賦能下，該項(xiàng)目成功破解單卡支持超長(zhǎng)上下文推理的大攻大幅顯存與性能雙重難題，同時(shí)大幅提升吞吐量?？顺?/p>

項(xiàng)目核心創(chuàng)新在于設(shè)計(jì)了 KV Cache 分級(jí)緩存集成機(jī)制。長(zhǎng)上該機(jī)制先對(duì)推理任務(wù)進(jìn)行實(shí)時(shí)分析，下文性智能識(shí)別Top-K 重要塊并集中算力處理，推理從源頭提升計(jì)算效率；同時(shí)采用數(shù)據(jù)冷熱分層存儲(chǔ)策略，根據(jù)數(shù)據(jù)訪問(wèn)頻率，將生成數(shù)據(jù)動(dòng)態(tài)劃分為高頻熱數(shù)據(jù)與低頻冷數(shù)據(jù)，再針對(duì)性優(yōu)化存儲(chǔ)位置，減少資源浪費(fèi)。這一機(jī)制的落地依托昇騰CANN異構(gòu)計(jì)算架構(gòu)靈活的動(dòng)態(tài)調(diào)度能力，能精準(zhǔn)控制冷熱數(shù)據(jù)在顯存與主存間的流轉(zhuǎn)，大幅降低數(shù)據(jù)遷移開(kāi)銷(xiāo)。最終，該方案實(shí)現(xiàn)單卡流暢處理超過(guò)1M的超長(zhǎng)文本推理任務(wù)，系統(tǒng)推理吞吐量超過(guò)39%，徹底突破傳統(tǒng)系統(tǒng)在長(zhǎng)序列處理上的顯存與性能瓶頸。

同時(shí)項(xiàng)目進(jìn)行了元數(shù)據(jù)結(jié)構(gòu)優(yōu)化與緩存機(jī)制設(shè)計(jì)，其中數(shù)據(jù)索引與掩碼是關(guān)鍵支撐 —— 通過(guò)精簡(jiǎn)索引結(jié)構(gòu)、合并掩碼維護(hù)步驟，有效減少重復(fù)運(yùn)算，使昇騰NPU算力更集中于注意力計(jì)算與文本生成等核心任務(wù)，提升硬件利用效率。相關(guān)優(yōu)化已通過(guò)vLLM-Ascend推理框架靈活集成，保障了技術(shù)方案的順利落地。

目前，該項(xiàng)目源代碼已在 Gitee 社區(qū)中開(kāi)源，后續(xù)將進(jìn)一步推送到昇騰開(kāi)源生態(tài)，合入GitHub社區(qū) vLLM-Ascend 項(xiàng)目專(zhuān)區(qū)。此次技術(shù)突破，不僅為超長(zhǎng)文本推理提供了高效解決方案，更印證了昇騰生態(tài)在AI創(chuàng)新中的賦能價(jià)值。未來(lái)，隨著該系統(tǒng)在更多行業(yè)場(chǎng)景的落地，昇騰將持續(xù)為AI技術(shù)研發(fā)提供算力與技術(shù)保障，推動(dòng)大語(yǔ)言模型在長(zhǎng)文本分析、智能辦公、數(shù)字孿生等千行百業(yè)的深度應(yīng)用，加速人工智能產(chǎn)業(yè)化進(jìn)程。

• ·昇騰生態(tài)硬核賦能！上交大攻克超長(zhǎng)上下文推理難題 性能大幅躍升
• ·(粵港澳全運(yùn)會(huì))陳藝文以頭名晉級(jí)十五運(yùn)會(huì)跳水女子3米板決賽
• ·（第八屆進(jìn)博會(huì)）全球郵輪市場(chǎng)V形反彈 中國(guó)市場(chǎng)貢獻(xiàn)過(guò)半亞洲增量
• ·2億像素國(guó)民小旗艦 一圖了解vivo Y500 Pro：1799元起
• ·躍影紅車(chē)色耀眼廣州車(chē)展 問(wèn)界新M5 Ultra憑實(shí)力引眾人打卡
• ·激光雷達(dá)輔助駕駛終身免費(fèi) 東風(fēng)奕派eπ007+上市：13.99萬(wàn)起
• ·中足聯(lián)舉辦中英職業(yè)足球青訓(xùn)交流會(huì) 助力青訓(xùn)發(fā)展
• ·（粵港澳全運(yùn)會(huì)）粵港澳藝術(shù)家唱響《彩云追月》
• ·海信E8S Pro賦能8KRAW攝影盛典 RGB
• ·放心買(mǎi)！大多數(shù)插混車(chē)型跑19萬(wàn)公里后 電池容量仍超80%
• ·中新健康丨給加濕器加消毒劑能抑菌？當(dāng)心引發(fā)肺炎！
• ·擦亮廣州“志愿之城”青春名片 “小海豚”傾心護(hù)航十五運(yùn)會(huì)
• ·2.8萬(wàn)元高價(jià)無(wú)妨：華碩ROG MATRIX RTX 5090售罄！有錢(qián)也買(mǎi)不到了
• ·（粵港澳全運(yùn)會(huì)）十五運(yùn)會(huì)舉重首金誕生 廣西隊(duì)趙金蘭奪冠
• ·第九屆業(yè)余高爾夫超級(jí)聯(lián)賽全國(guó)總決賽收官
• ·同心燃炬 珠江之畔如何奏響融合強(qiáng)音？——寫(xiě)在十五運(yùn)會(huì)開(kāi)幕之際