隨著大語言模型在文本分析、昇騰生態(tài)上交智能問答等場景的硬核躍升廣泛應(yīng)用，處理1M超長文本推理時(shí)，大攻大幅常常面臨顯存不足、克超運(yùn)算速度卡頓的長上行業(yè)痛點(diǎn)，嚴(yán)重限制了超長文本場景的下文性應(yīng)用。近日，推理上海交通大學(xué)李健教授團(tuán)隊(duì)依托上海交通大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心的難題算力支持，基于vLLM-Ascend 推理框架研發(fā)出一套針對超長上下文推理的昇騰生態(tài)上交稀疏注意力 KV Cache 分層緩存管理系統(tǒng)。在昇騰 AI 軟硬件平臺(tái)的硬核躍升全方位賦能下，該項(xiàng)目成功破解單卡支持超長上下文推理的大攻大幅顯存與性能雙重難題，同時(shí)大幅提升吞吐量?？顺?/p>

項(xiàng)目核心創(chuàng)新在于設(shè)計(jì)了 KV Cache 分級緩存集成機(jī)制。長上該機(jī)制先對推理任務(wù)進(jìn)行實(shí)時(shí)分析，下文性智能識(shí)別Top-K 重要塊并集中算力處理，推理從源頭提升計(jì)算效率；同時(shí)采用數(shù)據(jù)冷熱分層存儲(chǔ)策略，根據(jù)數(shù)據(jù)訪問頻率，將生成數(shù)據(jù)動(dòng)態(tài)劃分為高頻熱數(shù)據(jù)與低頻冷數(shù)據(jù)，再針對性優(yōu)化存儲(chǔ)位置，減少資源浪費(fèi)。這一機(jī)制的落地依托昇騰CANN異構(gòu)計(jì)算架構(gòu)靈活的動(dòng)態(tài)調(diào)度能力，能精準(zhǔn)控制冷熱數(shù)據(jù)在顯存與主存間的流轉(zhuǎn)，大幅降低數(shù)據(jù)遷移開銷。最終，該方案實(shí)現(xiàn)單卡流暢處理超過1M的超長文本推理任務(wù)，系統(tǒng)推理吞吐量超過39%，徹底突破傳統(tǒng)系統(tǒng)在長序列處理上的顯存與性能瓶頸。

同時(shí)項(xiàng)目進(jìn)行了元數(shù)據(jù)結(jié)構(gòu)優(yōu)化與緩存機(jī)制設(shè)計(jì)，其中數(shù)據(jù)索引與掩碼是關(guān)鍵支撐 —— 通過精簡索引結(jié)構(gòu)、合并掩碼維護(hù)步驟，有效減少重復(fù)運(yùn)算，使昇騰NPU算力更集中于注意力計(jì)算與文本生成等核心任務(wù)，提升硬件利用效率。相關(guān)優(yōu)化已通過vLLM-Ascend推理框架靈活集成，保障了技術(shù)方案的順利落地。

目前，該項(xiàng)目源代碼已在 Gitee 社區(qū)中開源，后續(xù)將進(jìn)一步推送到昇騰開源生態(tài)，合入GitHub社區(qū) vLLM-Ascend 項(xiàng)目專區(qū)。此次技術(shù)突破，不僅為超長文本推理提供了高效解決方案，更印證了昇騰生態(tài)在AI創(chuàng)新中的賦能價(jià)值。未來，隨著該系統(tǒng)在更多行業(yè)場景的落地，昇騰將持續(xù)為AI技術(shù)研發(fā)提供算力與技術(shù)保障，推動(dòng)大語言模型在長文本分析、智能辦公、數(shù)字孿生等千行百業(yè)的深度應(yīng)用，加速人工智能產(chǎn)業(yè)化進(jìn)程。

• ·晉升國標(biāo) “超算互聯(lián)網(wǎng)標(biāo)準(zhǔn)體系”建設(shè)取得新突破
• ·（粵港澳全運(yùn)會(huì)）安徽隊(duì)朱琳獲得十五運(yùn)會(huì)網(wǎng)球女單冠軍
• ·華為重磅官宣！艙內(nèi)激光ADS Pro支持城區(qū)NCA輔助駕駛
• ·特朗普：已簽署法案批準(zhǔn)公布愛潑斯坦案檔案
• ·晉升國標(biāo) “超算互聯(lián)網(wǎng)標(biāo)準(zhǔn)體系”建設(shè)取得新突破
• ·冰冰涼涼就是爽：蒙牛優(yōu)益C飲品2.9元/瓶大差價(jià)（商超7.5元）
• ·一鍵擊毀芯片無法恢復(fù) 十銓科技發(fā)布全球首款支持銷毀的SSD
• ·豆包輸入法正式版發(fā)布！純凈無廣告、支持方言語音輸入
• ·富森美攜手美的、海爾、格力等頭部品牌 共筑全域商業(yè)消費(fèi)新生態(tài)
• ·填補(bǔ)行業(yè)空白！我國首臺(tái)套綠氫耦合煤化工項(xiàng)目全面投運(yùn)
• ·小鵬X9行業(yè)首發(fā)三排電動(dòng)三折疊：秒變1米8瑜伽房
• ·填補(bǔ)行業(yè)空白！我國首臺(tái)套綠氫耦合煤化工項(xiàng)目全面投運(yùn)
• ·第三屆“印尼—中國青年論壇”在雅加達(dá)舉行
• ·臺(tái)積電技術(shù)大佬羅唯仁攜2nm機(jī)密投奔Intel：幫助不大 影響不小
• ·一加Ace 6T搭載全新冰河散熱系統(tǒng)：行業(yè)最頂材料、面積史上最大
• ·發(fā)行價(jià)格為114.28元/股！摩爾線程11月24日上市 募資80億猛攻高端GPU