北大特訓(xùn)營(yíng)燃啟!解鎖大模型全鏈路技術(shù) 開源與職業(yè)成長(zhǎng)雙向奔赴
11月7日,特訓(xùn)北京大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心特訓(xùn)營(yíng)在北京融科資訊中心圓滿舉辦。營(yíng)燃源職業(yè)成這場(chǎng)聚焦AI核心技術(shù)與開源生態(tài)的啟解全鏈重磅活動(dòng),匯聚了多位昇騰技術(shù)專家和研發(fā)骨干,鎖大術(shù)開以及北京大學(xué)學(xué)者,模型以“技術(shù)深耕+實(shí)戰(zhàn)賦能+職業(yè)護(hù)航”為核心,長(zhǎng)雙為AI領(lǐng)域的向奔探索者、實(shí)踐者與開源貢獻(xiàn)者帶來一場(chǎng)覆蓋大模型訓(xùn)練、特訓(xùn)推理、營(yíng)燃源職業(yè)成算子開發(fā)與部署全鏈路的啟解全鏈技術(shù)盛宴,更搭建起從技術(shù)創(chuàng)新到職業(yè)成長(zhǎng)的鎖大術(shù)開一站式橋梁。
開源生態(tài)筑基CANN為核,模型鏈接全球AI技術(shù)版圖
作為昇騰開源生態(tài)的長(zhǎng)雙核心基石,昇騰CANN生態(tài)技術(shù)專家郭依蓬在開場(chǎng)分享中,向奔全景展現(xiàn)了CANN從基礎(chǔ)構(gòu)建到全面開源開放的特訓(xùn)演進(jìn)歷程。歷經(jīng)多版本迭代,CANN已匯聚包含330+高性能算子、10+通信算法的外部成果貢獻(xiàn),形成Ascend C編程語言、CATLASS算子模板庫、三方編程語言,三位一體的編程體系,通過底層畢昇編譯器的能力開放,支持Triton等主流生態(tài)無縫對(duì)接。截至目前,CANN認(rèn)證開發(fā)者已突破8000人,累計(jì)對(duì)接PyTorch、TensorFlow、MindSpore等業(yè)界主流AI框架,以及魔樂社區(qū)、OpenI啟智等數(shù)十個(gè)開源平臺(tái),為開發(fā)者提供了靈活、開放的異構(gòu)計(jì)算底座。其全量開源的底層接口與工具鏈,更讓伙伴得以自主創(chuàng)新,在算子優(yōu)化、模型適配等領(lǐng)域?qū)崿F(xiàn)快速突破。
昇騰CANN生態(tài)技術(shù)專家 郭依蓬
推理加速突破vLLM與SGLang雙引擎驅(qū)動(dòng)高性能
推理性能是大模型落地的關(guān)鍵瓶頸,昇騰推理系統(tǒng)工程師付冰洋與溫捷分別帶來SGLang與vLLM與兩大主流框架的昇騰適配實(shí)踐。付冰洋聚焦SGLang在昇騰Atlas硬件上的高性能實(shí)踐,基于昇騰的高帶寬特性,通過MLAPO融合算子、aclGraph圖模式、W8A8C8量化等優(yōu)化手段,實(shí)現(xiàn)DeepSeekV3 671B模型在16卡環(huán)境下QPM達(dá)440+。其創(chuàng)新的PD傳輸優(yōu)化與Prefix Cache多級(jí)緩存機(jī)制,進(jìn)一步降低了長(zhǎng)序列推理的時(shí)延,為在線推理與強(qiáng)化學(xué)習(xí)場(chǎng)景提供了高效解決方案。
昇騰推理系統(tǒng)工程師 付冰洋
溫捷則詳解vLLM-Ascend插件化方案。通過Python entry_points機(jī)制,實(shí)現(xiàn)硬件后端與核心代碼解耦,支持獨(dú)立迭代與快速集成;針對(duì)MoE模型,結(jié)合EPLB靜動(dòng)態(tài)負(fù)載均衡技術(shù)、 PD分離配比優(yōu)化、flashcomm通信優(yōu)化,matmulNZ搬運(yùn)優(yōu)化等,大幅提升推理效率。當(dāng)前vLLM-Ascend已實(shí)現(xiàn)Qwen3等模型 0Day支持,昇騰核心開發(fā)者躋身vLLM主項(xiàng)目Maintainer,在GitHub社區(qū)斬獲上千star。
昇騰推理系統(tǒng)工程師 溫捷
算子開發(fā)前沿TileLang極簡(jiǎn)范式釋放硬件潛能
算子開發(fā)是AI性能優(yōu)化的核心,北京大學(xué)計(jì)算機(jī)學(xué)院碩士研究生、TileLang Maintainer解文浩與華為TileLang技術(shù)專家楊偲嬋,帶來了新一代算子開發(fā)范式的實(shí)踐分享。解文浩以 DigitalSignatureAlgorithm(DSA)計(jì)算為例,演示TileLang開發(fā)流程。TileLang已在GitHub開源,提供Ascend C與 AscendNPU IR雙代碼生成后端,開發(fā)者通過簡(jiǎn)潔API即可實(shí)現(xiàn)內(nèi)存分配、數(shù)據(jù)搬運(yùn)與同步控制。其DSA算子開發(fā)通過分塊處理、多級(jí)緩存調(diào)度,高效完成注意力分?jǐn)?shù)計(jì)算、softmax標(biāo)準(zhǔn)化等流程,大幅降低開發(fā)門檻。
北京大學(xué)研究生、TileLang Maintainer 解文浩
楊偲嬋進(jìn)一步介紹了TileLang與MLIR生態(tài)的深度融合,通過統(tǒng)一硬件抽象與多級(jí)IR對(duì)接,開發(fā)者可通過Developer與Expert雙模式,靈活控制內(nèi)存分配、數(shù)據(jù)搬運(yùn)與同步調(diào)度,實(shí)現(xiàn)硬件潛能的極致釋放。這種“簡(jiǎn)約而不簡(jiǎn)單”的編程范式,大幅降低了復(fù)雜融合算子的開發(fā)門檻,為開發(fā)者創(chuàng)新提供了高效支撐。
TileLang技術(shù)專家 楊偲嬋
實(shí)戰(zhàn)與成長(zhǎng)從集群部署到職業(yè)進(jìn)階
北京大學(xué)研究生褚苙揚(yáng)帶來北大卓越中心集群實(shí)操教程,詳解多機(jī)多卡多模態(tài)模型訓(xùn)練要點(diǎn)。該集群基于昇騰,支持昇思MindSpore全場(chǎng)景AI框架實(shí)現(xiàn)數(shù)據(jù)與張量并行,借助HCCL通信庫優(yōu)化跨節(jié)點(diǎn)傳輸;針對(duì)“文本+視覺”雙輸入特性,褚苙揚(yáng)演示了 PD分離技術(shù)降低顯存占用,并分享集群使用教程和大模型訓(xùn)練效果,助力開發(fā)者快速上手大規(guī)模訓(xùn)練。
北京大學(xué)研究生 褚苙揚(yáng)
昇騰高級(jí)技術(shù)專家藍(lán)王力從職業(yè)發(fā)展視角出發(fā),解析AI領(lǐng)域的人才需求與成長(zhǎng)路徑。他強(qiáng)調(diào),開源貢獻(xiàn)、技術(shù)實(shí)戰(zhàn)與跨領(lǐng)域視野是核心競(jìng)爭(zhēng)力。華為計(jì)算憑借全球化研發(fā)布局與領(lǐng)先的開源標(biāo)準(zhǔn)組織影響力,為人才提供優(yōu)質(zhì)發(fā)展土壤,而本次特訓(xùn)營(yíng)為優(yōu)秀開發(fā)者開通了實(shí)習(xí)推薦的通道。同時(shí)藍(lán)王力介紹了華為“大問題創(chuàng)新機(jī)制”,鼓勵(lì)開發(fā)者聚焦大模型訓(xùn)練加速、集群可靠性提升等產(chǎn)業(yè)級(jí)難題,實(shí)現(xiàn)個(gè)人成長(zhǎng)與技術(shù)突破的雙向成就。
昇騰高級(jí)技術(shù)專家 藍(lán)王力
此次特訓(xùn)營(yíng)不僅讓開發(fā)者掌握了算子編程與開發(fā)等技術(shù),更解鎖了開源貢獻(xiàn)、實(shí)習(xí)就業(yè)的成長(zhǎng)路徑。未來,北京大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心將持續(xù)搭建技術(shù)交流與人才培養(yǎng)平臺(tái),推動(dòng)AI開源生態(tài)繁榮與產(chǎn)業(yè)人才成長(zhǎng),為智能世界筑基賦能。鯤鵬昇騰科教創(chuàng)新卓越中心定位為基于鯤鵬昇騰技術(shù)路線的校級(jí)生態(tài)合作平臺(tái),它將圍繞大學(xué)計(jì)算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等方面展開合作,為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰人才,孵化和培育根植中國(guó)的世界級(jí)科研創(chuàng)新成果。