中國唯一!阿里千問斬獲頂級AI會議最佳論文
11月28日消息,中國據(jù)媒體報道,唯阿問斬文人工智能領(lǐng)域頂級會議NeurIPS 2025公布了論文獎,獲頂阿里通義千問團隊最新研究成果從全球2萬多篇投稿論文中脫穎而出,佳論被評為最佳論文,議最是中國唯一獲得該獎項的中國團隊。
該論文聚焦于大模型的唯阿問斬文核心組件——注意力機制,首次在業(yè)內(nèi)系統(tǒng)性地解密了“注意力門控機制”對模型性能與訓(xùn)練效率的獲頂關(guān)鍵影響。
這一突破性發(fā)現(xiàn)被業(yè)內(nèi)人士廣泛認(rèn)為是佳論解決當(dāng)前大模型訓(xùn)練瓶頸的重要一步,將有力推動整個AI大模型技術(shù)的議最進步。
作為人工智能領(lǐng)域的中國頂尖盛會,NeurIPS曾孕育出Transformer、唯阿問斬文AlexNet等里程碑式成果。獲頂本屆會議吸引了谷歌、佳論微軟、議最OpenAI、阿里巴巴及麻省理工學(xué)院等全球頂尖機構(gòu)參與,投稿競爭異常激烈,接收率僅約25%,而最終評選出的最佳論文更是鳳毛麟角,僅4篇入選,概率不足萬分之二,代表了當(dāng)前全球人工智能領(lǐng)域最具價值和影響力的前沿研究。
門控機制常被喻為模型的“智能閥門”,其核心作用是幫助模型高效過濾冗余信息,從而提升模型表現(xiàn)。近年來,從AlphaFold2到Forgetting Transformer,學(xué)術(shù)界和工業(yè)界已開始探索將門控機制融入注意力模型。然而,門控在注意力中發(fā)揮效用的深層原理及其在大規(guī)模訓(xùn)練中的實踐效果,始終是未解之謎,缺乏系統(tǒng)性的實證研究。
此次,通義千問研究團隊通過嚴(yán)謹(jǐn)?shù)拇笠?guī)模實驗填補了這一空白。他們在1.7B稠密模型(Dense)與15B混合專家模型(MoE)上進行了數(shù)十組實驗,單組實驗的訓(xùn)練數(shù)據(jù)量最高超過3.5萬億tokens。
通義千問團隊表示,對門控注意力機制的深入理解,不僅為未來大語言模型的架構(gòu)設(shè)計開辟了新思路,也為構(gòu)建更穩(wěn)定、高效和可控的大模型奠定了堅實的理論基礎(chǔ)。
目前,阿里通義千問已開源超過300款模型,覆蓋全模態(tài)、全尺寸,全球累計下載量突破7億次,衍生模型數(shù)量超過18萬個,其開源生態(tài)的規(guī)模和影響力位居全球首位。
-
華為Mate 80系列設(shè)計師回應(yīng)雙環(huán)設(shè)計最大困難:鋁合金和玻璃纖維拼接第十二屆北京市民快樂冰雪季系列活動啟動1299元起聯(lián)名三宅一生!蘋果iPhone Pocket開售 創(chuàng)始人曾為喬布斯設(shè)計經(jīng)典毛衣明年起購置稅減半 17家車企承諾兜底華為的影響力此刻拉滿!實拍華為總部早高峰:員工都開自家車海信電視問鼎雙11電視市場雙冠王 奪京東天貓平臺25項第一榮耀最強數(shù)字旗艦!榮耀500系列看點匯總青海大量聯(lián)通用戶信號突然中斷!官方回應(yīng):通信網(wǎng)絡(luò)故障 已完成修復(fù)王興:美團外賣業(yè)務(wù)虧損三季度達到峰值 預(yù)計第四季度仍將較大虧損海信電視問鼎雙11電視市場雙冠王 奪京東天貓平臺25項第一
- ·馬克龍宣布法國將施行新的志愿兵役計劃
- ·第十二屆北京市民快樂冰雪季系列活動啟動
- ·(粵港澳全運會)十二載輪回 廣東男籃全運會王者加冕
- ·韓國高考逾55萬考生應(yīng)考 創(chuàng)近七年新高
- ·比亞迪又當(dāng)充電寶!比亞迪香港車主為火災(zāi)現(xiàn)場市民免費充電
- ·榮耀最強數(shù)字旗艦!榮耀500系列看點匯總
- ·儲量驚人!我國又發(fā)現(xiàn)露天金礦:共探明金金屬量1444.49噸
- ·國臺辦:公安機關(guān)懸賞征集溫子渝、陳柏源違法犯罪線索正當(dāng)必要
- ·“地?zé)o三里平”的貴州何以變“平”?
- ·華為Mate 80系列本月發(fā)布!Pro Max首次登場 Pro+成歷史
- ·買50條觀賞魚收到1袋水 商家:燙熟分解了
- ·一共4杯!博主稱華為Mate 80風(fēng)扇版已取消
- ·中國南方多地干燥程度同期少見
- ·11月13日人民幣對美元中間價報7.0865元 下調(diào)32個基點
- ·官方通報張家港鳳凰山文昌閣火災(zāi):系游客使用香燭不慎引發(fā)
- ·百度發(fā)布全球最大通用智能體 活躍用戶超2000萬
- ·茅臺集團董事長:中國白酒文化不會走向衰落 這并非夕陽產(chǎn)業(yè)
- ·一圖看懂騰訊2025Q3財報:上漲的箭頭鋪滿了
- ·(粵港澳全運會)朱雨玲晉級女單四強:站上賽場已超越勝負(fù)
- ·青海大量聯(lián)通用戶信號突然中斷!官方回應(yīng):通信網(wǎng)絡(luò)故障 已完成修復(fù)
- ·中國運動員在希臘參加米蘭冬奧會火炬?zhèn)鬟f
- ·亞洲首座專業(yè)貨運機場今年國際貨運航班已破萬架次
- ·2998元起!大疆Osmo Action 6運動相機發(fā)布:首次支持可變光圈
- ·(粵港澳全運會)劉詩雯談六次參加全運會:充分享受每個瞬間
- ·普京:美方“烏克蘭問題清單”可作為未來協(xié)議的基礎(chǔ)
- ·2998元起!大疆Osmo Action 6運動相機發(fā)布:首次支持可變光圈
- ·普京:俄方預(yù)計美方談判代表將于下周到訪莫斯科
- ·“哈基米第一股”漲停 九陽股份緊急澄清:這豆?jié){不是我們的!
- ·報告指在歐中企總體發(fā)展勢頭向好 但對歐盟營商環(huán)境評價連續(xù)六年下降
- ·(粵港澳全運會)十二載輪回 廣東男籃全運會王者加冕
- ·市場監(jiān)管總局:堅決依法查處具有全國影響的直播電商重大案件
- ·(粵港澳全運會)女博士間的交鋒:朱雨玲稱自己可以在學(xué)術(shù)上幫助陳幸同
- ·國產(chǎn)激光雷達提前盈利了!單價比紅米手機還便宜 日均能賣4800臺
- ·官方通報張家港鳳凰山文昌閣火災(zāi):系游客使用香燭不慎引發(fā)
- ·又有熊殺人!日本登山者遺體全身抓痕疑遭熊襲擊
- ·續(xù)航破1000公里!東風(fēng)350Wh/kg固態(tài)電池明年9月量產(chǎn)上車
