時(shí)間：2025-12-02 22:10:58 來(lái)源：企業(yè)錄(www.qy6.com)-公司信息發(fā)布,網(wǎng)上買賣交易門(mén)戶

　　新浪科技訊 12月2日下午消息，商湯實(shí)現(xiàn)視覺(jué)深層商湯科技發(fā)布并開(kāi)源了與南洋理工大學(xué) S-Lab合作研發(fā)的開(kāi)源全新多模態(tài)模型架構(gòu)——NEO，宣布從底層原理出發(fā)打破傳統(tǒng)“模塊化”范式的模態(tài)模型桎梏，通過(guò)核心架構(gòu)層面的架構(gòu)多模態(tài)深層融合，實(shí)現(xiàn)視覺(jué)和語(yǔ)言的商湯實(shí)現(xiàn)視覺(jué)深層深層統(tǒng)一，并在性能、開(kāi)源效率和通用性上帶來(lái)整體突破。模態(tài)模型

　　據(jù)悉，架構(gòu)在架構(gòu)創(chuàng)新的商湯實(shí)現(xiàn)視覺(jué)深層驅(qū)動(dòng)下，NEO展現(xiàn)了極高的開(kāi)源數(shù)據(jù)效率——僅需業(yè)界同等性能模型1/10的數(shù)據(jù)量（3.9億圖像文本示例），便能開(kāi)發(fā)出頂尖的模態(tài)模型視覺(jué)感知能力。無(wú)需依賴海量數(shù)據(jù)及額外視覺(jué)編碼器，架構(gòu)其簡(jiǎn)潔的商湯實(shí)現(xiàn)視覺(jué)深層架構(gòu)便能在多項(xiàng)視覺(jué)理解任務(wù)中追平Qwen2-VL、InternVL3 等頂級(jí)模塊化旗艦?zāi)Ｐ?。開(kāi)源

　　此外，模態(tài)模型NEO還具備性能卓越且均衡的優(yōu)勢(shì)，在MMMU、MMB、MMStar、SEED-I、POPE等多項(xiàng)公開(kāi)權(quán)威評(píng)測(cè)中，NEO架構(gòu)均斬獲高分，優(yōu)于其他原生VLM綜合性能，真正實(shí)現(xiàn)了原生架構(gòu)“精度無(wú)損”。

　　當(dāng)前，業(yè)內(nèi)主流的多模態(tài)模型大多遵循“視覺(jué)編碼器+投影器+語(yǔ)言模型”的模塊化范式。這種基于大語(yǔ)言模型（LLM）的擴(kuò)展方式，雖然實(shí)現(xiàn)了圖像輸入的兼容，但本質(zhì)上仍以語(yǔ)言為中心，圖像與語(yǔ)言的融合僅停留在數(shù)據(jù)層面。這種“拼湊”式的設(shè)計(jì)不僅學(xué)習(xí)效率低下，更限制了模型在復(fù)雜多模態(tài)場(chǎng)景下（比如涉及圖像細(xì)節(jié)捕捉或復(fù)雜空間結(jié)構(gòu)理解）的處理能力。

　　而NEO架構(gòu)則通過(guò)在注意力機(jī)制、位置編碼和語(yǔ)義映射三個(gè)關(guān)鍵維度的底層創(chuàng)新，讓模型天生具備了統(tǒng)一處理視覺(jué)與語(yǔ)言的能力。

　　具體而言，在原生圖塊嵌入（Native Patch Embedding）方面，這一架構(gòu)摒棄了離散的圖像tokenizer，通過(guò)獨(dú)創(chuàng)的Patch Embedding Layer （PEL）自底向上構(gòu)建從像素到詞元的連續(xù)映射。這種設(shè)計(jì)能更精細(xì)地捕捉圖像細(xì)節(jié)，從根本上突破了主流模型的圖像建模瓶頸。

　　在原生多頭注意力 （Native Multi-Head Attention）方面，針對(duì)不同模態(tài)特點(diǎn)，NEO在統(tǒng)一框架下實(shí)現(xiàn)了文本token的自回歸注意力和視覺(jué)token的雙向注意力并存。這種設(shè)計(jì)極大地提升了模型對(duì)空間結(jié)構(gòu)關(guān)聯(lián)的利用率，從而更好地支撐復(fù)雜的圖文混合理解與推理。（文猛）

海量資訊、精準(zhǔn)解讀，盡在新浪財(cái)經(jīng)APP

責(zé)任編輯：何俊熹

上一篇：不再依賴數(shù)據(jù)中心 業(yè)內(nèi)人士：AI未來(lái)將更小、更便宜
下一篇：安卓次旗艦性能榜出爐：聯(lián)發(fā)科天璣8系霸榜 高通僅一顆獨(dú)苗

• ·3米看100吋怕“頭暈” 認(rèn)準(zhǔn)好屏幕，看劇、打游戲都穩(wěn)
• ·史上最強(qiáng)Mate即將登場(chǎng)！華為Mate 80系列有望11月25日發(fā)布
• ·臺(tái)風(fēng)“鳳凰”對(duì)十五運(yùn)會(huì)開(kāi)幕式暫無(wú)不利影響
• ·2025陽(yáng)朔國(guó)際徒步越野賽開(kāi)跑
• ·海爾智家獲評(píng)國(guó)內(nèi)首個(gè)熱水器安全UL CTDP資質(zhì)
• ·墜機(jī)致死14人 全球兩大貨運(yùn)公司宣布停飛麥道11型貨機(jī)
• ·廣西陽(yáng)朔首屆遇龍河竹筏競(jìng)速賽開(kāi)賽 助推體育文旅融合
• ·刷新河北最高獎(jiǎng)金記錄！男子花15元中7397萬(wàn)彩票大獎(jiǎng)：激動(dòng)到一整晚沒(méi)睡 已領(lǐng)獎(jiǎng)
• ·蔚來(lái)EC6撞斷護(hù)欄車身斷裂 行車記錄曝光：司機(jī)刀片超車失誤
• ·衣服吊牌和A4紙一樣大了 商家被逼無(wú)奈
• ·牛肉面館一碗“管飽面”全網(wǎng)爆火：有人跨省來(lái)吃面
• ·全運(yùn)會(huì)賽程日歷來(lái)了！
• ·微云全息重大發(fā)現(xiàn)：LQC 精準(zhǔn)探測(cè)多模型中的 QPT 現(xiàn)象
• ·vivo Y500 Pro明天發(fā)布 旗艦級(jí)設(shè)計(jì)、同檔首發(fā)2億HP5主攝
• ·（粵港澳全運(yùn)會(huì)）十五運(yùn)會(huì)開(kāi)幕式主題歌《天海一心》正式發(fā)布
• ·黃仁勛年內(nèi)第四度造訪中國(guó)臺(tái)灣 打卡牛肉火鍋店 邊吃邊賣萌