來源:貝殼財經(jīng)
記者 羅亦丹
編輯 王進雨
實習生 郭栩君

12月以來,五大派豆包手機助手成為科技圈最為關注的豆包熱點話題。1日驚艷發(fā)布、手機p使2日手機“一機難求”、遭圍主流3日微信異常退出后引發(fā)權限爭議、剿實4日5日陸續(xù)遭第三方產(chǎn)品限制登錄……各路人馬圍繞這款AI手機助手的測款功能、安全性以及其蘊含的不動可能改變現(xiàn)有互聯(lián)網(wǎng)商業(yè)模式的力量爭論不休。
繼12月1日開始至今,五大派已經(jīng)過去了10天。豆包當最猛烈的手機p使風波過后,這款搭載了豆包手機助手的遭圍主流豆包中興合作工程樣機nubia M153(以下簡稱“豆包手機”)還能否保有其最初宣發(fā)時的功能?在科技邏輯、安全邏輯與商業(yè)邏輯一周的剿實摩擦碰撞下,豆包手機目前守住了哪些陣地?測款其核心的AI手機助手功能有沒有受到影響?對此,新京報貝殼財經(jīng)記者在這款手機上,不動圍繞點外賣、五大派訂機票、導航等日常場景進行實測,并邀請專家進行了分析。
01
23款App中8款使用受限
15款仍可通過AI操作
在推出初期,豆包手機曾展現(xiàn)跨平臺比價、發(fā)送微信等功能,但以12月3日有用戶反映微信賬號異常退出,豆包手機隨即下線其自動操作微信能力這一事件為開端,豆包手機一頭撞上了App的“風控墻”,后續(xù)接連限制了多個場景的AI能力。甚至有用戶擔憂,豆包手機將變成不能用的“板磚”。
對此,新京報貝殼財經(jīng)記者在12月8日以“這是一部新手機,需要安裝一些日常所需要的App,幫我推薦并下載”為提示詞,一共下載了23款App,涉及社交通訊、生活服務、購物消費、辦公學習、娛樂休閑五大類。
記者使用豆包手機實測發(fā)現(xiàn),在這23款App中,淘寶、美團、支付寶、拼多多、貓眼5款App直接無法登錄;微信、高德地圖、大麥網(wǎng)3款App可以手動登錄但無法通過AI操作;而滴滴、QQ、京東等15款App的使用則完全不受影響,既可以登錄,也可以通過AI操作。具體情況見下表:

23款主流App在“豆包手機”上的運行情況.新京報貝殼財經(jīng)記者羅亦丹根據(jù)12月8日實測情況制圖
貝殼財經(jīng)記者梳理發(fā)現(xiàn),上述被限制功能的8款App分別隸屬于騰訊、阿里巴巴、美團、拼多多以及光線傳媒五家大廠旗下。此外,根據(jù)豆包手機助手官方在12月5日發(fā)布的信息,出于金融安全和游戲公平的考慮,其對銀行等金融類應用以及游戲場景的應用也進行了限制。
豆包手機助手無法打開微信。
從上述結(jié)果來看,目前豆包這一“光明頂”已然遭遇了“五大派”圍攻,但也可以發(fā)現(xiàn),大廠對豆包手機的限制也并非“一刀切”,比如騰訊旗下的QQ,阿里旗下的夸克依然可以正常被豆包手機助手調(diào)取。
那么,“還能用”的豆包手機,現(xiàn)在可以帶給用戶怎樣的新體驗呢?
02
全新AI助手體驗:
一句話記住用戶喜好
跳過彈窗和廣告,可后臺運行
新京報貝殼財經(jīng)記者通過2天的實測發(fā)現(xiàn),目前豆包手機所搭載的AI助手能力確實到了“可以落地”的階段,并且一些功能極具實用性。
讓記者印象最深的就是,當使用豆包手機助手打開App執(zhí)行任務時,其可以精準識別并點擊關閉廣告、找到用戶指定的功能入口。
要知道,當前不同App的各式彈窗“防不勝防”,一些彈窗的關閉手段極其隱蔽,極易誤導用戶。但當豆包手機助手打開這些App時,它會針對不同的彈窗形式采取“點擊關閉”或“等待彈窗消失”等處理措施。且成功率極高,很少點擊進入廣告。

豆包手機助手執(zhí)行任務中正在關閉彈窗。豆包手機截圖
另外,在面對一些App的引誘式選項時,它也能清楚分辨,例如記者經(jīng)常使用某OTA平臺購買飛機票,此類平臺在購買機票步驟的末尾通常會通過選項顏色加深等方式“引導”用戶購買保險等附加服務,而當記者本次測試時,豆包手機助手就在這一步進行了提示,“清楚明了”地咨詢記者“是否要添加附加服務”。

豆包手機助手在購買機票場景時咨詢記者“是否需要添加附加服務”。豆包手機截圖
而面對任務執(zhí)行中遇到的突發(fā)事件,豆包手機助手也展示了相當程度的靈活性,其可以通過嘗試不同路徑解決問題。當記者喚醒豆包手機助手,要求其導航時,它首先打開了高德地圖,但遭遇打開限制,便再次打開了百度地圖。而要求豆包手機助手P圖時,其首先嘗試了手機自帶的美顏功能,之后又上小紅書尋找了P圖方法,在上述兩個方法均失敗后,又登錄了瀏覽器,通過咨詢“哪些App可以P圖”,最后下載了美圖秀秀,直至任務完成,它共嘗試了4條路徑。
這種靈活性在記者要求其上嗶哩嗶哩對某UP主的視頻進行評論時達到了令人驚嘆的地步:豆包手機助手按照記者要求登錄嗶哩嗶哩,但在視頻評論時發(fā)現(xiàn)記者的賬號等級不夠,無法評論,要評論就必須得邀請好友或答題。此時,記者通過手機助手的“補充”功能添加了指令“幫我答題”。結(jié)果,豆包手機助手真的開始一題題幫助記者進行了答題(每答一題的思考時間不同),并在8分鐘后回答了60道嗶哩嗶哩“考題”,最終通過了嗶哩嗶哩的測試,升級到LV2后發(fā)表了任務最開始所要求的評論。

豆包手機助手在完成嗶哩嗶哩評論的任務時“順便”幫助記者的賬號通過了答題測試。 豆包手機截圖
豆包手機助手正在進行B站答題(視頻為8倍速)。
最后,面對用戶的模糊要求,豆包手機助手也有一定的“主見”,甚至還能通過記憶力幫助用戶進行選擇。
例如,記者此前曾通過豆包手機助手在便簽中輸入了“我想吃豬腳飯”。而之后,記者通過豆包手機助手下達指令“幫我訂一份晚飯,點什么你看著辦,便宜點,離我近的都行”這樣的模糊指令之后,豆包手機助手的執(zhí)行邏輯顯示為“搜索豬腳飯,篩選便宜近的”。而在京東外賣的頁面,當遭遇起送價不夠,需要湊單的情況時,面對記者下達的“你看著湊”的指令,選擇了鹵蛋和鹵丸子作為推薦的湊單商品,而類似的選項還有鹵豆干、紫菜蛋花湯、烤腸、荷包蛋等,這一“選擇”正屬于豆包手機助手的“主觀”推薦。

豆包手機助手自動幫助用戶在外賣場景進行“湊單”。豆包手機截圖
不過,貝殼財經(jīng)記者在測試中發(fā)現(xiàn),豆包手機助手也存在一定的局限性,在一些復雜任務中也會發(fā)生錯誤。如其在執(zhí)行“購買12月9日天津到北京的高鐵票”這一任務時,其執(zhí)行邏輯是首先遍閱當日所有車票,但由于當日兩地高鐵票數(shù)量過多,該任務在執(zhí)行數(shù)分鐘后自動停止了。此外,在執(zhí)行一個“打開QQ音樂,播放某歌手傳唱度最高的歌曲”這一任務時,豆包手機助手播放了該歌手歌單列表中第一首歌曲,但該歌曲的瀏覽量和點贊量并非最高。
同時,豆包手機助手在12月5日更新后,無法完成一些激勵場景,如記者要求其“幫忙打開網(wǎng)易云音樂并看廣告領取免費聽VIP歌曲時長”時,豆包手機助手回應“涉及用戶賬戶和激勵體系的操作,無法直接為您執(zhí)行”。
“豆包手機助手的工程化水平很高,完成度很好,是未來智能終端的雛形。不過,對于需要實時響應的場景,如攝像頭采集的高清視頻理解等,豆包手機助手的響應速度還不夠?!泵姹谥悄苁紫茖W家劉知遠在接受貝殼財經(jīng)記者采訪時表示。
03
豆包手機助手絲滑運行的背后:
高系統(tǒng)權限與閱讀屏幕能力
貝殼財經(jīng)記者注意到,之所以豆包手機能夠帶給人“絲滑”的AI手機助手體驗,和該手機在系統(tǒng)層面就給豆包手機助手讓渡了INJECT_EVENTS權限,以及豆包本身的大模型能力都有關系。
記者在實測中發(fā)現(xiàn),當喚醒豆包手機助手執(zhí)行一個任務時,其會在接受任務后默認最小化到手機屏幕正上方,在后臺執(zhí)行該任務,這就給了用戶無感的任務執(zhí)行體驗,而這正是通過INJECT_EVENTS權限才能達到的效果。
事實上,AI手機助手并非豆包首創(chuàng),華為、小米、榮耀等都有過AI手機助手的嘗試,并使用INJECT_EVENTS權限,實現(xiàn)一些特定場景的操作手機任務,例如通過語音指令定鬧鐘、打開某個App等。第三方App則只能通過無障礙權限實現(xiàn)“讀取屏幕+模擬點擊”,如智譜的AutoGLM手機智能體演示過的發(fā)紅包操作,這種方式會占用手機終端的屏幕,用戶無法同時在手機上操作其他事項。
對此,網(wǎng)絡安全專家曲子龍向記者解釋,無障礙權限的工作邏輯,完全是模仿用戶的前臺應用操作。手機智能體若是依附這項應用層的權限,中止無障礙權限就等同于退出一款應用,自然不會繼續(xù)執(zhí)行任務。而豆包助手是一個擁有手機系統(tǒng)底層權限的應用,所以具備后臺執(zhí)行任務的能力。但INJECT_EVENTS權限只負責模擬用戶指令的操作,“允許后臺活動”需要系統(tǒng)提供其他的權限才能完成。
技術上,AI手機助手的核心邏輯實際上是“閱讀理解手機屏幕”的能力。根據(jù)量子位消息,豆包手機助手的圖形界面操作能力,建立在字節(jié)自研的UI-TARS模型基礎之上,這是一款今年1月字節(jié)Seed團隊與清華聯(lián)手開源的模型。而“豆包手機”使用的是UI-TARS閉源版本,不僅性能優(yōu)于其開源版本,還針對Mobile Use進行了大量優(yōu)化,這為豆包手機提供了關鍵的技術支撐。
兩套“組合拳”下來,才形成了豆包手機當前所展現(xiàn)出的功能。
不過,上文中所提到的INJECT_EVENTS權限因其本身屬于“系統(tǒng)簽名權限”,在12月3日一度成為豆包手機助手遭遇質(zhì)疑的理由。當日晚間,豆包手機助手官方立即進行了辟謠,表示只有用戶主動授權才可以調(diào)用該權限,“豆包手機助手不存在任何黑客行為?!?/p>
12月9日,一名曾經(jīng)編寫過國內(nèi)信息安全相關法規(guī)的專家在復盤此事件時告訴貝殼財經(jīng)記者,豆包手機相當于擁有了一把“萬能鑰匙”,因此才能帶來流暢的用戶體驗,但可能會觸及多個App的風控機制,“不同App的風控機制不一樣,有些安全系數(shù)比較高的,可能會認為一些異常行為不是用戶操作,而是機器代理操作,判斷為黑灰產(chǎn)的‘貓池’,最終限制登錄”。
對于AI手機助手可能在執(zhí)行用戶任務中獲取用戶信息的問題,有聲音認為將AI助手的能力限制在本地,采用端側(cè)模型或許是較好的解決之道。
劉知遠多年從事端側(cè)大模型研發(fā),對此,他告訴貝殼財經(jīng)記者,“豆包手機助手里面應該也有一個本地的語音模型,算是比較簡單的端云協(xié)同。未來一定是端云協(xié)同共同完成端側(cè)智能的任務,主要是端云如何分工的問題,我覺得大致應該是 personalized to professional,即端側(cè)負責個性化,云側(cè)負責專業(yè)化(如數(shù)學、代碼等)?!?/p>
04
技術能否突破隱私的高墻
和商業(yè)的圍城
當前,擋在豆包手機以及所有AI手機助手面前的有兩大難關:除了對隱私安全的擔憂,還有打破現(xiàn)有商業(yè)模式所面臨的阻力。
事實上,除去隱私安全這一顧慮,令其他App更加難以接受的或許是AI手機出現(xiàn)本身將徹底打破移動互聯(lián)網(wǎng)時代,一個個App“割地為王”搶占用戶流量的現(xiàn)有生態(tài)。
舉個例子,貝殼財經(jīng)記者在實測中可以通過語音方式喚起豆包手機助手,讓它進行“放歌”操作。如果是用戶來操作,首先需要打開音樂App,看完或跳過開屏廣告,再取消幾個“辦會員”等廣告彈窗后,最后搜索并點擊所想要聽的歌曲。
但通過豆包手機助手,上述行為可以完全在后臺進行,用戶本身對此完全無感。那么對于音樂App來說,所有的彈窗廣告行為都將無效,該App的商業(yè)價值也將打折扣,最終可能徹底淪為AI手機助手的一個“通道”。
在這一邏輯下,許多App對豆包手機助手進行“抵制”不難理解。曲子龍告訴貝殼財經(jīng)記者,對于如何發(fā)現(xiàn)用戶所使用的是豆包手機,“手機App獲取設備型號、品牌、制造商、硬件信息、系統(tǒng)版本這個是完全開放的,通過運行環(huán)境阻斷是最簡單辦法,當然也可以用權限檢測,當檢測到在使用INJECT_EVENTS權限,進行模擬輸入時直接拒絕?!边@也是上述App能夠?qū)Χ拱謾C“設限”的技術原因。
“AI手機助手方便歸方便,但撬動不了背后的利益。如果要解決這一問題,最后的邏輯是必須形成一個緊密的聯(lián)盟,在這個聯(lián)盟里,大家的利益完全可以協(xié)調(diào),沒有任何利益沖突,但這過于理想了,這本身就是一個重塑生態(tài)的過程?!鄙鲜鰧<腋嬖V貝殼財經(jīng)記者。
“被第三方App封殺是一定會發(fā)生的,所以需要從一些特定場景開始切入可能更有機會,如工作場景?!眲⒅h說。
中國社會科學院大學互聯(lián)網(wǎng)法治研究中心主任劉曉春表示,在獲得用戶明確授權、確保個人信息處理等行為合規(guī)的前提下,AI代替用戶訪問第三方應用,是用戶意志的合法體現(xiàn)。AI智能代理行業(yè)尚處于初期,技術與規(guī)范尚在探索。對這類創(chuàng)新技術,需以包容審慎態(tài)度,在精準規(guī)范風險的同時為創(chuàng)新留出空間,助力行業(yè)良性發(fā)展。
“AI帶來的變革是真實存在的,用戶需求也是真實存在的,豆包和中興的探索是一個開始?!?2月9日,抖音副總裁李亮發(fā)布了這樣一條微博。
海量資訊、精準解讀,盡在新浪財經(jīng)APP 責任編輯:楊賜