2025年操作系統(tǒng)智能體技術(shù)綜述

2025-10-6 19:28| 發(fā)布者: 何建秋24 0

摘要: 隨著多模態(tài)大模型（MLLM）技術(shù)的飛速發(fā)展，讓AI像鋼鐵俠中的J.A.R.V.I.S一樣操控電腦和手機(jī)，已不再是科幻。這篇由浙江大學(xué)等多家機(jī)構(gòu)聯(lián)合發(fā)布的《操作系統(tǒng)智能體：基于多模態(tài)大模型的通用計(jì)算設(shè)備智能體綜述》，系 ...

隨著多模態(tài)大模型（MLLM）技術(shù)的飛速發(fā)展，讓AI像鋼鐵俠中的J.A.R.V.I.S一樣操控電腦和手機(jī)，已不再是科幻。

這篇由浙江大學(xué)等多家機(jī)構(gòu)聯(lián)合發(fā)布的《操作系統(tǒng)智能體：基于多模態(tài)大模型的通用計(jì)算設(shè)備智能體綜述》，系統(tǒng)性地梳理了這一前沿領(lǐng)域的最新進(jìn)展，堪稱該領(lǐng)域的“導(dǎo)航地圖”。

所謂“操作系統(tǒng)智能體”（OS Agents），就是能直接操作我們?nèi)粘Ｊ褂玫碾娔X、手機(jī)等設(shè)備的AI代理。

它們不再局限于聊天對(duì)話，而是能通過理解圖形界面（GUI）、執(zhí)行點(diǎn)擊、滑動(dòng)、輸入文字等動(dòng)作，真正幫我們完成實(shí)際任務(wù)，比如訂機(jī)票、網(wǎng)購、處理文檔等。

其核心在于三大要素：環(huán)境、觀察空間和行動(dòng)空間。

環(huán)境指代它所運(yùn)行的操作系統(tǒng)平臺(tái)，如桌面、移動(dòng)端或網(wǎng)頁；觀察空間是它“看”到的信息，可以是屏幕截圖、HTML代碼或文字描述；行動(dòng)空間則是它能執(zhí)行的操作，如點(diǎn)擊、輸入、滾動(dòng)等。

要構(gòu)建一個(gè)強(qiáng)大的OS Agent，需要兩大支柱：領(lǐng)域?qū)Ｓ玫幕A(chǔ)模型和智能的代理框架。

基礎(chǔ)模型方面，研究者們不再簡單套用通用大模型，而是針對(duì)GUI交互的特點(diǎn)進(jìn)行優(yōu)化。

例如，通過修改模型架構(gòu)使其能處理高分辨率的手機(jī)屏幕截圖，或利用合成數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，提升對(duì)按鈕、圖標(biāo)等元素的識(shí)別能力。

代理框架則賦予了模型“大腦”，包括感知、規(guī)劃、記憶和行動(dòng)四大模塊。

其中，“規(guī)劃”能力尤為關(guān)鍵，它能讓AI將“幫我買一本某本書”這樣的模糊指令，拆解成搜索、比價(jià)、加入購物車、支付等一系列具體步驟，并能根據(jù)頁面反饋動(dòng)態(tài)調(diào)整計(jì)劃。

評(píng)估這些智能體的性能也有一套標(biāo)準(zhǔn)體系。

目前存在多種基準(zhǔn)測(cè)試（Benchmark），覆蓋移動(dòng)、桌面和網(wǎng)頁三大平臺(tái)，如AndroidWorld、OSWorld和WebArena。

評(píng)估不僅看最終任務(wù)是否完成（任務(wù)級(jí)成功率），還會(huì)細(xì)致檢查每一步操作是否精準(zhǔn)（步驟級(jí)成功率），同時(shí)考量執(zhí)行效率（如耗時(shí)、調(diào)用API次數(shù)）。

盡管前景廣闊，該領(lǐng)域仍面臨嚴(yán)峻挑戰(zhàn)。

安全與隱私首當(dāng)其沖，研究表明，惡意網(wǎng)站可以通過在頁面嵌入特殊指令來“劫持”AI代理，誘導(dǎo)其泄露用戶信息或執(zhí)行危險(xiǎn)操作。

此外，如何讓AI代理更懂“你”的個(gè)人偏好，實(shí)現(xiàn)真正的個(gè)性化服務(wù)，以及如何讓它從每次交互中學(xué)習(xí)進(jìn)化，都是未來的研究重點(diǎn)。

總而言之，這份綜述揭示了一個(gè)正在快速成型的新范式：未來的AI助手將不再是一個(gè)被動(dòng)的問答機(jī)器，而是一個(gè)能主動(dòng)理解、規(guī)劃并在我們的數(shù)字世界中替我們“動(dòng)手”的全能管家。

雖然距離完美的J.A.R.V.I.S還有距離，但技術(shù)的浪潮已經(jīng)明確指向了這個(gè)方向。

出品方：浙大
發(fā)布時(shí)間：2025年
文檔頁數(shù)：23頁