1. 項(xiàng)目概述為什么我們需要一個“可驗(yàn)證”的智能體訓(xùn)練場如果你嘗試過訓(xùn)練一個能像人一樣操作電腦的智能體Computer-Use Agent比如讓它自動填寫表單、整理文件或者完成一個復(fù)雜的網(wǎng)頁操作流程你大概率會遇到一個核心痛點(diǎn)評估和復(fù)現(xiàn)結(jié)果太難了。傳統(tǒng)的強(qiáng)化學(xué)習(xí)Reinforcement Learning, RL環(huán)境比如Atari游戲或者機(jī)器人仿真其狀態(tài)空間屏幕像素、關(guān)節(jié)角度和動作空間離散按鍵、連續(xù)力矩是相對封閉和確定的。但在真實(shí)的計算機(jī)操作場景中情況要復(fù)雜得多。想象一下你訓(xùn)練了一個智能體去操作一個網(wǎng)頁應(yīng)用。今天它可能成功登錄了但明天因?yàn)榫W(wǎng)頁加載慢了幾毫秒或者某個按鈕的CSS類名微調(diào)了智能體的操作就完全失敗了。更棘手的是你怎么判斷失敗是智能體策略的問題還是環(huán)境本身網(wǎng)絡(luò)、瀏覽器版本、操作系統(tǒng)的“噪音”這種不確定性讓研究進(jìn)展緩慢論文結(jié)果難以橫向比較更別提將實(shí)驗(yàn)室的模型部署到真實(shí)世界了。這正是“CUA-Gym”這個項(xiàng)目試圖解決的深層問題。它不是一個簡單的“用RL玩電腦”的模擬器其核心價值在于標(biāo)題中的兩個關(guān)鍵詞Scaling規(guī)模化和Verifiable可驗(yàn)證。規(guī)模化意味著它能支撐從簡單點(diǎn)擊到復(fù)雜多步驟任務(wù)的大規(guī)模訓(xùn)練可驗(yàn)證則意味著它為智能體的每一次交互提供了確定性的、可重復(fù)的評估基準(zhǔn)。結(jié)合最近熱門的RLVRReinforcement Learning with Videos and Rewards以及多智能體注意力機(jī)制Actor-Attention-Critic等思潮CUA-Gym瞄準(zhǔn)的是下一代具身智能Embodied AI在數(shù)字世界中的基礎(chǔ)設(shè)施工件。簡單來說CUA-Gym想為“電腦使用智能體”的研究者搭建一個“標(biāo)準(zhǔn)化考場”。在這個考場里題目任務(wù)是清晰的評分標(biāo)準(zhǔn)獎勵函數(shù)是明確的考試環(huán)境操作系統(tǒng)、應(yīng)用狀態(tài)是穩(wěn)定且可復(fù)現(xiàn)的。只有這樣我們才能拋開環(huán)境隨機(jī)性的干擾真正聚焦于智能體策略本身的能力提升。這對于推動自動化辦公、無障礙輔助技術(shù)、軟件測試自動化等領(lǐng)域具有實(shí)實(shí)在在的工程與研究價值。2. 可驗(yàn)證性Verifiability的工程實(shí)現(xiàn)超越“黑盒”模擬“可驗(yàn)證”聽起來很學(xué)術(shù)但在工程上具體指什么在CUA-Gym的語境下我認(rèn)為它至少包含三個層次狀態(tài)可觀測、動作可執(zhí)行、轉(zhuǎn)移可確定。這三點(diǎn)共同構(gòu)成了一個可信的訓(xùn)練與評估基石。2.1 狀態(tài)可觀測從像素到結(jié)構(gòu)化語義傳統(tǒng)基于視覺Pixel-based的電腦操作智能體其觀察空間是屏幕截圖。這帶來了巨大挑戰(zhàn)同一語義狀態(tài)如“登錄按鈕可用”可能因主題、字體、窗口位置不同而呈現(xiàn)截然不同的像素陣列導(dǎo)致模型需要學(xué)習(xí)大量無關(guān)的視覺變化樣本效率極低。更重要的是像素信息難以用于“驗(yàn)證”——你無法從一堆像素中程序化地判斷任務(wù)是否成功。因此一個可驗(yàn)證的環(huán)境必須提供結(jié)構(gòu)化的、語義化的狀態(tài)表示。CUA-Gym很可能會借鑒或集成類似DOM樹、可訪問性樹Accessibility Tree、UI元素屬性等信息。例如狀態(tài)可以表示為{ “active_window”: “Chrome - 登錄頁面”, “focused_element”: { “type”: “input”, “id”: “username”, “value”: “”, “bounds”: [100, 200, 300, 220] }, “available_actions”: [“click”, “type_text”, “press_enter”] }這種表示方式使得智能體能直接理解“當(dāng)前可以做什么”也使得評估系統(tǒng)能精確判斷智能體是否在正確的輸入框id“username”鍵入了正確的文本。這是實(shí)現(xiàn)可驗(yàn)證性的第一步。2.2 動作可執(zhí)行抽象化與平臺無關(guān)性智能體的動作空間也需要精心設(shè)計。最底層的動作是模擬鼠標(biāo)移動x, y坐標(biāo)和鍵盤按鍵keycode。然而這種低層動作對微小的界面變化極其敏感且訓(xùn)練效率低下。CUA-Gym更可能采用高層、語義化的動作空間例如Click(element_id“submit_btn”)、Type(text“hello world”)、Navigate(url“...” )。這樣做的好處是雙重的平臺無關(guān)性同一個高層動作Click(“submit”)可以在Windows、macOS、Linux或不同瀏覽器上通過環(huán)境背后的適配層轉(zhuǎn)換成相應(yīng)的底層系統(tǒng)調(diào)用。智能體無需關(guān)心平臺差異。便于驗(yàn)證評估時可以直接檢查智能體發(fā)出的動作序列是否與預(yù)設(shè)的“黃金操作序列”在語義上匹配而不是去比對像素級的鼠標(biāo)軌跡是否一致。2.3 轉(zhuǎn)移可確定構(gòu)建確定性的環(huán)境動力學(xué)這是可驗(yàn)證性最核心也最困難的一環(huán)。在真實(shí)電腦環(huán)境中執(zhí)行Click(“save”)動作后下一個狀態(tài)受到太多因素影響磁盤I/O速度、軟件響應(yīng)時間、后臺進(jìn)程干擾等充滿了隨機(jī)性。CUA-Gym要成為“訓(xùn)練環(huán)境”就必須在一定程度上控制或消除這種隨機(jī)性。可能的工程手段包括使用輕量級虛擬化或容器技術(shù)為每個訓(xùn)練episode提供一個純凈、快照化的系統(tǒng)環(huán)境確保每次運(yùn)行的基礎(chǔ)狀態(tài)一致。攔截并模擬非確定性調(diào)用對于網(wǎng)絡(luò)請求、文件讀寫、時間函數(shù)等環(huán)境可以提供模擬Mock版本返回確定性的結(jié)果。定義清晰的狀態(tài)轉(zhuǎn)移函數(shù)對于核心的UI交互環(huán)境內(nèi)部維護(hù)一個確定性的狀態(tài)機(jī)。當(dāng)智能體執(zhí)行Click(“dialog_ok”)時環(huán)境不是真的去操作一個可能有延遲的GUI而是直接根據(jù)規(guī)則將內(nèi)部狀態(tài)從“對話框打開”更新為“對話框關(guān)閉”并計算出相應(yīng)的新結(jié)構(gòu)化狀態(tài)返回給智能體。注意這種“確定性”是一種有益的抽象但它與真實(shí)世界的復(fù)雜性存在差距。因此CUA-Gym可能采用“分層驗(yàn)證”策略在核心訓(xùn)練和算法對比階段使用高確定性模式在最終評估或壓力測試時可以引入受控的隨機(jī)噪聲如網(wǎng)絡(luò)延遲模擬、UI渲染抖動以檢驗(yàn)智能體的魯棒性。3. 規(guī)模化Scaling任務(wù)設(shè)計從單元測試到集成工作流有了可驗(yàn)證的基礎(chǔ)環(huán)境下一步就是設(shè)計能體現(xiàn)智能體真實(shí)能力的任務(wù)。CUA-Gym的“規(guī)模化”體現(xiàn)在任務(wù)復(fù)雜度、多樣性和組合性上。它不能只是幾個孤立的“點(diǎn)擊按鈕”任務(wù)而需要構(gòu)建一個任務(wù)譜系Task Spectrum。3.1 任務(wù)復(fù)雜度梯度一個良好的任務(wù)集合應(yīng)該像游戲關(guān)卡一樣由淺入深基礎(chǔ)操作任務(wù)如“打開記事本”、“在搜索框中輸入關(guān)鍵詞并回車”。用于驗(yàn)證智能體對基本動作的理解和執(zhí)行能力。單應(yīng)用流程任務(wù)如“在Word中新建文檔輸入標(biāo)題設(shè)置為粗體保存到指定路徑”。這類任務(wù)考察智能體在單個應(yīng)用內(nèi)的多步驟規(guī)劃、狀態(tài)記憶和工具使用能力。跨應(yīng)用協(xié)作任務(wù)如“從郵箱客戶端中下載附件PDF用PDF閱讀器打開找到第三頁的圖表將其截圖粘貼到PPT的第二頁”。這模擬了真實(shí)的辦公場景需要智能體理解不同應(yīng)用的數(shù)據(jù)模型和交互范式并進(jìn)行信息傳遞。基于自然語言指令的開放任務(wù)如“幫我安排下周一下午三點(diǎn)的團(tuán)隊(duì)會議并預(yù)訂一個會議室”。這類任務(wù)指令模糊需要智能體進(jìn)行目標(biāo)分解、工具選擇日歷應(yīng)用、郵件應(yīng)用、預(yù)訂系統(tǒng)和參數(shù)填充時間、人員、資源。3.2 任務(wù)生成與組合方法論手動為每個復(fù)雜度層級設(shè)計大量任務(wù)是不現(xiàn)實(shí)的。CUA-Gym需要一套程序化生成或組合任務(wù)的機(jī)制。這可能是其“規(guī)模化”的核心技術(shù)點(diǎn)之一。基于語法Grammar-Based的任務(wù)生成定義一套描述計算機(jī)操作的領(lǐng)域特定語言DSL。例如Open(App); Find(Element); Do(Action)可以生成無數(shù)變種任務(wù)。這能快速構(gòu)建大量用于訓(xùn)練和測試的基準(zhǔn)任務(wù)。基于網(wǎng)頁/應(yīng)用元數(shù)據(jù)的任務(wù)挖掘?qū)τ跒g覽器環(huán)境可以自動爬取網(wǎng)頁的DOM結(jié)構(gòu)分析其中的可交互元素表單、鏈接、按鈕然后自動組合出有意義的任務(wù)序列如“填寫這個表單的所有必填項(xiàng)并提交”。層次化任務(wù)網(wǎng)絡(luò)HTN分解將復(fù)雜任務(wù)定義為高層目標(biāo)然后提供一套將目標(biāo)分解為子任務(wù)最終分解為原子動作的規(guī)則庫。智能體可以學(xué)習(xí)這個分解過程也可以用它來評估智能體規(guī)劃的正確性。通過這套任務(wù)體系CUA-Gym能夠?yàn)椴煌A段的研究提供合適的“標(biāo)尺”初學(xué)者可以用簡單任務(wù)驗(yàn)證算法原型資深研究者可以用復(fù)雜任務(wù)挑戰(zhàn)智能體的認(rèn)知與規(guī)劃極限。4. 與前沿RL范式的結(jié)合點(diǎn)RLVR與多智能體協(xié)作CUA-Gym作為基礎(chǔ)設(shè)施其價值會因上層運(yùn)行的算法而放大。當(dāng)前RL領(lǐng)域的兩個熱點(diǎn)方向——RLVR和多智能體強(qiáng)化學(xué)習(xí)MARL——與CUA-Gym的設(shè)計理念高度契合。4.1 RLVR從演示視頻中學(xué)習(xí)獎勵與策略RLVRReinforcement Learning with Videos and Rewards的核心思想是利用人類演示視頻無需動作標(biāo)簽來輔助RL訓(xùn)練例如學(xué)習(xí)獎勵函數(shù)或提供策略初始化。CUA-Gym是可驗(yàn)證環(huán)境這為RLVR提供了絕佳的試驗(yàn)場。高質(zhì)量演示數(shù)據(jù)生成在CUA-Gym的確定性環(huán)境中可以完美錄制“專家”完成任務(wù)的結(jié)構(gòu)化動作序列如[Click(‘file’), Click(‘new’), Type(‘Hello’)]和對應(yīng)的狀態(tài)變化序列。這比從像素視頻中反推動作要精確得多。獎勵函數(shù)學(xué)習(xí)我們可以用這些干凈的狀態(tài)動作對來訓(xùn)練一個逆強(qiáng)化學(xué)習(xí)IRL模型學(xué)習(xí)背后的獎勵函數(shù)。由于狀態(tài)是結(jié)構(gòu)化的學(xué)到的獎勵函數(shù)會更準(zhǔn)確例如“當(dāng)document.save_status變?yōu)椤畇aved’時給予高獎勵”。離線策略預(yù)訓(xùn)練這些演示數(shù)據(jù)可以直接作為高質(zhì)量離線數(shù)據(jù)集用于預(yù)訓(xùn)練行為克隆Behavior Cloning模型為在線RL提供一個強(qiáng)大的初始策略大幅加速訓(xùn)練。4.2 多智能體協(xié)作Actor-Attention-Critic的用武之地“Computer-Use Agents”未必是單智能體。一個更宏大的設(shè)想是多個智能體協(xié)作完成復(fù)雜任務(wù)比如一個智能體負(fù)責(zé)操作瀏覽器另一個負(fù)責(zé)操作文件系統(tǒng)它們之間需要通信與協(xié)調(diào)。這正是多智能體強(qiáng)化學(xué)習(xí)MARL特別是Actor-Attention-Critic這類方法的舞臺。可驗(yàn)證環(huán)境下的多智能體研究在CUA-Gym中我們可以明確定義多個智能體每個智能體可以綁定到不同的應(yīng)用程序或系統(tǒng)模塊。環(huán)境提供全局的、結(jié)構(gòu)化的狀態(tài)觀察每個智能體可能有其局部觀察。注意力機(jī)制處理可變數(shù)量智能體與任務(wù)Actor-Attention-Critic中的注意力機(jī)制允許智能體動態(tài)地關(guān)注對其當(dāng)前決策最重要的其他智能體或環(huán)境部分。在電腦操作場景中任務(wù)焦點(diǎn)會不斷轉(zhuǎn)移從瀏覽器到文件管理器注意力機(jī)制能很好地建模這種動態(tài)依賴關(guān)系。解決信用分配問題在“跨應(yīng)用協(xié)作任務(wù)”中最終的成功是多個智能體一系列動作共同作用的結(jié)果。誰做得對誰做得不對CUA-Gym確定性的狀態(tài)轉(zhuǎn)移使得我們能夠更清晰地分析每個動作的貢獻(xiàn)從而設(shè)計更好的多智能體信用分配機(jī)制如反事實(shí)基線counterfactual baseline或差分獎勵difference rewards。CUA-Gym通過提供穩(wěn)定、可分析的多智能體環(huán)境使得研究這些高級協(xié)調(diào)算法成為可能而無需擔(dān)心環(huán)境噪聲淹沒微弱的協(xié)作信號。5. 構(gòu)建你自己的“可驗(yàn)證訓(xùn)練環(huán)境”實(shí)操思路與挑戰(zhàn)雖然我們可能無法直接獲得CUA-Gym的完整代碼但其設(shè)計思想完全可以指導(dǎo)我們?yōu)樽约禾囟ǖ膽?yīng)用場景構(gòu)建一個簡化版的可驗(yàn)證訓(xùn)練環(huán)境。下面是一個可行的實(shí)操路線圖。5.1 第一步定義狀態(tài)與動作的抽象層這是最重要的設(shè)計決策。你需要為你想要自動化的軟件如一個具體的桌面應(yīng)用或網(wǎng)頁定義一套最小化但足夠表達(dá)力的狀態(tài)和動作API。狀態(tài)抽象使用軟件提供的自動化接口如Windows的UI Automation、macOS的Accessibility API、瀏覽器的DevTools Protocol來獲取UI元素的樹狀結(jié)構(gòu)和屬性。將其轉(zhuǎn)化為一個簡化的、只包含關(guān)鍵信息的字典或?qū)ο蟆幼鞒橄蠡谕瑯拥淖詣踊涌诜庋b高層動作函數(shù)。例如click_element_by_name(“Save”)、set_textfield_value(“address”, “123 Main St”)。# 一個簡化的狀態(tài)獲取示例偽代碼 def get_current_state(): # 通過自動化API獲取活動窗口和焦點(diǎn)元素信息 active_window uia_client.get_active_window_title() focused_elem uia_client.get_focused_element() state { “window”: active_window, “focused”: { “name”: focused_elem.name, “type”: focused_elem.control_type, “value”: focused_elem.value }, # 可以添加更多上下文信息如當(dāng)前打開的文件路徑等 “context”: extract_context_from_window(active_window) } return state # 對應(yīng)的動作執(zhí)行 def execute_action(action): if action[“type”] “click”: uia_client.click_element_by_name(action[“target”]) elif action[“type”] “type”: uia_client.set_focus_and_type(action[“text”])5.2 第二步實(shí)現(xiàn)確定性的環(huán)境內(nèi)核這是最具挑戰(zhàn)性的部分。目標(biāo)是讓env.step(action)的返回是可預(yù)測的。使用應(yīng)用程序的腳本模式或測試模式許多專業(yè)軟件如Photoshop、Excel有強(qiáng)大的腳本接口如VBA、ExtendScript。在這些模式下執(zhí)行操作結(jié)果往往是即時且確定的比操作真實(shí)GUI更可靠。為Web應(yīng)用使用無頭瀏覽器并Mock網(wǎng)絡(luò)對于網(wǎng)頁自動化使用像Playwright或Selenium控制的無頭瀏覽器。關(guān)鍵一步是攔截和模擬所有網(wǎng)絡(luò)請求使用如pytest-playwright的route功能讓頁面加載和數(shù)據(jù)交互變得瞬時且確定。狀態(tài)驗(yàn)證與同步執(zhí)行動作后不要立即返回新狀態(tài)。實(shí)現(xiàn)一個等待循環(huán)持續(xù)檢查環(huán)境是否達(dá)到了預(yù)期的“穩(wěn)定狀態(tài)”。例如點(diǎn)擊“保存”后持續(xù)檢查直到“保存”按鈕變?yōu)榻没虺霈F(xiàn)“保存成功”提示。這避免了因界面響應(yīng)延遲導(dǎo)致的狀態(tài)誤判。5.3 第三步設(shè)計任務(wù)與獎勵函數(shù)從一個小而具體的任務(wù)開始。任務(wù)描述用清晰的自然語言或結(jié)構(gòu)化數(shù)據(jù)定義任務(wù)。例如{“goal”: “Save the currently open document to the Desktop as ‘test.docx’.”}。獎勵函數(shù)設(shè)計這是將任務(wù)目標(biāo)轉(zhuǎn)化為算法信號的橋梁。由于狀態(tài)是結(jié)構(gòu)化的獎勵可以設(shè)計得非常精確。稀疏獎勵僅在任務(wù)成功時給予1獎勵失敗為0。這非常難學(xué)習(xí)但評估簡單。稠密獎勵根據(jù)子目標(biāo)完成情況給予中間獎勵。例如成功打開“另存為”對話框0.2正確導(dǎo)航到桌面目錄0.3輸入文件名0.3點(diǎn)擊保存0.2。這能有效引導(dǎo)智能體學(xué)習(xí)。基于狀態(tài)的獎勵直接根據(jù)狀態(tài)與目標(biāo)狀態(tài)的差異來計算獎勵例如比較當(dāng)前文件路徑與目標(biāo)文件路徑的相似度。5.4 面臨的主要挑戰(zhàn)與應(yīng)對策略在實(shí)際構(gòu)建中你會遇到幾個典型挑戰(zhàn)狀態(tài)空間的復(fù)雜性與部分可觀測性即使抽象后狀態(tài)空間也可能很大。一個窗口可能有上百個UI元素。解決方案是基于任務(wù)關(guān)注點(diǎn)進(jìn)行狀態(tài)過濾只提取與當(dāng)前任務(wù)相關(guān)的元素和屬性。也可以利用歷史狀態(tài)序列來緩解部分可觀測問題。動作的執(zhí)行失敗與異常處理自動化腳本可能因?yàn)樵匚醇虞d、被遮擋等原因失敗。環(huán)境必須能穩(wěn)健地檢測動作失敗并返回一個標(biāo)志如doneTrue且reward-1同時提供失敗原因如info{“error”: “element_not_found”}以便智能體或上層算法學(xué)習(xí)處理異常。獎勵函數(shù)的“欺騙”智能體可能找到繞過任務(wù)本質(zhì)但能獲得高獎勵的捷徑。例如為了獲得“文件已保存”的獎勵它可能直接去修改系統(tǒng)狀態(tài)標(biāo)志而不是真正操作軟件。這需要在環(huán)境設(shè)計時就堵死這些漏洞或者使用更復(fù)雜的獎勵塑形Reward Shaping技術(shù)。6. 評估基準(zhǔn)與未來展望超越準(zhǔn)確率的新指標(biāo)對于一個像CUA-Gym這樣的平臺建立一套公認(rèn)的評估基準(zhǔn)至關(guān)重要。這不僅僅是報告“任務(wù)成功率”而應(yīng)該是一套多維度的評估體系。6.1 核心評估維度任務(wù)完成率Success Rate最基本指標(biāo)在N次獨(dú)立運(yùn)行中智能體完成目標(biāo)任務(wù)的次數(shù)比例。CUA-Gym的可驗(yàn)證性保證了這N次運(yùn)行的條件一致。樣本效率Sample Efficiency智能體需要與環(huán)境交互多少步或多少回合才能達(dá)到某個性能閾值如95%成功率。這直接反映了算法的學(xué)習(xí)能力。泛化能力Generalization同應(yīng)用內(nèi)泛化在訓(xùn)練過的應(yīng)用上面對新的、未見過的界面布局或數(shù)據(jù)能否完成任務(wù)跨應(yīng)用泛化在Word上學(xué)到的“保存”概念能否遷移到PPT或文本編輯器上跨平臺泛化在Windows上訓(xùn)練的模型能否在macOS上執(zhí)行類似任務(wù)這要求動作抽象層足夠好魯棒性Robustness在環(huán)境中引入可控的干擾如隨機(jī)網(wǎng)絡(luò)延遲、模擬的UI渲染錯誤、彈窗干擾后智能體性能的下降程度。這衡量了智能體對真實(shí)世界噪聲的適應(yīng)能力。人類對齊度Human Alignment智能體執(zhí)行任務(wù)的路徑是否與人類專家的操作序列相似其決策過程是否可解釋這可以通過比較智能體與人類演示的動作序列相似度或通過人工評估來度量。6.2 未來可能的發(fā)展方向基于CUA-Gym的理念這個領(lǐng)域有幾個令人興奮的未來方向大規(guī)模預(yù)訓(xùn)練“數(shù)字世界”模型類似于在互聯(lián)網(wǎng)文本上預(yù)訓(xùn)練大語言模型LLM我們可以在CUA-Gym生成的海量、多樣化的狀態(tài)動作獎勵序列上預(yù)訓(xùn)練一個“數(shù)字操作基礎(chǔ)模型”。這個模型可以理解軟件狀態(tài)預(yù)測動作結(jié)果并作為強(qiáng)大的先驗(yàn)知識用于快速適應(yīng)新的軟件或任務(wù)。自然語言作為通用接口將CUA-Gym的任務(wù)指令和狀態(tài)描述全部用自然語言進(jìn)行。智能體需要理解“把這份報告整理得美觀一些”這樣的模糊指令并將其分解為具體的UI操作序列。這需要緊密融合大語言模型LLM的語義理解能力與RL的動作規(guī)劃能力。從模擬到真實(shí)的無縫遷移Sim2RealCUA-Gym的“可驗(yàn)證環(huán)境”可以視為一個高度簡化的模擬器。未來的研究可以專注于如何將在這個“干凈”模擬器中訓(xùn)練的策略安全、有效地遷移到充滿不確定性的真實(shí)用戶電腦環(huán)境中。這可能涉及域隨機(jī)化Domain Randomization、在線自適應(yīng)Online Adaptation等技術(shù)。構(gòu)建CUA-Gym這樣的平臺是一項(xiàng)龐大的系統(tǒng)工程但它指明了計算機(jī)智能體研究走向嚴(yán)謹(jǐn)化、規(guī)模化的必經(jīng)之路。它迫使我們將智能體與復(fù)雜環(huán)境交互中的“信號”與“噪聲”分離開來讓我們能更清晰地度量智能、設(shè)計算法。對于任何想深入這個領(lǐng)域的研究者或工程師而言理解其背后“可驗(yàn)證”與“規(guī)模化”的設(shè)計哲學(xué)并嘗試在自己的小范圍內(nèi)實(shí)踐都是極具價值的第一步。從自動化一個簡單的日常軟件操作開始定義好狀態(tài)和動作構(gòu)建一個確定性的微小訓(xùn)練環(huán)境你就能親身體會到讓機(jī)器學(xué)會使用電腦既是一個充滿挑戰(zhàn)的科研問題也是一個具有巨大實(shí)用價值的工程課題。