MetaCaster 要解決的核心問(wèn)題是少樣本場(chǎng)景下的時(shí)序預(yù)測(cè)模型快速構(gòu)建。它把 Meta-Learning 和 Agent 自動(dòng)化組合成一條端到端流水線(xiàn)輸入原始時(shí)間序列輸出一個(gè)輕量預(yù)測(cè)器。Meta-Harness-Optimized Agent 這個(gè)名字里包含三層意思Agent 負(fù)責(zé)調(diào)度動(dòng)作Harness 負(fù)責(zé)承載 Agent 的執(zhí)行環(huán)境Meta 層負(fù)責(zé)讓整套系統(tǒng)從歷史任務(wù)中積累經(jīng)驗(yàn)。讀這篇文章的人如果手頭正好有幾個(gè)樣本很少的時(shí)序任務(wù)或者正在設(shè)計(jì)面向多任務(wù)的自動(dòng)化預(yù)測(cè)平臺(tái)可以直接把下面的思路用起來(lái)。下面先拆解設(shè)計(jì)動(dòng)機(jī)再給出一個(gè)可運(yùn)行的最小實(shí)現(xiàn)最后介紹驗(yàn)證方法和常見(jiàn)坑。1. 少樣本時(shí)序預(yù)測(cè)為什么常規(guī)流程會(huì)卡住1.1 典型場(chǎng)景與任務(wù)特征少樣本時(shí)序預(yù)測(cè)不是理論假設(shè)而是運(yùn)維、物聯(lián)網(wǎng)、零售、能源領(lǐng)域每天都在出現(xiàn)的現(xiàn)實(shí)約束。舉三個(gè)具體場(chǎng)景。運(yùn)維容量預(yù)測(cè)。新服務(wù)剛上線(xiàn)運(yùn)行時(shí)長(zhǎng)可能只有幾個(gè)小時(shí)到幾天監(jiān)控面板上的 CPU、內(nèi)存、請(qǐng)求量已經(jīng)產(chǎn)生了一些數(shù)據(jù)但遠(yuǎn)不足以訓(xùn)練常規(guī)深度學(xué)習(xí)模型。而 SRE 又希望盡快得到一個(gè)可用預(yù)測(cè)用于容量評(píng)估。IoT 傳感器預(yù)測(cè)。工廠(chǎng)新接入一批設(shè)備型號(hào)或者某個(gè)傳感器更換安裝位置之后歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的分布已經(jīng)不一致。可用樣本往往是幾小時(shí)到幾天的記錄而且存在缺失值。零售新品銷(xiāo)量預(yù)測(cè)。新品 SKU 沒(méi)有銷(xiāo)售歷史能參考的只有同類(lèi)老品的模式。業(yè)務(wù)希望預(yù)測(cè)未來(lái) 7 天或者 14 天的銷(xiāo)量來(lái)指導(dǎo)備貨樣本量幾乎等于零。這些任務(wù)的共同點(diǎn)有三個(gè)。第一單個(gè)任務(wù)的樣本量少。把時(shí)間窗口切出來(lái)后訓(xùn)練樣本可能只有幾十到幾百條直接訓(xùn)練深度模型很容易過(guò)擬合。第二任務(wù)數(shù)量多且增長(zhǎng)快。如果每個(gè)任務(wù)都靠算法工程師人工處理人力成本完全不可接受。第三模型必須輕量。預(yù)測(cè)器可能要下發(fā)到邊緣節(jié)點(diǎn)或者隨著任務(wù)批量創(chuàng)建不能是幾百 MB 的大模型訓(xùn)練和推理都要快。1.2 常規(guī)流程的痛點(diǎn)常規(guī)預(yù)測(cè)流程是數(shù)據(jù)分析、特征工程、模型選型、超參數(shù)調(diào)優(yōu)、訓(xùn)練評(píng)估、部署上線(xiàn)。每一步都需要人工判斷。樣本充足時(shí)這套流程雖然是重流程但至少能跑通。樣本很少時(shí)問(wèn)題會(huì)放大。模型選型這件事在少樣本場(chǎng)景下尤其敏感。同一個(gè)數(shù)據(jù)集用 ARIMA 可能勉強(qiáng)可用用 LSTM 可能直接發(fā)散用帶季節(jié)分解的線(xiàn)性模型可能效果最好。不試不知道但每試一次都要消耗本就不多的樣本和排期。窗口長(zhǎng)度和預(yù)測(cè)長(zhǎng)度的設(shè)定也是坑。窗口太短模型看不到周期結(jié)構(gòu)窗口太長(zhǎng)樣本數(shù)進(jìn)一步減少。horizon 越長(zhǎng)不確定性越大評(píng)估指標(biāo)越難看。這些判斷在沒(méi)有經(jīng)驗(yàn)的情況下基本靠猜。更麻煩的是這樣一個(gè)需要反復(fù)嘗試的流程要同時(shí)面對(duì)幾十上百個(gè)任務(wù)。人工處理一個(gè)任務(wù)按天計(jì)算批量任務(wù)完全做不過(guò)來(lái)。1.3 MetaCaster 的應(yīng)對(duì)方式MetaCaster 的技術(shù)主線(xiàn)可以概括成一句話(huà)用 Agent 把流水線(xiàn)自動(dòng)化用 Meta-Harness 讓自動(dòng)化決策帶上跨任務(wù)經(jīng)驗(yàn)。它的工作方式分三個(gè)層面。Agent 層接收任務(wù)描述包括序列數(shù)據(jù)、預(yù)測(cè)目標(biāo)、數(shù)據(jù)頻率、horizon 等然后決定數(shù)據(jù)如何處理、窗口怎么切、模型用什么初始化、訓(xùn)練多少輪。Harness 層提供 Agent 的運(yùn)行環(huán)境包括工具調(diào)用、狀態(tài)管理、異常捕獲、重試和日志。Agent 負(fù)責(zé)決策Harness 負(fù)責(zé)讓決策安全地執(zhí)行。Meta 層負(fù)責(zé)記憶。每個(gè)任務(wù)執(zhí)行完后系統(tǒng)把任務(wù)特征、Agent 決策、最終效果一起寫(xiě)入經(jīng)驗(yàn)庫(kù)。新任務(wù)進(jìn)來(lái)時(shí)Meta 層先從經(jīng)驗(yàn)庫(kù)中找到最相似的歷史任務(wù)把它們的決策結(jié)果作為 Agent 的初始參考。用一個(gè)表格來(lái)對(duì)比這三個(gè)模塊的職責(zé)模塊核心職責(zé)對(duì)應(yīng)現(xiàn)實(shí)角色Agent根據(jù)任務(wù)輸入選擇動(dòng)作現(xiàn)場(chǎng)工程師Harness管理執(zhí)行循環(huán)、異常和工具施工框架和流程規(guī)范Meta 經(jīng)驗(yàn)庫(kù)跨任務(wù)積累決策知識(shí)老師傅沉淀的經(jīng)驗(yàn)手冊(cè)這樣設(shè)計(jì)的直接收益是處理過(guò)的任務(wù)越多新任務(wù)需要的人工干預(yù)越少。第一個(gè)任務(wù)可能還需要人工兜底第一百個(gè)任務(wù)基本可以全自動(dòng)完成。2. 核心機(jī)制Few-Shot Learning、Meta-Learning 與 Harness 的關(guān)系2.1 Few-Shot Learning 在時(shí)序預(yù)測(cè)里的準(zhǔn)確定義Few-Shot Learning 的目標(biāo)是讓模型在極少量樣本上快速學(xué)會(huì)一個(gè)任務(wù)。在圖像分類(lèi)里few-shot 通常指每個(gè)類(lèi)別只給 5 張或 1 張圖。在時(shí)序預(yù)測(cè)里定義要更小心因?yàn)闀r(shí)間序列不能像圖片一樣隨機(jī)打亂。在 MetaCaster 的語(yǔ)境下一個(gè)預(yù)測(cè)任務(wù)會(huì)拆成兩個(gè)集合support set用來(lái)在新任務(wù)上繼續(xù)訓(xùn)練的少量樣本。比如一個(gè) 5-shot 任務(wù)意味著每個(gè)任務(wù)只有 5 個(gè)窗口樣本可供內(nèi)循環(huán)學(xué)習(xí)。query set用來(lái)驗(yàn)證模型在新任務(wù)上的效果。query 樣本在訓(xùn)練階段不能出現(xiàn)否則就產(chǎn)生了數(shù)據(jù)泄漏。時(shí)序數(shù)據(jù)有兩個(gè)特殊性切分時(shí)必須遵守。第一時(shí)序樣本必須按照時(shí)間順序排列不能隨機(jī) shuffle。窗口之間的順序一旦被打亂模型學(xué)到的是未來(lái)預(yù)測(cè)過(guò)去的假模式。第二一個(gè)任務(wù)的訓(xùn)練和驗(yàn)證片段必須來(lái)自同一時(shí)間軸的不同區(qū)段前者放前面后者放后面。如果把中間的某段扣掉當(dāng)驗(yàn)證集等于人為制造了空洞模型會(huì)異常敏感。所以MetaCaster 在數(shù)據(jù)容器這一層就會(huì)強(qiáng)制校驗(yàn)support 與 query 的區(qū)間不能重疊query 必須嚴(yán)格在 support 之后。2.2 Meta-Learning 為什么適合少樣本Meta-Learning 的核心思想不是讓模型直接學(xué)會(huì)預(yù)測(cè)而是讓模型學(xué)會(huì)怎么快速學(xué)習(xí)一個(gè)預(yù)測(cè)任務(wù)。以 MAML 和 Reptile 為代表的方法訓(xùn)練目標(biāo)是找到一組初始化參數(shù)。這組參數(shù)的特點(diǎn)是在任意一個(gè)來(lái)自同分布的新任務(wù)上只要做幾步梯度更新就能快速達(dá)到較好的效果。把這個(gè)思路翻譯成 MetaCaster 的流程元訓(xùn)練階段。從歷史任務(wù)池中隨機(jī)抽取一批任務(wù)每個(gè)任務(wù)用當(dāng)前初始化參數(shù)做內(nèi)循環(huán)更新得到任務(wù)專(zhuān)屬參數(shù)。然后計(jì)算這些任務(wù)專(zhuān)屬參數(shù)相對(duì)初始化參數(shù)的平均變化方向用這個(gè)方向更新初始化參數(shù)。元測(cè)試階段。新任務(wù)到來(lái)只給少量 support 樣本在初始化參數(shù)基礎(chǔ)上做幾步更新然后直接用 query 評(píng)估。這樣做的好處是模型不是從零學(xué)習(xí)而是從已經(jīng)見(jiàn)過(guò)很多相關(guān)任務(wù)的起點(diǎn)開(kāi)始學(xué)習(xí)。少樣本條件下的收斂速度和穩(wěn)定性都會(huì)明顯改善。容易誤解的地方在于Meta-Learning 不是記憶任務(wù)答案。它記憶的是任務(wù)之間的共性規(guī)律。如果新任務(wù)和元訓(xùn)練任務(wù)來(lái)自完全不同的分布元學(xué)習(xí)帶來(lái)的收益會(huì)明顯下降。2.3 Harness 在 Agent 系統(tǒng)中的位置最近 Agent 相關(guān)的話(huà)題很多但很多人把 Agent 和 Harness 混為一談。Agent 是決策主體負(fù)責(zé)判斷下一步做什么。它可以是 LLM也可以是基于規(guī)則的模型還可以是兩者混合。Harness 是承載 Agent 的執(zhí)行框架負(fù)責(zé)怎么做、失敗了怎么辦、上下文怎么管理、工具怎么調(diào)用。在 MetaCaster 里Harness 不只是被動(dòng)執(zhí)行它本身就是被優(yōu)化的對(duì)象。這就是 Meta-Harness-Optimized 的含義Agent 選擇的模型參數(shù)、預(yù)處理方式、訓(xùn)練輪數(shù)會(huì)被記錄Harness 配置的重試策略、上下文長(zhǎng)度、工具選擇策略也會(huì)參與經(jīng)驗(yàn)積累。某些任務(wù)上Agent 決策正確但 Harness 因?yàn)橹卦嚥呗圆缓侠韺?dǎo)致執(zhí)行失敗這類(lèi)失敗經(jīng)驗(yàn)同樣會(huì)被寫(xiě)入經(jīng)驗(yàn)庫(kù)用來(lái)調(diào)整 Harness。理解了這個(gè)關(guān)系才能讀懂 MetaCaster 的設(shè)計(jì)它優(yōu)化的不是單次預(yù)測(cè)精度而是整條任務(wù)從進(jìn)入到產(chǎn)出模型的執(zhí)行鏈路。注意區(qū)分 Agent 和 Harness 時(shí)可以記一句話(huà)Agent 決定做什么Harness 決定怎么做、怎么兜底、怎么把經(jīng)驗(yàn)留下來(lái)。3. 流水線(xiàn)設(shè)計(jì)MetaCaster 端到端流程3.1 數(shù)據(jù)容器與任務(wù)劃分MetaC