1. 項(xiàng)目概述當(dāng)大模型“記性”不夠時(shí)我們到底在討論什么最近在設(shè)計(jì)和優(yōu)化幾個(gè)基于大語(yǔ)言模型的應(yīng)用時(shí)我反復(fù)撞上一個(gè)繞不開(kāi)的“天花板”上下文窗口。無(wú)論是想讓模型分析一份幾十頁(yè)的PDF報(bào)告還是希望它記住一場(chǎng)長(zhǎng)達(dá)數(shù)小時(shí)的對(duì)話細(xì)節(jié)最終都會(huì)遇到一個(gè)尷尬的局面——模型“失憶”了。它可能只記得你最后說(shuō)的幾句話而對(duì)文檔開(kāi)頭的關(guān)鍵定義或?qū)υ捲缙诘暮诵募s定茫然不知。這個(gè)問(wèn)題的根源就是我們今天要深入拆解的上下文窗口與注意力跨度。簡(jiǎn)單來(lái)說(shuō)上下文窗口就像一個(gè)模型短期工作記憶的“容量槽”。你一次性喂給模型的所有文本包括你的指令、歷史對(duì)話、提供的文檔內(nèi)容等的總長(zhǎng)度不能超過(guò)這個(gè)槽的容量。而注意力機(jī)制特別是Transformer架構(gòu)中的自注意力則是模型在這個(gè)容量槽內(nèi)建立信息關(guān)聯(lián)、進(jìn)行深度理解的“思考方式”。但這種方式并非沒(méi)有代價(jià)其計(jì)算復(fù)雜度與上下文長(zhǎng)度的平方成正比這從根本上劃定了當(dāng)前技術(shù)條件下模型“有效理解”范圍的數(shù)學(xué)邊界。這個(gè)邊界直接決定了你能用大模型做什么、不能做什么。如果你正在構(gòu)建一個(gè)需要處理長(zhǎng)文檔的問(wèn)答系統(tǒng)、一個(gè)具備長(zhǎng)期記憶的對(duì)話助手或者一個(gè)復(fù)雜的代碼分析工具理解這個(gè)邊界及其突破方法就不再是紙上談兵的理論而是關(guān)乎項(xiàng)目成敗的實(shí)戰(zhàn)核心。接下來(lái)我將結(jié)合具體的數(shù)學(xué)原理、工程實(shí)踐中的權(quán)衡取舍以及我們團(tuán)隊(duì)踩過(guò)的坑來(lái)徹底講清楚上下文窗口的極限到底在哪以及我們有哪些策略可以在這個(gè)極限下把事情做得更好。2. 核心概念拆解從“滑動(dòng)窗口”到“注意力洪流”要理解極限首先得看清框架。我們常說(shuō)的“上下文長(zhǎng)度”其實(shí)包含幾個(gè)相互關(guān)聯(lián)但又有所區(qū)別的概念混為一談會(huì)導(dǎo)致后續(xù)的優(yōu)化方向錯(cuò)誤。2.1 上下文窗口模型的“工作臺(tái)”大小你可以把上下文窗口想象成模型面前的一張固定大小的“工作臺(tái)”。所有需要模型在這次計(jì)算中考慮的信息都必須平鋪在這張工作臺(tái)上。對(duì)于像GPT-3.5、GPT-4、Claude等模型這個(gè)工作臺(tái)的大小是預(yù)先設(shè)定好的比如4K、8K、16K、32K甚至128K tokens。這里有一個(gè)關(guān)鍵細(xì)節(jié)這個(gè)窗口是“滑動(dòng)”的。在多輪對(duì)話中為了將最新的對(duì)話和回復(fù)納入窗口同時(shí)不超出總長(zhǎng)度限制最舊的對(duì)話內(nèi)容會(huì)被從工作臺(tái)的一端“推出去”。這就是為什么長(zhǎng)對(duì)話后期模型會(huì)忘記開(kāi)頭內(nèi)容的原因——不是它想忘而是工作臺(tái)放不下了最早的信息已經(jīng)被物理移除了。注意許多API如OpenAI返回的響應(yīng)中會(huì)包含一個(gè)usage.prompt_tokens字段這指的就是你本次請(qǐng)求中消耗的上下文窗口容量。監(jiān)控這個(gè)值是成本控制和避免觸發(fā)長(zhǎng)度限制的第一步。2.2 注意力跨度模型“一眼能看多遠(yuǎn)”注意力機(jī)制是Transformer的靈魂。在標(biāo)準(zhǔn)的自注意力中序列中的每個(gè)token在計(jì)算時(shí)都需要與序列中的所有其他token建立關(guān)聯(lián)。這意味著對(duì)于一個(gè)長(zhǎng)度為L(zhǎng)的序列其計(jì)算復(fù)雜度和內(nèi)存消耗是O(L2)。這就是注意力跨度的核心約束隨著序列變長(zhǎng)計(jì)算資源呈平方級(jí)增長(zhǎng)。“跨度”在這里指的是一個(gè)token在計(jì)算時(shí)能有效“關(guān)注”到的范圍。在原始Transformer中這個(gè)跨度就是整個(gè)序列即“全局注意力”。但O(L2)的代價(jià)太高了因此催生了一系列高效注意力變體其核心思想就是限制每個(gè)token的注意力范圍從而將復(fù)雜度從O(L2)降低到O(L)或O(L log L)。例如滑動(dòng)窗口注意力每個(gè)token只關(guān)注其前后固定窗口W內(nèi)的token復(fù)雜度O(L*W)。局部注意力類(lèi)似滑動(dòng)窗口但可以設(shè)置不同的窗口策略。稀疏注意力讓每個(gè)token只關(guān)注根據(jù)某種規(guī)則如 stride, dilated選出的部分token。這些方法本質(zhì)上是通過(guò)犧牲理論上的全局關(guān)聯(lián)能力來(lái)?yè)Q取處理更長(zhǎng)序列的可能性。模型不再能“一眼望穿”整個(gè)文檔而是像人閱讀長(zhǎng)文一樣需要結(jié)合局部上下文和某種形式的“摘要”或“記憶”來(lái)理解整體。2.3 數(shù)學(xué)邊界O(L2) 成本下的現(xiàn)實(shí)牢籠為什么說(shuō)128K、200K甚至更長(zhǎng)的上下文窗口是“有代價(jià)的奇跡”我們來(lái)算一筆賬。假設(shè)我們使用標(biāo)準(zhǔn)的全注意力處理一個(gè)長(zhǎng)度為L(zhǎng)的序列。需要的計(jì)算量FLOPs大約為2 * L2 * d_model這里簡(jiǎn)化了但數(shù)量級(jí)正確其中d_model是模型隱藏層的維度。對(duì)于d_model4096的模型當(dāng) L1024 (1K) 時(shí)計(jì)算量級(jí)約為 2 * 1M * 4096 ≈ 8.2 GFLOPs。當(dāng) L8192 (8K) 時(shí)計(jì)算量級(jí)約為 2 * 67M * 4096 ≈ 550 GFLOPs。當(dāng) L32768 (32K) 時(shí)計(jì)算量級(jí)約為 2 * 1B * 4096 ≈ 8.2 TFLOPs。當(dāng) L131072 (128K) 時(shí)計(jì)算量級(jí)約為 2 * 17B * 4096 ≈ 140 TFLOPs。可以看到從8K到32K計(jì)算量增長(zhǎng)了近15倍從32K到128K又增長(zhǎng)了17倍。這帶來(lái)的不僅是驚人的算力成本還有巨大的內(nèi)存壓力需要存儲(chǔ)L2大小的注意力分?jǐn)?shù)矩陣。因此所有支持超長(zhǎng)上下文8K的模型無(wú)一例外都使用了某種形式的高效注意力算法。這個(gè)O(L2)的數(shù)學(xué)邊界就是當(dāng)前大模型長(zhǎng)文本處理能力的“物理極限”所有技術(shù)演進(jìn)都是在和這個(gè)極限做斗爭(zhēng)。3. 長(zhǎng)上下文應(yīng)用的典型陷阱與性能衰減真相擁有了一個(gè)宣稱支持32K或128K窗口的模型并不意味著你就可以高枕無(wú)憂地把一本小說(shuō)扔進(jìn)去讓它總結(jié)。在實(shí)際應(yīng)用中我們觀察到幾個(gè)普遍且棘手的問(wèn)題。3.1 “中間掉包”現(xiàn)象注意力并非均勻分布這是一個(gè)非常反直覺(jué)但被多次實(shí)證的現(xiàn)象對(duì)于超長(zhǎng)的輸入文本模型對(duì)位于上下文中間部分的信息的回憶和理解能力會(huì)顯著低于開(kāi)頭和結(jié)尾部分。仿佛信息在通過(guò)一個(gè)長(zhǎng)長(zhǎng)的管道時(shí)在中間部分發(fā)生了“泄漏”或“衰減”。原因分析這與高效注意力機(jī)制的設(shè)計(jì)有關(guān)。許多稀疏或窗口化的注意力模式雖然保證了每個(gè)token都能看到局部上下文但信息要跨越很長(zhǎng)的距離進(jìn)行傳遞需要經(jīng)過(guò)多次前向傳播的“跳躍”。這個(gè)過(guò)程中信息可能會(huì)被稀釋或扭曲。而開(kāi)頭通常是系統(tǒng)指令和任務(wù)描述和結(jié)尾最新的用戶查詢由于位置特殊或者被某些注意力機(jī)制如“最近偏好”賦予更高權(quán)重因此保留得更好。實(shí)操影響這意味著你不能假設(shè)所有放在上下文里的信息都被模型平等地“看見(jiàn)”了。如果你把最關(guān)鍵的信息比如一份合同的核心條款放在長(zhǎng)達(dá)10萬(wàn)token文檔的正中間模型在回答相關(guān)問(wèn)題時(shí)很可能表現(xiàn)不佳。3.2 指令遵循的長(zhǎng)程失效系統(tǒng)指令System Prompt通常被放在上下文的最開(kāi)頭用于設(shè)定模型的行為角色和規(guī)則。在短上下文下這很有效。但在長(zhǎng)上下文中當(dāng)對(duì)話輪數(shù)或文檔內(nèi)容很長(zhǎng)時(shí)模型可能會(huì)“忘記”最初的指令行為發(fā)生漂移。我們做過(guò)一個(gè)測(cè)試在128K上下文的開(kāi)頭給模型一個(gè)嚴(yán)格的指令“在任何情況下你的回答都必須以‘根據(jù)我的分析’開(kāi)頭。” 然后在后續(xù)填充大量無(wú)關(guān)文本最后提問(wèn)。結(jié)果發(fā)現(xiàn)在上下文被填充到接近極限時(shí)模型有很大概率會(huì)忽略開(kāi)頭的格式指令直接回答問(wèn)題。這說(shuō)明指令的效力隨著上下文距離的拉長(zhǎng)而衰減。3.3 檢索精度隨長(zhǎng)度下降對(duì)于需要從長(zhǎng)上下文中進(jìn)行事實(shí)檢索的任務(wù)如問(wèn)答模型的檢索精度找到正確答案的能力會(huì)隨著上下文長(zhǎng)度的增加而下降。這不僅僅是“中間掉包”的問(wèn)題更是因?yàn)殡S著候選信息的增多注意力機(jī)制需要處理的干擾項(xiàng)也呈指數(shù)級(jí)增長(zhǎng)模型更難精準(zhǔn)定位到最關(guān)鍵的那段信息。一個(gè)常見(jiàn)的誤區(qū)認(rèn)為增大上下文窗口總能提升效果。實(shí)際上對(duì)于簡(jiǎn)單的檢索任務(wù)盲目增加上下文長(zhǎng)度尤其是填入大量無(wú)關(guān)文本往往會(huì)引入噪聲導(dǎo)致效果變差。這好比讓你在一張寫(xiě)滿字的A4紙里找一個(gè)詞很容易但讓你在一本500頁(yè)的書(shū)里找一個(gè)詞如果沒(méi)有目錄或索引難度就大得多即使這本書(shū)就攤開(kāi)在你面前。4. 突破邊界工程實(shí)踐中的策略與技巧面對(duì)理論邊界和實(shí)際衰減我們并非束手無(wú)策。通過(guò)一系列工程策略可以在現(xiàn)有模型能力范圍內(nèi)最大化長(zhǎng)上下文的效用。4.1 動(dòng)態(tài)上下文管理與關(guān)鍵信息放置這是最實(shí)用的一招。既然模型對(duì)開(kāi)頭和結(jié)尾的信息更敏感我們就應(yīng)該有策略地放置信息。關(guān)鍵信息前置與重述將最重要的任務(wù)指令、核心定義、約束條件放在系統(tǒng)提示最開(kāi)頭。在對(duì)話過(guò)程中如果進(jìn)行了多輪深入討論可以在新的用戶問(wèn)題中以簡(jiǎn)潔的方式重述關(guān)鍵背景和約束將其重新拉到上下文的“近端”。摘要與遞歸壓縮對(duì)于超長(zhǎng)文檔不要一次性全部塞入。采用“遞歸摘要”或“層次化摘要”策略。遞歸摘要將長(zhǎng)文檔分割成塊對(duì)每個(gè)塊生成摘要然后將這些摘要組合再生成更高層次的摘要。最終將最高層的摘要和當(dāng)前最相關(guān)的原始?jí)K一起送入上下文。層次化檢索先基于摘要或元數(shù)據(jù)標(biāo)題、關(guān)鍵詞進(jìn)行粗篩定位到相關(guān)章節(jié)或段落再將這部分原始內(nèi)容送入模型進(jìn)行精讀。滑動(dòng)窗口檢索對(duì)于流式或持續(xù)輸入的場(chǎng)景如長(zhǎng)對(duì)話實(shí)現(xiàn)一個(gè)外部的“記憶管理”。只將最近N輪對(duì)話滑動(dòng)窗口和從長(zhǎng)期記憶庫(kù)中檢索出來(lái)的最相關(guān)歷史片段通過(guò)向量檢索組合成當(dāng)前的上下文。這本質(zhì)上是為模型外接了一個(gè)可管理的“工作內(nèi)存”和“硬盤(pán)存儲(chǔ)”。4.2 提示工程優(yōu)化降低模型的理解負(fù)荷好的提示設(shè)計(jì)能直接提升模型在長(zhǎng)上下文中的表現(xiàn)。結(jié)構(gòu)化指令避免使用冗長(zhǎng)、模糊的自然語(yǔ)言指令。采用清晰的結(jié)構(gòu)如使用###角色###、###目標(biāo)###、###步驟###、###輸出格式###等標(biāo)記進(jìn)行分隔。結(jié)構(gòu)化的信息更容易被模型的注意力機(jī)制捕捉和維持。顯式引用與定位在要求模型基于長(zhǎng)文本回答時(shí)鼓勵(lì)它引用原文位置。例如在提示中要求“請(qǐng)引用支撐你答案的原文段落并注明該段落所在的大致章節(jié)或頁(yè)碼如‘見(jiàn)第3章第2節(jié)’”。這不僅能驗(yàn)證答案的可靠性也間接“迫使”模型去定位信息。分步任務(wù)分解不要給模型一個(gè)龐大復(fù)雜的任務(wù)。將其分解為清晰的、順序執(zhí)行的子任務(wù)。每個(gè)子任務(wù)都在相對(duì)較小、焦點(diǎn)明確的上下文中完成。例如分析一份財(cái)報(bào)第一步提取所有財(cái)務(wù)數(shù)據(jù)表第二步總結(jié)管理層討論第三步基于前兩步的結(jié)果進(jìn)行對(duì)比分析。4.3 模型選擇與基礎(chǔ)設(shè)施考量不同的模型其長(zhǎng)上下文處理的實(shí)際能力天差地別。不要只看窗口大小數(shù)字一個(gè)宣稱32K窗口的模型其在不同長(zhǎng)度下的性能曲線需要實(shí)際測(cè)試。關(guān)注其在長(zhǎng)文本檢索、多文檔問(wèn)答等基準(zhǔn)測(cè)試如NarrativeQA,QMSum上的表現(xiàn)。社區(qū)評(píng)測(cè)和論文中的“長(zhǎng)上下文能力評(píng)估”章節(jié)比營(yíng)銷(xiāo)數(shù)字更有參考價(jià)值。注意“有效上下文”與“宣稱上下文”有些模型雖然支持長(zhǎng)上下文但可能通過(guò)“訓(xùn)練時(shí)長(zhǎng)度外推”或“推理時(shí)動(dòng)態(tài)NTK縮放”等技術(shù)實(shí)現(xiàn)。這些技術(shù)可能在長(zhǎng)度超過(guò)訓(xùn)練數(shù)據(jù)時(shí)導(dǎo)致質(zhì)量下降。了解模型實(shí)現(xiàn)長(zhǎng)上下文的技術(shù)路徑是使用了高效的注意力架構(gòu)如FlashAttention-2還是單純的訓(xùn)練數(shù)據(jù)更長(zhǎng)至關(guān)重要。推理成本估算長(zhǎng)上下文的推理成本極其昂貴。成本主要來(lái)自兩個(gè)方面KV Cache鍵值緩存在自回歸生成時(shí)為了避免為每個(gè)新token重新計(jì)算之前所有token的Key和Value向量需要將其緩存起來(lái)。KV Cache的內(nèi)存占用與batch_size * seq_len * hidden_size * num_layers * 2成正比。這是內(nèi)存消耗的大頭。注意力計(jì)算即使使用高效注意力計(jì)算量依然隨長(zhǎng)度增長(zhǎng)。 在項(xiàng)目規(guī)劃初期就必須根據(jù)預(yù)估的平均上下文長(zhǎng)度和QPS進(jìn)行嚴(yán)格的成本測(cè)算。有時(shí)采用“短上下文模型高效檢索”的方案總擁有成本TCO遠(yuǎn)低于直接使用長(zhǎng)上下文模型。5. 未來(lái)展望從擴(kuò)展窗口到改變架構(gòu)當(dāng)前的主流思路是“擴(kuò)展窗口”但這本質(zhì)上是在原有Transformer框架下與O(L2)復(fù)雜度進(jìn)行艱苦的拉鋸戰(zhàn)。更根本的突破可能來(lái)自架構(gòu)的革新。狀態(tài)空間模型如Mamba等模型采用狀態(tài)空間方程SSM替代自注意力理論上可以實(shí)現(xiàn)線性復(fù)雜度的序列建模并且具有無(wú)限長(zhǎng)的上下文依賴潛力。這可能是打破注意力跨度限制的最有希望的路徑之一。但其在語(yǔ)言建模任務(wù)上是否全面超越Transformer仍需觀察。混合專(zhuān)家系統(tǒng)像Mixtral這樣的MoE模型通過(guò)激活少數(shù)專(zhuān)家來(lái)降低計(jì)算量從而可以“負(fù)擔(dān)得起”更大的模型容量和更復(fù)雜的上下文處理間接提升長(zhǎng)文本理解能力。外部記憶與模塊化讓模型學(xué)會(huì)使用外部的、可持久化、可索引的存儲(chǔ)系統(tǒng)如向量數(shù)據(jù)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)將“記憶”功能從有限的上下文窗口中剝離出來(lái)。模型的核心變成一個(gè)強(qiáng)大的“處理器”和“推理器”只在需要時(shí)加載相關(guān)的記憶片段到工作區(qū)上下文。這更接近人類(lèi)利用筆記、書(shū)籍和計(jì)算機(jī)輔助思考的方式。在我個(gè)人看來(lái)單純追求更大的上下文窗口數(shù)字已經(jīng)接近邊際效益遞減的臨界點(diǎn)。下一個(gè)階段的競(jìng)爭(zhēng)將集中在如何更智能、更高效地利用有限的上下文資源以及如何通過(guò)新的模型架構(gòu)從根本上重新定義“上下文”和“記憶”。對(duì)于我們應(yīng)用開(kāi)發(fā)者而言在現(xiàn)有技術(shù)條件下深入理解邊界、精妙設(shè)計(jì)策略比等待下一個(gè)“百萬(wàn)上下文”的模型發(fā)布更能帶來(lái)即時(shí)的、確定性的收益。畢竟最好的工具不是參數(shù)最多的那個(gè)而是你用起來(lái)最得心應(yīng)手的那個(gè)。