01 為什么要盯著宏觀演變垂域RAG工程師的日常工作很具體解析文檔、調檢索、訓模型、部署服務。看起來和萬億參數原生多模態這些宏觀敘事離得很遠。但宏觀演變決定了日常工作的邊界三個必要性很實際。避免在過時的技術棧上造輪子。基座模型能力弱的時候遇到行業術語和復雜邏輯只能花大力氣收集數據做微調。現在模型上下文到了百萬級、上下文學習能力極強很多過去需要微調解決的知識注入問題用RAG加提示詞工程就能解決。不了解這個變化就可能在數據標注和微調上浪費數月。捕獲架構紅利解決RAG的老痛點。RAG系統的核心痛點是召回不準和復雜問題推理失敗。長上下文、深度推理、工具調用這些能力的演進恰好提供了新武器——比如用推理模型作為RAG的大腦自主拆解問題、多跳檢索這就是Agentic RAG的路徑。重新定義垂域護城河。通用模型越來越強垂域系統的壁壘不再是懂幾個行業名詞而是私有的高質量行業數據資產以及與行業工作流的無縫嵌入。精力該從調參煉丹轉向數據工程和鏈路設計。看清方向之后問題落到更具體的一層日常工作究竟怎么組織。兩條線索可以把它看清楚——縱向的依賴層級橫向的五個工作階段。02 縱向依賴層級的五層RAG工程師面對的依賴棧從底向上是五層┌─────────────────────────────────────────┐ │ 應用層vLLM / SGLang / RAG 業務代碼 │ ├─────────────────────────────────────────┤ │ 框架層PyTorch │ ├─────────────────────────────────────────┤ │ CUDA層CUDA Toolkit / cuDNN │ ├─────────────────────────────────────────┤ │ 驅動層NVIDIA Driver │ ├─────────────────────────────────────────┤ │ 硬件層GPUA100 / L40S / ... │ └─────────────────────────────────────────┘硬件層物理算力。日常關心有幾張卡、顯存多大——這直接決定能跑多大的模型、開多大的并發。驅動層NVIDIA Driver操作系統與GPU之間的翻譯。日常只需確認nvidia-smi能識別GPU裝好后不再變動。CUDA層框架調用GPU算力的橋梁。關心點是版本要和PyTorch匹配FlashAttention等算子庫的編譯依賴它。框架層PyTorch。關心點是版本要支持目標模型架構新模型往往需要較新的框架。應用層vLLM等推理框架和自己的RAG業務代碼日常打交道最多。在這個棧上有四條被反復驗證的原則。底層穩定不動。Driver是全局共享的地基裝好后不輕易升級。地基動一次上面所有環境都可能塌。中層按需匹配。Driver決定能用的CUDA上限CUDA Toolkit按環境裝不同版本但不能超過上限PyTorch嚴格匹配CUDA版本。絕大多數GPU用不了的問題都出在這三者的版本錯位上。上層靈活但鎖定。應用層庫更新頻繁不同項目需求不同依賴清單要固化成文件保證可復現、可回滾。出問題自底向上排查。先確認nvidia-smi能看到GPU再確認torch.cuda.is_available()為True再看應用層報錯。分層排除的效率遠高于遇到報錯就全網搜索零散解法。03 橫向五個工作階段一個完整的RAG系統要經歷五個階段。每個階段的任務性質、工具鏈、產出物都不同。階段一數據合成與處理。把行業原始文檔變成可用的數據資產。文檔解析、文本切片、調用強模型批量合成QA訓練數據、清洗去重。產出是干凈的文檔文本進知識庫和QA數據集給訓練用。這一步的質量決定整個系統的上限——文檔解析丟掉的表格結構下游永遠找不回來。臟數據的另一個特點是隱蔽問題往往到檢索或生成環節才暴露但根子在數據。階段二小模型訓練。微調檢索鏈路的兩個關鍵模型Embedding模型負責召回Reranker模型負責精排。它們參數不大單卡訓練幾小時但對檢索精度的提升常常超過調一個月提示詞。選型上文本檢索以Qwen3-Embedding、BGE等開源模型為主流知識庫含大量圖片圖表時可選多模態Embedding模型把文本和圖像編碼到統一向量空間實現以文搜圖。訓練數據來自階段一的合成QA。產出是微調后的模型權重交給階段四。階段三大模型微調。讓通用大模型適應行業語言和輸出規范。垂域SFT的主要目的不是讓模型學會新知識——知識交給RAG檢索更合適——而是學會用行業的方式說話。常規做法是LoRA只訓練少量參數基座模型不動可疊加、易回滾。需要多卡、DeepSpeed省顯存、FlashAttention加速以及足夠新的框架版本支持新模型架構。數據配比上垂域數據之外要保留一定比例的通用數據避免模型學會行業話的同時丟掉通用能力。產出是LoRA權重交給階段五部署。階段四RAG鏈路開發。把檢索和生成串成完整問答流程用戶提問 → Query處理改寫/擴展 → 混合檢索向量檢索用階段二的Embedding 關鍵詞檢索BM25 → Reranker精排用階段二的Reranker → 拼裝Prompt系統提示 檢索結果 用戶問題 → 調用大模型生成回答用階段五部署的API → 返回答案混合檢索的存在有一個很實際的原因垂域專有名詞靠語義往往搜不到必須靠關鍵詞精確命中補齊兩路結果互補。這個階段以集成和調試為主迭代最頻繁——調檢索策略、改Prompt、跑評估每天可能改好幾輪。階段五推理部署服務化。把模型部署成穩定的API服務供鏈路調用。用Docker不用Conda——推理框架的依賴復雜且嚴格官方鏡像已預配好一切容器化也讓多模型多版本共存、崩潰自動重啟、服務編排成為標配。04 部署專項幾件確定性高的事推理部署是鏈路的最末端也是工程取舍最集中的地方。有幾件事的確定性很高值得優先做。量化是第一優化。把模型權重從FP16壓到INT4顯存占用減半、推理速度提升對幾十B級別的模型精度損失通常在可接受范圍內。這是成本最低、收益最高的部署優化。Prefix Caching是RAG場景的殺手級優化。RAG請求天然帶有很長的共享前綴——系統提示加上檢索注入的上下文。開啟前綴緩存后相同前綴的請求跳過重復的預填充計算首token延遲可下降一半以上。盯兩個延遲指標。TTFT首token延遲是用戶感知的響應速度TPOT每token延遲是用戶感知的生成速度。RAG場景通常TTFT更要緊——用戶等著看答案。監控不是可選項。QPS、延遲、顯存占用、錯誤率上線就必須有數據。沒有監控的部署出問題后無法定位瓶頸。05 環境管理五個環境互不干擾為什么每個階段要一個獨立環境因為它們的依賴互相沖突微調新模型要最新版框架小模型訓練求穩定要鎖舊版推理部署的推理框架自帶一套嚴格鎖定的依賴。全塞進一個環境就是依賴地獄。各階段對環境的訴求可以概括為四句話訓練求穩定一次跑數小時框架固定在驗證過的組合上、微調求兼容必須上較新的框架版本支持新模型架構、部署求不變生產環境跑幾個月不動、開發求靈活快速試驗新方案但依賴清單留底可回滾。典型的劃分data-synth跑數據處理small-train訓Embedding和Rerankerllm-finetune微調大模型rag-dev開發鏈路推理部署交給Docker。日常就是在環境間切換——上午處理數據下午訓練模型傍晚調鏈路。階段之間不共享環境靠契約傳遞成果數據階段交出固定格式的數據集文件訓練階段交出標準格式的模型權重部署階段提供標準化的API接口。只要契約不變每個階段內部怎么改都不影響其他階段。換訓練框架、升級推理引擎、重做數據集都是局部動作。06 收束迭代循環把五階段連起來就是一個典型的迭代周期拿到新的行業文檔解析、清洗、合成訓練數據檢索不夠好微調Embedding和Reranker回答風格不符行業要求LoRA微調大模型在鏈路里反復調策略、跑評估效果達標后Docker部署上線上線后持續監控、收集badcase回到起點開始下一輪。RAG工程師的日常就是在這五個階段之間循環迭代。環境隔離讓迭代互不干擾契約傳遞讓協作界面清晰評估監控讓每輪迭代有據可依。這張地圖的價值還在于工作推進不順時先定位自己站在地圖的哪個位置——是數據階段的解析質量問題還是訓練階段的模型能力問題是鏈路階段的策略問題還是部署階段的性能問題。位置清楚了解法自然就清楚了。最終決定系統成敗的不是追了多新的模型而是數據質量、檢索精度和鏈路與業務的貼合度——這些恰好都是每天手里在做的事。學AI大模型的正確順序千萬不要搞錯了2026年AI風口已來各行各業的AI滲透肉眼可見超多公司要么轉型做AI相關產品要么高薪挖AI技術人才機遇直接擺在眼前有往AI方向發展或者本身有后端編程基礎的朋友直接沖AI大模型應用開發轉崗超合適就算暫時不打算轉崗了解大模型、RAG、Prompt、Agent這些熱門概念能上手做簡單項目也絕對是求職加分王給大家整理了超全最新的AI大模型應用開發學習清單和資料手把手幫你快速入門學習路線:?大模型基礎認知—大模型核心原理、發展歷程、主流模型GPT、文心一言等特點解析?核心技術模塊—RAG檢索增強生成、Prompt工程實戰、Agent智能體開發邏輯?開發基礎能力—Python進階、API接口調用、大模型開發框架LangChain等實操?應用場景開發—智能問答系統、企業知識庫、AIGC內容生成工具、行業定制化大模型應用?項目落地流程—需求拆解、技術選型、模型調優、測試上線、運維迭代?面試求職沖刺—崗位JD解析、簡歷AI項目包裝、高頻面試題匯總、模擬面經以上6大模塊看似清晰好上手實則每個部分都有扎實的核心內容需要吃透我把大模型的學習全流程已經整理好了抓住AI時代風口輕松解鎖職業新可能希望大家都能把握機遇實現薪資/職業躍遷這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】