1. 從一個(gè)“標(biāo)題黨”引發(fā)的思考創(chuàng)意代理與Token經(jīng)濟(jì)的碰撞最近在AI圈子里一個(gè)有點(diǎn)“標(biāo)題黨”味道的短語(yǔ)引起了我的注意“A Creative Agent is Worth a 64-Token Template”。乍一看這像是一句為了吸引點(diǎn)擊而生的口號(hào)但仔細(xì)琢磨它背后其實(shí)精準(zhǔn)地戳中了當(dāng)前AI應(yīng)用開(kāi)發(fā)特別是智能體Agent構(gòu)建領(lǐng)域的一個(gè)核心矛盾與趨勢(shì)。作為一個(gè)長(zhǎng)期混跡在一線的開(kāi)發(fā)者我見(jiàn)過(guò)太多團(tuán)隊(duì)在“造輪子”上耗費(fèi)巨量精力而這句話恰恰道出了我們追求效率與創(chuàng)新的新思路。簡(jiǎn)單拆解一下這個(gè)標(biāo)題。“Creative Agent”即創(chuàng)意代理指的是那些具備自主規(guī)劃、工具調(diào)用和復(fù)雜問(wèn)題解決能力的AI智能體它不再是簡(jiǎn)單的問(wèn)答機(jī)器人而是能寫(xiě)代碼、做設(shè)計(jì)、分析數(shù)據(jù)的“數(shù)字員工”。“64-Token Template”這里的“Token”是AI領(lǐng)域尤其是大語(yǔ)言模型LLM語(yǔ)境下的核心計(jì)量與交互單元可以粗略理解為模型處理文本的基本單位而“Template”模板則代表了那些可復(fù)用、標(biāo)準(zhǔn)化的提示詞Prompt或工作流框架。整句話的潛臺(tái)詞是一個(gè)真正有價(jià)值的、能創(chuàng)造性地解決問(wèn)題的智能體其價(jià)值遠(yuǎn)超一堆零散的、固定格式的提示詞模板。這讓我聯(lián)想到實(shí)際項(xiàng)目中的場(chǎng)景。我們常常花費(fèi)數(shù)周時(shí)間精心設(shè)計(jì)一個(gè)長(zhǎng)達(dá)數(shù)百甚至上千token的復(fù)雜提示詞Prompt試圖讓模型理解一個(gè)多步驟任務(wù)。然而模型的表現(xiàn)可能并不穩(wěn)定或者一旦任務(wù)邊界稍有變化整個(gè)提示詞就需要推倒重來(lái)。相比之下一個(gè)設(shè)計(jì)良好的“創(chuàng)意代理”通過(guò)引入記憶、工具、規(guī)劃等能力可能只需要一個(gè)非常簡(jiǎn)潔的“種子指令”比如那“64個(gè)Token”就能自主拆解任務(wù)、調(diào)用資源、迭代結(jié)果展現(xiàn)出驚人的適應(yīng)性和創(chuàng)造性。這不僅僅是效率的提升更是范式上的轉(zhuǎn)變從“教模型每一步怎么做”的微管理轉(zhuǎn)向“告訴模型目標(biāo)是什么”的授權(quán)管理。接下來(lái)我就結(jié)合自己的實(shí)踐深入聊聊如何理解并構(gòu)建這樣的“創(chuàng)意代理”以及為什么它值得我們投入精力。2. 核心概念拆解為什么是“創(chuàng)意代理”與“Token模板”要理解這個(gè)標(biāo)題的深意我們得先掰開(kāi)揉碎這兩個(gè)核心概念以及它們所代表的兩種截然不同的AI應(yīng)用構(gòu)建范式。2.1 “創(chuàng)意代理”超越簡(jiǎn)單問(wèn)答的自主智能體“代理”這個(gè)概念在計(jì)算機(jī)科學(xué)中由來(lái)已久指的是一種能夠感知環(huán)境、自主決策并執(zhí)行行動(dòng)以實(shí)現(xiàn)目標(biāo)的實(shí)體。在AI的語(yǔ)境下一個(gè)“創(chuàng)意代理”通常具備以下幾個(gè)關(guān)鍵特征這也是它區(qū)別于傳統(tǒng)聊天機(jī)器人的地方目標(biāo)導(dǎo)向與規(guī)劃能力它接收一個(gè)高層級(jí)的目標(biāo)例如“為我設(shè)計(jì)一個(gè)企業(yè)官網(wǎng)首頁(yè)”而不是具體的步驟指令。代理會(huì)自主將這個(gè)目標(biāo)分解為一系列子任務(wù)并規(guī)劃執(zhí)行順序。工具使用能力這是代理能力的巨大延伸。它不僅可以生成文本還能通過(guò)API調(diào)用搜索引擎、代碼執(zhí)行環(huán)境、圖像生成模型、數(shù)據(jù)庫(kù)等外部工具。例如為了設(shè)計(jì)網(wǎng)站它可能會(huì)先調(diào)用搜索工具調(diào)研競(jìng)品再調(diào)用代碼工具生成HTML/CSS最后調(diào)用圖像工具制作Banner。記憶與上下文管理代理?yè)碛卸唐诘墓ぷ饔洃洰?dāng)前任務(wù)鏈的上下文和長(zhǎng)期的記憶存儲(chǔ)如向量數(shù)據(jù)庫(kù)能夠記住之前的交互、決策和結(jié)果從而在長(zhǎng)對(duì)話中保持一致性和連貫性實(shí)現(xiàn)持續(xù)學(xué)習(xí)和改進(jìn)。反思與迭代能力高級(jí)的代理能夠評(píng)估自身行動(dòng)的結(jié)果如果未達(dá)到預(yù)期它會(huì)分析原因調(diào)整策略重新嘗試。這模擬了人類的試錯(cuò)和學(xué)習(xí)過(guò)程。構(gòu)建這樣一個(gè)代理技術(shù)棧通常涉及一個(gè)大語(yǔ)言模型作為“大腦”一個(gè)框架如LangChain、LlamaIndex、AutoGen來(lái)編排工作流以及一系列工具集成和記憶管理模塊。它的價(jià)值在于其泛化性和創(chuàng)造性你無(wú)需為每個(gè)細(xì)微的任務(wù)變體編寫(xiě)新的提示詞一個(gè)訓(xùn)練有素的代理可以處理一大類相關(guān)問(wèn)題。2.2 “Token模板”高效但局限的提示工程另一方面“Token模板”代表了經(jīng)典的、也是目前最主流的提示工程方法。開(kāi)發(fā)者精心設(shè)計(jì)一段包含指令、上下文、示例和格式要求的文本即Prompt將其喂給大模型以期得到理想的輸出。一個(gè)“64-Token Template”可以是一個(gè)極其精煉的指令例如“你是一個(gè)資深UX設(shè)計(jì)師。用不超過(guò)200字描述一個(gè)健身APP登錄頁(yè)面的設(shè)計(jì)思路需突出簡(jiǎn)潔和激勵(lì)感。” 這個(gè)模板很高效針對(duì)這個(gè)特定問(wèn)題可能效果很好。然而這種方法的局限性非常明顯脆弱性提示詞稍微改動(dòng)或者模型的版本變化都可能導(dǎo)致輸出質(zhì)量大幅波動(dòng)。有限復(fù)雜性對(duì)于需要多步驟、多工具協(xié)作的復(fù)雜任務(wù)試圖將所有邏輯塞進(jìn)一個(gè)提示詞里會(huì)使其變得極其冗長(zhǎng)、難以維護(hù)且容易導(dǎo)致模型“迷失重點(diǎn)”。缺乏狀態(tài)每次對(duì)話都是獨(dú)立的模型無(wú)法記住歷史交互除非顯式地將歷史記錄作為上下文再次輸入這會(huì)消耗大量Token且效率低下。創(chuàng)造性天花板模板驅(qū)動(dòng)的方式本質(zhì)上是將人類的思維過(guò)程固化模型只是在填充這個(gè)框架。對(duì)于真正開(kāi)放性的、需要探索和試錯(cuò)的創(chuàng)意任務(wù)模板會(huì)成為一種束縛。兩者的對(duì)比與價(jià)值主張標(biāo)題“A Creative Agent is Worth a 64-Token Template”正是在強(qiáng)調(diào)這種價(jià)值對(duì)比。一個(gè)強(qiáng)大的創(chuàng)意代理就像一個(gè)擁有工具箱、項(xiàng)目經(jīng)驗(yàn)和自我驅(qū)動(dòng)力的專業(yè)員工你只需要給他一個(gè)簡(jiǎn)單的任務(wù)簡(jiǎn)報(bào)那64個(gè)Token的初始指令他就能還你一個(gè)完整的項(xiàng)目成果。而一堆復(fù)雜的模板更像是詳細(xì)到每一步的“操作手冊(cè)”雖然在某些標(biāo)準(zhǔn)化環(huán)節(jié)快但無(wú)法應(yīng)對(duì)復(fù)雜和未知。在AI能力日益強(qiáng)大的今天投資于構(gòu)建“代理”這種更高級(jí)的抽象其長(zhǎng)期回報(bào)遠(yuǎn)高于不斷雕琢和堆積“模板”。3. 從模板到代理構(gòu)建路徑與核心技術(shù)棧理解了為什么“代理”更有價(jià)值下一步就是如何構(gòu)建它。這并非一蹴而就而是一個(gè)從簡(jiǎn)單到復(fù)雜、逐步增強(qiáng)其能力的過(guò)程。我們可以將其視為一個(gè)能力階梯。3.1 第一步夯實(shí)基礎(chǔ)——設(shè)計(jì)高質(zhì)量的“種子提示”即使目標(biāo)是構(gòu)建復(fù)雜代理起點(diǎn)也往往是一個(gè)精心設(shè)計(jì)的提示詞也就是那“值得64個(gè)Token”的模板。這個(gè)初始提示的質(zhì)量決定了代理的“基因”。它需要清晰定義代理的角色、目標(biāo)、約束和初始工作流程。一個(gè)設(shè)計(jì)良好的種子提示應(yīng)包含系統(tǒng)角色定義明確、具體地告訴模型“你是誰(shuí)”。例如“你是一個(gè)全棧開(kāi)發(fā)助手精通Python、JavaScript和React擅長(zhǎng)將模糊需求轉(zhuǎn)化為可執(zhí)行代碼和架構(gòu)建議。”核心指令與目標(biāo)簡(jiǎn)潔說(shuō)明任務(wù)。例如“用戶將提出一個(gè)軟件開(kāi)發(fā)需求。你的目標(biāo)是理解需求提出澄清問(wèn)題然后生成實(shí)現(xiàn)方案包括技術(shù)選型、代碼片段和部署建議。”工作流程約束引導(dǎo)代理的思考過(guò)程。例如“在回復(fù)時(shí)請(qǐng)遵循以下步驟1. 復(fù)述并確認(rèn)需求。2. 如有歧義提出最多3個(gè)關(guān)鍵問(wèn)題。3. 基于清晰的需求給出解決方案。4. 在最后詢問(wèn)用戶是否需要進(jìn)行下一步如詳細(xì)設(shè)計(jì)、代碼實(shí)現(xiàn)。”輸出格式要求確保結(jié)果結(jié)構(gòu)化、易用。例如“使用Markdown格式組織你的回答用標(biāo)題區(qū)分不同部分代碼塊標(biāo)明語(yǔ)言。”這個(gè)基礎(chǔ)模板可能只有幾十到一百多個(gè)Token但它為代理的后續(xù)行為奠定了基調(diào)和框架。它不再是試圖一次性解決所有問(wèn)題的“巨無(wú)霸”提示而是啟動(dòng)一個(gè)智能過(guò)程的“點(diǎn)火器”。3.2 第二步賦予雙手——工具調(diào)用集成一個(gè)只能“空想”的代理價(jià)值有限。真正的能力飛躍來(lái)自于集成工具。這相當(dāng)于給代理裝上了“雙手”讓它能操作外部世界。常見(jiàn)的工具集成包括網(wǎng)絡(luò)搜索讓代理能獲取實(shí)時(shí)信息解決模型知識(shí)截止日期的問(wèn)題。例如集成Serper API或 Tavily Search。代碼執(zhí)行讓代理可以編寫(xiě)并運(yùn)行代碼來(lái)驗(yàn)證邏輯、處理數(shù)據(jù)或執(zhí)行計(jì)算。這通常通過(guò)一個(gè)安全的沙盒環(huán)境如Docker容器實(shí)現(xiàn)。文件操作讀寫(xiě)本地或云存儲(chǔ)的文件處理文檔、數(shù)據(jù)表格等。專業(yè)模型調(diào)用例如在需要生成圖片時(shí)調(diào)用DALL-E或Stable Diffusion的API在需要轉(zhuǎn)錄時(shí)調(diào)用Whisper API。自定義API連接企業(yè)內(nèi)部系統(tǒng)如CRM、數(shù)據(jù)庫(kù)、項(xiàng)目管理工具等。實(shí)操要點(diǎn)在集成工具時(shí)最關(guān)鍵的是為每個(gè)工具編寫(xiě)清晰、準(zhǔn)確的描述。大模型需要根據(jù)這些描述來(lái)決定在什么情況下調(diào)用哪個(gè)工具。描述應(yīng)包括工具的功能、輸入?yún)?shù)格式和輸出示例。例如對(duì)于搜索工具的描述可能是“search_web(query: str): 執(zhí)行一次網(wǎng)絡(luò)搜索。參數(shù)query是搜索關(guān)鍵詞。返回一個(gè)包含搜索結(jié)果摘要和鏈接的列表。”注意工具調(diào)用涉及安全風(fēng)險(xiǎn)。必須嚴(yán)格限制代碼執(zhí)行環(huán)境的權(quán)限對(duì)文件操作進(jìn)行路徑白名單控制并對(duì)所有用戶輸入進(jìn)行驗(yàn)證和清理防止任意命令執(zhí)行或敏感信息泄露。3.3 第三步武裝大腦——記憶與規(guī)劃模塊有了目標(biāo)和工具代理還需要“記憶”和“規(guī)劃”能力來(lái)執(zhí)行復(fù)雜任務(wù)。記憶系統(tǒng)通常分為兩層短期/對(duì)話記憶保存當(dāng)前會(huì)話的完整歷史確保代理在多輪對(duì)話中上下文連貫。這通常由框架自動(dòng)管理。長(zhǎng)期記憶這是代理“學(xué)習(xí)”和“個(gè)性化”的關(guān)鍵。通常使用向量數(shù)據(jù)庫(kù)如Chroma, Pinecone, Weaviate來(lái)存儲(chǔ)過(guò)往對(duì)話的“精華”或重要事實(shí)。當(dāng)新任務(wù)到來(lái)時(shí)代理會(huì)先從長(zhǎng)期記憶中檢索相關(guān)歷史信息作為決策的參考。例如一個(gè)設(shè)計(jì)代理可以記住用戶偏好的配色風(fēng)格。規(guī)劃能力是創(chuàng)意代理的“大腦皮層”。簡(jiǎn)單的任務(wù)可以通過(guò)在提示詞中嵌入“逐步思考”的指令來(lái)實(shí)現(xiàn)。對(duì)于復(fù)雜任務(wù)則需要更高級(jí)的規(guī)劃器例如ReAct模式一種經(jīng)典的框架讓代理循環(huán)執(zhí)行“思考-行動(dòng)-觀察”的步驟。在“思考”階段代理分析當(dāng)前狀況和任務(wù)在“行動(dòng)”階段選擇并調(diào)用工具在“觀察”階段接收工具返回的結(jié)果并決定下一步。任務(wù)分解代理自動(dòng)將宏大目標(biāo)分解為有依賴關(guān)系的子任務(wù)樹(shù)然后按順序或并行執(zhí)行。這需要模型具備較強(qiáng)的邏輯推理能力。實(shí)操心得在實(shí)現(xiàn)規(guī)劃時(shí)一個(gè)常見(jiàn)的坑是代理陷入“死循環(huán)”或做出無(wú)意義的動(dòng)作序列。有效的解決方法是設(shè)置最大迭代次數(shù)和超時(shí)機(jī)制并在每次“思考”時(shí)強(qiáng)制要求代理評(píng)估當(dāng)前進(jìn)度與最終目標(biāo)的距離如果多次嘗試無(wú)法推進(jìn)則讓其主動(dòng)向用戶求助而不是無(wú)限循環(huán)。4. 實(shí)戰(zhàn)構(gòu)建一個(gè)簡(jiǎn)易創(chuàng)意寫(xiě)作代理的實(shí)現(xiàn)剖析理論說(shuō)再多不如動(dòng)手做一遍。下面我將以一個(gè)相對(duì)簡(jiǎn)單的“創(chuàng)意寫(xiě)作代理”為例展示如何從零開(kāi)始構(gòu)建一個(gè)具備基礎(chǔ)能力的代理。這個(gè)代理的目標(biāo)是根據(jù)用戶給出的一個(gè)非常簡(jiǎn)短的故事梗概比如“64個(gè)Token”以內(nèi)的描述自動(dòng)完成一篇結(jié)構(gòu)完整、細(xì)節(jié)豐富的短篇故事。4.1 環(huán)境準(zhǔn)備與框架選型我們選擇LangChain作為核心框架因?yàn)樗鷳B(tài)豐富、社區(qū)活躍對(duì)于構(gòu)建原型非常友好。同時(shí)我們將使用OpenAI的GPT-4作為核心大模型考慮到創(chuàng)意寫(xiě)作需要較強(qiáng)的文本生成能力并使用Chroma作為輕量級(jí)向量數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)長(zhǎng)期記憶。首先安裝必要的庫(kù)pip install langchain langchain-openai chromadb tiktoken然后進(jìn)行基礎(chǔ)配置設(shè)置API密鑰和模型import os from langchain_openai import ChatOpenAI from langchain.chains import LLMChain from langchain.memory import ConversationBufferMemory, VectorStoreRetrieverMemory from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain.prompts import PromptTemplate # 設(shè)置環(huán)境變量請(qǐng)?zhí)鎿Q為你的實(shí)際API Key os.environ[OPENAI_API_KEY] your-api-key-here # 初始化LLM使用gpt-4以獲得更好的創(chuàng)意和連貫性 llm ChatOpenAI(modelgpt-4, temperature0.7) # temperature稍高以增加創(chuàng)造性 embeddings OpenAIEmbeddings()4.2 設(shè)計(jì)核心提示模板與工作流我們的代理工作流設(shè)計(jì)如下接收種子用戶輸入一個(gè)簡(jiǎn)短梗概。檢索記憶從向量庫(kù)中檢索與該梗概主題相似的過(guò)往故事元素角色設(shè)定、經(jīng)典情節(jié)等作為靈感來(lái)源。規(guī)劃大綱基于梗概和檢索到的靈感生成一個(gè)詳細(xì)的故事大綱包括起承轉(zhuǎn)合、關(guān)鍵場(chǎng)景、人物弧光。分段生成根據(jù)大綱逐個(gè)場(chǎng)景生成詳細(xì)內(nèi)容。連貫性檢查與潤(rùn)色通讀生成的故事檢查邏輯和連貫性并進(jìn)行最終潤(rùn)色。首先我們?cè)O(shè)計(jì)最核心的“種子提示”模板它將被用來(lái)啟動(dòng)整個(gè)流程# 種子提示模板 - 這就是那“64-Token Template”精神的體現(xiàn) seed_prompt_template PromptTemplate( input_variables[user_input, relevant_memory], template 你是一個(gè)專業(yè)的創(chuàng)意寫(xiě)作助手。你的核心任務(wù)是幫助用戶將一個(gè)簡(jiǎn)單的故事構(gòu)思擴(kuò)展成一篇完整的短篇故事。 用戶的故事構(gòu)思是{user_input} 以下是一些可能相關(guān)的靈感或過(guò)往設(shè)定來(lái)自記憶庫(kù)供你參考 {relevant_memory} 現(xiàn)在請(qǐng)開(kāi)始你的工作。首先基于以上信息生成一個(gè)包含以下部分的故事大綱 1. 故事主題與核心沖突。 2. 主要人物介紹姓名、性格、動(dòng)機(jī)。 3. 情節(jié)結(jié)構(gòu)開(kāi)端、發(fā)展、高潮、結(jié)局每部分用一兩句話概括。 4. 關(guān)鍵場(chǎng)景設(shè)定。 請(qǐng)直接輸出這個(gè)大綱不要添加其他解釋。 )這個(gè)模板大約150個(gè)Token它沒(méi)有試圖一次性生成完整故事而是定義了代理的角色和第一個(gè)子任務(wù)生成大綱并嵌入了從記憶庫(kù)檢索信息的接口。這就是一個(gè)高效的“指令集”。4.3 實(shí)現(xiàn)記憶與工具鏈接下來(lái)我們實(shí)現(xiàn)長(zhǎng)期記憶模塊。這里我們將用戶每次最終完成的故事摘要存儲(chǔ)起來(lái)以便未來(lái)為類似主題的故事提供靈感。# 初始化向量數(shù)據(jù)庫(kù)作為長(zhǎng)期記憶存儲(chǔ) persist_directory ./chroma_db vectorstore Chroma(embedding_functionembeddings, persist_directorypersist_directory) retriever vectorstore.as_retriever(search_kwargs{k: 2}) # 每次檢索最相關(guān)的2條記憶 memory VectorStoreRetrieverMemory(retrieverretriever) # 一個(gè)函數(shù)用于將完成的故事摘要存入記憶 def save_to_memory(story_summary: str, metadata: dict): # 為摘要生成一個(gè)唯一的ID這里用簡(jiǎn)單的時(shí)間戳 doc_id fstory_{int(time.time())} # 將文本和元數(shù)據(jù)如主題、風(fēng)格存入向量庫(kù) vectorstore.add_texts(texts[story_summary], metadatas[metadata], ids[doc_id]) vectorstore.persist()然后我們將各個(gè)環(huán)節(jié)串聯(lián)成鏈。為了簡(jiǎn)化我們用一個(gè)主鏈來(lái)協(xié)調(diào)但實(shí)際上更復(fù)雜的代理會(huì)使用LangChain的Agent或Plan-and-Execute架構(gòu)。# 初始化記憶鏈用于在生成大綱前檢索靈感 memory_chain LLMChain(llmllm, promptseed_prompt_template, memorymemory) # 大綱生成后我們需要另一個(gè)提示模板來(lái)指導(dǎo)分段生成故事 scene_prompt_template PromptTemplate( input_variables[outline, current_scene], template 基于以下故事大綱 {outline} 現(xiàn)在請(qǐng)你詳細(xì)撰寫(xiě)大綱中“{current_scene}”這一部分的內(nèi)容。要求描寫(xiě)細(xì)致有對(duì)話和動(dòng)作情感飽滿直接推進(jìn)情節(jié)。輸出純故事內(nèi)容無(wú)需標(biāo)記。 ) scene_chain LLMChain(llmllm, promptscene_prompt_template) # 主執(zhí)行函數(shù) def creative_writing_agent(seed_idea: str): print(f用戶構(gòu)思{seed_idea}) # 1. 檢索相關(guān)記憶 # 注意在實(shí)際中我們需要將seed_idea也轉(zhuǎn)換為查詢向量。這里為簡(jiǎn)化我們直接使用一個(gè)查詢。 relevant_docs retriever.get_relevant_documents(seed_idea) memory_context \n.join([doc.page_content for doc in relevant_docs]) # 2. 生成故事大綱 print(正在生成故事大綱...) outline_result memory_chain.run(user_inputseed_idea, relevant_memorymemory_context) print(生成大綱完成\n, outline_result) # 3. 解析大綱拆分場(chǎng)景這里簡(jiǎn)化假設(shè)大綱中關(guān)鍵場(chǎng)景部分有明確的場(chǎng)景列表 # 在實(shí)際應(yīng)用中可能需要用另一個(gè)LLM調(diào)用或規(guī)則來(lái)解析outline_result提取場(chǎng)景列表。 # 此處我們假設(shè)場(chǎng)景列表為 [開(kāi)端相遇, 發(fā)展沖突升級(jí), 高潮最終對(duì)決, 結(jié)局和解] scenes [開(kāi)端相遇, 發(fā)展沖突升級(jí), 高潮最終對(duì)決, 結(jié)局和解] full_story # 4. 分段生成每個(gè)場(chǎng)景 for scene in scenes: print(f正在生成場(chǎng)景{scene}) scene_content scene_chain.run(outlineoutline_result, current_scenescene) full_story f\n\n## {scene}\n{scene_content} # 5. 連貫性檢查與潤(rùn)色簡(jiǎn)化用一次LLM調(diào)用進(jìn)行整體優(yōu)化 polishing_prompt f請(qǐng)將以下故事草稿進(jìn)行語(yǔ)言潤(rùn)色確保情節(jié)連貫人物行為合理語(yǔ)言流暢優(yōu)美 {full_story} 請(qǐng)直接輸出潤(rùn)色后的完整故事。 polished_story llm.invoke(polishing_prompt).content # 6. 將本次故事的摘要存入長(zhǎng)期記憶 summary_for_memory llm.invoke(f用一句話概括以下故事的核心主題和特色{polished_story[:500]}).content save_to_memory(summary_for_memory, {theme: seed_idea, length: short}) return polished_story # 運(yùn)行代理 if __name__ __main__: seed 一個(gè)宇航員在火星上發(fā)現(xiàn)了一株會(huì)發(fā)光的植物這株植物似乎擁有智慧。 final_story creative_writing_agent(seed) print(\n *50 \n最終生成的故事\n *50) print(final_story)這個(gè)實(shí)現(xiàn)雖然簡(jiǎn)化但清晰地展示了從“種子提示”觸發(fā)到利用記憶、執(zhí)行多步規(guī)劃生成大綱、分場(chǎng)景寫(xiě)作、潤(rùn)色的完整代理工作流。你輸入一個(gè)幾十個(gè)Token的構(gòu)思它最終能輸出一篇數(shù)千字的、結(jié)構(gòu)完整的故事。這就是“A Creative Agent is Worth a 64-Token Template”的直觀體現(xiàn)。5. 避坑指南與效能優(yōu)化實(shí)戰(zhàn)錄在實(shí)際構(gòu)建和運(yùn)行創(chuàng)意代理的過(guò)程中你會(huì)遇到各種各樣的問(wèn)題。下面是我從多個(gè)項(xiàng)目中總結(jié)出的常見(jiàn)“坑”及其解決方案以及一些提升代理效能的實(shí)戰(zhàn)技巧。5.1 常見(jiàn)問(wèn)題與排查技巧問(wèn)題現(xiàn)象可能原因排查與解決思路代理陷入循環(huán)規(guī)劃邏輯有缺陷缺少終止條件工具返回結(jié)果無(wú)法推動(dòng)狀態(tài)前進(jìn)。1.設(shè)置硬性限制在循環(huán)調(diào)用工具的地方加入最大迭代次數(shù)如10次和超時(shí)控制。2.增強(qiáng)狀態(tài)評(píng)估在代理的“思考”步驟中強(qiáng)制其明確判斷“當(dāng)前是否更接近目標(biāo)”。如果連續(xù)多次判斷為“否”則觸發(fā)向用戶求助或執(zhí)行備用方案。3.優(yōu)化工具描述確保工具的功能描述準(zhǔn)確輸入輸出示例清晰避免模型誤解工具用途。生成內(nèi)容偏離主題或質(zhì)量不穩(wěn)定種子提示不夠清晰溫度temperature參數(shù)設(shè)置不當(dāng)上下文窗口管理混亂。1.精煉系統(tǒng)指令在系統(tǒng)消息或初始提示中用更強(qiáng)烈、更具體的語(yǔ)言約束角色和行為。例如“你必須嚴(yán)格圍繞‘火星探索’這一核心主題展開(kāi)禁止引入外星艦隊(duì)等無(wú)關(guān)元素。”2.調(diào)整溫度參數(shù)對(duì)于需要?jiǎng)?chuàng)造性、多樣性的任務(wù)如寫(xiě)作溫度可設(shè)高0.7-0.9對(duì)于需要嚴(yán)謹(jǐn)、可重復(fù)性的任務(wù)如代碼生成溫度應(yīng)設(shè)低0-0.3。可以進(jìn)行A/B測(cè)試。3.管理上下文定期總結(jié)長(zhǎng)對(duì)話內(nèi)容將摘要而非全文放入上下文以節(jié)省Token并聚焦重點(diǎn)。使用LangChain的ConversationSummaryBufferMemory等組件。工具調(diào)用錯(cuò)誤或無(wú)效API接口變化參數(shù)格式錯(cuò)誤權(quán)限或網(wǎng)絡(luò)問(wèn)題。1.實(shí)現(xiàn)完備的異常處理在工具調(diào)用代碼塊中用try-catch包裹捕獲異常并返回結(jié)構(gòu)化的錯(cuò)誤信息給代理讓代理能根據(jù)錯(cuò)誤采取不同行動(dòng)如重試、換用其他工具、報(bào)錯(cuò)。2.編寫(xiě)工具測(cè)試用例為每個(gè)工具編寫(xiě)?yīng)毩⒌臏y(cè)試腳本確保其功能正常、輸入輸出符合預(yù)期。3.使用模擬工具M(jìn)ocking在開(kāi)發(fā)階段可以使用模擬工具來(lái)返回預(yù)定結(jié)果避免頻繁調(diào)用真實(shí)API加快開(kāi)發(fā)迭代速度。記憶檢索不相關(guān)向量化嵌入模型不合適檢索策略如相似度算法、top K值不佳存儲(chǔ)的“記憶”文本質(zhì)量差。1.選擇合適的嵌入模型對(duì)于專業(yè)領(lǐng)域考慮使用在該領(lǐng)域微調(diào)過(guò)的嵌入模型而非通用模型。2.優(yōu)化檢索查詢不要直接用用戶原始輸入檢索。可以先用LLM將用戶輸入重寫(xiě)或總結(jié)成一個(gè)更聚焦、關(guān)鍵詞更明確的查詢語(yǔ)句。3.精心設(shè)計(jì)存儲(chǔ)內(nèi)容存入長(zhǎng)期記憶的應(yīng)該是高度凝練、信息密度高的“摘要”或“關(guān)鍵事實(shí)”而不是冗長(zhǎng)的原始對(duì)話。存儲(chǔ)時(shí)添加豐富的元數(shù)據(jù)如主題、類型、時(shí)間戳以便于過(guò)濾。Token消耗巨大成本高昂上下文過(guò)長(zhǎng)頻繁調(diào)用大模型進(jìn)行簡(jiǎn)單決策未利用小模型或緩存。1.實(shí)施上下文窗口管理如上文所述使用摘要、選擇性記憶等方式壓縮上下文。2.分層模型策略對(duì)于簡(jiǎn)單的分類、提取任務(wù)使用更便宜、更快的小模型如GPT-3.5-Turbo。僅在需要復(fù)雜推理、創(chuàng)意生成時(shí)使用大模型如GPT-4。3.緩存機(jī)制對(duì)頻繁出現(xiàn)的、結(jié)果確定的查詢例如“將用戶輸入翻譯成英語(yǔ)”可以將輸入輸出對(duì)緩存起來(lái)下次直接返回結(jié)果避免調(diào)用模型。5.2 效能優(yōu)化進(jìn)階技巧除了解決問(wèn)題我們還可以主動(dòng)優(yōu)化代理的效能實(shí)現(xiàn)“反思”步驟在代理完成一個(gè)主要階段如生成大綱后強(qiáng)制它進(jìn)行一次自我評(píng)估。提示詞可以是“請(qǐng)冷靜評(píng)估你剛剛生成的故事大綱。它是否完全回應(yīng)了用戶‘{seed_idea}’的構(gòu)思情節(jié)邏輯是否自洽人物動(dòng)機(jī)是否合理請(qǐng)列出可能存在的2個(gè)最大問(wèn)題并給出修改建議。” 然后讓代理根據(jù)反思結(jié)果進(jìn)行下一輪迭代。這能顯著提升輸出質(zhì)量。構(gòu)建工具庫(kù)而非單一工具鏈不要為每個(gè)任務(wù)編寫(xiě)線性的鏈。可以構(gòu)建一個(gè)核心代理它擁有一個(gè)豐富的工具庫(kù)搜索、計(jì)算、寫(xiě)作、繪圖等。根據(jù)任務(wù)動(dòng)態(tài)選擇工具組合這使得代理更加靈活和強(qiáng)大。引入人工審核節(jié)點(diǎn)對(duì)于關(guān)鍵任務(wù)或最終輸出可以在流程中設(shè)置“檢查點(diǎn)”將中間結(jié)果呈現(xiàn)給用戶確認(rèn)再繼續(xù)執(zhí)行。這既能保證結(jié)果符合預(yù)期也是一種有效的人機(jī)協(xié)同方式。例如在生成故事大綱后先讓用戶確認(rèn)再開(kāi)始詳細(xì)寫(xiě)作。持續(xù)學(xué)習(xí)與記憶進(jìn)化不要只存儲(chǔ)成功案例。將失敗的任務(wù)、用戶的修正反饋也結(jié)構(gòu)化地存入記憶庫(kù)并標(biāo)記為“需要避免的模式”。這樣代理就能從錯(cuò)誤中學(xué)習(xí)變得越來(lái)越“聰明”。構(gòu)建一個(gè)穩(wěn)定、高效、聰明的創(chuàng)意代理是一個(gè)持續(xù)迭代的過(guò)程。它始于一個(gè)精煉的“種子模板”成長(zhǎng)于穩(wěn)健的工具集成和記憶系統(tǒng)成熟于巧妙的規(guī)劃與反思邏輯。當(dāng)你看到它僅憑一句簡(jiǎn)單的指令就能自主完成一個(gè)曾經(jīng)需要大量手動(dòng)提示工程才能完成的任務(wù)時(shí)你就會(huì)深刻體會(huì)到投資于構(gòu)建“代理”這一更高層次的抽象是多么值得。這不僅僅是節(jié)省了編寫(xiě)提示詞的時(shí)間更是開(kāi)啟了一種全新的人機(jī)協(xié)作模式。