義表示到向量檢索：Semantica與大模型時(shí)代的語(yǔ)義理解實(shí)踐)
最近 “semantica” 和 “semantica-agi” 這兩個(gè)詞在技術(shù)社區(qū)里熱度上升得很快。乍一看像是一款新工具或者新框架的名字但順著資料往下挖會(huì)發(fā)現(xiàn)它背后真正指向的其實(shí)是人工智能領(lǐng)域一個(gè)一直存在、又始終沒(méi)有被徹底解決的問(wèn)題機(jī)器如何理解語(yǔ)義而不僅僅是匹配文本。本篇文章不打算只做名詞解釋而是圍繞“語(yǔ)義表示Semantic Representation”這條主線從概念、技術(shù)演進(jìn)、向量化原理一直講到帶代碼的語(yǔ)義檢索實(shí)戰(zhàn)。無(wú)論你是在做 RAG 應(yīng)用、知識(shí)庫(kù)問(wèn)答還是大模型應(yīng)用開(kāi)發(fā)這篇文章都能幫你把“語(yǔ)義”這個(gè)詞落到可運(yùn)行的代碼上。1. 背景與核心概念semantica 到底是什么1.1 從詞源看 semanticasemantica 這個(gè)詞源自希臘語(yǔ)semantikos本意是“有意義的”“關(guān)于意義的”。在語(yǔ)言學(xué)里semantics語(yǔ)義學(xué)研究的是符號(hào)、詞語(yǔ)、句子如何承載和傳遞意義。放到 AI 語(yǔ)境下semantica 可以被理解為一類探索方向的總稱如何讓計(jì)算機(jī)建立對(duì)意義的表征而不是停留在字符串匹配或者統(tǒng)計(jì)共現(xiàn)的層面。而 semantica-agi 這個(gè)更完整的名稱通常出現(xiàn)在討論通用人工智能的語(yǔ)境中強(qiáng)調(diào)的是語(yǔ)義理解不是某一個(gè) NLP 任務(wù)的子問(wèn)題而是通向 AGI 的核心能力之一。所以當(dāng)你在 GitHub、論文預(yù)印本或者技術(shù)媒體上看到 semantica / semantica-agi 時(shí)不必把它當(dāng)成某一個(gè)特定版本號(hào)的庫(kù)。更合理的理解是這是一個(gè)研究主題的標(biāo)簽它把符號(hào)語(yǔ)義、分布式語(yǔ)義、知識(shí)表征、大模型時(shí)代的意義對(duì)齊等問(wèn)題串聯(lián)在了一起。1.2 它要解決什么問(wèn)題我們先看一個(gè)最簡(jiǎn)單的例子。兩個(gè)句子“蘋(píng)果發(fā)布了新款手機(jī)。”“庫(kù)克在發(fā)布會(huì)上展示了 iPhone 15。”從字面上看兩個(gè)句子共享的詞匯很少但語(yǔ)義上是緊密相關(guān)的。反過(guò)來(lái)“蘋(píng)果很好吃。”“蘋(píng)果發(fā)布了新款手機(jī)。”共享詞“蘋(píng)果”完全一樣但語(yǔ)義完全不同。傳統(tǒng)基于關(guān)鍵詞的系統(tǒng)在第一組例子上通常表現(xiàn)很差因?yàn)椤白置嫫ヅ洹辈坏扔凇罢Z(yǔ)義相關(guān)”。semantica 這類方向想做的事情就是讓系統(tǒng)學(xué)會(huì)第二層的信息詞與詞之間的關(guān)系、實(shí)體與實(shí)體之間的關(guān)系、語(yǔ)境帶來(lái)的歧義消解以及跨語(yǔ)言、跨模態(tài)的意義對(duì)齊。1.3 容易混淆的概念區(qū)分概念含義典型技術(shù)Syntax句法詞怎么組合成合法的句子句法分析樹(shù)、依存分析Semantics語(yǔ)義詞和句子表達(dá)什么意義詞向量、知識(shí)圖譜、語(yǔ)義角色標(biāo)注Pragmatics語(yǔ)用語(yǔ)言在語(yǔ)境中如何使用意圖識(shí)別、對(duì)話狀態(tài)跟蹤Semantic Representation語(yǔ)義表示把語(yǔ)義變成可計(jì)算的向量或圖結(jié)構(gòu)Embedding、語(yǔ)義超圖初學(xué)者最容易混淆的是“語(yǔ)義表示”和“關(guān)鍵詞匹配”。關(guān)鍵詞匹配是精確匹配語(yǔ)義表示是把語(yǔ)言映射到一個(gè)連續(xù)的數(shù)學(xué)空間讓“語(yǔ)義相近”體現(xiàn)在“向量相近”上。這是所有向量檢索、RAG、語(yǔ)義緩存等應(yīng)用的技術(shù)前提。1.4 為什么現(xiàn)在值得關(guān)注大模型爆發(fā)之后很多人以為語(yǔ)義理解已經(jīng)被 ChatGPT 們解決了。實(shí)際上大模型擁有很強(qiáng)的文本生成能力但在涉及精確事實(shí)、邏輯鏈條、長(zhǎng)期記憶、跨模態(tài)語(yǔ)義對(duì)齊時(shí)仍然存在大量不穩(wěn)定的問(wèn)題。semantica-agi 這一研究方向的價(jià)值就在于它不是用更大的模型暴力擬合文本而是嘗試構(gòu)建可解釋、可組合、可驗(yàn)證的意義表示層。對(duì)普通開(kāi)發(fā)者來(lái)說(shuō)即使不直接參與 AGI 研究語(yǔ)義表示能力也直接影響著工程實(shí)踐搜索排名的效果、知識(shí)庫(kù)問(wèn)答的準(zhǔn)確率、推薦系統(tǒng)的召回質(zhì)量都依賴語(yǔ)義向量的質(zhì)量。2. 技術(shù)演進(jìn)脈絡(luò)從符號(hào)到向量的語(yǔ)義表示2.1 符號(hào)主義時(shí)代的語(yǔ)義表示早期人工智能和認(rèn)知科學(xué)主流觀點(diǎn)是語(yǔ)義可以用符號(hào)和圖結(jié)構(gòu)顯式表達(dá)。經(jīng)典例子包括語(yǔ)義網(wǎng)絡(luò)用節(jié)點(diǎn)表示概念用帶標(biāo)簽的邊表示概念間關(guān)系。比如 “貓” 是 “動(dòng)物” 的子類“貓” 會(huì) “抓老鼠”。框架理論Frame Theory把概念表示成屬性槽的集合比如“魚(yú)”有屬性“棲息地水”、“呼吸鰓”。知識(shí)圖譜本質(zhì)上是超大號(hào)的語(yǔ)義網(wǎng)絡(luò)實(shí)體是節(jié)點(diǎn)關(guān)系是邊。Google 于 2012 年正式把知識(shí)圖譜引入搜索引擎。符號(hào)語(yǔ)義的優(yōu)點(diǎn)是可解釋、符合人類直覺(jué)、可以精確推理。缺點(diǎn)是知識(shí)獲取成本極高而且真實(shí)世界充滿歧義和例外靠人工構(gòu)造的符號(hào)規(guī)則很難覆蓋。2.2 統(tǒng)計(jì)語(yǔ)義與分布式表示20 世紀(jì) 90 年代開(kāi)始統(tǒng)計(jì)方法進(jìn)入 NLP。核心思想是詞的語(yǔ)義可以從它出現(xiàn)的上下文中習(xí)得。這就是著名的分布假設(shè)Distributional Hypothesis語(yǔ)義相似的詞出現(xiàn)在相似語(yǔ)境中的概率更高。基于這一點(diǎn)研究者提出了 TF-IDF 向量、LSA潛在語(yǔ)義分析、LDA主題模型等表示方法。它們的共同點(diǎn)是用一個(gè)稠密或稀疏的向量表示詞。2013 年 Word2Vec 發(fā)布是語(yǔ)義表示領(lǐng)域一個(gè)標(biāo)志性節(jié)點(diǎn)。Word2Vec 用淺層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)詞向量第一次讓語(yǔ)義關(guān)系在向量空間中以“方向”呈現(xiàn)。比如經(jīng)典的例子vec(king) - vec(man) vec(woman) ≈ vec(queen)向量空間開(kāi)始具備一定的“代數(shù)語(yǔ)義”能力。2.3 預(yù)訓(xùn)練語(yǔ)言模型語(yǔ)義表示進(jìn)入動(dòng)態(tài)時(shí)代Word2Vec 的一個(gè)明顯缺點(diǎn)是每個(gè)詞只有一個(gè)固定的向量無(wú)法處理一詞多義。2018 年 BERT 等預(yù)訓(xùn)練語(yǔ)言模型PLM出現(xiàn)后語(yǔ)義表示升級(jí)為上下文相關(guān)的動(dòng)態(tài)表示。同一個(gè)詞在不同句子中會(huì)生成不同的向量“他在銀行工作。”“我們?cè)诤舆吷⒉疥?yáng)光灑在河岸上。”“銀行”和“河岸”在英文里都是 bank但在 BERT 生成的句子向量中兩者的語(yǔ)義表示差異非常大。預(yù)訓(xùn)練模型的語(yǔ)義表示有幾個(gè)重要特點(diǎn)借助 Transformer 的注意力機(jī)制模型能建模長(zhǎng)距離依賴。通過(guò) MLM掩碼語(yǔ)言模型等預(yù)訓(xùn)練目標(biāo)模型學(xué)到上下文語(yǔ)義。微調(diào)后可以適配下游任務(wù)語(yǔ)義表示從通用走向領(lǐng)域?qū)Ｓ谩?.4 LLM 與語(yǔ)義對(duì)齊到了 GPT 時(shí)代大模型擁有百億甚至萬(wàn)億參數(shù)能夠在生成任務(wù)上展示驚人的語(yǔ)義連貫性。但從語(yǔ)義表示的角度看大模型仍然存在幾個(gè)硬傷知識(shí)時(shí)效性模型參數(shù)中的知識(shí)是訓(xùn)練截止時(shí)的不能及時(shí)更新。幻覺(jué)問(wèn)題生成內(nèi)容看似語(yǔ)義通順但可能與事實(shí)相悖。長(zhǎng)上下文不精確模型對(duì)長(zhǎng)文本中的細(xì)節(jié)保持能力有限。因此業(yè)界越來(lái)越傾向于不把全部語(yǔ)義理解都塞給大模型而是把語(yǔ)義表示作為基礎(chǔ)設(shè)施層與大模型結(jié)合使用。RAG檢索增強(qiáng)生成就是其中的代表先通過(guò)語(yǔ)義向量召回相關(guān)文檔再把文檔拼進(jìn)大模型的上下文。這里的“語(yǔ)義向量召回”質(zhì)量直接決定了最終生成質(zhì)量的上限。3. 環(huán)境準(zhǔn)備與依賴安裝在進(jìn)入代碼實(shí)戰(zhàn)之前先統(tǒng)一環(huán)境。以下環(huán)境基于常見(jiàn)配置具體版本可以根據(jù)自己的項(xiàng)目情況調(diào)整。3.1 推薦環(huán)境項(xiàng)目版本建議操作系統(tǒng)Windows 10/11、Ubuntu 20.04、macOS 均可Python3.9 到 3.11 均可PyTorch2.0 及以上sentence-transformers2.2.2 及以上transformers4.30 及以上numpy1.24 及以上建議使用獨(dú)立的虛擬環(huán)境避免污染系統(tǒng) Pythonpython -m venv .venv source .venv/bin/activateWindows 下激活方式.venv\Scripts\activate3.2 安裝依賴pip install --upgrade pip pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install sentence-transformers pip install numpy scikit-learn說(shuō)明PyTorch 的安裝命令需要根據(jù)你的 CUDA 版本調(diào)整。如果沒(méi)有獨(dú)立顯卡直接執(zhí)行pip install torch安裝 CPU 版本即可。scikit-learn主要用于后續(xù)的相似度評(píng)估和檢索準(zhǔn)確率計(jì)算如果只是跑通 demo也可以先不裝。3.3 驗(yàn)證環(huán)境# check_env.py from sentence_transformers import SentenceTransformer model SentenceTransformer(sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) embeddings model.encode([你好世界, Hello World]) print(embeddings.shape)如果看到輸出(2, 384)說(shuō)明環(huán)境沒(méi)有問(wèn)題。這里 384 是向量維度不同模型維度不同。4. 語(yǔ)義表示核心原理拆解4.1 語(yǔ)義空間與向量相似度語(yǔ)義向量本質(zhì)上把語(yǔ)言映射到一個(gè)高維空間。空間中的每個(gè)點(diǎn)代表一個(gè)詞、句子或文檔的語(yǔ)義。在這個(gè)空間里有兩個(gè)關(guān)鍵問(wèn)題如何度量?jī)蓚€(gè)向量的語(yǔ)義距離如何保證語(yǔ)義相近的對(duì)象在空間中確實(shí)靠近關(guān)于第 1 個(gè)問(wèn)題最常用的是余弦相似度Cosine Similarity。公式如下cosine(A, B) (A · B) / (|A| × |B|)余弦相似度的取值范圍是 -1 到 1。數(shù)值越接近 1表示兩個(gè)向量方向越一致也就意味著語(yǔ)義越接近。它只關(guān)心方向不關(guān)心向量長(zhǎng)度所以特別適合文本向量比較。Python 手寫(xiě)實(shí)現(xiàn)import numpy as np def cosine_similarity(vec_a, vec_b): dot_product np.dot(vec_a, vec_b) norm_a np.linalg.norm(vec_a) norm_b np.linalg.norm(vec_b) if norm_a 0 or norm_b 0: return 0.0 return dot_product / (norm_a * norm_b)4.2 句向量與詞向量的區(qū)別BERT 這類模型可以給出詞級(jí)別和句子級(jí)別的向量。在語(yǔ)義檢索中我們通常用的是句向量或者文檔向量。詞向量強(qiáng)調(diào)詞在當(dāng)前上下文中的語(yǔ)義角色句向量試圖對(duì)整句話的語(yǔ)義信息做壓縮。壓縮會(huì)損失細(xì)節(jié)所以句向量的質(zhì)量取決于訓(xùn)練方式和模型結(jié)構(gòu)。在 sentence-transformers 庫(kù)中句向量的生成并不是簡(jiǎn)單地把 BERT 的 CLS 向量取出來(lái)而是通過(guò) siamese 結(jié)構(gòu) 對(duì)比學(xué)習(xí)目標(biāo)訓(xùn)練得到。對(duì)比學(xué)習(xí)的核心思路是語(yǔ)義相近的句子對(duì)向量距離要近語(yǔ)義無(wú)關(guān)的句子對(duì)向量距離要遠(yuǎn)。4.3 模型選擇與文本預(yù)處理不同模型適用的語(yǔ)言和場(chǎng)景不同。一個(gè)簡(jiǎn)單的選擇決策表場(chǎng)景推薦模型中文文本BAAI/bge-m3、BAAI/bge-small-zh-v1.5中英混合sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2英文文本all-MiniLM-L6-v2代碼語(yǔ)義jinaai/jina-embeddings-v2-base-code領(lǐng)域微調(diào)基于上述模型自行微調(diào)文本預(yù)處理對(duì)向量質(zhì)量的影響經(jīng)常被忽略。中文推薦做以下幾點(diǎn)去除 HTML 標(biāo)簽、多余空白、特殊符號(hào)。統(tǒng)一全角半角。如果檢索片段過(guò)長(zhǎng)需要先做段落切分。不需要強(qiáng)制分詞。現(xiàn)代 embedding 模型基于子詞subword分詞反而可能破壞上下文。4.4 批次編碼與性能實(shí)際項(xiàng)目中需要編碼的文本量通常很大。sentence-transformers 支持批次編碼可以有效利用 GPUsentences [文本一, 文本二, 文本三, ...] * 100 embeddings model.encode( sentences, batch_size32, show_progress_barTrue, normalize_embeddingsTrue )normalize_embeddingsTrue表示歸一化后的向量后續(xù)計(jì)算余弦相似度時(shí)向量點(diǎn)積就等于余弦相似度可以省去一次除法。5. 完整實(shí)戰(zhàn)基于語(yǔ)義向量的知識(shí)庫(kù)問(wèn)答檢索下面進(jìn)入核心實(shí)戰(zhàn)環(huán)節(jié)。我們構(gòu)造一個(gè)簡(jiǎn)單的“公司知識(shí)庫(kù)問(wèn)答”場(chǎng)景有一批文檔片段用戶輸入問(wèn)題系統(tǒng)按語(yǔ)義相關(guān)度召回最相關(guān)的片段。這個(gè)例子具備可擴(kuò)展性改成本地文檔檢索或者 RAG 前置召回模塊都很容易。5.1 項(xiàng)目結(jié)構(gòu)semantic_search_demo/ ├── data/ │ ├── documents.json │ └── questions.json ├── src/ │ ├── embedding_service.py │ ├── search_service.py │ └── evaluate.py └── requirements.txt5.2 準(zhǔn)備數(shù)據(jù)data/documents.json[ { id: 1, title: 報(bào)銷制度, content: 員工因公出差需要申請(qǐng)報(bào)銷需提交行程單、發(fā)票和審批記錄。住宿標(biāo)準(zhǔn)根據(jù)不同城市等級(jí)執(zhí)行不同限額。 }, { id: 2, title: 年假規(guī)則, content: 入職滿一年的員工每年享有 5 天年假。工齡滿 10 年年假增加到 10 天。年假當(dāng)年有效不可跨年累計(jì)。 }, { id: 3, title: 服務(wù)器申請(qǐng)流程, content: 開(kāi)發(fā)環(huán)境服務(wù)器由各研發(fā)組自行申請(qǐng)生產(chǎn)環(huán)境服務(wù)器需要經(jīng)過(guò)運(yùn)維審批提交變更窗口后方可開(kāi)通。 }, { id: 4, title: 加班調(diào)休說(shuō)明, content: 工作日加班超過(guò) 2 小時(shí)可按小時(shí)計(jì)算調(diào)休調(diào)休需在一個(gè)月內(nèi)使用完畢。法定節(jié)假日加班按雙倍調(diào)休計(jì)算。 }, { id: 5, title: 外部培訓(xùn)報(bào)銷, content: 員工申請(qǐng)外部培訓(xùn)需提前獲得直屬上級(jí)和 HR 批準(zhǔn)培訓(xùn)費(fèi)用憑發(fā)票報(bào)銷最高報(bào)銷額度 5000 元。 } ]data/questions.json[ {question: 出差報(bào)銷需要哪些材料, expected_id: 1}, {question: 我可以休幾天年假, expected_id: 2}, {question: 項(xiàng)目要上生產(chǎn)環(huán)境怎么申請(qǐng), expected_id: 3}, {question: 國(guó)慶加班能調(diào)休嗎, expected_id: 4}, {question: 想報(bào)一個(gè)培訓(xùn)班公司出錢(qián)嗎, expected_id: 5} ]5.3 編寫(xiě) embedding 服務(wù)# src/embedding_service.py from sentence_transformers import SentenceTransformer import numpy as np class EmbeddingService: def __init__(self, model_name: str sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2): self.model SentenceTransformer(model_name) def encode_documents(self, documents: list[dict]) - np.ndarray: contents [doc[content] for doc in documents] return self.model.encode( contents, batch_size8, show_progress_barTrue, normalize_embeddingsTrue ) def encode_query(self, query: str) - np.ndarray: return self.model.encode( [query], normalize_embeddingsTrue )[0]解釋幾個(gè)關(guān)鍵點(diǎn)normalize_embeddingsTrue讓向量模長(zhǎng)為 1。這樣后面計(jì)算相似度時(shí)直接用點(diǎn)積。文檔向量可以在啟動(dòng)時(shí)一次性計(jì)算完成查詢向量則在每次請(qǐng)求時(shí)實(shí)時(shí)計(jì)算。示例中模型文件首次使用時(shí)會(huì)自動(dòng)從 Hugging Face Hub 下載。如果網(wǎng)絡(luò)受限可以提前把模型下載到本地然后通過(guò)本地文件路徑加載。5.4 編寫(xiě)檢索服務(wù)# src/search_service.py import numpy as np class SearchService: def __init__(self, doc_embeddings: np.ndarray, documents: list[dict]): self.doc_embeddings doc_embeddings self.documents documents def search(self, query_embedding: np.ndarray, top_k: int 3) - list[tuple[dict, float]]: # 向量已經(jīng)歸一化dot 即 cosine similarity scores np.dot(self.doc_embeddings, query_embedding) top_indices np.argsort(scores)[::-1][:top_k] results [] for idx in top_indices: results.append((self.documents[idx], float(scores[idx]))) return resultsnp.dot在這里是一行向量與全體文檔向量的點(diǎn)積。因?yàn)閮蓚€(gè)向量都已經(jīng)歸一化所以結(jié)果就是余弦相似度。如果希望用其他相似度度量比如歐氏距離也可以from numpy.linalg import norm def euclidean_score(query_embedding, doc_embeddings): diff doc_embeddings - query_embedding distances norm(diff, axis1) return distances通常效果上余弦相似度更穩(wěn)定一些。5.5 編寫(xiě)評(píng)測(cè)腳本# src/evaluate.py import json import sys from pathlib import Path sys.path.append(str(Path(__file__).resolve().parent)) from embedding_service import EmbeddingService from search_service import SearchService def load_json(file_path: str): with open(file_path, r, encodingutf-8) as f: return json.load(f) def main(): base_path Path(__file__).resolve().parent.parent / data documents load_json(base_path / documents.json) questions load_json(base_path / questions.json) emb_service EmbeddingService() doc_embeddings emb_service.encode_documents(documents) search_service SearchService(doc_embeddings, documents) correct 0 for item in questions: query_emb emb_service.encode_query(item[question]) results search_service.search(query_emb, top_k1) top_doc results[0][0] hit top_doc[id] item[expected_id] correct int(hit) print(f問(wèn)題{item[question]}) print(f命中{hit}召回文檔{top_doc[title]}相似度{results[0][1]:.4f}) print(- * 50) print(fTop-1 準(zhǔn)確率{correct / len(questions):.2%}) if __name__ __main__: main()5.6 運(yùn)行結(jié)果在項(xiàng)目根目錄執(zhí)行python src/evaluate.py輸出效果如下這里展示的是思路相似度數(shù)值會(huì)因模型版本有所浮動(dòng)問(wèn)題出差報(bào)銷需要哪些材料 命中True召回文檔報(bào)銷制度相似度0.8543 -------------------------------------------------- 問(wèn)題我可以休幾天年假 命中True召回文檔年假規(guī)則相似度0.8127 -------------------------------------------------- 問(wèn)題項(xiàng)目要上生產(chǎn)環(huán)境怎么申請(qǐng) 命中True召回文檔服務(wù)器申請(qǐng)流程相似度0.7934 -------------------------------------------------- 問(wèn)題國(guó)慶加班能調(diào)休嗎 命中True召回文檔加班調(diào)休說(shuō)明相似度0.7641 -------------------------------------------------- 問(wèn)題想報(bào)一個(gè)培訓(xùn)班公司出錢(qián)嗎 命中True召回文檔外部培訓(xùn)報(bào)銷相似度0.7719 -------------------------------------------------- Top-1 準(zhǔn)確率100.00%這里 Top-1 準(zhǔn)確率到 100% 是因?yàn)闇y(cè)試集比較簡(jiǎn)單文檔之間主題區(qū)分明顯。真實(shí)場(chǎng)景中文檔數(shù)量大、語(yǔ)義相近文本多準(zhǔn)確率會(huì)明顯下降需要通過(guò)微調(diào)、重排、混合檢索等方式優(yōu)化。5.7 把檢索結(jié)果接入大模型上面完成的是檢索部分。如果要搭建一個(gè)完整的 RAG 問(wèn)答還需要把召回結(jié)果拼進(jìn) Prompt交給大模型生成最終答案。def build_prompt(query: str, contexts: list[tuple[dict, float]]) - str: context_text \n\n.join( f【文檔{doc[title]}】\n{doc[content]} for doc, score in contexts ) prompt f請(qǐng)根據(jù)以下知識(shí)庫(kù)內(nèi)容回答問(wèn)題。 如果知識(shí)庫(kù)中沒(méi)有相關(guān)信息請(qǐng)回答“知識(shí)庫(kù)中暫未找到相關(guān)內(nèi)容”。 知識(shí)庫(kù) {context_text} 問(wèn)題{query} 回答 return prompt這樣語(yǔ)義檢索就成為 RAG 鏈路的前置召回模塊為大模型提供事實(shí)依據(jù)降低幻覺(jué)概率。6. 語(yǔ)義表示在 AGI 與工程中的延伸方向6.1 混合檢索向量召回 關(guān)鍵詞召回純向量檢索不是萬(wàn)能的。在精確匹配場(chǎng)景中比如訂單號(hào)、身份證號(hào)、產(chǎn)品型號(hào)向量模型可能反而會(huì)丟失信息。工程上更好的方案是“混合檢索”向量召回擅長(zhǎng)處理同義改寫(xiě)、語(yǔ)義相關(guān)。BM25 關(guān)鍵詞召回擅長(zhǎng)處理精確匹配、專業(yè)術(shù)語(yǔ)。兩者結(jié)果通過(guò) RRFReciprocal Rank Fusion融合def rrf_fusion(ranked_lists, k60): scores {} for docs in ranked_lists: for rank, doc in enumerate(docs): doc_id doc[id] scores[doc_id] scores.get(doc_id, 0) 1 / (k rank 1) return sorted(scores.items(), keylambda x: x[1], reverseTrue)RRF 的思想很簡(jiǎn)單一個(gè)文檔在兩個(gè)列表中排名都靠前那它的融合分?jǐn)?shù)一定高。6.2 語(yǔ)義緩存讓大模型省錢(qián)、省延遲在大模型應(yīng)用里很多用戶問(wèn)題本質(zhì)上是重復(fù)的或者高度相似的。如果把問(wèn)題和答案保存在語(yǔ)義緩存中新問(wèn)題先做一次向量檢索相似度超過(guò)閾值直接復(fù)用緩存答案能顯著降低成本。class SemanticCache: def __init__(self, threshold0.85): self.cache [] # 每個(gè)元素為 (embedding, query, answer) self.threshold threshold def get(self, query_embedding, search_service): if not self.cache: return None cached_embeddings np.array([item[0] for item in self.cache]) scores np.dot(cached_embeddings, query_embedding) max_idx np.argmax(scores) if scores[max_idx] self.threshold: return self.cache[max_idx][2] return None def put(self, embedding, query, answer): self.cache.append((embedding, query, answer))閾值設(shè)置很關(guān)鍵。設(shè)置太高命中率低設(shè)置太低可能出現(xiàn)不相關(guān)答案被錯(cuò)誤復(fù)用。推薦先用真實(shí)線上問(wèn)題抽樣測(cè)試觀察相似度分布后再定閾值。6.3 語(yǔ)義評(píng)估不要只看準(zhǔn)確率工程落地時(shí)語(yǔ)義模型的效果評(píng)估不能只看一個(gè)指標(biāo)。推薦使用以下組合指標(biāo)含義適合場(chǎng)景RecallK前 K 個(gè)結(jié)果里包含正確文檔的比例檢索召回能力MRR第一個(gè)正確結(jié)果的倒數(shù)排名單正確答案NDCG考慮結(jié)果排序位置的歸一化指標(biāo)多相關(guān)性等級(jí)相似度分布正樣本與負(fù)樣本的分?jǐn)?shù)區(qū)間是否可分緩存閾值設(shè)定只有準(zhǔn)確率不夠還需要看正負(fù)樣本分?jǐn)?shù)分布是否清晰可分。如果正樣本和負(fù)樣本的相似度分?jǐn)?shù)大量重疊說(shuō)明模型對(duì)該領(lǐng)域區(qū)分能力不足需要微調(diào)。7. 常見(jiàn)問(wèn)題與排查思路7.1 首次加載模型時(shí)下載失敗問(wèn)題現(xiàn)象常見(jiàn)原因解決思路下載到一半卡死網(wǎng)絡(luò)不穩(wěn)定或訪問(wèn)受限改用鏡像源或提前用腳本下載到本地目錄ConnectionErrorHugging Face 域名不可達(dá)設(shè)置 HF_ENDPOINT 鏡像并確認(rèn)模型許可證允許本地沒(méi)有緩存文件未設(shè)置緩存目錄通過(guò)hf_home參數(shù)或SENTENCE_TRANSFORMERS_HOME指定目錄鏡像方式import os os.environ[HF_ENDPOINT] https://hf-mirror.com注意鏡像站屬于外部資源如果不可用應(yīng)使用手動(dòng)下載后本地加載的方案。7.2 模型在中文上效果差問(wèn)題現(xiàn)象常見(jiàn)原因解決思路中文語(yǔ)義相似句子得分低模型中文訓(xùn)練數(shù)據(jù)不足切換為中文預(yù)訓(xùn)練模型如 bge 系列出現(xiàn)亂碼文本編碼不是 UTF-8統(tǒng)一用 UTF-8 讀取文件專業(yè)術(shù)語(yǔ)完全匹配不上領(lǐng)域詞匯在預(yù)訓(xùn)練語(yǔ)料中少見(jiàn)收集領(lǐng)域標(biāo)注數(shù)據(jù)微調(diào)或配合關(guān)鍵詞召回7.3 編碼速度太慢問(wèn)題現(xiàn)象常見(jiàn)原因解決思路CPU 上編碼大量文本慢模型參數(shù)量大換 smaller 模型開(kāi)啟 batch_size或用 GPUGPU 利用率低單條文本編碼批量編碼不要 in loop 單條編碼內(nèi)存占用過(guò)高文本一次性加載過(guò)多分批處理使用 numpy 內(nèi)存映射或向量數(shù)據(jù)庫(kù)7.4 相似度分?jǐn)?shù)普遍偏高問(wèn)題現(xiàn)象常見(jiàn)原因解決思路所有分?jǐn)?shù)都在 0.9 以上模型輸出分布集中檢查是否 normalize 后直接用點(diǎn)積對(duì)比歐氏距離檢索結(jié)果分?jǐn)?shù)區(qū)分度低文本長(zhǎng)度、風(fēng)格差異干擾先做文本清洗統(tǒng)一段落長(zhǎng)度考慮微調(diào)8. 最佳實(shí)踐與工程建議8.1 任務(wù)定義先行不要一上來(lái)就選模型。先明確任務(wù)邊界是短文本匹配還是長(zhǎng)文檔檢索是單語(yǔ)場(chǎng)景還是跨語(yǔ)言是否強(qiáng)依賴專業(yè)術(shù)語(yǔ)對(duì)延遲和成本的要求是什么這些答案直接影響模型選型、是否微調(diào)、是否需要混合檢索。8.2 數(shù)據(jù)清洗是隱性收益最高的環(huán)節(jié)數(shù)據(jù)清洗決定語(yǔ)義向量的質(zhì)量上限。建議按以下順序做去除 HTML/XML 標(biāo)簽。統(tǒng)一編碼為 UTF-8。去除重復(fù)或近似重復(fù)文本。處理超長(zhǎng)文本按段落或固定窗口切分。保留必要的實(shí)體信息不要盲目刪除特殊符號(hào)。一個(gè)容易忽視的細(xì)節(jié)文檔切分時(shí)盡量不要在句子中途切斷。推薦按段落切分對(duì)于超長(zhǎng)段落再按句號(hào)切分。8.3 向量落庫(kù)與索引當(dāng)文檔規(guī)模超過(guò)百萬(wàn)級(jí)時(shí)暴力點(diǎn)積檢索不可行需要引入 ANN 索引。常用方案有FaissMeta 開(kāi)源的向量檢索庫(kù)支持多種索引類型。Milvus分布式向量數(shù)據(jù)庫(kù)適合生產(chǎn)級(jí)部署。QdrantRust 寫(xiě)的向量數(shù)據(jù)庫(kù)部署較輕量。pgvectorPostgreSQL 擴(kuò)展適合已有 PG 業(yè)務(wù)直接集成。選擇建議場(chǎng)景推薦快速原型numpy 暴力檢索即可十萬(wàn)級(jí)向量Faiss IVF 索引百萬(wàn)級(jí)及以上Milvus / Qdrant已有 PG 基礎(chǔ)設(shè)施pgvector8.4 模型微調(diào)別急著做很多團(tuán)隊(duì)一上來(lái)就微調(diào) embedding 模型但微調(diào)成本高、數(shù)據(jù)要求高、容易過(guò)擬合。推薦按以下順序推進(jìn)先用通用模型跑基線。分析錯(cuò)誤案例看是否可以通過(guò)數(shù)據(jù)清洗、檢索策略優(yōu)化解決。準(zhǔn)備高質(zhì)量領(lǐng)域正負(fù)樣本對(duì)。使用 contrastive loss 微調(diào)。微調(diào)后在獨(dú)立的評(píng)測(cè)集上驗(yàn)證避免只看訓(xùn)練集效果。8.5 日志與監(jiān)控生產(chǎn)環(huán)境中語(yǔ)義檢索服務(wù)必須記錄以下指標(biāo)請(qǐng)求量、P99 延遲。向量編碼耗時(shí)與檢索耗時(shí)。召回結(jié)果為空的比例。用戶反饋與人工評(píng)估結(jié)果。向量庫(kù)增量更新延遲。缺少監(jiān)控的語(yǔ)義服務(wù)性能劣化時(shí)很難定位問(wèn)題。8.6 實(shí)驗(yàn)可復(fù)現(xiàn)語(yǔ)義模型效果與數(shù)據(jù)版本強(qiáng)相關(guān)。建議做三件事固定模型版本使用pip freeze鎖定依賴。記錄每次實(shí)驗(yàn)用的數(shù)據(jù)切分方式、隨機(jī)種子。用評(píng)估腳本統(tǒng)一打分把結(jié)果保存為 JSON便于對(duì)比。9. 總結(jié)與下一步學(xué)習(xí)建議回到 semantica 這個(gè)話題。semantica 并不是某一個(gè)具體的包或者框架它代表的是人們對(duì)“機(jī)器如何表示意義”這組問(wèn)題的持續(xù)探索。從符號(hào)語(yǔ)義網(wǎng)絡(luò)到知識(shí)圖譜從 Word2Vec 到 BERT再到今天大模型語(yǔ)境下的 RAG 和語(yǔ)義緩存語(yǔ)義表示的能力邊界正在不斷擴(kuò)展但核心問(wèn)題始終沒(méi)有變?nèi)绾巫屜嗨频囊饬x在計(jì)算空間中彼此靠近同時(shí)保留足夠的信息用于精準(zhǔn)推理。這篇文章帶著你從概念走到了可運(yùn)行的代碼環(huán)境搭建、句向量生成、向量檢索、Top-1 評(píng)估、RAG Prompt 拼接以及工程層面對(duì)混合檢索、語(yǔ)義緩存、向量數(shù)據(jù)庫(kù)選型的討論。如果你完全照著示例跑通了一遍你已經(jīng)掌握了語(yǔ)義檢索的最小閉環(huán)這對(duì)理解 RAG、知識(shí)庫(kù)問(wèn)答、智能客服等常見(jiàn)項(xiàng)目非常有幫助。下一步可以繼續(xù)深入的方向?qū)W習(xí)對(duì)比學(xué)習(xí)Contrastive Learning的原理理解 embedding 模型是怎么訓(xùn)練的。動(dòng)手跑一個(gè)開(kāi)源向量數(shù)據(jù)庫(kù)例如 Qdrant 或 Milvus把內(nèi)存版檢索改成持久化版本。研究重排模型在語(yǔ)義召回之后加一層精排顯著提升檢索質(zhì)量。收集領(lǐng)域數(shù)據(jù)嘗試微調(diào)一個(gè)中文語(yǔ)義模型體驗(yàn)從通用到領(lǐng)域的能力遷移。語(yǔ)義理解和 AGI 之間的關(guān)系不會(huì)在短期內(nèi)有終極答案但工程上每一步可落地的優(yōu)化都讓機(jī)器離“理解意義”更近一點(diǎn)。如果你在搭建語(yǔ)義檢索或者 RAG 的過(guò)程中還有踩坑疑問(wèn)歡迎在評(píng)論區(qū)交流。 從語(yǔ)義表示到向量檢索：Semantica與大模型時(shí)代的語(yǔ)義理解實(shí)踐
最近 “semantica” 和 “semantica-agi” 這兩個(gè)詞在技術(shù)社區(qū)里熱度上升得很快。乍一看像是一款新工具或者新框架的名字但順著資料往下挖會(huì)發(fā)現(xiàn)它背后真正指向的其實(shí)是人工智能領(lǐng)域一個(gè)一直存在、又始終沒(méi)有被徹底解決的問(wèn)題機(jī)器如何理解語(yǔ)義而不僅僅是匹配文本。本篇文章不打算只做名詞解釋而是圍繞“語(yǔ)義表示Semantic Representation”這條主線從概念、技術(shù)演進(jìn)、向量化原理一直講到帶代碼的語(yǔ)義檢索實(shí)戰(zhàn)。無(wú)論你是在做 RAG 應(yīng)用、知識(shí)庫(kù)問(wèn)答還是大模型應(yīng)用開(kāi)發(fā)這篇文章都能幫你把“語(yǔ)義”這個(gè)詞落到可運(yùn)行的代碼上。1. 背景與核心概念semantica 到底是什么1.1 從詞源看 semanticasemantica 這個(gè)詞源自希臘語(yǔ)semantikos本意是“有意義的”“關(guān)于意義的”。在語(yǔ)言學(xué)里semantics語(yǔ)義學(xué)研究的是符號(hào)、詞語(yǔ)、句子如何承載和傳遞意義。放到 AI 語(yǔ)境下semantica 可以被理解為一類探索方向的總稱如何讓計(jì)算機(jī)建立對(duì)意義的表征而不是停留在字符串匹配或者統(tǒng)計(jì)共現(xiàn)的層面。而 semantica-agi 這個(gè)更完整的名稱通常出現(xiàn)在討論通用人工智能的語(yǔ)境中強(qiáng)調(diào)的是語(yǔ)義理解不是某一個(gè) NLP 任務(wù)的子問(wèn)題而是通向 AGI 的核心能力之一。所以當(dāng)你在 GitHub、論文預(yù)印本或者技術(shù)媒體上看到 semantica / semantica-agi 時(shí)不必把它當(dāng)成某一個(gè)特定版本號(hào)的庫(kù)。更合理的理解是這是一個(gè)研究主題的標(biāo)簽它把符號(hào)語(yǔ)義、分布式語(yǔ)義、知識(shí)表征、大模型時(shí)代的意義對(duì)齊等問(wèn)題串聯(lián)在了一起。1.2 它要解決什么問(wèn)題我們先看一個(gè)最簡(jiǎn)單的例子。兩個(gè)句子“蘋(píng)果發(fā)布了新款手機(jī)。”“庫(kù)克在發(fā)布會(huì)上展示了 iPhone 15。”從字面上看兩個(gè)句子共享的詞匯很少但語(yǔ)義上是緊密相關(guān)的。反過(guò)來(lái)“蘋(píng)果很好吃。”“蘋(píng)果發(fā)布了新款手機(jī)。”共享詞“蘋(píng)果”完全一樣但語(yǔ)義完全不同。傳統(tǒng)基于關(guān)鍵詞的系統(tǒng)在第一組例子上通常表現(xiàn)很差因?yàn)椤白置嫫ヅ洹辈坏扔凇罢Z(yǔ)義相關(guān)”。semantica 這類方向想做的事情就是讓系統(tǒng)學(xué)會(huì)第二層的信息詞與詞之間的關(guān)系、實(shí)體與實(shí)體之間的關(guān)系、語(yǔ)境帶來(lái)的歧義消解以及跨語(yǔ)言、跨模態(tài)的意義對(duì)齊。1.3 容易混淆的概念區(qū)分概念含義典型技術(shù)Syntax句法詞怎么組合成合法的句子句法分析樹(shù)、依存分析Semantics語(yǔ)義詞和句子表達(dá)什么意義詞向量、知識(shí)圖譜、語(yǔ)義角色標(biāo)注Pragmatics語(yǔ)用語(yǔ)言在語(yǔ)境中如何使用意圖識(shí)別、對(duì)話狀態(tài)跟蹤Semantic Representation語(yǔ)義表示把語(yǔ)義變成可計(jì)算的向量或圖結(jié)構(gòu)Embedding、語(yǔ)義超圖初學(xué)者最容易混淆的是“語(yǔ)義表示”和“關(guān)鍵詞匹配”。關(guān)鍵詞匹配是精確匹配語(yǔ)義表示是把語(yǔ)言映射到一個(gè)連續(xù)的數(shù)學(xué)空間讓“語(yǔ)義相近”體現(xiàn)在“向量相近”上。這是所有向量檢索、RAG、語(yǔ)義緩存等應(yīng)用的技術(shù)前提。1.4 為什么現(xiàn)在值得關(guān)注大模型爆發(fā)之后很多人以為語(yǔ)義理解已經(jīng)被 ChatGPT 們解決了。實(shí)際上大模型擁有很強(qiáng)的文本生成能力但在涉及精確事實(shí)、邏輯鏈條、長(zhǎng)期記憶、跨模態(tài)語(yǔ)義對(duì)齊時(shí)仍然存在大量不穩(wěn)定的問(wèn)題。semantica-agi 這一研究方向的價(jià)值就在于它不是用更大的模型暴力擬合文本而是嘗試構(gòu)建可解釋、可組合、可驗(yàn)證的意義表示層。對(duì)普通開(kāi)發(fā)者來(lái)說(shuō)即使不直接參與 AGI 研究語(yǔ)義表示能力也直接影響著工程實(shí)踐搜索排名的效果、知識(shí)庫(kù)問(wèn)答的準(zhǔn)確率、推薦系統(tǒng)的召回質(zhì)量都依賴語(yǔ)義向量的質(zhì)量。2. 技術(shù)演進(jìn)脈絡(luò)從符號(hào)到向量的語(yǔ)義表示2.1 符號(hào)主義時(shí)代的語(yǔ)義表示早期人工智能和認(rèn)知科學(xué)主流觀點(diǎn)是語(yǔ)義可以用符號(hào)和圖結(jié)構(gòu)顯式表達(dá)。經(jīng)典例子包括語(yǔ)義網(wǎng)絡(luò)用節(jié)點(diǎn)表示概念用帶標(biāo)簽的邊表示概念間關(guān)系。比如 “貓” 是 “動(dòng)物” 的子類“貓” 會(huì) “抓老鼠”。框架理論Frame Theory把概念表示成屬性槽的集合比如“魚(yú)”有屬性“棲息地水”、“呼吸鰓”。知識(shí)圖譜本質(zhì)上是超大號(hào)的語(yǔ)義網(wǎng)絡(luò)實(shí)體是節(jié)點(diǎn)關(guān)系是邊。Google 于 2012 年正式把知識(shí)圖譜引入搜索引擎。符號(hào)語(yǔ)義的優(yōu)點(diǎn)是可解釋、符合人類直覺(jué)、可以精確推理。缺點(diǎn)是知識(shí)獲取成本極高而且真實(shí)世界充滿歧義和例外靠人工構(gòu)造的符號(hào)規(guī)則很難覆蓋。2.2 統(tǒng)計(jì)語(yǔ)義與分布式表示20 世紀(jì) 90 年代開(kāi)始統(tǒng)計(jì)方法進(jìn)入 NLP。核心思想是詞的語(yǔ)義可以從它出現(xiàn)的上下文中習(xí)得。這就是著名的分布假設(shè)Distributional Hypothesis語(yǔ)義相似的詞出現(xiàn)在相似語(yǔ)境中的概率更高。基于這一點(diǎn)研究者提出了 TF-IDF 向量、LSA潛在語(yǔ)義分析、LDA主題模型等表示方法。它們的共同點(diǎn)是用一個(gè)稠密或稀疏的向量表示詞。2013 年 Word2Vec 發(fā)布是語(yǔ)義表示領(lǐng)域一個(gè)標(biāo)志性節(jié)點(diǎn)。Word2Vec 用淺層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)詞向量第一次讓語(yǔ)義關(guān)系在向量空間中以“方向”呈現(xiàn)。比如經(jīng)典的例子vec(king) - vec(man) vec(woman) ≈ vec(queen)向量空間開(kāi)始具備一定的“代數(shù)語(yǔ)義”能力。2.3 預(yù)訓(xùn)練語(yǔ)言模型語(yǔ)義表示進(jìn)入動(dòng)態(tài)時(shí)代Word2Vec 的一個(gè)明顯缺點(diǎn)是每個(gè)詞只有一個(gè)固定的向量無(wú)法處理一詞多義。2018 年 BERT 等預(yù)訓(xùn)練語(yǔ)言模型PLM出現(xiàn)后語(yǔ)義表示升級(jí)為上下文相關(guān)的動(dòng)態(tài)表示。同一個(gè)詞在不同句子中會(huì)生成不同的向量“他在銀行工作。”“我們?cè)诤舆吷⒉疥?yáng)光灑在河岸上。”“銀行”和“河岸”在英文里都是 bank但在 BERT 生成的句子向量中兩者的語(yǔ)義表示差異非常大。預(yù)訓(xùn)練模型的語(yǔ)義表示有幾個(gè)重要特點(diǎn)借助 Transformer 的注意力機(jī)制模型能建模長(zhǎng)距離依賴。通過(guò) MLM掩碼語(yǔ)言模型等預(yù)訓(xùn)練目標(biāo)模型學(xué)到上下文語(yǔ)義。微調(diào)后可以適配下游任務(wù)語(yǔ)義表示從通用走向領(lǐng)域?qū)Ｓ谩?.4 LLM 與語(yǔ)義對(duì)齊到了 GPT 時(shí)代大模型擁有百億甚至萬(wàn)億參數(shù)能夠在生成任務(wù)上展示驚人的語(yǔ)義連貫性。但從語(yǔ)義表示的角度看大模型仍然存在幾個(gè)硬傷知識(shí)時(shí)效性模型參數(shù)中的知識(shí)是訓(xùn)練截止時(shí)的不能及時(shí)更新。幻覺(jué)問(wèn)題生成內(nèi)容看似語(yǔ)義通順但可能與事實(shí)相悖。長(zhǎng)上下文不精確模型對(duì)長(zhǎng)文本中的細(xì)節(jié)保持能力有限。因此業(yè)界越來(lái)越傾向于不把全部語(yǔ)義理解都塞給大模型而是把語(yǔ)義表示作為基礎(chǔ)設(shè)施層與大模型結(jié)合使用。RAG檢索增強(qiáng)生成就是其中的代表先通過(guò)語(yǔ)義向量召回相關(guān)文檔再把文檔拼進(jìn)大模型的上下文。這里的“語(yǔ)義向量召回”質(zhì)量直接決定了最終生成質(zhì)量的上限。3. 環(huán)境準(zhǔn)備與依賴安裝在進(jìn)入代碼實(shí)戰(zhàn)之前先統(tǒng)一環(huán)境。以下環(huán)境基于常見(jiàn)配置具體版本可以根據(jù)自己的項(xiàng)目情況調(diào)整。3.1 推薦環(huán)境項(xiàng)目版本建議操作系統(tǒng)Windows 10/11、Ubuntu 20.04、macOS 均可Python3.9 到 3.11 均可PyTorch2.0 及以上sentence-transformers2.2.2 及以上transformers4.30 及以上numpy1.24 及以上建議使用獨(dú)立的虛擬環(huán)境避免污染系統(tǒng) Pythonpython -m venv .venv source .venv/bin/activateWindows 下激活方式.venv\Scripts\activate3.2 安裝依賴pip install --upgrade pip pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install sentence-transformers pip install numpy scikit-learn說(shuō)明PyTorch 的安裝命令需要根據(jù)你的 CUDA 版本調(diào)整。如果沒(méi)有獨(dú)立顯卡直接執(zhí)行pip install torch安裝 CPU 版本即可。scikit-learn主要用于后續(xù)的相似度評(píng)估和檢索準(zhǔn)確率計(jì)算如果只是跑通 demo也可以先不裝。3.3 驗(yàn)證環(huán)境# check_env.py from sentence_transformers import SentenceTransformer model SentenceTransformer(sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) embeddings model.encode([你好世界, Hello World]) print(embeddings.shape)如果看到輸出(2, 384)說(shuō)明環(huán)境沒(méi)有問(wèn)題。這里 384 是向量維度不同模型維度不同。4. 語(yǔ)義表示核心原理拆解4.1 語(yǔ)義空間與向量相似度語(yǔ)義向量本質(zhì)上把語(yǔ)言映射到一個(gè)高維空間。空間中的每個(gè)點(diǎn)代表一個(gè)詞、句子或文檔的語(yǔ)義。在這個(gè)空間里有兩個(gè)關(guān)鍵問(wèn)題如何度量?jī)蓚€(gè)向量的語(yǔ)義距離如何保證語(yǔ)義相近的對(duì)象在空間中確實(shí)靠近關(guān)于第 1 個(gè)問(wèn)題最常用的是余弦相似度Cosine Similarity。公式如下cosine(A, B) (A · B) / (|A| × |B|)余弦相似度的取值范圍是 -1 到 1。數(shù)值越接近 1表示兩個(gè)向量方向越一致也就意味著語(yǔ)義越接近。它只關(guān)心方向不關(guān)心向量長(zhǎng)度所以特別適合文本向量比較。Python 手寫(xiě)實(shí)現(xiàn)import numpy as np def cosine_similarity(vec_a, vec_b): dot_product np.dot(vec_a, vec_b) norm_a np.linalg.norm(vec_a) norm_b np.linalg.norm(vec_b) if norm_a 0 or norm_b 0: return 0.0 return dot_product / (norm_a * norm_b)4.2 句向量與詞向量的區(qū)別BERT 這類模型可以給出詞級(jí)別和句子級(jí)別的向量。在語(yǔ)義檢索中我們通常用的是句向量或者文檔向量。詞向量強(qiáng)調(diào)詞在當(dāng)前上下文中的語(yǔ)義角色句向量試圖對(duì)整句話的語(yǔ)義信息做壓縮。壓縮會(huì)損失細(xì)節(jié)所以句向量的質(zhì)量取決于訓(xùn)練方式和模型結(jié)構(gòu)。在 sentence-transformers 庫(kù)中句向量的生成并不是簡(jiǎn)單地把 BERT 的 CLS 向量取出來(lái)而是通過(guò) siamese 結(jié)構(gòu) 對(duì)比學(xué)習(xí)目標(biāo)訓(xùn)練得到。對(duì)比學(xué)習(xí)的核心思路是語(yǔ)義相近的句子對(duì)向量距離要近語(yǔ)義無(wú)關(guān)的句子對(duì)向量距離要遠(yuǎn)。4.3 模型選擇與文本預(yù)處理不同模型適用的語(yǔ)言和場(chǎng)景不同。一個(gè)簡(jiǎn)單的選擇決策表場(chǎng)景推薦模型中文文本BAAI/bge-m3、BAAI/bge-small-zh-v1.5中英混合sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2英文文本all-MiniLM-L6-v2代碼語(yǔ)義jinaai/jina-embeddings-v2-base-code領(lǐng)域微調(diào)基于上述模型自行微調(diào)文本預(yù)處理對(duì)向量質(zhì)量的影響經(jīng)常被忽略。中文推薦做以下幾點(diǎn)去除 HTML 標(biāo)簽、多余空白、特殊符號(hào)。統(tǒng)一全角半角。如果檢索片段過(guò)長(zhǎng)需要先做段落切分。不需要強(qiáng)制分詞。現(xiàn)代 embedding 模型基于子詞subword分詞反而可能破壞上下文。4.4 批次編碼與性能實(shí)際項(xiàng)目中需要編碼的文本量通常很大。sentence-transformers 支持批次編碼可以有效利用 GPUsentences [文本一, 文本二, 文本三, ...] * 100 embeddings model.encode( sentences, batch_size32, show_progress_barTrue, normalize_embeddingsTrue )normalize_embeddingsTrue表示歸一化后的向量后續(xù)計(jì)算余弦相似度時(shí)向量點(diǎn)積就等于余弦相似度可以省去一次除法。5. 完整實(shí)戰(zhàn)基于語(yǔ)義向量的知識(shí)庫(kù)問(wèn)答檢索下面進(jìn)入核心實(shí)戰(zhàn)環(huán)節(jié)。我們構(gòu)造一個(gè)簡(jiǎn)單的“公司知識(shí)庫(kù)問(wèn)答”場(chǎng)景有一批文檔片段用戶輸入問(wèn)題系統(tǒng)按語(yǔ)義相關(guān)度召回最相關(guān)的片段。這個(gè)例子具備可擴(kuò)展性改成本地文檔檢索或者 RAG 前置召回模塊都很容易。5.1 項(xiàng)目結(jié)構(gòu)semantic_search_demo/ ├── data/ │ ├── documents.json │ └── questions.json ├── src/ │ ├── embedding_service.py │ ├── search_service.py │ └── evaluate.py └── requirements.txt5.2 準(zhǔn)備數(shù)據(jù)data/documents.json[ { id: 1, title: 報(bào)銷制度, content: 員工因公出差需要申請(qǐng)報(bào)銷需提交行程單、發(fā)票和審批記錄。住宿標(biāo)準(zhǔn)根據(jù)不同城市等級(jí)執(zhí)行不同限額。 }, { id: 2, title: 年假規(guī)則, content: 入職滿一年的員工每年享有 5 天年假。工齡滿 10 年年假增加到 10 天。年假當(dāng)年有效不可跨年累計(jì)。 }, { id: 3, title: 服務(wù)器申請(qǐng)流程, content: 開(kāi)發(fā)環(huán)境服務(wù)器由各研發(fā)組自行申請(qǐng)生產(chǎn)環(huán)境服務(wù)器需要經(jīng)過(guò)運(yùn)維審批提交變更窗口后方可開(kāi)通。 }, { id: 4, title: 加班調(diào)休說(shuō)明, content: 工作日加班超過(guò) 2 小時(shí)可按小時(shí)計(jì)算調(diào)休調(diào)休需在一個(gè)月內(nèi)使用完畢。法定節(jié)假日加班按雙倍調(diào)休計(jì)算。 }, { id: 5, title: 外部培訓(xùn)報(bào)銷, content: 員工申請(qǐng)外部培訓(xùn)需提前獲得直屬上級(jí)和 HR 批準(zhǔn)培訓(xùn)費(fèi)用憑發(fā)票報(bào)銷最高報(bào)銷額度 5000 元。 } ]data/questions.json[ {question: 出差報(bào)銷需要哪些材料, expected_id: 1}, {question: 我可以休幾天年假, expected_id: 2}, {question: 項(xiàng)目要上生產(chǎn)環(huán)境怎么申請(qǐng), expected_id: 3}, {question: 國(guó)慶加班能調(diào)休嗎, expected_id: 4}, {question: 想報(bào)一個(gè)培訓(xùn)班公司出錢(qián)嗎, expected_id: 5} ]5.3 編寫(xiě) embedding 服務(wù)# src/embedding_service.py from sentence_transformers import SentenceTransformer import numpy as np class EmbeddingService: def __init__(self, model_name: str sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2): self.model SentenceTransformer(model_name) def encode_documents(self, documents: list[dict]) - np.ndarray: contents [doc[content] for doc in documents] return self.model.encode( contents, batch_size8, show_progress_barTrue, normalize_embeddingsTrue ) def encode_query(self, query: str) - np.ndarray: return self.model.encode( [query], normalize_embeddingsTrue )[0]解釋幾個(gè)關(guān)鍵點(diǎn)normalize_embeddingsTrue讓向量模長(zhǎng)為 1。這樣后面計(jì)算相似度時(shí)直接用點(diǎn)積。文檔向量可以在啟動(dòng)時(shí)一次性計(jì)算完成查詢向量則在每次請(qǐng)求時(shí)實(shí)時(shí)計(jì)算。示例中模型文件首次使用時(shí)會(huì)自動(dòng)從 Hugging Face Hub 下載。如果網(wǎng)絡(luò)受限可以提前把模型下載到本地然后通過(guò)本地文件路徑加載。5.4 編寫(xiě)檢索服務(wù)# src/search_service.py import numpy as np class SearchService: def __init__(self, doc_embeddings: np.ndarray, documents: list[dict]): self.doc_embeddings doc_embeddings self.documents documents def search(self, query_embedding: np.ndarray, top_k: int 3) - list[tuple[dict, float]]: # 向量已經(jīng)歸一化dot 即 cosine similarity scores np.dot(self.doc_embeddings, query_embedding) top_indices np.argsort(scores)[::-1][:top_k] results [] for idx in top_indices: results.append((self.documents[idx], float(scores[idx]))) return resultsnp.dot在這里是一行向量與全體文檔向量的點(diǎn)積。因?yàn)閮蓚€(gè)向量都已經(jīng)歸一化所以結(jié)果就是余弦相似度。如果希望用其他相似度度量比如歐氏距離也可以from numpy.linalg import norm def euclidean_score(query_embedding, doc_embeddings): diff doc_embeddings - query_embedding distances norm(diff, axis1) return distances通常效果上余弦相似度更穩(wěn)定一些。5.5 編寫(xiě)評(píng)測(cè)腳本# src/evaluate.py import json import sys from pathlib import Path sys.path.append(str(Path(__file__).resolve().parent)) from embedding_service import EmbeddingService from search_service import SearchService def load_json(file_path: str): with open(file_path, r, encodingutf-8) as f: return json.load(f) def main(): base_path Path(__file__).resolve().parent.parent / data documents load_json(base_path / documents.json) questions load_json(base_path / questions.json) emb_service EmbeddingService() doc_embeddings emb_service.encode_documents(documents) search_service SearchService(doc_embeddings, documents) correct 0 for item in questions: query_emb emb_service.encode_query(item[question]) results search_service.search(query_emb, top_k1) top_doc results[0][0] hit top_doc[id] item[expected_id] correct int(hit) print(f問(wèn)題{item[question]}) print(f命中{hit}召回文檔{top_doc[title]}相似度{results[0][1]:.4f}) print(- * 50) print(fTop-1 準(zhǔn)確率{correct / len(questions):.2%}) if __name__ __main__: main()5.6 運(yùn)行結(jié)果在項(xiàng)目根目錄執(zhí)行python src/evaluate.py輸出效果如下這里展示的是思路相似度數(shù)值會(huì)因模型版本有所浮動(dòng)問(wèn)題出差報(bào)銷需要哪些材料 命中True召回文檔報(bào)銷制度相似度0.8543 -------------------------------------------------- 問(wèn)題我可以休幾天年假 命中True召回文檔年假規(guī)則相似度0.8127 -------------------------------------------------- 問(wèn)題項(xiàng)目要上生產(chǎn)環(huán)境怎么申請(qǐng) 命中True召回文檔服務(wù)器申請(qǐng)流程相似度0.7934 -------------------------------------------------- 問(wèn)題國(guó)慶加班能調(diào)休嗎 命中True召回文檔加班調(diào)休說(shuō)明相似度0.7641 -------------------------------------------------- 問(wèn)題想報(bào)一個(gè)培訓(xùn)班公司出錢(qián)嗎 命中True召回文檔外部培訓(xùn)報(bào)銷相似度0.7719 -------------------------------------------------- Top-1 準(zhǔn)確率100.00%這里 Top-1 準(zhǔn)確率到 100% 是因?yàn)闇y(cè)試集比較簡(jiǎn)單文檔之間主題區(qū)分明顯。真實(shí)場(chǎng)景中文檔數(shù)量大、語(yǔ)義相近文本多準(zhǔn)確率會(huì)明顯下降需要通過(guò)微調(diào)、重排、混合檢索等方式優(yōu)化。5.7 把檢索結(jié)果接入大模型上面完成的是檢索部分。如果要搭建一個(gè)完整的 RAG 問(wèn)答還需要把召回結(jié)果拼進(jìn) Prompt交給大模型生成最終答案。def build_prompt(query: str, contexts: list[tuple[dict, float]]) - str: context_text \n\n.join( f【文檔{doc[title]}】\n{doc[content]} for doc, score in contexts ) prompt f請(qǐng)根據(jù)以下知識(shí)庫(kù)內(nèi)容回答問(wèn)題。 如果知識(shí)庫(kù)中沒(méi)有相關(guān)信息請(qǐng)回答“知識(shí)庫(kù)中暫未找到相關(guān)內(nèi)容”。 知識(shí)庫(kù) {context_text} 問(wèn)題{query} 回答 return prompt這樣語(yǔ)義檢索就成為 RAG 鏈路的前置召回模塊為大模型提供事實(shí)依據(jù)降低幻覺(jué)概率。6. 語(yǔ)義表示在 AGI 與工程中的延伸方向6.1 混合檢索向量召回 關(guān)鍵詞召回純向量檢索不是萬(wàn)能的。在精確匹配場(chǎng)景中比如訂單號(hào)、身份證號(hào)、產(chǎn)品型號(hào)向量模型可能反而會(huì)丟失信息。工程上更好的方案是“混合檢索”向量召回擅長(zhǎng)處理同義改寫(xiě)、語(yǔ)義相關(guān)。BM25 關(guān)鍵詞召回擅長(zhǎng)處理精確匹配、專業(yè)術(shù)語(yǔ)。兩者結(jié)果通過(guò) RRFReciprocal Rank Fusion融合def rrf_fusion(ranked_lists, k60): scores {} for docs in ranked_lists: for rank, doc in enumerate(docs): doc_id doc[id] scores[doc_id] scores.get(doc_id, 0) 1 / (k rank 1) return sorted(scores.items(), keylambda x: x[1], reverseTrue)RRF 的思想很簡(jiǎn)單一個(gè)文檔在兩個(gè)列表中排名都靠前那它的融合分?jǐn)?shù)一定高。6.2 語(yǔ)義緩存讓大模型省錢(qián)、省延遲在大模型應(yīng)用里很多用戶問(wèn)題本質(zhì)上是重復(fù)的或者高度相似的。如果把問(wèn)題和答案保存在語(yǔ)義緩存中新問(wèn)題先做一次向量檢索相似度超過(guò)閾值直接復(fù)用緩存答案能顯著降低成本。class SemanticCache: def __init__(self, threshold0.85): self.cache [] # 每個(gè)元素為 (embedding, query, answer) self.threshold threshold def get(self, query_embedding, search_service): if not self.cache: return None cached_embeddings np.array([item[0] for item in self.cache]) scores np.dot(cached_embeddings, query_embedding) max_idx np.argmax(scores) if scores[max_idx] self.threshold: return self.cache[max_idx][2] return None def put(self, embedding, query, answer): self.cache.append((embedding, query, answer))閾值設(shè)置很關(guān)鍵。設(shè)置太高命中率低設(shè)置太低可能出現(xiàn)不相關(guān)答案被錯(cuò)誤復(fù)用。推薦先用真實(shí)線上問(wèn)題抽樣測(cè)試觀察相似度分布后再定閾值。6.3 語(yǔ)義評(píng)估不要只看準(zhǔn)確率工程落地時(shí)語(yǔ)義模型的效果評(píng)估不能只看一個(gè)指標(biāo)。推薦使用以下組合指標(biāo)含義適合場(chǎng)景RecallK前 K 個(gè)結(jié)果里包含正確文檔的比例檢索召回能力MRR第一個(gè)正確結(jié)果的倒數(shù)排名單正確答案NDCG考慮結(jié)果排序位置的歸一化指標(biāo)多相關(guān)性等級(jí)相似度分布正樣本與負(fù)樣本的分?jǐn)?shù)區(qū)間是否可分緩存閾值設(shè)定只有準(zhǔn)確率不夠還需要看正負(fù)樣本分?jǐn)?shù)分布是否清晰可分。如果正樣本和負(fù)樣本的相似度分?jǐn)?shù)大量重疊說(shuō)明模型對(duì)該領(lǐng)域區(qū)分能力不足需要微調(diào)。7. 常見(jiàn)問(wèn)題與排查思路7.1 首次加載模型時(shí)下載失敗問(wèn)題現(xiàn)象常見(jiàn)原因解決思路下載到一半卡死網(wǎng)絡(luò)不穩(wěn)定或訪問(wèn)受限改用鏡像源或提前用腳本下載到本地目錄ConnectionErrorHugging Face 域名不可達(dá)設(shè)置 HF_ENDPOINT 鏡像并確認(rèn)模型許可證允許本地沒(méi)有緩存文件未設(shè)置緩存目錄通過(guò)hf_home參數(shù)或SENTENCE_TRANSFORMERS_HOME指定目錄鏡像方式import os os.environ[HF_ENDPOINT] https://hf-mirror.com注意鏡像站屬于外部資源如果不可用應(yīng)使用手動(dòng)下載后本地加載的方案。7.2 模型在中文上效果差問(wèn)題現(xiàn)象常見(jiàn)原因解決思路中文語(yǔ)義相似句子得分低模型中文訓(xùn)練數(shù)據(jù)不足切換為中文預(yù)訓(xùn)練模型如 bge 系列出現(xiàn)亂碼文本編碼不是 UTF-8統(tǒng)一用 UTF-8 讀取文件專業(yè)術(shù)語(yǔ)完全匹配不上領(lǐng)域詞匯在預(yù)訓(xùn)練語(yǔ)料中少見(jiàn)收集領(lǐng)域標(biāo)注數(shù)據(jù)微調(diào)或配合關(guān)鍵詞召回7.3 編碼速度太慢問(wèn)題現(xiàn)象常見(jiàn)原因解決思路CPU 上編碼大量文本慢模型參數(shù)量大換 smaller 模型開(kāi)啟 batch_size或用 GPUGPU 利用率低單條文本編碼批量編碼不要 in loop 單條編碼內(nèi)存占用過(guò)高文本一次性加載過(guò)多分批處理使用 numpy 內(nèi)存映射或向量數(shù)據(jù)庫(kù)7.4 相似度分?jǐn)?shù)普遍偏高問(wèn)題現(xiàn)象常見(jiàn)原因解決思路所有分?jǐn)?shù)都在 0.9 以上模型輸出分布集中檢查是否 normalize 后直接用點(diǎn)積對(duì)比歐氏距離檢索結(jié)果分?jǐn)?shù)區(qū)分度低文本長(zhǎng)度、風(fēng)格差異干擾先做文本清洗統(tǒng)一段落長(zhǎng)度考慮微調(diào)8. 最佳實(shí)踐與工程建議8.1 任務(wù)定義先行不要一上來(lái)就選模型。先明確任務(wù)邊界是短文本匹配還是長(zhǎng)文檔檢索是單語(yǔ)場(chǎng)景還是跨語(yǔ)言是否強(qiáng)依賴專業(yè)術(shù)語(yǔ)對(duì)延遲和成本的要求是什么這些答案直接影響模型選型、是否微調(diào)、是否需要混合檢索。8.2 數(shù)據(jù)清洗是隱性收益最高的環(huán)節(jié)數(shù)據(jù)清洗決定語(yǔ)義向量的質(zhì)量上限。建議按以下順序做去除 HTML/XML 標(biāo)簽。統(tǒng)一編碼為 UTF-8。去除重復(fù)或近似重復(fù)文本。處理超長(zhǎng)文本按段落或固定窗口切分。保留必要的實(shí)體信息不要盲目刪除特殊符號(hào)。一個(gè)容易忽視的細(xì)節(jié)文檔切分時(shí)盡量不要在句子中途切斷。推薦按段落切分對(duì)于超長(zhǎng)段落再按句號(hào)切分。8.3 向量落庫(kù)與索引當(dāng)文檔規(guī)模超過(guò)百萬(wàn)級(jí)時(shí)暴力點(diǎn)積檢索不可行需要引入 ANN 索引。常用方案有FaissMeta 開(kāi)源的向量檢索庫(kù)支持多種索引類型。Milvus分布式向量數(shù)據(jù)庫(kù)適合生產(chǎn)級(jí)部署。QdrantRust 寫(xiě)的向量數(shù)據(jù)庫(kù)部署較輕量。pgvectorPostgreSQL 擴(kuò)展適合已有 PG 業(yè)務(wù)直接集成。選擇建議場(chǎng)景推薦快速原型numpy 暴力檢索即可十萬(wàn)級(jí)向量Faiss IVF 索引百萬(wàn)級(jí)及以上Milvus / Qdrant已有 PG 基礎(chǔ)設(shè)施pgvector8.4 模型微調(diào)別急著做很多團(tuán)隊(duì)一上來(lái)就微調(diào) embedding 模型但微調(diào)成本高、數(shù)據(jù)要求高、容易過(guò)擬合。推薦按以下順序推進(jìn)先用通用模型跑基線。分析錯(cuò)誤案例看是否可以通過(guò)數(shù)據(jù)清洗、檢索策略優(yōu)化解決。準(zhǔn)備高質(zhì)量領(lǐng)域正負(fù)樣本對(duì)。使用 contrastive loss 微調(diào)。微調(diào)后在獨(dú)立的評(píng)測(cè)集上驗(yàn)證避免只看訓(xùn)練集效果。8.5 日志與監(jiān)控生產(chǎn)環(huán)境中語(yǔ)義檢索服務(wù)必須記錄以下指標(biāo)請(qǐng)求量、P99 延遲。向量編碼耗時(shí)與檢索耗時(shí)。召回結(jié)果為空的比例。用戶反饋與人工評(píng)估結(jié)果。向量庫(kù)增量更新延遲。缺少監(jiān)控的語(yǔ)義服務(wù)性能劣化時(shí)很難定位問(wèn)題。8.6 實(shí)驗(yàn)可復(fù)現(xiàn)語(yǔ)義模型效果與數(shù)據(jù)版本強(qiáng)相關(guān)。建議做三件事固定模型版本使用pip freeze鎖定依賴。記錄每次實(shí)驗(yàn)用的數(shù)據(jù)切分方式、隨機(jī)種子。用評(píng)估腳本統(tǒng)一打分把結(jié)果保存為 JSON便于對(duì)比。9. 總結(jié)與下一步學(xué)習(xí)建議回到 semantica 這個(gè)話題。semantica 并不是某一個(gè)具體的包或者框架它代表的是人們對(duì)“機(jī)器如何表示意義”這組問(wèn)題的持續(xù)探索。從符號(hào)語(yǔ)義網(wǎng)絡(luò)到知識(shí)圖譜從 Word2Vec 到 BERT再到今天大模型語(yǔ)境下的 RAG 和語(yǔ)義緩存語(yǔ)義表示的能力邊界正在不斷擴(kuò)展但核心問(wèn)題始終沒(méi)有變?nèi)绾巫屜嗨频囊饬x在計(jì)算空間中彼此靠近同時(shí)保留足夠的信息用于精準(zhǔn)推理。這篇文章帶著你從概念走到了可運(yùn)行的代碼環(huán)境搭建、句向量生成、向量檢索、Top-1 評(píng)估、RAG Prompt 拼接以及工程層面對(duì)混合檢索、語(yǔ)義緩存、向量數(shù)據(jù)庫(kù)選型的討論。如果你完全照著示例跑通了一遍你已經(jīng)掌握了語(yǔ)義檢索的最小閉環(huán)這對(duì)理解 RAG、知識(shí)庫(kù)問(wèn)答、智能客服等常見(jiàn)項(xiàng)目非常有幫助。下一步可以繼續(xù)深入的方向?qū)W習(xí)對(duì)比學(xué)習(xí)Contrastive Learning的原理理解 embedding 模型是怎么訓(xùn)練的。動(dòng)手跑一個(gè)開(kāi)源向量數(shù)據(jù)庫(kù)例如 Qdrant 或 Milvus把內(nèi)存版檢索改成持久化版本。研究重排模型在語(yǔ)義召回之后加一層精排顯著提升檢索質(zhì)量。收集領(lǐng)域數(shù)據(jù)嘗試微調(diào)一個(gè)中文語(yǔ)義模型體驗(yàn)從通用到領(lǐng)域的能力遷移。語(yǔ)義理解和 AGI 之間的關(guān)系不會(huì)在短期內(nèi)有終極答案但工程上每一步可落地的優(yōu)化都讓機(jī)器離“理解意義”更近一點(diǎn)。如果你在搭建語(yǔ)義檢索或者 RAG 的過(guò)程中還有踩坑疑問(wèn)歡迎在評(píng)論區(qū)交流。