在自然語言處理領(lǐng)域我們常常驚嘆于大語言模型如GPT系列能夠理解并生成如此流暢、富有邏輯的文本。這背后一個(gè)看似簡單卻至關(guān)重要的技術(shù)——詞嵌入Embedding——扮演著“語言基石”的角色。你是否曾好奇一個(gè)冷冰冰的單詞比如“apple”是如何在計(jì)算機(jī)眼中獲得“水果”、“科技公司”甚至“誘惑”等多重含義的Embedding正是實(shí)現(xiàn)這一“意義注入”的核心魔法。本文將深入淺出地拆解Embedding的工作原理并帶你從零開始用Python“手搓”一個(gè)簡易版的詞嵌入模型直觀感受GPT等大模型理解語言的底層邏輯。無論你是剛?cè)腴TNLP的新手還是希望鞏固基礎(chǔ)知識(shí)的開發(fā)者都能通過本文的代碼實(shí)踐透徹理解詞向量如何從海量文本中“學(xué)習(xí)”到詞語的豐富語義。1. 背景與核心概念從獨(dú)熱編碼到語義空間在深入Embedding之前我們需要理解計(jì)算機(jī)最初是如何“看”詞的。1.1 獨(dú)熱編碼的困境最原始的方法是獨(dú)熱編碼One-Hot Encoding。假設(shè)我們的詞匯表只有三個(gè)詞[“貓” “狗” “魚”]。“貓”表示為[1, 0, 0]“狗”表示為[0, 1, 0]“魚”表示為[0, 0, 1]這種方法簡單直接但存在致命缺陷維度災(zāi)難詞匯表有1萬個(gè)詞每個(gè)詞就是一個(gè)1萬維的向量其中9999個(gè)是0極度稀疏計(jì)算和存儲(chǔ)效率低下。無法表達(dá)語義關(guān)系在獨(dú)熱編碼中任意兩個(gè)向量的點(diǎn)積或余弦相似度都為0。這意味著計(jì)算機(jī)認(rèn)為“貓”和“狗”都是寵物的語義距離與“貓”和“宇宙”的語義距離完全相同這顯然不符合我們的認(rèn)知。1.2 詞嵌入的救贖詞嵌入Word Embedding的目標(biāo)就是將高維、稀疏的獨(dú)熱向量映射到一個(gè)相對低維如50、100、300維、稠密的連續(xù)向量空間中。稠密向量的每個(gè)維度都是一個(gè)浮點(diǎn)數(shù)通常不為零承載了某種潛在的語義或語法特征。低維維度遠(yuǎn)小于詞匯表大小便于計(jì)算。語義性在這個(gè)學(xué)習(xí)到的向量空間中語義相近的詞如“國王”和“王后”其向量在空間中的位置也彼此接近詞與詞之間還能進(jìn)行有趣的向量運(yùn)算例如vec(“國王”) - vec(“男人”) vec(“女人”) ≈ vec(“王后”)。Embedding層就是實(shí)現(xiàn)這種映射的神經(jīng)網(wǎng)絡(luò)層。你可以把它看作一個(gè)查詢表Look-up Table或一個(gè)可訓(xùn)練的權(quán)重矩陣。假設(shè)詞匯表大小為V嵌入維度為d那么這個(gè)Embedding層就是一個(gè)V x d的矩陣。輸入一個(gè)詞的索引如0代表“貓”Embedding層就輸出這個(gè)索引對應(yīng)的d維行向量。2. 環(huán)境準(zhǔn)備與版本說明我們將使用Python和PyTorch庫來動(dòng)手實(shí)現(xiàn)。PyTorch提供了靈活的張量操作和自動(dòng)求導(dǎo)功能非常適合教學(xué)和實(shí)驗(yàn)。環(huán)境要求操作系統(tǒng)Windows 10/11, macOS, 或 Linux (本文示例在Windows 11下完成)Python 3.8 (推薦3.8-3.10)核心庫torch: 深度學(xué)習(xí)框架numpy: 數(shù)值計(jì)算matplotlib(可選): 用于可視化安裝命令# 使用pip安裝建議在虛擬環(huán)境中進(jìn)行 pip install torch numpy matplotlib版本說明本文示例代碼基于torch1.13.1和numpy1.24.3編寫。PyTorch的API在1.x版本中保持較好的穩(wěn)定性但不同小版本間可能有細(xì)微差異。如果你的環(huán)境版本不同核心邏輯完全一致可能只需調(diào)整少量導(dǎo)入語句或函數(shù)參數(shù)。3. 核心原理Word2Vec與負(fù)采樣我們要“手搓”的Embedding模型其思想源于經(jīng)典的Word2Vec算法具體來說是Skip-gram with Negative Sampling (SGNS)模型。它的核心直覺非常巧妙一個(gè)詞的語義可以由它周圍經(jīng)常出現(xiàn)的詞來定義。3.1 Skip-gram模型思想對于句子 “the quick brown fox jumps over the lazy dog”如果我們以 “fox” 作為中心詞窗口大小為2那么它的上下文詞就是 [“quick”, “brown”, “jumps”, “over”]。 Skip-gram模型的任務(wù)是給定中心詞預(yù)測其周圍窗口內(nèi)的每一個(gè)上下文詞的概率。通過讓模型學(xué)習(xí)這個(gè)預(yù)測任務(wù)模型參數(shù)即Embedding矩陣就會(huì)逐漸調(diào)整使得語義相近的詞擁有相似上下文最終獲得相似的向量表示。3.2 負(fù)采樣技術(shù)原始的Skip-gram模型需要計(jì)算整個(gè)詞匯表V可能很大的softmax概率計(jì)算成本極高。負(fù)采樣Negative Sampling是一種高效的優(yōu)化方法。 它把多分類問題簡化為一組二分類問題正樣本 (中心詞, 真實(shí)上下文詞) - 標(biāo)簽為1。負(fù)樣本 (中心詞, 隨機(jī)采樣的非上下文詞) - 標(biāo)簽為0。 模型只需要學(xué)習(xí)區(qū)分正樣本和若干個(gè)如5個(gè)負(fù)樣本大大提升了訓(xùn)練速度。負(fù)樣本通常根據(jù)詞頻分布進(jìn)行采樣高頻詞被采為負(fù)樣本的概率更大。4. 完整實(shí)戰(zhàn)手搓Skip-gram with Negative Sampling讓我們用代碼將上述理論實(shí)現(xiàn)出來。我們將在一個(gè)小規(guī)模文本上訓(xùn)練以便觀察整個(gè)過程。4.1 準(zhǔn)備數(shù)據(jù)與構(gòu)建詞匯表首先我們需要一些文本數(shù)據(jù)并構(gòu)建詞匯表。import torch import torch.nn as nn import torch.optim as optim import numpy as np from collections import Counter import random # 1. 準(zhǔn)備一個(gè)簡單的示例語料 corpus [ the quick brown fox jumps over the lazy dog, i love natural language processing, deep learning is amazing, the cat sat on the mat, dogs and cats are pets ] # 2. 文本預(yù)處理分詞并轉(zhuǎn)為小寫 def preprocess(text): return text.lower().split() tokenized_corpus [preprocess(sentence) for sentence in corpus] print(分詞后的語料, tokenized_corpus) # 3. 構(gòu)建詞匯表 word_freq Counter() for sentence in tokenized_corpus: word_freq.update(sentence) # 設(shè)定最小詞頻過濾掉出現(xiàn)次數(shù)太少的詞 min_freq 1 vocab {word for word, freq in word_freq.items() if freq min_freq} vocab sorted(list(vocab)) # 排序以保證每次運(yùn)行順序一致 # 添加特殊標(biāo)記例如未知詞[UNK]和填充符[PAD]本例簡單處理未使用 # vocab [[PAD], [UNK]] vocab # 創(chuàng)建詞到索引和索引到詞的映射 word_to_idx {word: idx for idx, word in enumerate(vocab)} idx_to_word {idx: word for word, idx in word_to_idx.items()} vocab_size len(vocab) print(f詞匯表大小{vocab_size}) print(f詞匯表示例{vocab[:10]})4.2 生成訓(xùn)練數(shù)據(jù)中心詞-上下文詞對接下來我們需要從語料中生成模型需要的訓(xùn)練數(shù)據(jù)對。# 生成Skip-gram訓(xùn)練數(shù)據(jù)中心詞 上下文詞 def generate_training_data(tokenized_sentences, window_size2): data [] for sentence in tokenized_sentences: sentence_indices [word_to_idx.get(word, -1) for word in sentence] # 過濾掉不在詞匯表中的詞本例中所有詞都在所以不會(huì)過濾 sentence_indices [idx for idx in sentence_indices if idx ! -1] for center_pos, center_idx in enumerate(sentence_indices): # 確定當(dāng)前中心詞的上下文窗口 start max(0, center_pos - window_size) end min(len(sentence_indices), center_pos window_size 1) context_indices sentence_indices[start:end] # 移除中心詞本身 context_indices.remove(center_idx) for context_idx in context_indices: data.append((center_idx, context_idx)) return data window_size 2 training_data generate_training_data(tokenized_corpus, window_size) print(f生成了 {len(training_data)} 個(gè)中心詞 上下文詞對) print(示例數(shù)據(jù)索引形式, training_data[:5]) print(示例數(shù)據(jù)詞語形式, [(idx_to_word[c], idx_to_word[ctx]) for c, ctx in training_data[:5]])4.3 實(shí)現(xiàn)負(fù)采樣根據(jù)詞頻分布來采樣負(fù)樣本。# 計(jì)算詞頻分布用于負(fù)采樣 word_counts np.array([word_freq[word] for word in vocab]) # 使用3/4次冪來平滑頻率使得低頻詞被采樣的概率相對增加原論文方法 word_probs word_counts ** 0.75 word_probs / word_probs.sum() # 歸一化為概率分布 def get_negative_samples(center_idx, context_idx, num_negative5): 為給定的正樣本中心詞上下文詞生成負(fù)樣本 negative_samples [] # 負(fù)樣本不能是中心詞本身也不能是真正的上下文詞 while len(negative_samples) num_negative: # 根據(jù)分布隨機(jī)采樣一個(gè)詞索引 sampled_idx np.random.choice(len(vocab), pword_probs) if sampled_idx ! center_idx and sampled_idx ! context_idx: negative_samples.append(sampled_idx) return negative_samples # 測試負(fù)采樣 center, context training_data[0] neg_samples get_negative_samples(center, context, num_negative5) print(f中心詞‘{idx_to_word[center]}’和上下文詞‘{idx_to_word[context]}’的負(fù)樣本) print([idx_to_word[idx] for idx in neg_samples])4.4 定義Embedding模型現(xiàn)在我們定義包含兩個(gè)Embedding層的PyTorch模型一個(gè)用于中心詞一個(gè)用于上下文詞包括負(fù)樣本。class SkipGramNegSampling(nn.Module): def __init__(self, vocab_size, embedding_dim): super(SkipGramNegSampling, self).__init__() # 中心詞嵌入層 self.center_embeddings nn.Embedding(vocab_size, embedding_dim) # 上下文詞嵌入層在實(shí)際的SGNS中通常使用兩個(gè)獨(dú)立的嵌入表 self.context_embeddings nn.Embedding(vocab_size, embedding_dim) # 初始化權(quán)重 self.center_embeddings.weight.data.uniform_(-0.5/embedding_dim, 0.5/embedding_dim) self.context_embeddings.weight.data.uniform_(-0.5/embedding_dim, 0.5/embedding_dim) def forward(self, center, context, negative): center: 中心詞索引 [batch_size] context: 正上下文詞索引 [batch_size] negative: 負(fù)樣本詞索引 [batch_size, num_negative] # 獲取嵌入向量 v_center self.center_embeddings(center) # [batch_size, embedding_dim] v_context self.context_embeddings(context) # [batch_size, embedding_dim] v_negative self.context_embeddings(negative) # [batch_size, num_negative, embedding_dim] # 計(jì)算正樣本的分?jǐn)?shù)點(diǎn)積后sigmoid pos_score torch.sum(v_center * v_context, dim1) # [batch_size] pos_loss -torch.log(torch.sigmoid(pos_score) 1e-10) # 負(fù)對數(shù)似然 # 計(jì)算負(fù)樣本的分?jǐn)?shù) # v_center擴(kuò)展維度以匹配v_negative: [batch_size, 1, embedding_dim] v_center_expanded v_center.unsqueeze(1) neg_score torch.bmm(v_negative, v_center_expanded.transpose(1, 2)) # [batch_size, num_negative, 1] neg_score neg_score.squeeze(2) # [batch_size, num_negative] neg_loss -torch.sum(torch.log(torch.sigmoid(-neg_score) 1e-10), dim1) # 負(fù)對數(shù)似然求和 # 總損失 正樣本損失 負(fù)樣本損失 total_loss pos_loss neg_loss return total_loss.mean() # 返回批次平均損失 def get_word_embeddings(self, word_idx): 獲取一個(gè)詞的最終向量表示通常使用中心詞嵌入層 with torch.no_grad(): return self.center_embeddings(torch.tensor([word_idx])).squeeze().numpy()4.5 訓(xùn)練模型我們將數(shù)據(jù)組織成批次進(jìn)行訓(xùn)練。# 超參數(shù)設(shè)置 embedding_dim 10 # 嵌入維度為了可視化這里設(shè)得較小 num_negative 5 # 每個(gè)正樣本對應(yīng)的負(fù)樣本數(shù) learning_rate 0.01 num_epochs 500 batch_size 32 # 初始化模型、優(yōu)化器和損失函數(shù) model SkipGramNegSampling(vocab_size, embedding_dim) optimizer optim.SGD(model.parameters(), lrlearning_rate) # 準(zhǔn)備數(shù)據(jù)加載器簡化版不打亂 def data_loader(data, batch_size): for i in range(0, len(data), batch_size): batch_data data[i:ibatch_size] centers, contexts zip(*batch_data) centers torch.tensor(centers, dtypetorch.long) contexts torch.tensor(contexts, dtypetorch.long) # 為批次中的每個(gè)樣本生成負(fù)樣本 negatives [] for c, ctx in batch_data: neg get_negative_samples(c, ctx, num_negative) negatives.append(neg) negatives torch.tensor(negatives, dtypetorch.long) # [batch_size, num_negative] yield centers, contexts, negatives # 訓(xùn)練循環(huán) losses [] for epoch in range(num_epochs): total_loss 0 batch_count 0 for center_batch, context_batch, negative_batch in data_loader(training_data, batch_size): optimizer.zero_grad() loss model(center_batch, context_batch, negative_batch) loss.backward() optimizer.step() total_loss loss.item() batch_count 1 avg_loss total_loss / batch_count if batch_count 0 else total_loss losses.append(avg_loss) if (epoch 1) % 50 0: print(fEpoch [{epoch1}/{num_epochs}], Average Loss: {avg_loss:.4f}) print(訓(xùn)練完成)4.6 驗(yàn)證與可視化結(jié)果訓(xùn)練完成后我們可以查看詞向量的性質(zhì)。# 1. 查看特定詞的向量 test_words [cat, dog, fox, love, deep] for word in test_words: if word in word_to_idx: idx word_to_idx[word] vector model.get_word_embeddings(idx) print(f單詞 {word} 的向量前5維: {vector[:5]}) # 2. 計(jì)算詞與詞之間的余弦相似度 def cosine_similarity(vec1, vec2): return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2)) # 獲取向量 cat_idx word_to_idx[cat] dog_idx word_to_idx[dog] fox_idx word_to_idx[fox] love_idx word_to_idx[love] cat_vec model.get_word_embeddings(cat_idx) dog_vec model.get_word_embeddings(dog_idx) fox_vec model.get_word_embeddings(fox_idx) love_vec model.get_word_embeddings(love_idx) print(f\n余弦相似度) print(f cat vs dog: {cosine_similarity(cat_vec, dog_vec):.4f}) print(f cat vs fox: {cosine_similarity(cat_vec, fox_vec):.4f}) print(f cat vs love: {cosine_similarity(cat_vec, love_vec):.4f}) # 3. 使用PCA降維并可視化可選需要matplotlib try: import matplotlib.pyplot as plt from sklearn.decomposition import PCA # 獲取所有詞的向量 all_vectors np.array([model.get_word_embeddings(i) for i in range(vocab_size)]) # 使用PCA降維到2D pca PCA(n_components2) vectors_2d pca.fit_transform(all_vectors) # 繪制 plt.figure(figsize(10, 8)) plt.scatter(vectors_2d[:, 0], vectors_2d[:, 1], alpha0.5) # 標(biāo)注一些感興趣的詞 words_to_annotate [cat, dog, fox, quick, brown, jumps, love, deep, learning, language] for word in words_to_annotate: if word in word_to_idx: idx word_to_idx[word] plt.annotate(word, xy(vectors_2d[idx, 0], vectors_2d[idx, 1]), xytext(5, 2), textcoordsoffset points, fontsize9) plt.title(Word Embeddings Visualization (PCA)) plt.xlabel(PCA Component 1) plt.ylabel(PCA Component 2) plt.grid(True, alpha0.3) plt.show() except ImportError: print(未安裝matplotlib或scikit-learn跳過可視化。)運(yùn)行上述代碼后你會(huì)發(fā)現(xiàn)“cat”和“dog”的相似度遠(yuǎn)高于“cat”和“l(fā)ove”。在可視化圖中語義或語法相關(guān)的詞如“cat”, “dog”, “fox”可能會(huì)聚集在一起。這就是Embedding“注入意義”的直觀體現(xiàn)——它將文本中的共現(xiàn)規(guī)律編碼成了空間中的幾何關(guān)系。5. 從Word2Vec到GPTEmbedding的演進(jìn)我們“手搓”的模型揭示了Embedding的核心思想。在現(xiàn)代大語言模型如GPT中Embedding技術(shù)有了更復(fù)雜和深刻的發(fā)展子詞嵌入GPT等模型使用Byte-Pair Encoding (BPE)或WordPiece等子詞分詞法詞匯表不是完整的單詞而是子詞單元。這能更好地處理未登錄詞和稀有詞。上下文感知Word2Vec為每個(gè)詞生成一個(gè)靜態(tài)的向量。而在GPT的Transformer架構(gòu)中輸入嵌入Token Embedding只是起點(diǎn)。經(jīng)過多層自注意力機(jī)制處理后每個(gè)詞位的最終表示是動(dòng)態(tài)的高度依賴于它所在的完整句子上下文。這才是“一詞多義”得以解決的關(guān)鍵。位置編碼Transformer本身沒有遞歸和卷積結(jié)構(gòu)為了利用序列順序信息必須顯式地將位置編碼與詞嵌入相加注入“位置”意義。更大的規(guī)模與數(shù)據(jù)GPT模型在超大規(guī)模語料上訓(xùn)練嵌入維度高達(dá)數(shù)千學(xué)習(xí)到的語義和世界知識(shí)更加豐富。可以這樣理解我們實(shí)現(xiàn)的Word2Vec是“離線學(xué)習(xí)”的靜態(tài)詞典而GPT中的Embedding是“在線計(jì)算”的動(dòng)態(tài)語義表示的起點(diǎn)和組成部分。6. 常見問題與排查思路在實(shí)現(xiàn)和應(yīng)用Embedding時(shí)你可能會(huì)遇到以下問題問題現(xiàn)象常見原因解決思路訓(xùn)練損失不下降或?yàn)镹aN學(xué)習(xí)率過高、梯度爆炸、數(shù)據(jù)異常1. 降低學(xué)習(xí)率如從0.01調(diào)到0.001。2. 檢查數(shù)據(jù)中是否有無效索引如-1。3. 對損失函數(shù)中的log計(jì)算添加極小值 1e-10防止數(shù)值溢出。詞向量相似度沒有意義全都很接近訓(xùn)練輪次不足、嵌入維度太低、數(shù)據(jù)量太小1. 增加訓(xùn)練輪次epochs。2. 適當(dāng)增加嵌入維度如從10調(diào)到50或100。3. 使用更大、更相關(guān)的語料進(jìn)行訓(xùn)練。生僻詞向量質(zhì)量差詞頻過低訓(xùn)練不充分1. 在負(fù)采樣中采用平滑策略如對詞頻取3/4次方。2. 使用子詞模型如FastText、BPE代替單詞模型。內(nèi)存不足OOM詞匯表過大、嵌入維度太高、批次太大1. 增大min_freq過濾低頻詞減小詞匯表。2. 降低嵌入維度或批次大小。3. 使用梯度累積來模擬大批次。無法處理新詞OOV詞匯表固定未包含新詞1. 在預(yù)處理時(shí)將未登錄詞映射到統(tǒng)一的[UNK]標(biāo)記。2. 在生產(chǎn)中考慮使用具有子詞分詞能力的模型如Sentence-BERT、OpenAI的text-embedding模型。7. 最佳實(shí)踐與工程建議在實(shí)際項(xiàng)目中應(yīng)用Embedding時(shí)應(yīng)注意以下幾點(diǎn)數(shù)據(jù)質(zhì)量至上Embedding的質(zhì)量幾乎完全取決于訓(xùn)練數(shù)據(jù)。確保語料與你的下游任務(wù)相關(guān)、干凈、規(guī)模足夠大。“垃圾進(jìn)垃圾出”在Embedding學(xué)習(xí)中尤其明顯。維度選擇嵌入維度不是越大越好。維度太低信息壓縮嚴(yán)重表達(dá)能力不足維度太高容易過擬合計(jì)算和存儲(chǔ)成本增加。通常50-300維是一個(gè)常見范圍需要根據(jù)任務(wù)和數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。使用預(yù)訓(xùn)練模型除非有非常特殊的領(lǐng)域數(shù)據(jù)如醫(yī)學(xué)病歷、法律條文否則強(qiáng)烈建議使用預(yù)訓(xùn)練的詞向量如GloVe、FastText或預(yù)訓(xùn)練的上下文嵌入模型如BERT、GPT的Embedding層初始化。這能節(jié)省大量計(jì)算資源并利用通用語料中的豐富知識(shí)。領(lǐng)域自適應(yīng)可以在通用預(yù)訓(xùn)練Embedding的基礎(chǔ)上使用你的領(lǐng)域數(shù)據(jù)繼續(xù)進(jìn)行微調(diào)訓(xùn)練使其更適應(yīng)特定任務(wù)。評估嵌入質(zhì)量不要盲目相信訓(xùn)練損失。使用內(nèi)部任務(wù)如詞類比king - man woman ≈ queen和下游任務(wù)如文本分類、情感分析的準(zhǔn)確率來綜合評估嵌入向量的有效性。標(biāo)準(zhǔn)化與池化在使用詞向量進(jìn)行句子或文檔表示時(shí)常見的做法是對所有詞向量取平均Mean Pooling或求和有時(shí)還會(huì)先進(jìn)行L2標(biāo)準(zhǔn)化。對于基于Transformer的模型通常使用[CLS]標(biāo)記的向量或所有標(biāo)記向量的均值作為句子表示。版本管理Embedding是模型的核心組件之一。當(dāng)更新訓(xùn)練數(shù)據(jù)、調(diào)整超參數(shù)或更換模型架構(gòu)后Embedding會(huì)變化可能導(dǎo)致下游任務(wù)性能波動(dòng)。對Embedding文件或模型檢查點(diǎn)進(jìn)行版本控制至關(guān)重要。通過本文的講解和實(shí)戰(zhàn)你已經(jīng)揭開了Embedding的神秘面紗并親手實(shí)現(xiàn)了一個(gè)能夠?qū)W習(xí)詞義關(guān)系的簡易模型。理解Embedding是深入NLP和現(xiàn)代大語言模型的關(guān)鍵一步。下一步你可以探索更復(fù)雜的嵌入方法如GloVe、ELMo研究Transformer中的位置編碼或者嘗試使用Hugging Face Transformers庫加載現(xiàn)成的BERT、GPT模型直接調(diào)用其強(qiáng)大的Embedding能力來解決實(shí)際的語義匹配、搜索和分類問題。