📝 目錄
介紹嵌入技術與EmbeddingGemma 2
在現代的數位世界中,電腦已經能夠識別我們所需的照片、檢測垃圾郵件,甚至推薦我們可能感興趣的影片。然而,這些功能的背後是如何理解照片、郵件或影片的意義的呢?答案往往在於一種稱為嵌入(embedding)的技術。
嵌入是一個數字列表,一個高維向量,旨在捕捉數據的意義。當兩個向量在空間中越接近時,代表它們所表示的數據在語義上越相似。EmbeddingGemma 2模型將文本、代碼、圖像、視頻和音頻映射到一個統一的嵌入空間中,這意味著一張日落照片的嵌入和“黃金時間”這樣的文本嵌入會緊鄰在一起。我們甚至可以將不同的模態結合成一個輸入,這讓嵌入模型能夠原生理解不同模態交錯的序列,並創建統一的內容表示。
EmbeddingGemma 2 的運作原理
EmbeddingGemma 2 的核心是一個單一的神經網絡骨幹,負責創建數據的最終嵌入表示。然而,它與前一版本的不同之處在於,數據在生成嵌入之前的處理方式。
不再是直接將所有數據餵入單一模型,原始輸入首先會通過特定模態的編碼器。例如,視覺編碼器將圖像或視頻幀切割成小塊,音頻編碼器將原始聲波轉換成稱為頻譜圖的視覺表示,並將這些表示切割成短片段。每個編碼器都會輸出向量,然後將這些向量投射到一個共享空間,作為骨幹處理所有模態的共同語言。
雙向變壓器的應用
在EmbeddingGemma 2的核心是一個雙向變壓器(bidirectional transformer),它權衡不同輸入部分的相關性,將其背景化,並在不同模態間融合信息。然後,三個步驟將變壓器的中間輸出壓縮成單一嵌入。平均池化(mean pooling)將向量平均壓縮成單一表示,密集層(dense layer)將壓縮的向量投射到最終的輸出形狀,最後正規化將向量映射到單位球面,確保訓練的穩定性和高效的比較。
EmbeddingGemma 2 的關鍵改進
EmbeddingGemma 2 的一個重要改進是每層輸入處理。與其僅一次性將輸入上下文傳入變壓器,我們在每一層注入經過調整的輸入版本,確保即使在最深層次,原始信號也不會丟失。得益於這些和其他的升級,EmbeddingGemma 2 能夠比其前身更輕量化和更快速。
訓練與優化
EmbeddingGemma 2 的訓練分為兩個階段:預微調(pre-finetuning)和微調(finetuning)。我們並不從頭開始訓練。EmbeddingGemma 2 從預訓練的 Gemma 4 解碼器模型初始化,這樣它在嵌入訓練開始前就已經繼承了全面的世界知識。然後通過蒸餾學習,EmbeddingGemma 2 研究了其更大教師模型 Gemini Embedding 2 的嵌入空間。
在微調過程中,我們通過對比損失和散佈損失目標訓練,細化 EmbeddingGemma 的表示。對比損失(contrastive loss)使嵌入空間更清晰,實際教授相似性和對比的概念。正對偶(positive pairs)拉近距離,而負對偶(negative pairs)則被拉遠。我們還使用同塔負樣本,這意味著我們在同一模態的元素之間增加更多的負對偶,進一步推開它們。這對於真實的全模態檢索至關重要,確保結果不偏向於任何特定模態。最後,散佈損失(spread out loss)確保嵌入分散開來,充分利用嵌入空間的表達能力。這確保模型的嵌入能夠在向量數據庫中有效檢索,並對量化具有魯棒性。
Matryoshka 表示學習
當嵌入的模態越多,能夠索引的內容也越多,但存儲數百萬個向量會迅速耗盡存儲空間。Matryoshka 表示學習允許我們將嵌入進行嵌套,尺寸逐漸減小。我們對嵌入前綴應用損失函數,以確保即使是被截斷的嵌入版本也是強大而完整的表示。這樣用戶可以選擇質量和性能的平衡,而無需重新訓練或更改模型。
實際應用與未來展望
使用統一模型,您可以進行多模態檢索,例如使用音頻片段搜索視頻庫,或用文本提示檢索音效,只需幾行 Python 代碼即可實現。通過量化感知訓練將模型的體積壓縮到 INT4,EmbeddingGemma 2 在邊緣設備上運行速度更快。
EmbeddingGemma 2 更小更快,現在它能夠“看”、“聽”並“讀”。您可以在 Hugging Face 和 Kaggle 上下載模型,或查看我們的操作手冊來開始使用。我們期待看到您用它創建的精彩應用。欲了解更多模型細節,請閱讀我們的技術報告。

