
Hello! 你好 👋
我是 ihower,這集是 RAG 進階特輯。如果不知道什麼是基本的 naive RAG(或叫做 top-k RAG) ,可以先看我的入門投影片有關 RAG 的介紹。簡單講,RAG 就是根據用戶問題,檢索出最相關的內容,然後放到 Prompt 裡面讓模型做參考回答。
閱讀全文〈愛好 AI Engineer 電子報 🚀 檢索增強生成 RAG 特輯 #15〉😆 👨🏻💻 📚 🚀 💰 ✨
Hello! 你好 👋
我是 ihower,這集是 RAG 進階特輯。如果不知道什麼是基本的 naive RAG(或叫做 top-k RAG) ,可以先看我的入門投影片有關 RAG 的介紹。簡單講,RAG 就是根據用戶問題,檢索出最相關的內容,然後放到 Prompt 裡面讓模型做參考回答。
閱讀全文〈愛好 AI Engineer 電子報 🚀 檢索增強生成 RAG 特輯 #15〉想系統性學習如何打造 LLM、RAG 和 Agents 應用嗎? 歡迎報名我的課程 大語言模型 LLM 應用開發工作坊
接續上一篇 Embedding 模型評測,這次我們來看看搭配 Reranker (重排)模型,做成二階段檢索會是什麼情況。
圖片出處: Boosting Your Search and RAG with Voyage’s Rerankers
Reranker 模型是另一種不一樣的模型(學名叫做 Cross-Encoder),不同於 embedding 模型(學名叫做 Bi-Encoder) 輸入是文字,輸出是高維度向量。Reranker 模型的輸入是兩段文字,輸出一個相關性分數 0 到 1 之間,也就是我們會將用戶 query 跟每一份文件都去算相關性分數,然後根據分數排序。
Reranker 的執行速度較慢,成本較高,但在判斷相關性上面,比 embedding 模型更準確
因此當資料非常多、想要快又要準時,跟 embeddings 模型搭配,做成兩階段檢索,是前人做推薦引擎時就發明的招式。
想系統性學習如何打造 LLM、RAG 和 Agents 應用嗎? 歡迎報名我的課程 大語言模型 LLM 應用開發工作坊
Updated(2024/9/23): 新增 Jina Embeddings v3
Updated(2024/9/24): 新增 Voyage-3
Updated(2024/10/22): 新增 mistral-embed
Updated(2025/2/12): 新增 Voyage-3-Large、Chuxin-Embedding、model2vec
Updated(2025/2/12): 有測 Nvidia NV-Embed v2,但模型太大本機跑不動沒結果
Updated(2025/2/13): 新增 Nomic Embed Text V2
Updated(2025/6/16): 新增 Voyage-3.5 跟 Voyage-3.5-lite、voyage-multimodal-3、Cohere Embed 4、Qwen3 Embedding 0.6B 跟 4B
Updated(2025/7/14): 新增 Jina Embeddings v4
Updated(2025/7/15): 新增 gemini-embedding-001
Updated(2205/9/5): 新增 EmbeddingGemma
—
在 RAG 系統中,將文字轉語意向量的 embedding 模型,是非常重要的關鍵檢索環節。
很多人在問繁體中文的 embedding 建議選哪一套,通常大家就推薦比較熟的 OpenAI embedding 模型。
但到底哪一套客觀評測比較好,在 HuggingFace 上雖然有個 MTEB 有 (簡體)中文評測,但幾乎都是中國模型霸榜,而且感覺用簡體中文評測不代表繁體中文。
於是我就想自己跑評測看看,週末花了時間,參考了 Llamaindex 針對 RAG 場景評測 Embedding 模型的方法(Boosting RAG: Picking the Best Embedding & Reranker models),使用聯發科整理的 TCEval-v2 資料集中的台達閱讀理解資料集 drcd,其中有不重複文章段落共 1000 段,以及對應的 3493 個問題。
閱讀全文〈使用繁體中文評測各家 Embedding 模型的檢索能力〉Hello! 你好 👋
我是 ihower,近期全球 AI 工程師最關心的事情,就是在舊金山的 AI Engineer World’s Fair 2024 大會啦 🎉🎉
這次大會有好幾軌,涉獵的主題包括 CodeGen, Open Models, RAG, Multimodality, GPUs, Evals, and Agents 等等。
目前釋出的直播錄影只有公開其中兩天兩軌,但長度也是約 8.5+8.5+3.5+4 約 24 小時的長度。
如何用最短時間,吸收這麼長的英文演講內容呢? 我跟 Claude 3.5 Sonnet 協作寫了個自動化程式,可將影片轉成 不重複圖片 搭配 語音辨識字幕 網頁,並加上中文翻譯。因為看文字的速度,比看影片還快。如果投影片看到有興趣的,旁邊就可以看到對應的逐字稿,不會有漏掉的內容,逐字跟現場畫面都有。
我陸續整理中的截圖和逐字稿都放在這裡,以下介紹幾場內容:
閱讀全文〈愛好 AI Engineer 電子報 🚀 AI Engineer World’s Fair 大會 #14〉Hello! 你好 👋
我是 ihower,這期開始有個新系列是 Google Colab 分享,我會製作既實用又帶有教學意義的小程式給大家。
要如何理解生成式 AI 會如何影響軟體開發?
閱讀全文〈愛好 AI Engineer 電子報 🚀 新的軟體開發時代來臨 #13〉這份文件不但描述了 OpenAI 心目中理想的模型行為,也默默預告了一些之後新模型會有的功能,對於開發者來說非常值得一讀。 而且都有對話舉例,非常具體,很多設計難題隱藏在棘手的場景中,如何回答的好真的見仁見智。 以下是我看到的一些關鍵內容:
閱讀全文〈愛好 AI Engineer 電子報 🚀 OpenAI 發表 Model Spec #12〉