愛好 AI Engineer 電子報 🚀 檢索增強生成 RAG 特輯 #15

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

Hello! 你好 👋

我是 ihower,這集是 RAG 進階特輯。如果不知道什麼是基本的 naive RAG(或叫做 top-k RAG) ,可以先看我的入門投影片有關 RAG 的介紹。簡單講,RAG 就是根據用戶問題,檢索出最相關的內容,然後放到 Prompt 裡面讓模型做參考回答。

🔝使用繁體中文做 Embedding 模型大評測

在 RAG 系統中,將文字轉語意向量的 embedding 模型,是非常重要的關鍵檢索環節。
這是我自己做的評測,總共 33 個模型比較檢索能力。這裡直接先說結論:

– 追求最好性能試試 voyage-multilingual-2
– 便宜好上手選 OpenAI text-embedding-3-small

完整評測結果和全文請見我部落格文章。

🔝使用繁體中文評測各家 Reranker 模型的重排能力

接續上一篇 Embedding 模型評測,這也是我自己針對 Reranker (重排)模型,做成二階段檢索的評測。

👍Advanced Retrieval for AI with Chroma 課程

(我整理的上課截圖和筆記)

DeepLearning.AI 的這堂 RAG 課程我覺得是比較推薦的好上手小課,教了 Query Expansion 和 Re-Ranker。

🧠Systematically Improving RAG Applications 演講

(我整理的逐字稿和截圖)

要如何系統性地改進您的 RAG 系統? 這是 Jason Liu 的一場演講 Systematically Improving RAG Applications ,重點如下:

* 建立有效的反饋機制: 紀錄用戶評分、紀錄相關性(cosine 或是 reranker score)分數
* 不要只放按讚倒讚,因為就算答案正確,用戶也可能因為答案太長或太短而不喜歡。要問 “是否有解決您的問題”? 比較好
* 用 cosine 或是 reranker score 分數可以更具成本效益 (相比用 LLM 評估)
* 針對用戶 query 做分群,找出哪些主題是用戶最常問的、哪些問法(例如問比較、問摘要)是用戶最常問的
* 如此你會有三個維度可以分析: 問題頻次、高低相關性(可計算平均餘弦距離)、高低用戶反饋
    * 高頻、低相關、不滿意: 修 retriever 部分
    * 高頻、高相關、不滿意: 修 generation 部分 
    * 低頻、不滿意: 可以在 prompt 中告訴用戶本 AI 不會這題
* 辨識出高優先加強改進的主題,可用合成數據多做測試
* 檢索不只靠 embedding,還可以多做日期 filter、主題 filter、文件類型 filter 等等
* 傳統全文搜尋 BM25,在搜尋者就是文件作者的情況,會比語意搜尋更優越,因為作者知道關鍵字、甚至知道檔案名稱,建議包括 BM25 一起做 hybrid
* 只要有數千個問答資料,就可以做自己的微調 embedding 模型,性質超越 openai 和 cohere
* RAG 就像是設計一個推薦系統

除了錄影,作者也寫成文章可以一看 Systematically Improving Your RAG

🎯Beyond the Basics of RAG 演講

(我整理的逐字稿和截圖)

這是由 Parlance Labs 主辦的 RAG 課程演講,內容包括 Bi-encoder 做向量搜尋、Cross-encoder 做 Reranker、結合 TF-IDF/BM25 做關鍵詞搜索、Metadata Filtering、長上下文窗口對 RAG 的影響、嵌入模型的微調、處理長文檔的策略等等。

🎃Back to Basics for RAG 演講

(我整理的逐字稿和截圖)

也是 Parlance Labs 主辦的 RAG 課程演講,這場著重在評估指標。

🚧Build a search engine, not a vector DB

我很喜歡這個標題,RAG 需要的檢索技術,不只是 Embedding 向量搜尋,而是在打造一個搜尋推薦引擎。

👊The Basics of AI-Powered (Vector) Search

這篇文章詳述目前開發 RAG 需要的搜尋理論知識,包括傳統的 BM25 搜尋、Bi-encoder、Cross-encoder、二階段檢索等等

🌋What AI Engineers Should Know about Search

AI 工程師應該了解的搜尋技術知識 50 條,突然需要惡補很多搜索技術知識,歡迎來到這個勇敢的世界。

—-

更多關於 RAG 的技術資料,可以參考我的 RAG 筆記 ihower.tw/notes/rag-guideline

最後來幫自己 threads 添加一些粉絲數,帳號一樣是 ihower,歡迎追蹤!

– ihower

發佈留言

發表迴響