Hello! 你好 👋
我是 ihower，這集是 RAG 進階特輯。如果不知道什麼是基本的 naive RAG(或叫做 top-k RAG) ，可以先看我的入門投影片有關 RAG 的介紹。簡單講，RAG 就是根據用戶問題，檢索出最相關的內容，然後放到 Prompt 裡面讓模型做參考回答。
在 RAG 系統中，將文字轉語意向量的 embedding 模型，是非常重要的關鍵檢索環節。
這是我自己做的評測，總共 33 個模型比較檢索能力。這裡直接先說結論:
– 追求最好性能試試 voyage-multilingual-2
– 便宜好上手選 OpenAI text-embedding-3-small
完整評測結果和全文請見我部落格文章。
接續上一篇 Embedding 模型評測，這也是我自己針對 Reranker (重排)模型，做成二階段檢索的評測。
👍Advanced Retrieval for AI with Chroma 課程
(我整理的上課截圖和筆記)
DeepLearning.AI 的這堂 RAG 課程我覺得是比較推薦的好上手小課，教了 Query Expansion 和 Re-Ranker。
🧠Systematically Improving RAG Applications 演講
(我整理的逐字稿和截圖)
要如何系統性地改進您的 RAG 系統? 這是 Jason Liu 的一場演講 Systematically Improving RAG Applications ，重點如下:
* 建立有效的反饋機制: 紀錄用戶評分、紀錄相關性(cosine 或是 reranker score)分數
* 不要只放按讚倒讚，因為就算答案正確，用戶也可能因為答案太長或太短而不喜歡。要問 “是否有解決您的問題”? 比較好
* 用 cosine 或是 reranker score 分數可以更具成本效益 (相比用 LLM 評估)
* 針對用戶 query 做分群，找出哪些主題是用戶最常問的、哪些問法(例如問比較、問摘要)是用戶最常問的
* 如此你會有三個維度可以分析: 問題頻次、高低相關性(可計算平均餘弦距離)、高低用戶反饋
* 高頻、低相關、不滿意: 修 retriever 部分
* 高頻、高相關、不滿意: 修 generation 部分
* 低頻、不滿意: 可以在 prompt 中告訴用戶本 AI 不會這題
* 辨識出高優先加強改進的主題，可用合成數據多做測試
* 檢索不只靠 embedding，還可以多做日期 filter、主題 filter、文件類型 filter 等等
* 傳統全文搜尋 BM25，在搜尋者就是文件作者的情況，會比語意搜尋更優越，因為作者知道關鍵字、甚至知道檔案名稱，建議包括 BM25 一起做 hybrid
* 只要有數千個問答資料，就可以做自己的微調 embedding 模型，性質超越 openai 和 cohere
* RAG 就像是設計一個推薦系統
除了錄影，作者也寫成文章可以一看 Systematically Improving Your RAG
(我整理的逐字稿和截圖)
這是由 Parlance Labs 主辦的 RAG 課程演講，內容包括 Bi-encoder 做向量搜尋、Cross-encoder 做 Reranker、結合 TF-IDF/BM25 做關鍵詞搜索、Metadata Filtering、長上下文窗口對 RAG 的影響、嵌入模型的微調、處理長文檔的策略等等。
(我整理的逐字稿和截圖)
也是 Parlance Labs 主辦的 RAG 課程演講，這場著重在評估指標。
🚧Build a search engine, not a vector DB
我很喜歡這個標題，RAG 需要的檢索技術，不只是 Embedding 向量搜尋，而是在打造一個搜尋推薦引擎。
👊The Basics of AI-Powered (Vector) Search
這篇文章詳述目前開發 RAG 需要的搜尋理論知識，包括傳統的 BM25 搜尋、Bi-encoder、Cross-encoder、二階段檢索等等
🌋What AI Engineers Should Know about Search
AI 工程師應該了解的搜尋技術知識 50 條，突然需要惡補很多搜索技術知識，歡迎來到這個勇敢的世界。
—-
更多關於 RAG 的技術資料，可以參考我的 RAG 筆記 ihower.tw/notes/rag-guideline
最後來幫自己 threads 添加一些粉絲數，帳號一樣是 ihower，歡迎追蹤!
– ihower