Reranking - ihower's Notes

* 我的繁體中文評測 https://ihower.tw/blog/archives/12227 * Florian 的介紹文 https://pub.towardsai.net/advanced-rag-04-re-ranking-85f6ae8170b1 * Advanced RAG Series: Retrieval https://div.beehiiv.com/p/advanced-rag-series-retrieval * [[Maximum Marginal Relevance (MMR)]] * Cohere Reanker * https://txt.cohere.com/rerank/ * 文件 https://docs.cohere.com/docs/rerank-2 * [[Large Language Models with Semantic Search]] 有教 * 可以微調 https://docs.cohere.com/docs/rerank-starting-the-training * https://blog.llamaindex.ai/improving-retrieval-performance-by-fine-tuning-cohere-reranker-with-llamaindex-16c0c1f9b33b * https://weaviate.io/blog/fine-tuning-coheres-reranker * 速度超快 https://twitter.com/virattt/status/1752098121826361453 (2024/1/30) * v3 https://txt.cohere.com/rerank-3/ (2024/4/11) * v3 Nimble https://cohere.com/blog/rerank-3-nimble 速度快三倍，犧牲一些準確率的改版 (2024/7/23) * v3.5 https://cohere.com/blog/rerank-3pt5 * bge-reranker * https://huggingface.co/BAAI/bge-reranker-base * https://huggingface.co/BAAI/bge-reranker-large * SentenceTransformerRerank * 在 [[Advanced Retrieval for AI with Chroma]] 有用 * Jina reranker https://jina.ai/reranker/ * jina-reranker-v1-base-en * https://jina.ai/news/maximizing-search-relevancy-and-rag-accuracy-with-jina-reranker/ 2024/2/29 * https://jina.ai/news/precise-rag-with-jina-reranker-and-llamaindex/ 3/7 * https://jina.ai/news/smaller-faster-cheaper-jina-rerankers-turbo-and-tiny/ 4/18 * 這沒有開源的樣子 * mxbai reranker * https://www.mixedbread.ai/blog/mxbai-rerank-v1 * 這有開源的樣子 * Reranking https://www.rungalileo.io/blog/mastering-rag-how-to-select-a-reranking-model > bge 比較好，但仍比 cohere 差一點.... 英文結果在我的睡眠問題測試中，base 版就可以通過! bge-m3 版本在 colab 裝不起來 colbert 中文不行，英文也不夠好，無法通過我的睡眠問題測試 * Jina: https://jina.ai/news/maximizing-search-relevancy-and-rag-accuracy-with-jina-reranker/ * [[ColBERT]] * https://twitter.com/virattt/status/1752475170306990422 * Cohere 最快，但是沒開源 * 次好的是 ColBERT * Twitter 評論: https://twitter.com/9hills/status/1721116106566586720 2023/11/5 * https://twitter.com/9hills/status/1773704417315066159 * bce-reranker * https://huggingface.co/maidalun1020/bce-reranker-base_v1 * 中文 * https://twitter.com/9hills/status/1747233826861166885 * https://twitter.com/9hills/status/1740237429381173548 12/28 * https://github.com/ninehills/blog/issues/111 * 也是推薦 https://huggingface.co/BAAI/bge-reranker-large * why reranker * https://github.com/mickymultani/RAG-with-Cross-Encoder-Reranker * https://twitter.com/llama_index/status/1746340454281666972 * Introducing Hybrid Search and Rerank to Improve the Retrieval Accuracy of the RAG System https://dify.ai/blog/hybrid-search-rerank-rag-improvement 這篇最後列了不少參考資料，讚 * ranking 指標 https://towardsdatascience.com/comprehensive-guide-to-ranking-evaluation-metrics-7d10382c1025 * LongContextReorder 也算是一種 reranker * 排序頭尾 * paper: https://arxiv.org/abs/2307.03172 * https://python.langchain.com/docs/modules/data_connection/retrievers/long_context_reorder * https://docs.llamaindex.ai/en/stable/examples/node_postprocessor/LongContextReorder.html * LlamaRank * https://blog.salesforceairesearch.com/llamarank/ * Rankify: A Comprehensive Python Toolkit for Retrieval, Re-Ranking, and Retrieval-Augmented Generation * https://arxiv.org/abs/2502.02464 (2025/2) * https://x.com/omarsar0/status/1887177622196789542 * https://github.com/DataScienceUIBK/Rankify ## Rerankers reankers 一個通用的介面 https://github.com/answerdotai/rerankers * https://x.com/bclavie/status/1835680378461524002 (2024/9/16) * https://www.answer.ai/posts/2024-09-16-rerankers.html * ![](https://pbs.twimg.com/media/GXmDqysaUAAEA2b?format=jpg&name=small) ## llamaindex * https://gpt-index.readthedocs.io/en/latest/module_guides/querying/node_postprocessors/node_postprocessors.html * 這底下有幾種 reranker * CohereRerank - SentenceTransformerRerank - LLM Rerank - https://twitter.com/jerryjliu0/status/1658858765289160705 - [Using LLM’s for Retrieval and Reranking](https://blog.llamaindex.ai/using-llms-for-retrieval-and-reranking-23cf2d3a14b6) - https://gpt-index.readthedocs.io/en/latest/examples/node_postprocessor/LLMReranker-Lyft-10k.html - https://gpt-index.readthedocs.io/en/latest/examples/node_postprocessor/LLMReranker-Gatsby.html# ## 用 LLM 當作 Reranker > 上述方法叫做 cross-encoder reranker，以下則是研究改用 LLM 來做 reranker * RankGPT * https://arxiv.org/abs/2304.09542 * https://github.com/sunnweiwei/RankGPT * https://twitter.com/jerryjliu0/status/1747681725218795912 * https://twitter.com/llama_index/status/1747681530347216995 * RankLLM * https://twitter.com/llama_index/status/1775166279911186930 2024/4/2 * https://github.com/castorini/rank_llm * https://twitter.com/jerryjliu0/status/1775306002025599282 2024/4/3 * Google 做的 Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting * https://arxiv.org/abs/2306.17563 * PRP-Sliding * [[AIntu-2024]] > Q: 好像有人問: 跟不用 LLM 的 reranker 做比較 > A: LLM 做因為有更多知識，可能可以做更好 * 找到這篇不錯 * LLM in Reranking——利用LLM进行重排 * https://zhuanlan.zhihu.com/p/660596492 * https://cloud.tencent.com/developer/article/2351101 * 總結 * LLM不同於傳統的交叉編碼器，具有更強的語義理解能力，並且能夠捕捉到文檔列表整體的順序信息，它仍然面對幾個不可忽視的問題。 * 一方面，LLM的輸入長度對於一個文檔列表來說還是十分受限的，必須通過滑動窗口或集成的方式才能實現文檔輸入。另一方面，list-wise的LLM重排器對於輸入非常敏感，在某些極端的情況下，例如將輸入文檔隨機打亂順序時，模型的輸出結果甚至可能不如BM25。另外，還有參數過剩與時效性的問題會導致LLM重排器難以落地。 * 根據 [[AIntu-2024]] 講者逐字稿，我自己問 claude 的理解: LLM Reranker vs 傳統 Reranker 比較 | 特性 | LLM Reranker | 傳統 Reranker | |------|--------------|---------------| | 優點 | 1. 理解能力強：能更好地理解查詢和文檔之間的語義關係 2. 靈活性高：可以處理各種複雜的排序任務 3. 多語言能力：通常具有強大的多語言處理能力 4. 知識豐富：包含大量預訓練知識，可能有助於某些任務 5. 可擴展性：可以通過微調適應不同的領域和任務 | 1. 計算效率高：通常運行速度更快 2. 資源需求低：不需要大量的計算資源 3. 可解釋性強：模型決策過程通常更容易理解和解釋 4. 訓練成本低：訓練和更新模型的成本較低 5. 穩定性好：性能更加穩定，不太容易受到輸入變化的影響 | | 缺點 | 1. 計算成本高：每次排序都需要較高的推理成本 2. 延遲可能較高：處理時間可能較長，不適合對實時性要求很高的場景 3. 資源需求大：需要大量的計算資源和存儲空間 4. 可能存在偏見：如果訓練數據存在偏見，可能會在排序結果中體現 5. 難以細粒度控制：對於特定的排序規則可能難以精確控制 | 1. 理解能力有限：難以理解複雜的語義關係 2. 泛化能力較弱：在處理未見過的情況時表現可能不佳 3. 特徵工程依賴：通常需要大量的人工特徵工程 4. 多語言能力有限：處理多語言任務時可能需要為每種語言單獨訓練模型 5. 知識有限：僅限於訓練數據中的信息，難以利用廣泛的世界知識 | 注意： 1. LLM Reranker 的性能通常隨著模型大小的增加而提升，但這也意味著更高的計算成本。 2. 在實際應用中，可能會結合 LLM 和傳統方法，以平衡性能和效率。 3. LLM Reranker 的效果可能會因為任務的具體情況而有所不同，需要根據具體應用場景進行評估。 * Building an LLM-based Reranker for your RAG pipeline * jason liu 的實作 * https://x.com/jxnlco/status/1849550019184984520 (2024/10/25) * https://python.useinstructor.com/blog/2024/10/23/building-an-llm-based-reranker-for-your-rag-pipeline/ ## Metarank Learn-to-Rank engine 根據用戶點擊和其他信號，用機器學習來做排序在實時推論階段，模型根據過去的訪客行為預測最佳排名 * https://www.pinecone.io/learn/metarank/ * https://www.metarank.ai/ * https://github.com/metarank/metarank