* 我的繁體中文評測 https://ihower.tw/blog/archives/12227
* Florian 的介紹文 https://pub.towardsai.net/advanced-rag-04-re-ranking-85f6ae8170b1
* Advanced RAG Series: Retrieval https://div.beehiiv.com/p/advanced-rag-series-retrieval
* [[Maximum Marginal Relevance (MMR)]]
* Cohere Reanker
* https://txt.cohere.com/rerank/
* 文件 https://docs.cohere.com/docs/rerank-2
* [[Large Language Models with Semantic Search]] 有教
* 可以微調 https://docs.cohere.com/docs/rerank-starting-the-training
* https://blog.llamaindex.ai/improving-retrieval-performance-by-fine-tuning-cohere-reranker-with-llamaindex-16c0c1f9b33b
* https://weaviate.io/blog/fine-tuning-coheres-reranker
* 速度超快 https://twitter.com/virattt/status/1752098121826361453 (2024/1/30)
* v3 https://txt.cohere.com/rerank-3/ (2024/4/11)
* v3 Nimble https://cohere.com/blog/rerank-3-nimble 速度快三倍，犧牲一些準確率的改版 (2024/7/23)
* v3.5 https://cohere.com/blog/rerank-3pt5
* bge-reranker
* https://huggingface.co/BAAI/bge-reranker-base
* https://huggingface.co/BAAI/bge-reranker-large
* SentenceTransformerRerank
* 在 [[Advanced Retrieval for AI with Chroma]] 有用
* Jina reranker https://jina.ai/reranker/
* jina-reranker-v1-base-en
* https://jina.ai/news/maximizing-search-relevancy-and-rag-accuracy-with-jina-reranker/ 2024/2/29
* https://jina.ai/news/precise-rag-with-jina-reranker-and-llamaindex/ 3/7
* https://jina.ai/news/smaller-faster-cheaper-jina-rerankers-turbo-and-tiny/ 4/18
* jina-reranker-v2-base-multilingual
* Jina jina-reranker-m0 多模態
* https://x.com/JinaAI_/status/1909621150080196735 2025/4/8
* https://jina.ai/news/jina-reranker-m0-multilingual-multimodal-document-reranker/
* mxbai reranker
* https://www.mixedbread.ai/blog/mxbai-rerank-v1
* 這有開源的樣子
* Reranking https://www.rungalileo.io/blog/mastering-rag-how-to-select-a-reranking-model
> bge 比較好，但仍比 cohere 差一點....
英文結果在我的 睡眠問題測試中，base 版就可以通過!
bge-m3 版本在 colab 裝不起來
colbert 中文不行，英文也不夠好，無法通過我的睡眠問題測試
* Jina: https://jina.ai/news/maximizing-search-relevancy-and-rag-accuracy-with-jina-reranker/
* [[ColBERT]]
* https://twitter.com/virattt/status/1752475170306990422
* Cohere 最快，但是沒開源
* 次好的是 ColBERT
* Twitter 評論: https://twitter.com/9hills/status/1721116106566586720 2023/11/5
* https://twitter.com/9hills/status/1773704417315066159
* bce-reranker
* https://huggingface.co/maidalun1020/bce-reranker-base_v1
* 中文
* https://twitter.com/9hills/status/1747233826861166885
* https://twitter.com/9hills/status/1740237429381173548 12/28
* https://github.com/ninehills/blog/issues/111
* 也是推薦 https://huggingface.co/BAAI/bge-reranker-large
* why reranker
* https://github.com/mickymultani/RAG-with-Cross-Encoder-Reranker
* https://twitter.com/llama_index/status/1746340454281666972
* Introducing Hybrid Search and Rerank to Improve the Retrieval Accuracy of the RAG System https://dify.ai/blog/hybrid-search-rerank-rag-improvement 這篇最後列了不少參考資料，讚
* ranking 指標 https://towardsdatascience.com/comprehensive-guide-to-ranking-evaluation-metrics-7d10382c1025
* LongContextReorder 也算是一種 reranker
* 排序頭尾
* paper: https://arxiv.org/abs/2307.03172
* https://python.langchain.com/docs/modules/data_connection/retrievers/long_context_reorder
* https://docs.llamaindex.ai/en/stable/examples/node_postprocessor/LongContextReorder.html
* LlamaRank
* https://blog.salesforceairesearch.com/llamarank/
* Rankify: A Comprehensive Python Toolkit for Retrieval, Re-Ranking, and Retrieval-Augmented Generation
* https://arxiv.org/abs/2502.02464 (2025/2)
* https://x.com/omarsar0/status/1887177622196789542
* https://github.com/DataScienceUIBK/Rankify
## Rerankers
reankers 一個通用的介面
https://github.com/answerdotai/rerankers
* https://x.com/bclavie/status/1835680378461524002 (2024/9/16)
* https://www.answer.ai/posts/2024-09-16-rerankers.html
* 
## llamaindex
* https://gpt-index.readthedocs.io/en/latest/module_guides/querying/node_postprocessors/node_postprocessors.html
* 這底下有幾種 reranker
* CohereRerank
- SentenceTransformerRerank
- LLM Rerank
- https://twitter.com/jerryjliu0/status/1658858765289160705
- [Using LLM’s for Retrieval and Reranking](https://blog.llamaindex.ai/using-llms-for-retrieval-and-reranking-23cf2d3a14b6)
- https://gpt-index.readthedocs.io/en/latest/examples/node_postprocessor/LLMReranker-Lyft-10k.html
- https://gpt-index.readthedocs.io/en/latest/examples/node_postprocessor/LLMReranker-Gatsby.html#
## 用 LLM 當作 Reranker
> 上述方法叫做 cross-encoder reranker，以下則是研究改用 LLM 來做 reranker
* RankGPT
* https://arxiv.org/abs/2304.09542
* https://github.com/sunnweiwei/RankGPT
* https://twitter.com/jerryjliu0/status/1747681725218795912
* https://twitter.com/llama_index/status/1747681530347216995
* RankLLM
* https://twitter.com/llama_index/status/1775166279911186930 2024/4/2
* https://github.com/castorini/rank_llm
* https://twitter.com/jerryjliu0/status/1775306002025599282 2024/4/3
* Google 做的 Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
* https://arxiv.org/abs/2306.17563
* PRP-Sliding
* [[AIntu-2024]]
> Q: 好像有人問: 跟不用 LLM 的 reranker 做比較
> A: LLM 做因為有更多知識，可能可以做更好
* 找到這篇不錯
* LLM in Reranking——利用LLM进行重排
* https://zhuanlan.zhihu.com/p/660596492
* https://cloud.tencent.com/developer/article/2351101
* 總結
* LLM不同於傳統的交叉編碼器，具有更強的語義理解能力，並且能夠捕捉到文檔列表整體的順序信息，它仍然面對幾個不可忽視的問題。
* 一方面，LLM的輸入長度對於一個文檔列表來說還是十分受限的，必須通過滑動窗口或集成的方式才能實現文檔輸入。另一方面，list-wise的LLM重排器對於輸入非常敏感，在某些極端的情況下，例如將輸入文檔隨機打亂順序時，模型的輸出結果甚至可能不如BM25。另外，還有參數過剩與時效性的問題會導致LLM重排器難以落地。
* 根據 [[AIntu-2024]] 講者逐字稿，我自己問 claude 的理解: LLM Reranker vs 傳統 Reranker 比較
| 特性 | LLM Reranker | 傳統 Reranker |
|------|--------------|---------------|
| 優點 | 1. 理解能力強：能更好地理解查詢和文檔之間的語義關係<br>2. 靈活性高：可以處理各種複雜的排序任務<br>3. 多語言能力：通常具有強大的多語言處理能力<br>4. 知識豐富：包含大量預訓練知識，可能有助於某些任務<br>5. 可擴展性：可以通過微調適應不同的領域和任務 | 1. 計算效率高：通常運行速度更快<br>2. 資源需求低：不需要大量的計算資源<br>3. 可解釋性強：模型決策過程通常更容易理解和解釋<br>4. 訓練成本低：訓練和更新模型的成本較低<br>5. 穩定性好：性能更加穩定，不太容易受到輸入變化的影響 |
| 缺點 | 1. 計算成本高：每次排序都需要較高的推理成本<br>2. 延遲可能較高：處理時間可能較長，不適合對實時性要求很高的場景<br>3. 資源需求大：需要大量的計算資源和存儲空間<br>4. 可能存在偏見：如果訓練數據存在偏見，可能會在排序結果中體現<br>5. 難以細粒度控制：對於特定的排序規則可能難以精確控制 | 1. 理解能力有限：難以理解複雜的語義關係<br>2. 泛化能力較弱：在處理未見過的情況時表現可能不佳<br>3. 特徵工程依賴：通常需要大量的人工特徵工程<br>4. 多語言能力有限：處理多語言任務時可能需要為每種語言單獨訓練模型<br>5. 知識有限：僅限於訓練數據中的信息，難以利用廣泛的世界知識 |
注意：
1. LLM Reranker 的性能通常隨著模型大小的增加而提升，但這也意味著更高的計算成本。
2. 在實際應用中，可能會結合 LLM 和傳統方法，以平衡性能和效率。
3. LLM Reranker 的效果可能會因為任務的具體情況而有所不同，需要根據具體應用場景進行評估。
* Building an LLM-based Reranker for your RAG pipeline
* jason liu 的實作
* https://x.com/jxnlco/status/1849550019184984520 (2024/10/25)
* https://python.useinstructor.com/blog/2024/10/23/building-an-llm-based-reranker-for-your-rag-pipeline/
## Metarank
Learn-to-Rank engine
根據用戶點擊和其他信號，用機器學習來做排序
在實時推論階段，模型根據過去的訪客行為預測最佳排名
* https://www.pinecone.io/learn/metarank/
* https://www.metarank.ai/
* https://github.com/metarank/metarank