支援 256／512／1024／2048 維；本評測使用官方預設 1024 維 float 向量，文件使用 document、問題使用 query，由 API 加入檢索前綴，超過 32000 tokens 自動截斷。

本評測使用完整 3072 維；文件使用 RETRIEVAL_DOCUMENT、問題使用 RETRIEVAL_QUERY；超過 2048 tokens 時由 API 截斷。

多模態模型，本評測僅使用文字與完整 3072 維；文件加上 title: none | text: 前綴，問題加上 task: search result | query: 前綴；超過 8192 tokens 時由 API 截斷。

支援 256／512／1024／2048 維；本評測使用官方預設 1024 維 float 向量，文件使用 document、問題使用 query，由 API 加入檢索前綴，超過 32000 tokens 自動截斷。

本評測使用 Embed v2 API、完整預設 2048 維 float 向量；文件使用 search_document、問題使用 search_query，超過 128000 tokens 由 API 從尾端截斷。

詞彙檢索 Baseline；BM25Okapi（k1=1.5、b=0.75、epsilon=0.25），使用根目錄 dict.txt.big 與 jieba.cut_for_search（HMM=True）。全文建索引，不截斷、不額外過濾或正規化 token；合併文件庫重新計算 IDF 與平均文件長度。 CPU 平均搜尋耗時 2.513 ms／題（含問題分詞、評分與排序；不含建索引）。

支援文字、圖片與影片；本評測僅使用文字及官方預設 1024 維浮點向量，透過 multimodalembeddings endpoint，文件使用 document、問題使用 query，由 API 加入檢索前綴；超過 32000 tokens 由 API 截斷。一個 request 一筆文字，最多五個併發；價格為文字 $／1M tokens，圖片與影片另計。

本評測使用 Embed v2 API、完整預設 2048 維 float 向量；文件使用 search_document、問題使用 search_query，超過 128000 tokens 由 API 從尾端截斷。

本評測使用 Embed v2 API、完整預設 1536 維 float 向量；文件使用 search_document、問題使用 search_query，超過 128000 tokens 由 API 從尾端截斷。價格參考 Vercel AI Gateway 的 Cohere 路由文字報價。

維度可自訂 32–2560；本評測使用完整 2560 維、官方預設 BF16 精度、query 指令、last-token pooling 與 L2 正規化。長文件的前饋層與 RMSNorm 以 1024 tokens 分批，停用完整序列 Embedding 不使用的生成 KV cache；保留全文、完整注意力與 BF16。

支援 256／512／1024／2048 維；本評測使用完整 2048 維、BF16、SDPA、官方文件／問題前綴、雙向注意力、包含前綴的 mean pooling 與 L2 正規化。

多模態模型；本評測僅使用文字 dense 單向量、完整 2048 維、BF16、SDPA、retrieval adapter、官方 Query／Passage 前綴、mean pooling 與 L2 正規化，不使用 multi-vector 分數。長文件的前饋層、投影與 RMSNorm 以 1024 tokens 分批，並縮小 Embedding 未使用的生成 logits；保留完整 hidden states、全文、原精度與 retrieval adapter。

支援 256／512／1024／2048 維；本評測使用官方預設 1024 維 float 向量，文件使用 document、問題使用 query，由 API 加入檢索前綴，超過 32000 tokens 自動截斷。

使用 voyageai/voyage-4-nano 原始權重；依官方 MRL 設定截取前 1024 維後重新 L2 正規化。採 BF16、SDPA、官方文件／問題前綴、雙向注意力與包含前綴的 mean pooling。

支援 128／256／512／768 維；本評測使用完整 768 維、官方文件／問題檢索 prompt 與 float32，超過 2048 tokens 會截斷。

本評測使用完整 1024 維、BF16、retrieval adapter、官方 Query／Document 前綴、last-token pooling 與 L2 正規化；超過 32768 tokens 會截斷。

MoE 總參數 475M、推論啟用約 305M；支援 256–768 維，本評測使用完整 768 維、FP32、search_document／search_query 前綴、mean pooling 與 L2 正規化；使用官方 PyTorch MoE 實作，未啟用選用的 Megablocks 加速。

本評測使用完整 768 維、BF16、retrieval adapter、官方 Query／Document 前綴、last-token pooling 與 L2 正規化；超過 8192 tokens 會截斷。

完整多模態模型為 0.74B；本評測僅載入 0.27B 文字模型，使用完整 768 維、官方 SearchQuery／Document 前綴、BF16 與 L2 正規化。

文件與問題不加前綴；本評測使用 dense embeddings、CLS pooling 與 L2 正規化，不使用 sparse 或 ColBERT 分數；超過 8192 tokens 會截斷。

使用完整 1536 維、官方雙向注意力、SDPA、last-token pooling 與 L2 正規化；問題使用官方 query 指令，文件不加前綴，EOS 由 tokenizer 加入；超過 32768 tokens 會截斷。長文件的逐 token 前饋層以 1024 tokens 分批計算以降低記憶體峰值，保留全文與 FP32。

段落使用 passage 前綴，問題使用 query 前綴；超過 512 tokens 會截斷。

使用完整 768 維 dense 向量、CLS pooling 與 L2 正規化；文件與問題不加前綴，不使用 sparse 分數；超過 8192 tokens 會截斷。

本評測使用 Embed v2 API、完整預設 1024 維 float 向量；文件使用 search_document、問題使用 search_query，超過 512 tokens 由 API 從尾端截斷。價格為 OpenLIT 公開價格表的參考值，非 Cohere 現行官網報價。

維度可自訂 32–1024；本評測使用 1024 維、官方預設 BF16 精度及 query 指令。

本評測使用 Embed v2 API、完整預設 384 維 float 向量；文件使用 search_document、問題使用 search_query，超過 512 tokens 由 API 從尾端截斷。價格為 OpenLIT 公開價格表的參考值，非 Cohere 現行官網報價。

維度可自訂；本評測使用完整 3072 維，段落與問題不加前綴。使用 cl100k_base 精確計算輸入，超過 8192 tokens 時保留前 8192 個 token IDs；索引保存完整原文及截斷紀錄。

文件與問題不加前綴；使用 cl100k_base 精確計算輸入，超過 8192 tokens 時保留前 8192 個 token IDs；索引保存完整原文及截斷紀錄。

本評測使用完整 1024 維、encoding_format=float；文件與問題共用 encoder、不加前綴，一個 request 一筆文字、最多五個併發、首次發送間隔至少 0.2 秒。明確回報輸入超長時，以 API 驗證可接受的字元前綴，索引保存完整原文及截斷範圍。發送前節流排隊不計入延遲，API 往返、重試與前綴驗證仍計入。官方模型頁標示 8k context，價格 $0.10／1M tokens；輸出格式不代表內部推論精度。

英文模型；本評測使用完整 768 維、search_document／search_query 前綴、mean pooling、LayerNorm 與 L2 正規化；超過 8192 tokens 會截斷。

英文模型；文件與問題不加前綴，使用 mean pooling 與 L2 正規化；超過 256 tokens 會截斷。

REST /v1/rerank，每題一次送出100份文件；query+單份文件32000 tokens，query8000上限，單次合計600000 tokens，truncation=true。$0.05／1M tokens；計費=query tokens×文件數+全部文件tokens。內部精度未公布。價格於2026-10-15依官方 https://docs.voyageai.com/docs/pricing 查核；按 tokens 計費，非固定每題價格。本評測成本以5081題各送實際Top100候選，官方rerank-3／lite tokenizer相同（SHA-256已核對），離線共387269569 tokens、平均約76219.16 tokens／題估算；總計約$19.36、每題約$0.0038。以上按標準付費牌價估算，非實際帳單；排除免費額度、折扣、稅金、暖機、重試與第一階段檢索費。逐題計算與假設保存於results/reranker-cost-estimate.json，可用scripts/estimate_reranker_costs.py重算。

REST /v1/rerank，每題一次送出100份文件；query+單份文件32000 tokens，query8000上限，truncation=true。$0.02／1M tokens；計費=query tokens×文件數+全部文件tokens。內部精度未公布。價格於2026-10-15依官方 https://docs.voyageai.com/docs/pricing 查核；按 tokens 計費，非固定每題價格。本評測成本以5081題各送實際Top100候選，官方rerank-3／lite tokenizer相同（SHA-256已核對），離線共387269569 tokens、平均約76219.16 tokens／題估算；總計約$7.75、每題約$0.0015。以上按標準付費牌價估算，非實際帳單；排除免費額度、折扣、稅金、暖機、重試與第一階段檢索費。逐題計算與假設保存於results/reranker-cost-estimate.json，可用scripts/estimate_reranker_costs.py重算。

REST /v2/rerank，每題一次送出100份文件，max_tokens_per_doc=32768；query／文件共用32768 tokens context。內部精度未公布。2026-10-15 查核官方 API 價格：$2.50／1K 次，來源 https://cohere.com/pricing 的 Advanced retrieval models 分頁（非 Model Vault 專用部署）。一個 search unit 為一個 query 加最多100份文件；query＋單文件超過500 tokens 時分塊，每塊各算一份文件，故本次100份長文件可能超過一個計費單位；實際以 billed_units.search_units 為準。本評測成本以5081題實際Top100候選，採官方CohereLabs/rerank-v3.5 tokenizer代理估算（v4 tokenizer未可公開取得，不保證相同）；按每文件query＋document每500 tokens向上分塊、每題100塊一個search unit再向上取整，共估11943 units、平均2.3505 units／題；總計約$29.86、每題約$0.0059。token數±20%的敏感度情境為每題$0.0055–0.0062，非信賴區間。以上按標準付費牌價估算，非實際帳單；排除免費額度、折扣、稅金、暖機、重試與第一階段檢索費。逐題計算與假設保存於results/reranker-cost-estimate.json，可用scripts/estimate_reranker_costs.py重算。

固定 Jev jev-1.13.0，沿用 hev/reranker generic-1 Noul prompt；每次 API 只含一題query與一份文件全文，回傳0–1相關機率。每題由既有OpenAI text-embedding-3-small cosine Top100逐份評分後合併取5，同分保留召回順序，不截斷文件、不使用threshold。題目循序處理，題內最多100個HTTP請求並行，同時限制80 requests/s與估計100000 input tokens/s，重試共用配額；80 RPS是本評測帳戶目前Jev官方預設Rate limit，非測試額外限速，100份候選無法一次全部發送，相較gpt-6-luna-decisions-pointwise有配額上的速度劣勢，不能直接當成模型純推論速度比較。實務候選數可能少於80份，RPS瓶頸影響可能較小，仍受文件長度、token配額及帳戶其他流量影響；固定seed42排列只影響排程順序，其他候選不進入上下文。Latency為2601ms／題，採整批執行耗時換算，包含限流等待、API、重試、排序、題間配額恢復及結果存檔，不含第一階段召回。品質指標沿用合併DRCD＋TWSE全部5081題結果；每題參考成本依使用者指定採約$0.00535，保存usage成本明細見results/TypeSafe-AI-Jev-pointwise/drcd-twse-news-v1/cost.json，非實際帳單。

固定 Jev jev-1.13.0；參考 hev/reranker generic-1 Noul prompt，使用 JEV_API_KEY 直接呼叫 REST，未安裝 hev-rerank。每題 OpenAI small Top100，以 seed=42 加題目ID與query的SHA-256產生固定亂數排列，每批最多25份全文；context不足時再拆小，不截斷文件。每文件取0–1相關機率，合併全部100分數排序，同分保留第一階段順序。每題最多4個calls、跨題最多4題，全域最多16個HTTP請求，80 requests/s、估計100000 input tokens/s；重試共用限流，各worker重用連線。Latency為5781ms／題，採平均單題回應時間，包含組批、限流等待、API、重試與排序，不含第一階段召回及存檔；品質指標沿用合併全量結果。state加最長question共用32K、整個request64K，API無公布固定文件數上限。$0.042／1M input tokens，output免費；Jev模型專有，參考程式庫Apache-2.0。

llmranker listwise，底層模型 gpt-6-luna；每題先由 OpenAI small 召回100，再以20文件視窗、步長10、單輪重排取5。題內max_concurrency=100、跨題max_concurrency=1；9個相依視窗仍依序比較，實際題內並行為1。Latency為18071ms／題，採平均單題回應時間，包含API、重試與排序，不含第一階段召回及存檔；品質指標沿用合併全量結果。官方document prompt、全文不截斷、temperature=0、reasoning_effort=none、num_samples=1。整組共用1050000 context；單文件上限、內部精度及參數量未公布。程式庫MIT，底層模型專有API；依輸入／輸出tokens計費。參考每題約$0.018為使用者提供的本次評測估算，不是官方固定每題費率，實際依文件長度與輸入／輸出tokens變動。

REST /v2/rerank，每題一次送出100份文件，max_tokens_per_doc=32768；query／文件共用32768 tokens context。內部精度未公布。2026-10-15 查核官方 API 價格：$2.00／1K 次，來源 https://cohere.com/pricing 的 Advanced retrieval models 分頁（非 Model Vault 專用部署）。一個 search unit 為一個 query 加最多100份文件；query＋單文件超過500 tokens 時分塊，每塊各算一份文件，故本次100份長文件可能超過一個計費單位；實際以 billed_units.search_units 為準。本評測成本以5081題實際Top100候選，採官方CohereLabs/rerank-v3.5 tokenizer代理估算（v4 tokenizer未可公開取得，不保證相同）；按每文件query＋document每500 tokens向上分塊、每題100塊一個search unit再向上取整，共估11943 units、平均2.3505 units／題；總計約$23.89、每題約$0.0047。token數±20%的敏感度情境為每題$0.0044–0.0050，非信賴區間。以上按標準付費牌價估算，非實際帳單；排除免費額度、折扣、稅金、暖機、重試與第一階段檢索費。逐題計算與假設保存於results/reranker-cost-estimate.json，可用scripts/estimate_reranker_costs.py重算。

官方 question／passage prompt、雙向注意力；BF16、8192 tokens、SDPA。 固定模型 revision：828765652b05bd439c9789d2a6d093db1caa1443。

官方 listwise rerank；共同排序100個候選，131072 context；官方每份文件截斷8192 tokens、query1024 tokens。BF16、Flex Attention，保留官方hybrid sliding/global pattern；僅保留評分使用的最後hidden state，逐token前饋／RMSNorm分批。 固定模型 revision：e8a93f33f0b22108f8c2364f8484ce3422552fbc。

llmranker pointwise，底層模型 gpt-6-luna；每題先由 OpenAI small 召回100，逐份0–10分取5，同分保留召回順序。逐題執行、題內max_concurrency=100；使用100個持續存在的請求worker，沒有額外400 RPS節流。Latency為9262ms／題，採平均單題回應時間，包含API、重試與排序，不含第一階段召回及存檔；品質指標沿用合併全量結果。官方document prompt、全文不截斷、temperature=0、reasoning_effort=none、num_samples=1。context1050000；單文件上限、內部精度及參數量未公布。程式庫MIT，底層模型專有API；依輸入／輸出tokens計費。本評測約$0.00949／題為使用者提供的本次評測成本估算，實際依文件長度與輸入／輸出tokens變動。

固定revision ca7e1ee484c37c0ddd8d178a9a5c33cec575c5e6；官方CrossEncoder chat template與LogitScore（token 1減0，不套sigmoid）。FP16、SDPA；依官方前處理的有效長度分組，每批最多8份、padding後最多8192 tokens，實際截斷8192 tokens，模型規格32768；停用生成KV cache，還原全部100候選分數順序。已完成合併5081題／1651文件：Hit@5 97.1462%、MRR@5 0.945903，正式Latency由全量benchmark讀取。十題歷史試跑使用原固定batch8，與正式分批設定不同；抽樣延遲不作榜單數值。

多語言 Cross Encoder；每份文件與 Query 共用 8192 tokens 輸入預算（含特殊 tokens）。本機可分批重排文件清單，實際批次大小受可用記憶體限制。

OpenAI Decisions API的gpt-6-luna；沿用Jev generic-1問題與正反判準，以單一predicate的probability排序。每次僅含query與一份文件全文，Top100各自評分取5，同分保留召回順序。逐題執行、題內100並行、100個HTTP連線，沒有額外RPS節流；停用SDK自動重試，暫時性錯誤最多另試3次。只跑合併5081題，保留所有候選分數、usage及HTTP收據；不截斷、不暖機，Latency為1127ms／題，採逐題執行的平均單題回應時間，含連線、重試與排序，不含第一階段召回及存檔；品質指標沿用合併全量結果。輸入$0.10／1M tokens，無output費用；Decisions端點未單獨公布單文件token上限，完整payload仍受供應商context限制。本次508100份成功評分共490241979 input tokens，依標準牌價估算總$49.0242、平均$0.00964853／題；排除抽樣、失敗／未保存／重送及第一階段embedding費用，非實際帳單，見cost.json。

官方 Qwen3 causal LM 的 Yes logit／5 經 sigmoid 評分，system 放 Query、user 放文件並加 assistant 生成前綴；Query 最多2000字元、文件最多10000字元，截斷後去除頭尾空白。固定 revision a65fd51c450e9b47fdddab98e31166ecad21af8d，BF16、SDPA、右側padding、停用KV cache，只投影最後有效位置；最多8份／批，依實際tokens分組，padding預算4096，單份超過預算則獨立處理。已完成合併5081題／1651文件的全量評測與獨立核對；Latency採正式全量平均，先暖機一題，包含tokenization、資料傳輸、推論及Top5排序，不含載入、暖機、召回及存檔。十題實驗另存，不混入正式結果。

官方 XLM-RoBERTa 序列分類頭與 rerank 滑動視窗；每個 query／文件視窗共1024 tokens，query最多512 tokens，文件視窗重疊80 tokens（最多視窗容量的四分之一），長文件取各塊 sigmoid 分數最大值。BF16、batch8，停用 Flash Attention、使用官方 PyTorch 原生注意力。固定 revision 9cfeff2df7d40d1b78e75e5e9cebec92a99813c9，模型專屬環境固定 Transformers 4.57.6。只執行合併資料集 Top100→Top5。

官方 yes／no 最後 token logits 差值；英文檢索指令，左側 padding。實際評測 BF16、8192 tokens、SDPA；最多8 pairs／批，依長度分組，padding後每批最多16384tokens。 固定模型 revision：e61197ed45024b0ed8a2d74b80b4d909f1255473。

使用官方LiquidAI/d1-3B-GGUF的Q8_0權重，透過既有llama serve的原生decision端點；本次只載入文字模型2697198592參數，未掛載視覺編碼器，與官方含視覺模組的3.12B不同。沿用Jev generic-1 Noul相關性問題與正反判準，OpenAI small Top100逐文件獨立評分取5，同分保留召回順序。只跑合併5081題；逐題循序、題內最多100個HTTP請求並行，無額外RPS／TPS節流，worker重用連線。官方原生context為32768，本次服務context為8192；服務要求prompt嚴格小於context，故完整輸入最多8191 tokens，包含問題、文件、指令、選項及特殊tokens，優先保留問題並截斷文件尾端。以服務實際tokenizer計數並逐份核對回應usage。無額外暖機，Latency採全量每題平均，包含tokenization、截斷、HTTP等待／推論／重試與排序，不含召回與存檔；不以十題抽樣覆寫。遠端硬體未提供，HTTP並行量不代表服務端推論並行量；無供應商API牌價，未估算硬體成本。

固定revision 3ea9d4dffa7d12a4f366be8e275c349de9fc9865；官方CrossEncoder chat template與LogitScore（token 1減0，不套sigmoid）。FP16、SDPA、batch8，實際截斷8192 tokens（官方套件預設；模型相容32768）。只計算最後token logits，停用生成KV cache；全部100候選依原始順序還原分數。

官方 NewForSequenceClassification，以 Query／文件配對的原始 logits 排序，不加 prompt 或 sigmoid。FP16、8192 tokens、SDPA；最多8 pairs／批，依長度分組，padding後每批最多16384 tokens，再還原候選順序。固定權重 revision 8215cf04918ba6f7b6a62bb44238ce2953d8831c、官方 new-impl 程式碼 40ced75c3017eb27626c9d4ea981bde21a2662f4；模型專屬 uv 環境固定 Transformers 4.57.6。

Baseline：沿用 Embedding 榜同一資料集的 BM25 全文檢索 Top 5 分數，不執行 Reranker 重排；搜尋延遲請見 Embedding 榜。

Baseline：直接使用 OpenAI text-embedding-3-small 的向量檢索前 5 名，不執行 Reranker 重排。

Laya Multilingual的mmBERT-base與decision head，使用既有llama.cpp服務的Q8_0權重。沿用Jev generic-1 Noul相關性問題與正反判準；OpenAI small Top100逐文件獨立評分取5，同分保留召回順序。只評測合併5081題；逐題循序、題內最多100個HTTP請求並行，無額外RPS／TPS節流，每個worker重用連線。以服務實際tokenizer計算問題、文件、判斷指令、選項與特殊tokens，完整輸入最多8192 tokens，優先保留問題並截斷文件尾端；回應usage必須與完整prompt計數一致。無暖機，Latency採全量每題平均，包含tokenization、截斷、HTTP等待／推論／重試及排序，不含第一階段召回及存檔。遠端硬體未提供，客戶端並行量不代表服務端推論並行量；自架服務無供應商API牌價，未估算硬體成本。

英文 MS MARCO passage ranking 模型；以官方 Transformers 寫法計算原始 logits，分數越高越相關。本次同樣評測繁體中文資料，Query 與文件共用 512 tokens，採 FP16、batch size 8。