想系統性學習如何打造 LLM、RAG 和 Agents 應用嗎? 歡迎報名我的課程 大語言模型 LLM 應用開發工作坊
Updated(2024/5/14) 更新上 GPT-4o (o200k_base)，這次 OpenAI 有更換 Tokenizer 進步非常非常多。
Updated(2024/4/21) 更新上 Llama 3，這次 Meta 有更換 Tokenizer 進步非常非常多。
話說大語言模型 LLM 的運算和推論成本都是用 Tokens 數量來計算的，輸入的內容都得轉成 Tokens 序列來運算，輸出則轉回來。
但是呢，其實每一家用的 Tokenizer (分詞器)都不太一樣，因此相同的文本，拆出來的 tokens 數量是不一樣的。因此很多模型的推論成本比較、Context window 長度限制比較等等，實際應用時都不太準確，特別是非英文的語言，各家差異非常大。
一樣的文本，若能用比較少的 Tokens 數來運算，推論速度會比較快、成本(運算資源)也會比較划算，畢竟計價也是用 tokens 數計算的，先予敘明。
具體會差多少，以下是我的測試結果，使用了繁體中文約八萬多個字(政府報告和管理學講義)做出來的實驗結果。另外也做了英文也是約八萬字(兩篇部落格文章)。
閱讀全文〈使用繁體中文評測各家 LLM Tokenizer 分詞器〉
