[繁體中文評測] 各家 LLM Tokenizer 分詞器

話說大語言模型 LLM 的運算和推論成本都是用 Tokens 數量來計算的,輸入的內容都得轉成 Tokens 序列來運算,輸出則轉回來。

但是呢,其實每一家用的 Tokenizer (分詞器)都不太一樣,因此相同的文本,拆出來的 tokens 數量是不一樣的。因此很多模型的推論成本比較、Context window 長度限制比較等等,實際應用時都不太準確,特別是非英文的語言,各家差異非常大。

一樣的文本,若能用比較少的 Tokens 數來表示,推論速度會比較快、成本也會比較划算,畢竟計價也是用 tokens 數計算的,先予敘明。

具體會差多少,以下是我的測試結果,使用了繁體中文約八萬多個字(政府報告和管理學講義)做出來的實驗結果。另外也做了英文也是約八萬字(兩篇部落格文章)。

閱讀全文〈[繁體中文評測] 各家 LLM Tokenizer 分詞器〉

愛好 AI Engineer 週報 🚀 生成式 AI 科普和使用心得 #10

歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這

我是 ihower,這一期推薦一些科普性質、工程師使用 ChatGPT 的心得文章。

🔝生成式人工智慧概述 影片

片長18分鐘的生成式 AI 概論,介紹了 GenAI 是什麼、基本原理、AI 時代的心態等等,是非常棒的入門科普影片,插圖動畫非常讚,推薦給所有人。

作者 Henrik Kniberg 也蠻眼熟的,十幾年前看過他的 Scrum and XP from the Trenches 書,是入門 Scrum 和 XP 非常棒的入門書。

閱讀全文〈愛好 AI Engineer 週報 🚀 生成式 AI 科普和使用心得 #10〉

愛好 AI Engineer 週報 🚀 各家新模型和觀察重點 #09

歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這

Hello! 你好 👋

我是 ihower,自上期發刊後,這一個多月各大廠商馬不停蹄推出了一批新模型,讓我們回顧一下消息和重點整理。

🔝Google Gemini Pro 1.5 (2024/2/15) 超長的 Context window 

Google 推出的 Gemini Pro 1.5 特色在於高達 1000k 的 context window,這對於 RAG 應用的開發將帶來不少影響,詳見我看技術報告的一些心得和留言。
不過一直到今天,無論是 Gemini Ultra 或是 Gemini Pro 1.5,都還是無法使用 API 方式進行實際評測,讓人對於不斷 ç¿» è»Š çš„ Google 感到憂心啊。 

🔥OpenAI Sora (2024/2/15) 無情輾壓競爭對手

在 2/15 同一天(故意?)發布,搶光 Google 風采的 OpenAI Sora,是個完全是降維打擊的 Text-to-Video 影片生成模型。
當人家的影片生成還只是幾秒鐘微微動幾下的時候,Sora 直接提升到長達一分鐘的短影片。
除了 OpenAI 的技術報告,微軟也有出篇 Paper å›žé¡§æ•´ç†ã€‚另外推薦以下兩個科普影片: 

* Sora,OpenAI 突破性的影片生成模型!10分鐘了解其原理以及可能的影響
* Sora Q&A | 何時可用?OpenAI 沒講的事?

閱讀全文〈愛好 AI Engineer 週報 🚀 各家新模型和觀察重點 #09〉

愛好 AI Engineer 週報 🚀 Product Hunt 2023 年度最佳產品 #08

歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這

Hello! 你好 ðŸ‘‹

春節就要到了,先在這兒向大家拜早年 ðŸ§§ðŸ§§ðŸ§§

🔝Golden Kitty Awards

知名新產品分享網站 Product Hunt 公佈了 2023 年度最佳新產品,果然是滿滿的 AI 風味。冠軍是 GPT-4 模型,接著是瀏覽器 Arc Max, 知識管理工具 Notion AI 和  Google Gemini 模型。更多和 AI 相關的得獎產品還有: 

* AI Model 有 GPT-4, Midjourney v5, DALL-E 3 和 Mistral 7B   
* AI Product 有 Dora AI (網頁生成)、Bard、Chat.D-ID (虛擬人對話)、Pika (影片生成)
* AI Features 有 Notion AI, Guidde AI (錄影轉成 Step-by-Step 文件)、Arc Max (瀏覽器)、Trickle (截圖轉知識庫)
* AI Infra 有 Langfuse(監控)、Eden AI (整合 LLM APIs)、LLM Spark (建立 LLM App)

閱讀全文〈愛好 AI Engineer 週報 🚀 Product Hunt 2023 年度最佳產品 #08〉

愛好 AI Engineer 週報 🚀 GPT-4V 影像解讀 評測特輯 #07

歡迎訂閱 愛好 Generative AI Engineer 電子報 ðŸ‘‰ aihao.eo.page/ai-engineer
過往期數點這

Hello! 你好 ðŸ‘‹
GPT-4V 和 Google Gemini 模型都有了影像解讀功能,讓之前需要特別用深度學習的影像辨識任務,變成了簡單的 API 呼叫。今天我們來深入看看這個功能。

🔝xkcd: Tasks

先分享一個時代情懷,這是 xkcd 在 2014 的梗圖,當時是想表達在CS領域中,很難跟一般人解釋簡單和幾乎不可能的任務。沒想到十年後的今天,這個影像解讀的任務也已經變成簡單了,任何 App 只需要呼叫 GPT-4V API 就可以做出來。

🎯影像解讀 Use Cases 應用分類

Greg Kamradt 的這則 tweet 貼文,整理了常見的 Use Cases 應用分類,以及網友的示範,非常豐富。

閱讀全文〈愛好 AI Engineer 週報 🚀 GPT-4V 影像解讀 評測特輯 #07〉

愛好 AI Engineer 週報 🚀 Claude 的 Prompting 實驗 #06

歡迎訂閱 愛好 Generative AI Engineer 電子報 👉 aihao.eo.page/ai-engineer
過往期數點這

Hello! 你好 ðŸ‘‹

我是 ihower,祝大家新年快樂~ Happy New Year~ ✨🎉

🔝可用 Prompt 大幅提升長文本的 Recall 效能

Anthropic 在11月底推出了 Claude 2.1,當時有個 Recall 評測(tweet) å¾ˆæ…˜çƒˆï¼Œåœ¨ 200K tokens 長上下文的情況下,放在 Prompt 中間的內容,模型時常會無法回憶起內容。必須要放在最前面或是最底部,才能接近 100% 的 Recall 效能,這對 RAG 的應用來說很重要。

Anthropic 在12月初做了回應,在這篇 Long context prompting for Claude 2.1 ä¸­ï¼Œé€éŽåŠ ä¸€å¥æç¤ºè©ž “Here is the most relevant sentence in the context:” 就大幅提升了Recall 效能從 27% 提升到 98%,就這一句 Prompt Engineering 技巧,分數提升非常多。

閱讀全文〈愛好 AI Engineer 週報 🚀 Claude 的 Prompting 實驗 #06〉