愛好 AI Engineer 電子報 🚀 AI Engineer World’s Fair 大會 #14

Hello! 你好 👋

我是 ihower,近期全球 AI 工程師最關心的事情,就是在舊金山的 AI Engineer World’s Fair 2024 大會啦 🎉🎉

這次大會有好幾軌,涉獵的主題包括 CodeGen, Open Models, RAG, Multimodality, GPUs, Evals, and Agents 等等。

目前釋出的直播錄影只有公開其中兩天兩軌,但長度也是約 8.5+8.5+3.5+4 約 24 小時的長度。
如何用最短時間,吸收這麼長的英文演講內容呢? 我跟 Claude 3.5 Sonnet 協作寫了個自動化程式,可將影片轉成 不重複圖片 搭配 語音辨識字幕 網頁,並加上中文翻譯。因為看文字的速度,比看影片還快。如果投影片看到有興趣的,旁邊就可以看到對應的逐字稿,不會有漏掉的內容,逐字跟現場畫面都有。

我陸續整理中的截圖和逐字稿都放在這裡,以下介紹幾場內容: 

閱讀全文〈愛好 AI Engineer 電子報 🚀 AI Engineer World’s Fair 大會 #14〉

愛好 AI Engineer 電子報 🚀 新的軟體開發時代來臨 #13

Hello! 你好 👋

我是 ihower,這期開始有個新系列是 Google Colab 分享,我會製作既實用又帶有教學意義的小程式給大家。

🔝With AI, Anyone Can Be a Coder Now | Thomas Dohmke | TED

要如何理解生成式 AI 會如何影響軟體開發?

閱讀全文〈愛好 AI Engineer 電子報 🚀 新的軟體開發時代來臨 #13〉

愛好 AI Engineer 電子報 🚀 OpenAI 發表 Model Spec #12

🔝OpenAI Model Spec

這份文件不但描述了 OpenAI 心目中理想的模型行為,也默默預告了一些之後新模型會有的功能,對於開發者來說非常值得一讀。 而且都有對話舉例,非常具體,很多設計難題隱藏在棘手的場景中,如何回答的好真的見仁見智。 以下是我看到的一些關鍵內容:

閱讀全文〈愛好 AI Engineer 電子報 🚀 OpenAI 發表 Model Spec #12〉

淺談 Prompt 自動最佳化工具

這是 2024/4/17 我在生成式 AI 小聚做的一場10分鐘短講,介紹幾套 Prompt 自動最佳化的工具和 Papers 發展:

投影片: gamma.app/docs/Prompt–hjhqmaqlpqtcfxo

以下是所有引用到的內容連結:

使用繁體中文評測各家 LLM Tokenizer 分詞器

想系統性學習如何打造 LLM、RAG 和 Agents 應用嗎? 歡迎報名我的課程 大語言模型 LLM 應用開發工作坊

Updated(2024/5/14) 更新上 GPT-4o (o200k_base),這次 OpenAI 有更換 Tokenizer 進步非常非常多。

Updated(2024/4/21) 更新上 Llama 3,這次 Meta 有更換 Tokenizer 進步非常非常多。

話說大語言模型 LLM 的運算和推論成本都是用 Tokens 數量來計算的,輸入的內容都得轉成 Tokens 序列來運算,輸出則轉回來。

但是呢,其實每一家用的 Tokenizer (分詞器)都不太一樣,因此相同的文本,拆出來的 tokens 數量是不一樣的。因此很多模型的推論成本比較、Context window 長度限制比較等等,實際應用時都不太準確,特別是非英文的語言,各家差異非常大。

一樣的文本,若能用比較少的 Tokens 數來運算,推論速度會比較快、成本(運算資源)也會比較划算,畢竟計價也是用 tokens 數計算的,先予敘明。

具體會差多少,以下是我的測試結果,使用了繁體中文約八萬多個字(政府報告和管理學講義)做出來的實驗結果。另外也做了英文也是約八萬字(兩篇部落格文章)。

閱讀全文〈使用繁體中文評測各家 LLM Tokenizer 分詞器〉