ihower { blogging }

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

Hello! 各位 AI 開發者大家好 👋

我是 ihower，這集是 AI Agents 代理人特輯，以下是我的推薦內容。

🔝 淺談 LLM-based AI Agents 應用開發 投影片

這是我在 WebConf Taiwan 2024 分享的演講投影片 PDF(14mb)。雖是淺談但自認誠意滿滿，相信只看投影片也能有不少收穫。

以下是議程介紹:

AI Agent！Multi-Agents！Agentic Workflow! 這些充斥業界的 buzzword 被吹捧得如夢似幻，這場演講將深入淺出探討這項技術，用樸實的技術實作說明其核心原理，揭示其真實的運作、能力範疇與侷限。希望能讓您遇到這些 buzzword 時，不再只是被表面所迷惑，而是能夠看穿其技術本質，洞悉浮華背後的真相。

👍 Building effective agents

由 Anthropic 闡述了關於 Agents 和 Workflow 架構的邏輯，以及常見的設計模式。非常值得一讀。在我投影片中也有引用並補充案例。

開發 LLM 應用的目標並不是要建立最複雜的系統，而是根據需求建立合適的系統。從簡單的提示開始，通過評估最佳化。當需要更多複雜性時，Workflow 提供可控性和一致性。當需要更靈活的模型驅動決策時，代理人 Agent 上場。

閱讀全文〈愛好 AI Engineer 電子報 🚀 代理人 AI Agents 特輯 #21〉

Hello! 各位 AI 開發者大家好 👋

我是 ihower，最近大家有關心 OpenAI 連續 12 天的直播發佈會嗎?
不過到目前為止(Day 7)主要都是關於 ChatGPT 產品面的發表，還沒有看到關於開發者 API 的新東西馬上可以玩。

🔝 Inference, Fast and Slow

這篇文章提供了一個圖表是目前模型的推論範式有哪些，算是小小的複習一下。
現在除了大模型小模型，還有最便宜的批次跑、推理型 o1 最聰明、即時 realtime 型(現在還很貴)、快速編輯型(就上一篇電子報我們提到的)。

👍 Developer Roadmap

知名的 Developer Roadmap 路線圖現在也包括 AI Engineer 跟 Prompt Engineering Roadmap 了，可以檢查看看你的 AI 知識點有沒有點齊。

閱讀全文〈愛好 AI Engineer 電子報 🚀 AI Engineer 的學習 Roadmap #20〉

Hello! 各位 AI 開發者大家好 👋

我是 ihower，感謝大家再次閱讀這期電子報！天氣漸涼了，大家注意保暖 ❄️

🔝 OpenAI Predicted Outputs

OpenAI 新推出了一項令人神奇的功能 Predicted Outputs: 如果輸出大部分的內容你已經知道，則可以大幅增加輸出的速度。這功能特別適合應用於需要重新生成文字或程式碼，但只有小幅修改的場景。

由於非常好奇其背後的原理，找到李宏毅老師在課堂中對這項技術 Speculative Decoding 的詳細解釋: 李宏毅老師的課程，非常推薦觀看。

閱讀全文〈愛好 AI Engineer 電子報 🚀 OpenAI 跟 Cursor 都在用的加速技術 Speculative Decoding  #19〉

Hello! 各位 AI 開發者大家好 👋

我是 ihower，今天 10/31 萬聖節快樂！祝大家有個歡樂愉快的一天，颱風天在家也請注意安全。

🔝 OpenAI DevDay 2024 重點整理

這是月初 OpenAI DevDay 2024 舊金山場的重點整理，包括

1. Realtime API 你也可以做出 ChatGPT 進階語音模式在你的 app 了，這將帶來一整個新世代的語音 app
2. Prompt caching 不用額外設置，命中快取就自動有 50% 折扣
3. Vision fine tuning 視覺圖片微調 gpt-4o
4. Model distillation & eval tools! 模型蒸餾和評估工具

👍 我的 OpenAI o1 的資料整理

OpenAI 在 9/12 推出的 o1 模型，採用了隱藏的 CoT，大幅提升了推理能力，但思考的 latency 時間也增加不少。我收集了一些資料分享給有興趣的朋友。

閱讀全文〈愛好 AI Engineer 電子報一週年啦 🚀 #18〉