😆 👨🏻💻 📚 🚀 💰 ✨
Hello! 各位 AI 開發者大家好 👋
我是 ihower，感謝大家再次閱讀這期電子報！天氣漸涼了，大家注意保暖 ❄️
OpenAI 新推出了一項令人神奇的功能 Predicted Outputs: 如果輸出大部分的內容你已經知道，則可以大幅增加輸出的速度。這功能特別適合應用於需要重新生成文字或程式碼，但只有小幅修改的場景。
由於非常好奇其背後的原理，找到李宏毅老師在課堂中對這項技術 Speculative Decoding 的詳細解釋: 李宏毅老師的課程，非常推薦觀看。
閱讀全文〈愛好 AI Engineer 電子報 🚀 OpenAI 跟 Cursor 都在用的加速技術 Speculative Decoding #19〉
Hello! 各位 AI 開發者大家好 👋
我是 ihower，今天 10/31 萬聖節快樂！祝大家有個歡樂愉快的一天，颱風天在家也請注意安全。
這是月初 OpenAI DevDay 2024 舊金山場的重點整理，包括
OpenAI 在 9/12 推出的 o1 模型，採用了隱藏的 CoT，大幅提升了推理能力，但思考的 latency 時間也增加不少。我收集了一些資料分享給有興趣的朋友。
閱讀全文〈愛好 AI Engineer 電子報一週年啦 🚀 #18〉
這是 OpenAI DevDay 2024 舊金山場 10/1 的四大重點 
Hello! 各位 AI 開發者大家好 👋
我是 ihower，很高興這期跟大家分享我最近的演講內容。
這是我這個月演講分享的投影片，定義了 5-Level 開發 Prompt 的評估成熟度等級，幫助大家更好理解如何進行評估。如果資料不夠看的話，我還有整理筆記在這裡。
👍提示詞 Prompt 自動最佳化: Textgrad 和 DSPy 通用範例
Prompt 自動最佳化的思路，就是用 AI 迭代產生上百上千個提示詞，透過自動化評估，從中挑一個表現最好的 prompt。
延續評估驅動開發的演講內容，我用 Textgrad 和 DSPy 這兩個史丹佛大學出品的最佳化框架，分別做了通用範例。只需要給任務描述，就可以快速完成 Prompt 自動最佳化的過程，拿到厲害的 prompt 結果。
如果你對 Prompt 最佳化無法想像，Jason Liu 的這篇帶你簡單認識什麼是 Prompt 最佳化，從挑選 few-shot examples 開始。
Claude 推出的這個官方課程非常不錯，我推薦看 Real world prompting 這個，可以了解 prompt engineering 和手工做評估的過程。
👊OpenAI 能輸出你想要的格式 (JSON Schema)
YWC 寫的這篇結構化輸出文章很不錯。若要說哪一個功能是我最近開發 AI 最實用的功能，OpenAI 的 Structured Outputs 可以排第一。
透過定義 JSON Schema 可以確保回傳的 JSON 格式，經我實際使用上萬次的 API 呼叫都沒有 JSON 解析出錯，非常好用。
並且 OpenAI 借鑑了 Jason Liu 的 Instructor 框架，使用 Python 的 Pydantic 語法來定義 JSON Schema，整個 code 變得非常簡潔。
於是你就不需要其他結構化的框架了，基本上就是 Pydantic is all you need 和 Pydantic is STILL all you need。
可惜其他家模型目前還沒有這樣的功能，如果想找 structured LLM output 框架可以參考這篇跟這篇。
(2024/10/6) 補充: 這篇 Diving Deeper with Structured Outputs 不錯。
—
希望你會喜歡這期的內容，祝開發順利！
– ihower
Prompt 自動最佳化的思路，就是用 AI 迭代產生上百上千個提示詞，透過自動化評估，從中挑一個表現最好的 prompt。
延續 評估驅動開發 的演講內容，我用 Textgrad 和 DSPy 這兩個史丹佛大學出品的最佳化框架，分別做了通用範例。只需要給任務描述，就可以快速完成 Prompt 自動最佳化的過程，拿到厲害的 prompt 結果。
閱讀全文〈提示詞 Prompt 自動最佳化: Textgrad 和 DSPy 通用範例〉2024/9/11 在 Hello World Dev Conference 分享的演講投影片這裡下載 PDF (18.3mb)
後續有補充 Textgrad 和 DSPy 的最佳化 colab 通用範例在這裡。