Hello! 你好 👋
AI Engineer Summit 已經過去快一個月，官方除了陸續釋出後製錄影，原先直撥沒有的 Workshop 也有資料了，讓我們來看看。
👍Writing Principles for Task-Tuned Prompt Engineering 筆記
這場由 Anthropic 的研究員 Karina Nguyen 帶來的 Prompting 演講，有錄影跟投影片。
一小時的演講，但內容其實蠻多的，需要花點時間才能吸收，我有寫了筆記整理，不一定要看錄影。
* 開場講了為何 Prompting 很難，以及一些 Principles。
* 一個案例是講者做的推薦系統，根據用戶輸入推薦適合的衣服，給 Criteria 和使用 CoT。
* 解說他們的 Paper: Question Decomposition Improves the Faithfulness of Model-Generated Reasoning 透過分解成子問題，可以提昇模型回答能力。 Anthropic 的做法跟其他人做 Decomposition 又有點不一樣，有興趣的話可以仔細研究差異。
* 解說他們 Blog: Prompt engineering for Claude’s long context window 這個實驗很有趣，可以一讀。
他們選了一份政府文件，首先拆 chunks 用 prompt 產生多選題，然後再用 (多選題+相關的那一個chunk+其他無關的隨機chunks塞滿95k長度) 這樣組起來去評估模型回答問題的能力。
結論是:
1.在 doc Q&A 中，將問題放在結尾問，效果比開頭好
2. 相關內容放在結尾時，效果比開頭好
3. 用其他不相關的隨機 few-shots 沒幫助
4. 5 shots 比 2 shots 好
5. 用 scratchpad 技巧有幫助，這招是指 prompt 指示模型先給 2-3 個相關內容再給答案
最後還有一些 Tips 跟策略也很不錯
1. 可以把話塞到 AI 嘴裡，也就是呼叫 API 時，除了 user 的訊息，你也給了 assistant 的回應訊息當作範例。
2. 讓 assistant 重複你的指示。而且這個重複的指示，也是你塞到模型嘴裡的。
3. 指示模型能說 I don’t know
詳細可以看我的筆記搭配投影片理解。
講者 Charles Frye 是 The Full Stack 的深度學習老師，他們的 LLM 課程很讚也有釋出錄影(我的筆記在這裡)。
回到這份投影片內容也不少，可惜沒找到錄影。內容比較進階包括：
Part 1 談 Running Inference，需要處理部署的機器學習工程師可以看看
Part 2 談 The Rest of the F*cking Owl 內容是 架構模式、監控跟評估等
🎯其他 AI Engineer Summit Workshop 資料
* AI Engineering 101: [投影片]
* Finetuning: [錄影] 使用 gradient.ai/ 來做微調
* Llamaindex 的 Building, Evaluating, and Optimizing your RAG App for Production [程式碼] [投影片]
* LangChain 的 Function calling and tool usage with LangChain and OpenAI [程式碼]
👊更多 Claude 出的 Prompt Engineering 學習資料
上面那場 Prompt Engineering 演講，讓我對 Anthropic 的 Claude 模型感到很有興趣。
若你有申請官方的 Claude API 的話，在申請通過之後的郵件有給一些學習資料:
* Prompt design documentation 這是官方文件
* Overview of Anthropic models and prompting 投影片 這有24頁
* Prompting Basics Course 投影片 這有62頁
不像 OpenAI 的 Chat API 使用 messages 陣列參數，Claude 只用一個 prompt 字串參數。但這個字串一定是 Human: 開頭，然後其中用 Assistant: 代表模型回覆。
—-
希望你會喜歡這份週報，下週就是 OpenAI DevDay 了，據說會有 GPT-4V API 以及 API 大降價，好期待啊啊啊。
– ihower