AI Engineer 週報 🚀 Writing Principles for Task-Tuned Prompt Engineering 筆記 #03

歡迎訂閱 愛好 Generative AI Engineer 電子報 👉 aihao.eo.page/ai-engineer

Hello! 你好 ðŸ‘‹

AI Engineer Summit 已經過去快一個月,官方除了陸續釋出後製錄影,原先直撥沒有的 Workshop 也有資料了,讓我們來看看。

👍Writing Principles for Task-Tuned Prompt Engineering 筆記

這場由 Anthropic çš„研究員 Karina Nguyen 帶來的 Prompting 演講,有錄影跟投影片。
一小時的演講,但內容其實蠻多的,需要花點時間才能吸收,我有寫了筆記整理,不一定要看錄影。

* 開場講了為何 Prompting 很難,以及一些 Principles。
* 一個案例是講者做的推薦系統,根據用戶輸入推薦適合的衣服,給 Criteria 和使用 CoT。
* 解說他們的 Paper: Question Decomposition Improves the Faithfulness of Model-Generated Reasoning é€éŽåˆ†è§£æˆå­å•é¡Œï¼Œå¯ä»¥ææ˜‡æ¨¡åž‹å›žç­”能力。 Anthropic 的做法跟其他人做 Decomposition 又有點不一樣,有興趣的話可以仔細研究差異。
* 解說他們 Blog: Prompt engineering for Claude’s long context window é€™å€‹å¯¦é©—很有趣,可以一讀。

他們選了一份政府文件,首先拆 chunks 用 prompt 產生多選題,然後再用 (多選題+相關的那一個chunk+其他無關的隨機chunks塞滿95k長度) 這樣組起來去評估模型回答問題的能力。


結論是: 

1.在 doc Q&A 中,將問題放在結尾問,效果比開頭好
2. 相關內容放在結尾時,效果比開頭好
3. 用其他不相關的隨機 few-shots 沒幫助
4. 5 shots 比 2 shots 好
5. 用 scratchpad 技巧有幫助,這招是指 prompt 指示模型先給 2-3 個相關內容再給答案


最後還有一些 Tips 跟策略也很不錯

1. 可以把話塞到 AI 嘴裡,也就是呼叫 API 時,除了 user 的訊息,你也給了 assistant 的回應訊息當作範例。
2. 讓 assistant é‡è¤‡ä½ çš„指示。而且這個重複的指示,也是你塞到模型嘴裡的。
3. 指示模型能說 I don’t know

詳細可以看我的筆記搭配投影片理解。

🔝AI Engineering 201 投影片

講者 Charles Frye 是 The Full Stack çš„深度學習老師,他們的 LLM 課程很讚也有釋出錄影(我的筆記在這裡)。

回到這份投影片內容也不少,可惜沒找到錄影。內容比較進階包括:

Part 1 談 Running Inference,需要處理部署的機器學習工程師可以看看
Part 2 談 The Rest of the F*cking Owl 內容是 架構模式、監控跟評估等

🎯其他 AI Engineer Summit Workshop 資料

* AI Engineering 101: [投影片]
* Finetuning: [錄影] ä½¿ç”¨ gradient.ai/ 來做微調
* Llamaindex 的 Building, Evaluating, and Optimizing your RAG App for Production [程式碼] [投影片]
* LangChain 的 Function calling and tool usage with LangChain and OpenAI [程式碼] 

👊更多 Claude 出的 Prompt Engineering 學習資料

上面那場 Prompt Engineering 演講,讓我對 Anthropic 的 Claude 模型感到很有興趣。
若你有申請官方的 Claude API 的話,在申請通過之後的郵件有給一些學習資料: 

Prompt design documentation é€™æ˜¯å®˜æ–¹æ–‡ä»¶
Overview of Anthropic models and prompting 投影片 é€™æœ‰24頁
Prompting Basics Course æŠ•å½±ç‰‡ é€™æœ‰62頁

不像 OpenAI 的 Chat API 使用 messages 陣列參數,Claude 只用一個 prompt 字串參數。但這個字串一定是 Human: 開頭,然後其中用 Assistant: 代表模型回覆。

—-


希望你會喜歡這份週報,下週就是 OpenAI DevDay äº†ï¼Œæ“šèªªæœƒæœ‰ GPT-4V API 以及 API 大降價,好期待啊啊啊。

– ihower

發佈留言

發表迴響

%d 位部落客按了讚: