愛好 AI Engineer 週報 🚀 Claude 的 Prompting 實驗 #06

Hello! 你好 👋

我是 ihower,祝大家新年快樂~ Happy New Year~ ✨🎉

🔝可用 Prompt 大幅提升長文本的 Recall 效能

Anthropic 在11月底推出了 Claude 2.1,當時有個 Recall 評測(tweet) 很慘烈,在 200K tokens 長上下文的情況下,放在 Prompt 中間的內容,模型時常會無法回憶起內容。必須要放在最前面或是最底部,才能接近 100% 的 Recall 效能,這對 RAG 的應用來說很重要。

Anthropic 在12月初做了回應,在這篇 Long context prompting for Claude 2.1 中,透過加一句提示詞 “Here is the most relevant sentence in the context:” 就大幅提升了Recall 效能從 27% 提升到 98%,就這一句 Prompt Engineering 技巧,分數提升非常多。

閱讀全文〈愛好 AI Engineer 週報 🚀 Claude 的 Prompting 實驗 #06〉

愛好 AI Engineer 週報 🚀 Google Gemini 各家後續回應 #05

Hello! 你好 👋

Google 本月初推出了大家期待已久的 Gemini 模型,其中 Ultra 版本對標 GPT-4、Pro 對標 GPT-3.5、Nano 則是給手機裝置使用。

目前英文版 Bard 和 API 已經可使用 Pro 版,而 Ultra 則是說明年才會釋出。

這一期讓我們看看 Google Gemini 推出後的後續迴響,這裡有三條戰線,讓我們展開看看。

閱讀全文〈愛好 AI Engineer 週報 🚀 Google Gemini 各家後續回應 #05〉

AI Engineer 週報 🚀 Writing Principles for Task-Tuned Prompt Engineering 筆記 #03

Hello! 你好 👋

AI Engineer Summit 已經過去快一個月,官方除了陸續釋出後製錄影,原先直撥沒有的 Workshop 也有資料了,讓我們來看看。

👍Writing Principles for Task-Tuned Prompt Engineering 筆記

這場由 Anthropic 的研究員 Karina Nguyen 帶來的 Prompting 演講,有錄影跟投影片。
一小時的演講,但內容其實蠻多的,需要花點時間才能吸收,我有寫了筆記整理,不一定要看錄影。

* 開場講了為何 Prompting 很難,以及一些 Principles。
* 一個案例是講者做的推薦系統,根據用戶輸入推薦適合的衣服,給 Criteria 和使用 CoT。
* 解說他們的 Paper: Question Decomposition Improves the Faithfulness of Model-Generated Reasoning 透過分解成子問題,可以提昇模型回答能力。 Anthropic 的做法跟其他人做 Decomposition 又有點不一樣,有興趣的話可以仔細研究差異。
* 解說他們 Blog: Prompt engineering for Claude’s long context window 這個實驗很有趣,可以一讀。

閱讀全文〈AI Engineer 週報 🚀 Writing Principles for Task-Tuned Prompt Engineering 筆記 #03〉