ihower { blogging }

AI Engineer 週報 🚀 Writing Principles for Task-Tuned Prompt Engineering 筆記 #03

Hello! 你好 👋

AI Engineer Summit 已經過去快一個月，官方除了陸續釋出後製錄影，原先直撥沒有的 Workshop 也有資料了，讓我們來看看。

👍Writing Principles for Task-Tuned Prompt Engineering 筆記

這場由 Anthropic 的研究員 Karina Nguyen 帶來的 Prompting 演講，有錄影跟投影片。
一小時的演講，但內容其實蠻多的，需要花點時間才能吸收，我有寫了筆記整理，不一定要看錄影。

* 開場講了為何 Prompting 很難，以及一些 Principles。
* 一個案例是講者做的推薦系統，根據用戶輸入推薦適合的衣服，給 Criteria 和使用 CoT。
* 解說他們的 Paper: Question Decomposition Improves the Faithfulness of Model-Generated Reasoning 透過分解成子問題，可以提昇模型回答能力。 Anthropic 的做法跟其他人做 Decomposition 又有點不一樣，有興趣的話可以仔細研究差異。
* 解說他們 Blog: Prompt engineering for Claude’s long context window 這個實驗很有趣，可以一讀。

閱讀全文

愛好 AI Engineer 週報 🚀 Poe 的 LLM 模型排名 #02

Hello! 你好

我是 ihower，以下是本週 AI Engineer 電子報內容。

Poe bot ranking

Poe AI Chatbot 和 SurgeAI 合作，針對主流可商用的 LLM 進行了系統性評估和排名，代表實際用戶在 Poe 聊天機器人的使用情況。評估項目包括推理能力、非英語流利程度、創造力和寫作能力。以下是一些結果:

* GPT-4 在所有維度都是第一，其他模型只能搶第二名。當然，這裡沒考慮成本，GPT-4 的費用可是其他模型的數十倍昂貴。
* Google PaLM 在非英語能力排第二
* Claude 2 在推理能力排第二，這包括邏輯推理、益智推理、Coding 和計算等
* GPT-3.5-Turbo 在創造力跟寫作排第二

Poe 做的這個評測排行我覺得蠻實用的，目前有在雲端上提供 Token-based 計費的 API 服務，也就是 OpenAI, Google, Claude, Llama 這幾家主流模型。

閱讀全文

愛好 AI Engineer 週報 🚀 AI Engineer Summit 特輯 #01

Hello! 你好 👋

我是 ihower，這一期我們來分享上週在舊金山舉辦的第一屆 AI Engineer Summit 高峰會。

這場 Conference 的定位是針對軟體工程師，因此講者跟題目，和機器學習研究的研討會很不一樣。
沒有講 Transformer 深度學習模型、沒有講如何訓練模型、沒有講各種最新的 LLM 模型發展，投影片也很少提到 papers。
而是更多談開發框架、評估、RAG、Agents、AI 產品、UX 等等議題。

閱讀全文