ihower { blogging }

愛好 AI Engineer 電子報 🚀 什麼是 AI Evals 錯誤分析 #30

Hello! 各位 AI 開發者大家好 👋

我是 ihower，不知不覺這是第 30 期啦，感謝你一路以來的訂閱與支持 🙏

如果喜歡輕鬆交流和分享最新消息，歡迎加入 Telegram 討論群！

🧭 A Field Guide to Rapidly Improving AI Products

Hamel Husain 分享了真正成功的 AI 團隊的六個評估迭代策略:

錯誤分析才是王道，別沈迷漂亮的 dashboard 通用指標
最重要的投資：客製化的數據檢視介面
讓領域專家直接寫 Prompt
用合成數據起步
保持評估系統的可信度，用二元判斷取代模糊分數
路線圖要數實驗，不是數功能

先建評估基礎設施，再考慮具體功能。聽起來很慢，實際上是最快的路。

❓ AI Evals 課程的 FAQ

Hamel Husain 和 Shreya Shankar 整理了他們 AI Evals 課程的 FAQ，收集了教 700+ 工程師和 PM 後最常被問的問題。包括:

錯誤分析 (Error Analysis) 是王道
自建評估介面比現成工具好
二元評估 > 李克特量表(1-5分)
RAG 沒死，只是要用對方法
別用現成的通用指標，這些指標對大部分 AI 應用都沒用

🕵️‍♀️ 什麼是錯誤分析 Error analysis ?

上兩篇都重點提到錯誤分析，我整理了一篇文章來講什麼是 AI 應用評估的錯誤分析。文長請直接看我 blog 文章。

針對沒有標準答案的問答評估(對比有標準答案的是指單選、多選等有固定答案)，這裏不同於常見的 G-Eval 評估方式採用正面表列，根據你的 Criteria 做評估量測打分(例如1~5分有多符合)。
這裏教的方法是先做錯誤分析，拿到具體的負面表列後，後續再針對 “每一種” 失敗模式都來做評估量測和改進。

閱讀全文

什麼是 AI 應用評估的錯誤分析 Error Analysis?

最近在上 Hamel + Shreya 的 AI Evals For Engineers & PMs 課程，這應該是市面上最深入探討 AI 應用評估的課程了。以下根據網上有公開的內容，整理一篇精華內容(大約是課程的前1/4內容)。

如果你正在開發 AI 應用，應該都遇過這種情況：產品做出來了，看起來還行，但總覺得哪裡怪怪的。使用者抱怨一些奇怪的問題，但你不知道從何改起。這篇文章要介紹的就是評估和錯誤分析 Error Analysis 系統性方法。

閱讀全文

愛好 AI Engineer 電子報 🚀 新技能組合 Context Engineering 上下文工程 #29

Hello! 各位 AI 開發者大家好 👋

我是 ihower，這一期電子報的內容依然非常豐富，好內容太多可以寫。我的分享大多會首發在 Facebook 上，如果不怕吵想第一時間收到通知，可以加入我的 Facebook 廣播頻道。

🔍 什麼是 Context Engineering 上下文工程?

Context Engineering 這個詞最近在 AI 技術圈被提出，能更廣泛統稱所有 Context 的動態管理。這篇文長有很多引用出處，請至我的 Blog 看全文。

更多討論在我 Facebook 貼文。

🧑‍🚀 大神 Andrej Karpathy 的最新演講 Software Is Changing 影片

大神 Andrej Karpathy 的最新演講 Software Is Changing (Again)

軟體正在經歷 70 年來最根本的變化: 軟體進化三階段
LLM = 新作業系統
允許可以部分自主的 Agent 應用
軟體設計要服務三種用戶: 人類（GUI）+ 程式（API）+ AI Agent（新介面）
這是軟體史的關鍵轉折點

除了看影片，也可以看我的逐字稿截圖整理，這個網頁的用法是: 1. 直接用沈浸式網頁翻譯 2. 或是右上角我有做 Copy Transcript 可以複製回去，給你的 AI 用你喜歡的方式整理出你想要的內容，例如這我用 Claude 整理後變成的文章。

更多討論在我 Facebook 貼文。

閱讀全文

什麼是 Context Engineering 上下文工程?

歡迎訂閱 📬 愛好 AI Engineer 電子報過往期數點這 📚

Context Engineering 這個詞最近在 AI 技術圈被提出，包括 Tobi Lütke (Shopify CEO)、大神 Andrej Karpathy、Harrison Chase (LangChain 創辦人) 、Jerry Liu (Llamaindex 創辦人)、Simon Willison 等大大都在討論+1。過去大家熟知的是 Prompt Engineering，但現在發現這詞已經不夠涵蓋目前大家在做的事情，而且更多人誤認為這只是撰寫靜態的提示詞而已，而忽略了背後所需要的工程技術。技術社群需要一個新術語能更廣泛統稱所有 Context 的動態管理，包括 System/User prompt、RAG、Memory、Tool Calling、結構化輸出、Agent、Multi-Agents 等等。