Context Engineering 這個詞最近在 AI 技術圈被提出，包括 Tobi Lütke (Shopify CEO)、大神 Andrej Karpathy、Harrison Chase (LangChain 創辦人) 、Jerry Liu (Llamaindex 創辦人)、大神 Simon Willison 等大大都在討論。過去大家熟知的是 Prompt Engineering，但現在發現這詞已經不夠涵蓋目前大家在做的事情，而且更多人誤認為這只是改 prompt 而已，技術圈需要一個新術語能更廣泛統稱 Context 相關工作。
什麼是 Context Engineering?
開發 AI 應用需要建構一個系統，動態根據當前任務和狀態，提供正確的資訊和工具給 LLM 大模型，讓它有足夠的條件完成任務，這就叫做 Context Engineering 上下文工程。
Tobi Lütke (Shopify CEO) 說：「我真的喜歡 context engineering 這個詞勝過 prompt engineering。它更好地描述了核心技能: 提供所有上下文讓 LLM 能合理解決任務的藝術。」
LangChain 在 “The rise of “context engineering” 文章中說：「Context engineering 是建構動態系統，以正確的格式提供正確的資訊和工具，使 LLM 能夠合理地完成任務。」
Andrej Karpathy 說: 「LLM 就像新型作業系統，模型是 CPU，而 Context window 就是 RAM。Context engineering 是精巧地把對的資訊在對的時機塞進 context window 的微妙藝術與科學。」
Context 包含什麼？
在 Philipp Schmid 的 The New Skill in AI is Not Prompting, It’s Context Engineering 文章 中， 列舉了Context 不僅僅是你傳送給 LLM 的那段 prompt，而是模型在回應之前所看到的所有內容，這包括
- Instructions / System Prompt: 定義模型行為的初始指令，包含範例、規則
- User Prompt: 使用者的即時任務或問題
- State / History: 當前對話，包含所有使用者和模型的回應（短期記憶）
- Long-Term Memory: 跨對話的持久知識庫，包含學習到的使用者偏好、過去專案摘要、被告知要記住的事實
- Retrieved Information (RAG): 外部的最新知識，從文件、資料庫或 API 檢索的相關資訊
- Available Tools: 所有可呼叫的函數或工具定義（如 check_inventory、send_email）
- Structured Output: 模型回應格式的定義，例如 JSON 物件
Context Engineering 的四種方法
Lance Martin (LangChain 核心開發者) 寫了一篇 Context Engineering for Agents 文章，將上下文工程會用到的方法歸納為四類：
1. 寫入 Context:
將資訊保存在 context window 之外，例如跨對話記憶(Memory)用戶偏好，形成長期記憶。ChatGPT、Cursor、Windsurf 都有自動生成長期記憶的機制。
2. 選擇 Context
將相關內容拉進 context window，這包括從 Memory 拉出需要的回憶、根據當下任務動態挑選工具，以及 RAG 檢索技術。
3. 壓縮 Context
由於模型有 context window 限制，在超過某個閥值時，我們只保留執行任務所需的 tokens。例如 Claude Code 在超過 95% context window 時執行會 auto-compact，將目前狀態總結存下來，再重新開始。或是其他修剪方式。
4. 隔離 context
將 context 拆分以協助任務執行，例如 OpenAI Agnets SDK 的 Agents as Tools，Anthropic 的 Multi-Agent Research 等等，都是把任務拆分到另一個 Sub Agent 去執行，執行完成回來就只會有總結後的 context，如此大幅節省主 Agent 的 context。
為何 Context Engineering 重要?
LLM 就像一位被關在房間裡的天才，無法主動學習或操作世界，也沒辦法存取即時資訊或使用電腦。大模型的「原始智力」不等於「智慧軟體系統」。大模型 LLM 的「智力」只是基石，要把它轉化成真正有效的智慧系統，還需要兩個關鍵:
- 🔧 工具整合: 讓模型能實際操作、查資料、記憶與回應
- 📦 正確上下文(context): 依照任務動態提供模型需要知道的資訊
上下文管理往往是打造強大 Agent 最困難的部分，Context 並非免費，每個 token 都是成本，也都會影響模型行為。
這就是 Context Engineering: 動態處理「LLM 在當前任務中所需要的所有資訊和工具」。建立強大可靠的 AI 系統越來越不是找到某個神奇的 prompt 或換更厲害的模型，而在於在正確的時間，提供正確的 context 和工具。
🧠 想系統性學習 Context Engineering? 歡迎參考我的課程 👉 大語言模型 LLM 應用開發工作坊