> 歡迎訂閱我的 [AI Engineer 電子報](https://aihao.eo.page/6tcs9) 和瀏覽 [[Generative AI Engineer 知識庫]] 影片: https://www.youtube.com/watch?v=YXiRbRacTF0 > 不是特別講技術的演講，而是了解 OpenAI 研究和產品 之間的關係，以及他們是如何思考產品化對設計模型的影響 * Going back to October 2022 * 當時在考慮產品要做 general 或特定任務 * 以及當時內部已經在用 GPT-4，但產品要用 GPT-3.5。因為前者還沒準備好釋出 ## Post-training research team * 在訓練後，在 ChatGPT 和 APT 之前進行採用 * 做增強模型的研究 * 教模型如何 behave * 研究時程從 1 day 到 1 year 以上都有可能 ![[Pasted image 20231124092754.png]]![[Pasted image 20231124092921.png]] ![[Pasted image 20231124093009.png]] 以前是訓練特定任務 ![[Pasted image 20231124093022.png]] 現在通用化了 ![[Pasted image 20231124094034.png]] UI 變簡單了 ![[Pasted image 20231124094130.png]] ![[Pasted image 20231124094145.png]] 一般人也可以了解 AI 在幹嘛了 ![[Pasted image 20231124094159.png]] ## Product helping Research 研究和產品互相回饋 ![[Pasted image 20231124094256.png]] ![[Pasted image 20231124094353.png]] ![[Pasted image 20231124094409.png]] * The product is a meaningful and smooth objective towards general intelligence * 產品可以幫助研究，有實際用戶數據回饋 ### (換 Joanne Jang 上台) ![[Pasted image 20231124094637.png]] * The model is the product ## Product at OpenAI * 3 relatively unique aspects * Ambiguity++ * OpenAI 的目標不是傳統產品指標，例如營收 * 最高目標是要 AGI 是造福人類，但這目標太高層次模糊了，對我們中間定義 milestone, 優先順序時，我們會有哲學上的討論歧異 * Technology first * 標準的產品開發，是從用戶需求開始 * 從頭思考問題從何開始 * 但 OpenAI PM 必須思考如何將研究導入產品 * Research collaboration * OpenAI 的產品和研究合作程度超高 * 別家是研究做完，丟給產品就結束了 ## Taking a bet on dialogue interfaces ![[Pasted image 20231124095452.png]] * GPT-3 會預測下一次詞，但沒有對齊用戶需求 ![[Pasted image 20231124095639.png]] * InstructGPT 可以對齊用戶需求了，但只有一次QA往返，沒有對話 ![[Pasted image 20231124095733.png]] * ChatGPT 有訓練多輪對話資料了，可以對話了 * 對話讓我們不需要一直重複輸入上下文 * 人類習慣用對話來教，方便我們可以教模型學習新行為 ## Designing model behavior * 從產品角度來看，我們很關注 "intuitive" 直覺 ![[Pasted image 20231124100343.png]] ![[Pasted image 20231124100403.png]] AI 這種回答很不有趣，而且浪費你的 tokens ![[Pasted image 20231124100459.png]] 這種問題，我們有和政策和安全專家討論定義拒絕回答的範圍，但是仍然不完美，但是 Joanne 個人不覺得需要做到完全拒絕。 模型如何建構和表達回應很重要，應該帶大家前進，而不是讓人感到困惑 ![[Pasted image 20231124100859.png]] 我們希望做出這種 直覺的回答 但是改變模型行為並不容易，最大挑戰要找出預設行為，例如 ![[Pasted image 20231124100944.png]] 希望不妨礙實用，又不要太花俏 但這件事情非常用戶主觀 > 16:20 有可愛的 Meow 聲 ![[Pasted image 20231124101150.png]] 最好的模型會是個人客製化的，了解你的需求 ![[Pasted image 20231124101313.png]] Custom instructions 但是仍不能解決所有問題，仍在思考更好的作法針對用戶的 use case ![[Pasted image 20231124101449.png]] ![[Pasted image 20231124101514.png]]