Hello! 你好 👋
OpenAI DevDay 已經過去快一個月，資訊量大爆炸。本期回顧一些值得關注的內容。
🔝 New models and developer products announced at DevDay
這天 OpenAI 一口氣釋出了非常多功能。我寫了一個 Google Colab Notebook 示範了所有新功能，以下是我的快速回顧:
* GPT-4 Vision可以做影像解讀，不過這仍是 preview 版本，Rate Limits 比較低
* GPT-4 Turbo 降價並提供到 128 context windows，不過有人做了評測，發現在超過 73k 之後，模型就會開始遺忘中間內容…
* JSON mode 之前必須用 function calling 才能確保 JSON 格式，現在可以用 JSON mode 了。這樣或可節省 tokens 數，但仍不會幫我們驗證 JSON Schema 喔
* Parallel Function Calling 之前可能需要多次 API 往返，現在可以一次就可以告訴你總共要呼叫哪些方法，latency 大大減少
* Seed 參數 可以固定伺服器的亂數種子，即使溫度不是0，也盡量會固定一樣的回傳結果，幫助我們在開發和測試時可重現一樣的結果
* Whisper v3 可惜台灣中文沒有什麼進步，廣東話進步很多
* Text-to-speech (TTS) API 提供六種聲音可選
* DALL-E 3 API 圖片生成一個難關就是撰寫有具有細節的 Prompt，而 DALL-E 3 會自動改寫 prompt 加入更多細節
* Assistants API 幫我們管理對話串，提供內建的 Retrieval 和 Code Interpreter 工具。剛上市時大家很興奮覺得 OpenAI 把 RAG 做完了，不過根據 LlamaIndex 的評測，這個 RAG 的精度比 Llamaindex 的預設還差，現在我們知道 RAG 是需要根據不同場景和資料來做最佳化的系統。
👍 OpenAI DevDay: Keynote + Breakout Sessions
當天除了 Keynote，還有好幾場精彩的演講，介紹如下:
* A Survey of Techniques for Maximizing LLM Performance 強力推薦，非常重要，AI工程師必看，講了 Prompt Engineering、RAG 和微調，我有做了筆記
* The New Stack and Ops for AI 也是強力推薦給工程師必看，講了 UX、Model Consistency 和 Evaluating Performance，我有做了筆記
* Research x Product 這場比較短講技術較少，但也是非常推薦，分享了 OpenAI 內部 Product 和 Research 的協作。我有做了筆記
* New Products: A Deep Dive: 就 live demo custom GPT 以及 Assistants API
* The Business of AI: 三家公司 Salesforce, Typeform, Shopify 講他們產品如何整合 AI，我覺得比較無趣啦
* AI Frontiers 四場外部講者分享應用場景，推薦 Jesper Hvirring Henriksen (Be My Eyes) 這場有點感動，其他場普普
🎯 GitHub Universe 2023 opening keynote
開場 GitHub CEO 就講使用 Github Copilot 生產力增加 55%，我想能用會用這種技術的個人和公司真是要逐漸世代差距了。
不只是 code completion，將來是從開發、測試、部署整個流程都可用自然語言透過 Copilot 來輔助完成。
如果喜歡這場 Keynote，也別錯過另一場 GitHub Copilot: the AI pair programmer for today and tomorrow 有更多 live demo copilot chat 功能，以及講 Custom Models 和 Copilot Extensibility 等等明年 Github Copilot Enterprise 版本才有的功能。
⭐ Retool State of AI Report 2023
由 Retool 做的 AI 狀態報告，針對 1500 名科技工作者做的問卷結果，內容蠻不錯的，一些我印象較深的有:
* 57.6% 表示減少了 StackOverflow 使用，甚至有 10.2% 不再使用了，改用 ChatGPT 和 Github Copilot
* 66.2% 表示已經至少有一個公司內部使用場景，例如寫 Code, QA, 文案, 數據分析等
* 43.1% 表示已經至少有一個外部使用案例，例如產品內的AI功能、客服機器人、QA等
* 34.4% 表示即使公司不鼓勵使用 AI，他們仍偷偷在用
* 30.5% 表示 Github Copilot 是最棒的 AI 應用(除了ChatGPT之外)
👊 Andrej Karpathy’s Intro to Large Language Models
由 OpenAI 共同創辦人和知名研究員 Karpathy 錄影的一小時入門介紹。
前半講 LLM 是一種有損壓縮、模型如何訓練等基本知識，這些在他前一場 State of GPT 演講已有提及。
但是後半可就有新知了，特別是未來發展和 LLM Security 的部分，非常值得一看。
這場由李宏毅老師分享的課程非常好懂入門，非工程師也可以看得懂，建議1.5X倍速播放。
前半內容介紹了 GPT 原理、歷史、模型是如何煉成等入門知識，後半內容則有各種使用 ChatGPT 的秘訣指南。
—-
最後，我剛結束的 ALPHACamp 線上LLM 應用開發工作坊，在本週六下午(12/9)有場台北小聚，將邀請學員分享實際應用案例和開發過程的學習、討論開發所遇到的問題。 歡迎對 LLM 應用開發有興趣的朋友，一起來參加互相觀摩學習，報名連結是 ac-bootcamp.typeform.com/to/BA5eNhGi (報名12/7截止)
– ihower