愛好 AI Engineer 週報 🚀 OpenAI DevDay 精彩內容回顧 #04

歡迎訂閱 愛好 Generative AI Engineer 電子報 ðŸ‘‰ aihao.eo.page/ai-engineer

Hello! 你好 ðŸ‘‹

OpenAI DevDay 已經過去快一個月,資訊量大爆炸。本期回顧一些值得關注的內容。

🔝 New models and developer products announced at DevDay

這天 OpenAI 一口氣釋出了非常多功能。我寫了一個 Google Colab Notebook ç¤ºç¯„了所有新功能,以下是我的快速回顧: 

* GPT-4 Vision可以做影像解讀,不過這仍是 preview 版本,Rate Limits 比較低
* GPT-4 Turbo 降價並提供到 128 context windows,不過有人做了評測,發現在超過 73k 之後,模型就會開始遺忘中間內容…
JSON mode ä¹‹å‰å¿…須用 function calling 才能確保 JSON 格式,現在可以用 JSON mode 了。這樣或可節省 tokens 數,但仍不會幫我們驗證 JSON Schema 喔
Parallel Function Calling ä¹‹å‰å¯èƒ½éœ€è¦å¤šæ¬¡ API 往返,現在可以一次就可以告訴你總共要呼叫哪些方法,latency 大大減少
Seed 參數 å¯ä»¥å›ºå®šä¼ºæœå™¨çš„亂數種子,即使溫度不是0,也盡量會固定一樣的回傳結果,幫助我們在開發和測試時可重現一樣的結果
* Whisper v3 可惜台灣中文沒有什麼進步,廣東話進步很多
Text-to-speech (TTS) API 提供六種聲音可選
DALL-E 3 API åœ–片生成一個難關就是撰寫有具有細節的 Prompt,而 DALL-E 3 會自動改寫 prompt 加入更多細節
Assistants API å¹«æˆ‘們管理對話串,提供內建的 Retrieval 和 Code Interpreter 工具。剛上市時大家很興奮覺得 OpenAI 把 RAG 做完了,不過根據 LlamaIndex 的評測,這個 RAG 的精度比 Llamaindex 的預設還差,現在我們知道 RAG 是需要根據不同場景和資料來做最佳化的系統。

👍 OpenAI DevDay: Keynote + Breakout Sessions

當天除了 Keynote,還有好幾場精彩的演講,介紹如下:

A Survey of Techniques for Maximizing LLM Performance å¼·åŠ›æŽ¨è–¦ï¼Œéžå¸¸é‡è¦ï¼ŒAI工程師必看,講了 Prompt Engineering、RAG 和微調,我有做了筆記
The New Stack and Ops for AI ä¹Ÿæ˜¯å¼·åŠ›æŽ¨è–¦çµ¦å·¥ç¨‹å¸«å¿…看,講了 UX、Model Consistency 和 Evaluating Performance,我有做了筆記
* Research x Product é€™å ´æ¯”較短講技術較少,但也是非常推薦,分享了 OpenAI 內部 Product 和 Research 的協作。我有做了筆記
* New Products: A Deep Dive: 就 live demo custom GPT 以及 Assistants API
* The Business of AI: 三家公司 Salesforce, Typeform, Shopify 講他們產品如何整合 AI,我覺得比較無趣啦
* AI Frontiers 四場外部講者分享應用場景,推薦 Jesper Hvirring Henriksen (Be My Eyes) 這場有點感動,其他場普普

🎯 GitHub Universe 2023 opening keynote

開場 GitHub CEO 就講使用 Github Copilot 生產力增加 55%,我想能用會用這種技術的個人和公司真是要逐漸世代差距了。
不只是 code completion,將來是從開發、測試、部署整個流程都可用自然語言透過 Copilot 來輔助完成。
如果喜歡這場 Keynote,也別錯過另一場 GitHub Copilot: the AI pair programmer for today and tomorrow æœ‰æ›´å¤š live demo copilot chat 功能,以及講 Custom Models 和 Copilot Extensibility 等等明年 Github Copilot Enterprise 版本才有的功能。

⭐ Retool State of AI Report 2023

由 Retool åšçš„ AI 狀態報告,針對 1500 名科技工作者做的問卷結果,內容蠻不錯的,一些我印象較深的有: 

* 57.6% 表示減少了 StackOverflow 使用,甚至有 10.2% 不再使用了,改用 ChatGPT 和 Github Copilot
* 66.2% 表示已經至少有一個公司內部使用場景,例如寫 Code, QA, 文案, 數據分析等
* 43.1% 表示已經至少有一個外部使用案例,例如產品內的AI功能、客服機器人、QA等
* 34.4% 表示即使公司不鼓勵使用 AI,他們仍偷偷在用
* 30.5% 表示 Github Copilot 是最棒的 AI 應用(除了ChatGPT之外)

👊 Andrej Karpathy’s Intro to Large Language Models

由 OpenAI 共同創辦人和知名研究員 Karpathy 錄影的一小時入門介紹。
前半講 LLM 是一種有損壓縮、模型如何訓練等基本知識,這些在他前一場 State of GPT 演講已有提及。
但是後半可就有新知了,特別是未來發展和 LLM Security 的部分,非常值得一看。

👊 80分鐘快速了解大型語言模型

這場由李宏毅老師分享的課程非常好懂入門,非工程師也可以看得懂,建議1.5X倍速播放。
前半內容介紹了 GPT 原理、歷史、模型是如何煉成等入門知識,後半內容則有各種使用 ChatGPT 的秘訣指南。

—-


最後,我剛結束的 ALPHACamp 線上LLM 應用開發工作坊,在本週六下午(12/9)有場台北小聚,將邀請學員分享實際應用案例和開發過程的學習、討論開發所遇到的問題。 歡迎對 LLM 應用開發有興趣的朋友,一起來參加互相觀摩學習,報名連結是 ac-bootcamp.typeform.com/to/BA5eNhGi (報名12/7截止)

– ihower

發佈留言

發表迴響