Hello! 你好 👋
我是 ihower，這一期我們來分享上週在舊金山舉辦的第一屆 AI Engineer Summit 高峰會。
這場 Conference 的定位是針對軟體工程師，因此講者跟題目，和機器學習研究的研討會很不一樣。
沒有講 Transformer 深度學習模型、沒有講如何訓練模型、沒有講各種最新的 LLM 模型發展，投影片也很少提到 papers。
而是更多談開發框架、評估、RAG、Agents、AI 產品、UX 等等議題。
共有四天，其中第二、三天主議程有直播錄影。第一、第四天是 workshop。
- 議程頁面: www.ai.engineer/summit/schedule
- 10/9 直播錄影 www.youtube.com/watch?v=veShHxQYPzo
- 10/10 直播錄影 www.youtube.com/watch?v=qw4PrtyvJI0
Podsmart 是一家做 Podcast 逐字稿摘要的 AI 服務，他們將全部內容都轉成逐字稿了(tweet)
我每場都有做了一個重點截圖，可以快速看看。我推薦以下幾場:
OpenAI: See, Hear, Speak, Draw
- 這場 OpenAI 工程做了兩個有關 GPT-4V 的 demo。這是在他本機電腦開發的，不是用 ChatGPT 介面。非常可以預期 GPT-4V API 接著就會推出了。
- Demo 1: 丟一張照片給 GPT-4V 給出文字描述 -> 描述丟給 DALL-E 畫圖 -> 兩張做比較，再重新產生一張
- Demo 2: 看 video 影片產出文章: 影片 frame 用 GPT-V 解讀成文字、語音用 Whisper 轉文字，最後將兩種資訊合起來給 GPT-4-32K 寫出文章，搭配 DALL-E 生出插圖。
- 2024 年會是多模態模型(Multi-modal model)元年
The Weekend AI Engineer (Hassan El Mghari)
- 講者是個愛好在週末做 side projects 的工程師，最出名的作品是 www.roomgpt.io/
- 這場聽完充滿 hacker 能量!! 成長最快的方式，就是直接動手做!
Lessons from the first viral CLIP app (Joseph Nelson, Roboflow CEO)
- 一個有很趣的線上小遊戲 paint.wtf/ 每天會有一個 prompt 描述，你可以線上做圖，然後比賽誰畫的比較好
- 背後原理是使用 CLIP 這個 OpenAI 在 2021 年開源的影像模型，輸入影像和文字，可以預測兩者相符合的機率
Open Questions for AI Engineering (Simon Willison, Django Co-creator)
- 精彩的 Keynote，講者 blog 有逐字稿: simonwillison.net/2023/Oct/17/open-questions/
- 我同時推薦他的另一場 talk 分享: simonwillison.net/2023/Aug/3/weird-world-of-llms/
Building Blocks for LLM Systems & Products (Eugene Yan)
- 講系統和評估，作者之前有篇文章很不錯: eugeneyan.com/writing/llm-patterns/
- 這場的投影片和逐字稿: eugeneyan.com/speaking/ai-eng-summit/
開發工具、框架
Pydantic is all you need (Jason Liu)
- jxnl.github.io/instructor/
- Pydantic 是個 Python 的資料型態驗證套件，作者讓開發 Function Calling 變成 schema 程式碼形式，非常厲害
- 投影片
Pragmatic AI With TypeChat (Daniel Rosenwasser, PM TypeScript, Microsoft)
- microsoft.github.io/TypeChat/
- 如果你喜歡 TypeScript 的話
Building Reactive AI Apps (Matt Welsh, Co-Founder, Fixie.ai)
- github.com/fixie-ai/ai-jsx
- 如果你喜歡 React 的話，這是為 LLMs 設計的 React!
Guardrails AI, Trust, but Verify (Shreya Rajpal, Founder)
- www.guardrailsai.com/
- 檢查 LLM 輸入和輸出，例如檢查格式、避免隱私問題、檢查不要提到競爭對手、不要有髒話等等。認真要上線產品的話看來之後會必備
Supabase Vector: The Postgres Vector database (Paul Copplestone, Supabase CEO)
- github.com/supabase/supabase
- Supabase 是個開源的 Firebase 替代方案和線上服務
- 原來是他們支持了 PostgreSQL 的 pgvector 的開發 👍
- 關於 pgvector 的 ANN 算法，他們一開始做 ivfflat 版本，有人嫌慢，他們馬上又做了 HNSW，現在速度超快! 👍👍
Building Production-Ready RAG Applications (Jerry Liu, LlamaIndex CEO)
- 要做 RAG 我只服 LlamaIndex 的作者 Jerry Liu (他的 twitter 每天都在推送 RAG 最佳實務)
- 投影片
- Llamaindex 上的 RAG 最佳實務指南
有一個場次是公布了這份 841 位 AI 相關的工程師問卷
- OpenAI 模型還是最熱門的
- 部署 production 的主要挑戰: 服務成本、評估(Evaluation)、Infra 可靠性、模型品質
- 會使用或考慮使用微調的工程師比預期的多，約有三成，特別是考慮使用 OpenAI fine-tuning
- 會用第三方 prompt 管理工具的人只有不到 30%，蠻多人就只是用簡單的 spreadsheet 進行管理
- 越來越多軟體工程師加入 AI，在10y+ 經驗的軟體工程師中，有 38% 不到三年 AI 經驗、有 20% 不到一年的 AI 經驗
- 最後推薦了一些 Top Newsletters, Top Podcasts 和 Top communities 可以參考看看
👊Shift Left-How to Become an AI Engineer from a Fullstack Background
這一場錄影不在主議程中，而是出現在直播的午休時間，但是內容還不錯，介紹和整理了一些入門學習教材。
Shift Left 的意思就是從 Fullstack 往左邊移動，升級成為 AI Engineer。
—-
最後，我的下一期工作坊課程已經開始報名了，這一次是和 ALPHA Camp 合作線上直播課
報名網頁 👉 s.accupass.com/vkaPBg (目前是超早鳥優惠，只有30席到10/29)
– ihower