愛好 AI Engineer 週報 🚀 AI Engineer Summit 特輯 #01

Hello! 你好 👋

我是 ihower,這一期我們來分享上週在舊金山舉辦的第一屆 AI Engineer Summit 高峰會。

這場 Conference 的定位是針對軟體工程師,因此講者跟題目,和機器學習研究的研討會很不一樣。
沒有講 Transformer 深度學習模型、沒有講如何訓練模型、沒有講各種最新的 LLM 模型發展,投影片也很少提到 papers。
而是更多談開發框架、評估、RAG、Agents、AI 產品、UX 等等議題。

🔝AI Engineer Summit 官方資料

共有四天,其中第二、三天主議程有直播錄影。第一、第四天是 workshop。

👍AI Engineer Summit 逐字稿

Podsmart æ˜¯ä¸€å®¶åš Podcast 逐字稿摘要的 AI 服務,他們將全部內容都轉成逐字稿了(tweet)

🎯ihower 的截圖筆記

我每場都有做了一個重點截圖,可以快速看看。我推薦以下幾場: 


OpenAI: See, Hear, Speak, Draw 

  • 這場 OpenAI 工程做了兩個有關 GPT-4V 的 demo。這是在他本機電腦開發的,不是用 ChatGPT 介面。非常可以預期 GPT-4V API 接著就會推出了。
  • Demo 1: 丟一張照片給 GPT-4V 給出文字描述 -> 描述丟給 DALL-E 畫圖 -> 兩張做比較,再重新產生一張
  • Demo 2: 看 video 影片產出文章: 影片 frame 用 GPT-V 解讀成文字、語音用 Whisper 轉文字,最後將兩種資訊合起來給 GPT-4-32K 寫出文章,搭配 DALL-E 生出插圖。
  • 2024 年會是多模態模型(Multi-modal model)元年

The Weekend AI Engineer (Hassan El Mghari)

  • 講者是個愛好在週末做 side projects 的工程師,最出名的作品是 www.roomgpt.io/
  • 這場聽完充滿 hacker 能量!! 成長最快的方式,就是直接動手做! 

Lessons from the first viral CLIP app (Joseph Nelson, Roboflow CEO)

  • 一個有很趣的線上小遊戲 paint.wtf/ æ¯å¤©æœƒæœ‰ä¸€å€‹ prompt 描述,你可以線上做圖,然後比賽誰畫的比較好
  • 背後原理是使用 CLIP é€™å€‹ OpenAI 在 2021 年開源的影像模型,輸入影像和文字,可以預測兩者相符合的機率

Open Questions for AI Engineering (Simon Willison, Django Co-creator)

Building Blocks for LLM Systems & Products (Eugene Yan)

開發工具、框架

Pydantic is all you need (Jason Liu)

  • jxnl.github.io/instructor/
  • Pydantic æ˜¯å€‹ Python 的資料型態驗證套件,作者讓開發 Function Calling 變成 schema 程式碼形式,非常厲害
  • 投影片

Pragmatic AI With TypeChat (Daniel Rosenwasser, PM TypeScript, Microsoft)

Building Reactive AI Apps (Matt Welsh, Co-Founder, Fixie.ai)

  • github.com/fixie-ai/ai-jsx
  • 如果你喜歡 React 的話,這是為 LLMs 設計的 React!

Guardrails AI, Trust, but Verify (Shreya Rajpal, Founder)

  • www.guardrailsai.com/
  • 檢查 LLM 輸入和輸出,例如檢查格式、避免隱私問題、檢查不要提到競爭對手、不要有髒話等等。認真要上線產品的話看來之後會必備 

Supabase Vector: The Postgres Vector database (Paul Copplestone, Supabase CEO)

  • github.com/supabase/supabase
  • Supabase 是個開源的 Firebase 替代方案和線上服務
  • 原來是他們支持了 PostgreSQL 的 pgvector çš„開發 ðŸ‘
  • 關於 pgvector 的 ANN 算法,他們一開始做 ivfflat 版本,有人嫌慢,他們馬上又做了 HNSW,現在速度超快!  ðŸ‘ðŸ‘

Building Production-Ready RAG Applications (Jerry Liu, LlamaIndex CEO)

👊State of AI Engineering

有一個場次是公布了這份 841 位 AI 相關的工程師問卷

  • OpenAI 模型還是最熱門的
  • 部署 production 的主要挑戰: 服務成本、評估(Evaluation)、Infra 可靠性、模型品質
  • 會使用或考慮使用微調的工程師比預期的多,約有三成,特別是考慮使用 OpenAI fine-tuning
  • 會用第三方 prompt 管理工具的人只有不到 30%,蠻多人就只是用簡單的 spreadsheet 進行管理
  • 越來越多軟體工程師加入 AI,在10y+ 經驗的軟體工程師中,有 38% 不到三年 AI 經驗、有 20% 不到一年的 AI 經驗
  • 最後推薦了一些 Top Newsletters, Top Podcasts 和 Top communities 可以參考看看

👊Shift Left-How to Become an AI Engineer from a Fullstack Background

這一場錄影不在主議程中,而是出現在直播的午休時間,但是內容還不錯,介紹和整理了一些入門學習教材。
Shift Left 的意思就是從 Fullstack 往左邊移動,升級成為 AI Engineer。

476855be-63fc-11ee-ad4b-b75b2c5ce28f%2F1697618334796-1697618334362.png—-

最後,我的下一期工作坊課程已經開始報名了,這一次是和 ALPHA Camp åˆä½œç·šä¸Šç›´æ’­èª²
報名網頁 👉 s.accupass.com/vkaPBg (目前是超早鳥優惠,只有30席到10/29)

476855be-63fc-11ee-ad4b-b75b2c5ce28f%2F1697616794530-ac-ihower-llm.png


– ihower

發佈留言

發表迴響

%d 位部落客按了讚: