https://learningprompt.wiki/zh-Hans/docs/chatGPT/tutorial-extras/few-shot-prompting https://www.promptingguide.ai/techniques/fewshot https://learnprompting.org/docs/advanced/few_shot/introduction ## Dynamic few-shot * 一般性介紹 https://medium.com/@iryna230520/dynamic-few-shot-prompting-overcoming-context-limit-for-chatgpt-text-classification-2f70c3bd86f9 * 注意平衡抽象，不能都挑最相似的 * 作者作品 https://github.com/iryna-kondr/scikit-llm * https://medium.com/@iryna230520/scikit-llm-nlp-with-chatgpt-in-scikit-learn-733b92ab74b1 * use case: 多標籤分類, 多類別評論分類 https://www.microsoft.com/en-us/research/blog/the-power-of-prompting/ https://www.microsoft.com/en-us/research/blog/steering-at-the-frontier-extending-the-power-of-prompting/ https://www.promptingguide.ai/applications/synthetic_rag https://x.com/hwchase17/status/1877407417656553831 (2025/1/10) * Adaptive In-Context Learning * https://blog.vespa.ai/vespa-in-context-learning/ * https://arxiv.org/abs/2405.01116 (2024/5) ## Many-Shot In-context learning * Many-Shot In-Context Learning https://arxiv.org/abs/2404.11018 (2024/4) * 既然可以長文本，那我們來塞超多 examples 看看性能是否可以再提升? yes, 實驗結果是可以 * 實驗了不同任務，從數個 shots 到好幾百的 shots，從少次到多次時，性能有顯著提升 * 但本研究的一個重要限制是它在所有實驗中都使用了一個單一模型 Gemini 1.5 Pro * * In-Context Learning with Long-Context Models: An In-Depth Exploration * 透過數千個範例擴展到 1,000 個樣本的學習可以提高準確性並減少錯誤 * https://arxiv.org/abs/2405.00200 * https://twitter.com/abertsch72/status/1786392584765538350 5/3 * https://twitter.com/emollick/status/1787301629001089446 5/6 ### 自動從大模型，透過評估機制，自動生成適合小模型的 prompt https://x.com/SullyOmarr/status/1814318587324100683 https://x.com/eugeneyan/status/1814443510055293352 n到128+ 的話，連 instructions 都不需要了..... 這對便宜的 mini 模型會蠻實用的，因為 4o-mini 輸出便宜 25 倍，輸入便宜 33 倍 如果輸入跟輸出長度一樣， 但輸入長度 4o-mini 增加 128 倍好了 4o 跟 4o-mini 價錢會一樣，但只要輸出越多，4o-mini 就越便宜 haiku 如果有 prompt caching 輸入比較便宜的話，就更划算了 https://github.com/mshumer/gpt-prompt-engineer/blob/main/Claude_3_5_Sonnet_to_gpt_4o_mini_Conversion.ipynb https://x.com/dotey/status/1815260971197211026 昨天我們在 Anthropic API 中推出了提示快取，這大幅降低了 API 的輸入成本和延遲。 我最興奮的是它如何解鎖超少量提示，作為微調的輕量替代方案： https://x.com/alexalbert__/status/1824136128850723084 > 不需要微調!