筆記下 AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 課程相關內容。
課程相關資訊
[連結]:https://learn.duotify.com/courses/ai-cost
請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。
內容
1. LLM 的韌性:重試、佈署端冷卻、同群其他佈署、Fallback
先保留語意,進而換 Deployment,最後才會模型能力和供應商
2. 由組織、團隊、使用者和金鑰來由上而下管理
3. Spend-Tracking:一筆完成紀錄要包含
Virtual Key : 知道使用者 user 所屬的 team
Model Alias:用了哪一類的模型,實際回應的 Deployment 是哪個節點
Token:輸入、輸出、快取
Provider:成功、失敗、狀態碼、追蹤碼
系列文章
按讚加入粉絲團

![[筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 9 [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 9](https://smlpoints.com/wp-content/uploads/notes-ai-cost-1.jpg)