章節連結
筆記下 AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 課程相關內容。
課程相關資訊
[連結]:https://learn.duotify.com/courses/ai-cost
請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。
內容
LiteLLM 代理層
1. 當作多模型 API 入口 – 控制使用者與團隊;花費追蹤;預算速率和模型權限
2. 多模型供應接上 LiteLLM;使用者統一接 LiteLLM
3. 開放原始碼;效能不差
OpenTelemetry
1. 讓 AI 任務從黑盒變成可觀測
2. Traces, Metrics, Logs, Context
3. 僅收集摘要,不是完整每一個 Prompt 的細節
[ Repo ]:https://github.com/doggy8088/otel-research
程式碼自動補全用於:人主要寫程式 – AI 輔助;AI 主要寫,人負責監督結果

![[筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 9 [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 9](https://smlpoints.com/wp-content/uploads/notes-ai-cost-1.jpg)