[筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 36

筆記下 AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 課程相關內容。

[筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 9


課程相關資訊

[連結]:https://learn.duotify.com/courses/ai-cost

請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。


內容

LiteLLM 代理層

1. 當作多模型 API 入口 – 控制使用者與團隊;花費追蹤;預算速率和模型權限
2. 多模型供應接上 LiteLLM;使用者統一接 LiteLLM
3. 開放原始碼;效能不差

OpenTelemetry

1. 讓 AI 任務從黑盒變成可觀測
2. Traces, Metrics, Logs, Context
3. 僅收集摘要,不是完整每一個 Prompt 的細節

[ Repo ]:https://github.com/doggy8088/otel-research

程式碼自動補全用於:人主要寫程式 – AI 輔助;AI 主要寫,人負責監督結果


系列文章

  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 9
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 8
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 7
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 6
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 5
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 4
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 35
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 34
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 33
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 32
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 31
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 30
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 3
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 29
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 28
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 27
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 26
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 25
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 24
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 23
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 22
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 21
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 20
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 2
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 19
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 18
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 17
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 16
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 15
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 14
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 13
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 12
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 11
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 10
  • [筆記] AI 寫程式省錢術:從 Token 焦慮到團隊成本治理 – 1
  • 按讚加入粉絲團