章節連結
近期在研究 Lite LLM 與 CLI Proxy API 的差別，這邊筆記一下。
內容
定位與設計
LiteLLM 定位為企業級 AI 閘道控制平面（AI Gateway Control Plane）。用以解決多種模型供應商環境下，API 的請求、回傳值、身分認證規則、串流協議、錯誤處理機制…等不一致的痛點。Lite LLM 讓企業端可以使用統一的 OpenAI 相容介面作為控制層，進而在不修改客戶端應用程式碼的情況下，實現多供應商自由切換、容錯降級（Failover）、虛擬金鑰（Virtual Keys）分發以及團隊預算與花費的控管……等功能。
CLI Proxy API 的設計是以「個人訂閱權限的本機虛擬化轉接層」為出發點。AI 供應商所提供的月費訂閱制服務，會被嚴格限制在專屬的終端機頁面或是網頁上才能使用 ( 畢竟廠商實際花費成本是有很高機會大於訂閱費的 )。CLI Proxy API 透過模擬官方 CLI 工具的認證流程與通訊協議，將個人固定月費的終端權杖封裝成標準 API，讓 Cursor、VS Code、自建 Agent 等第三方開發工具也能。
底層通訊架構與身分驗證機制
LiteLLM 架構採用「Gateway 治理層 + 核心 SDK 轉譯層」。當收到客戶端請求時，Gateway 首先檢查客戶端的虛擬金鑰，來判斷團隊、可存取模型、剩餘額度等資訊後，進而送至快取比對。一系列 middleware 都通過後，再轉成目標供應商所需的格式並接收回傳值。回傳給使用者前，再轉換回 OpenAI 通用格式。
CLI Proxy API 採用「 OAuth 憑證生命週期管理與底層通訊協議協作」，來繞過官方對非互動式存取的種種限制。
按讚加入粉絲團
