如何用LiteLLM統一調用100模型API新手完整指南【免費下載鏈接】litellmThe fastest, litest AI Gateway. Rust core with Python SDK. Call 100 LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]項目地址: https://gitcode.com/GitHub_Trending/li/litellm還在為每個模型API單獨寫一套對接代碼嗎從GPT換到Claude請求格式、鑒權方式、錯誤處理都得重寫一遍。LiteLLM是一個開源AI網關相當于統一代理層讓你用OpenAI一種格式調用100多種LLM自帶成本追蹤、負載均衡和日志記錄。它解決什么問題它面向要用兩個及以上LLM廠商的開發者或團隊解決三件事不用為每家廠商的SDK各寫一套適配代碼切換模型或廠商時不用改業務邏輯各項目的token花費不用人工對賬單。你可以把它當Python SDK直接import也可以部署成團隊共享的AI網關。三分鐘上手安裝并發起第一次調用三步跑通安裝SDK設置廠商API密鑰環境變量發起一次模型調用pip install litellm export OPENAI_API_KEY你的密鑰具體調用代碼放在文末實戰部分就是一次函數調用。核心場景拆解場景一一個接口調用任意模型場景線上跑GPT想測試Claude的效果或故障時降級到更便宜的模型。步驟所有模型都走同一個completion()函數區別只在模型名前綴——openai/gpt-4o、anthropic/claude-sonnet-4-20250514、azure/gpt-4o消息體messages統一用OpenAI格式。效果改一行model參數就完成換廠商請求、響應、錯誤結構都保持OpenAI兼容已有OpenAI SDK代碼只需替換導入方式即可遷移。場景二十分鐘部署團隊級AI網關場景團隊多個項目各自持有API密鑰花費沒人統計還擔心有人調了未授權的高價模型。步驟執行pip install litellm[proxy]安裝網關在proxy_server_config.yaml中配置允許使用的模型清單model_list和主密鑰運行litellm --config proxy_server_config.yaml啟動客戶端把OpenAI SDK的base_url指向網關并攜帶各自的虛擬密鑰。效果在管理面板給每個項目或團隊發獨立虛擬密鑰按密鑰統計token消耗與花費重試、負載均衡、健康檢查開箱即用還能給不同項目設置不同預算。 如果想把每次調用的token量、延遲、花費落到可查詢的監控面板LiteLLM可以把調用日志同步到Langfuse等可觀測工具動手實戰一個能跑通的小示例import os from litellm import completion os.environ[OPENAI_API_KEY] 你的密鑰 # 設置好你的key # 用OpenAI格式統一調用任意模型 response completion( modelgpt-4o, # 換成 anthropic/claude-sonnet-4-20250514 即可換廠商 messages[{role: user, content: 只用一個單詞回復你好}], ) print(response.choices[0].message.content) # 模型回復文本 print(response.cost) # 本次調用的花費自動計算預期輸出第一行是模型回復如你好第二行是一個美元金額數字約 0.0004 左右。注意兩點響應結構和OpenAI SDK完全一致方便遷移舊代碼response.cost是LiteLLM根據內置價格表自動算好的不用自己查單價。避坑指南4個最常遇到的報錯 401認證失敗現象調用直接拋 AuthenticationError。 原因LiteLLM按模型前綴找對應廠商的keyanthropic/開頭的模型讀的是ANTHROPIC_API_KEY不會去用OPENAI_API_KEY。 解決導出對應廠商的環境變量或在調用參數里直接傳api_key。無效參數報錯現象傳了 temperature 等參數時報錯。 原因目標模型不支持該參數但請求里帶了它。 解決在配置中開啟drop_paramsLiteLLM會自動剔除模型不認識的參數。成本顯示為空現象response.cost是 None。 原因模型名和LiteLLM內置價格表對不上比如自定義模型的命名不規范。 解決用官方模型名自定義模型在配置里顯式聲明input_cost_per_token單價。網關請求全部401/403現象連網關的任何接口都報無權限。 原因網關開了master_key強制鑒權但請求頭沒帶虛擬密鑰。 解決請求頭加Authorization: Bearer 你的虛擬密鑰密鑰在管理面板中創建。先挑項目里一處模型調用改成LiteLLM格式改一行model參數試試能不能換個廠商跑通。更多部署與配置細節見項目README。【免費下載鏈接】litellmThe fastest, litest AI Gateway. Rust core with Python SDK. Call 100 LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]項目地址: https://gitcode.com/GitHub_Trending/li/litellm創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 如何用LiteLLM統一調用100+模型API：新手完整指南
如何用LiteLLM統一調用100模型API新手完整指南【免費下載鏈接】litellmThe fastest, litest AI Gateway. Rust core with Python SDK. Call 100 LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]項目地址: https://gitcode.com/GitHub_Trending/li/litellm還在為每個模型API單獨寫一套對接代碼嗎從GPT換到Claude請求格式、鑒權方式、錯誤處理都得重寫一遍。LiteLLM是一個開源AI網關相當于統一代理層讓你用OpenAI一種格式調用100多種LLM自帶成本追蹤、負載均衡和日志記錄。它解決什么問題它面向要用兩個及以上LLM廠商的開發者或團隊解決三件事不用為每家廠商的SDK各寫一套適配代碼切換模型或廠商時不用改業務邏輯各項目的token花費不用人工對賬單。你可以把它當Python SDK直接import也可以部署成團隊共享的AI網關。三分鐘上手安裝并發起第一次調用三步跑通安裝SDK設置廠商API密鑰環境變量發起一次模型調用pip install litellm export OPENAI_API_KEY你的密鑰具體調用代碼放在文末實戰部分就是一次函數調用。核心場景拆解場景一一個接口調用任意模型場景線上跑GPT想測試Claude的效果或故障時降級到更便宜的模型。步驟所有模型都走同一個completion()函數區別只在模型名前綴——openai/gpt-4o、anthropic/claude-sonnet-4-20250514、azure/gpt-4o消息體messages統一用OpenAI格式。效果改一行model參數就完成換廠商請求、響應、錯誤結構都保持OpenAI兼容已有OpenAI SDK代碼只需替換導入方式即可遷移。場景二十分鐘部署團隊級AI網關場景團隊多個項目各自持有API密鑰花費沒人統計還擔心有人調了未授權的高價模型。步驟執行pip install litellm[proxy]安裝網關在proxy_server_config.yaml中配置允許使用的模型清單model_list和主密鑰運行litellm --config proxy_server_config.yaml啟動客戶端把OpenAI SDK的base_url指向網關并攜帶各自的虛擬密鑰。效果在管理面板給每個項目或團隊發獨立虛擬密鑰按密鑰統計token消耗與花費重試、負載均衡、健康檢查開箱即用還能給不同項目設置不同預算。 如果想把每次調用的token量、延遲、花費落到可查詢的監控面板LiteLLM可以把調用日志同步到Langfuse等可觀測工具動手實戰一個能跑通的小示例import os from litellm import completion os.environ[OPENAI_API_KEY] 你的密鑰 # 設置好你的key # 用OpenAI格式統一調用任意模型 response completion( modelgpt-4o, # 換成 anthropic/claude-sonnet-4-20250514 即可換廠商 messages[{role: user, content: 只用一個單詞回復你好}], ) print(response.choices[0].message.content) # 模型回復文本 print(response.cost) # 本次調用的花費自動計算預期輸出第一行是模型回復如你好第二行是一個美元金額數字約 0.0004 左右。注意兩點響應結構和OpenAI SDK完全一致方便遷移舊代碼response.cost是LiteLLM根據內置價格表自動算好的不用自己查單價。避坑指南4個最常遇到的報錯 401認證失敗現象調用直接拋 AuthenticationError。 原因LiteLLM按模型前綴找對應廠商的keyanthropic/開頭的模型讀的是ANTHROPIC_API_KEY不會去用OPENAI_API_KEY。 解決導出對應廠商的環境變量或在調用參數里直接傳api_key。無效參數報錯現象傳了 temperature 等參數時報錯。 原因目標模型不支持該參數但請求里帶了它。 解決在配置中開啟drop_paramsLiteLLM會自動剔除模型不認識的參數。成本顯示為空現象response.cost是 None。 原因模型名和LiteLLM內置價格表對不上比如自定義模型的命名不規范。 解決用官方模型名自定義模型在配置里顯式聲明input_cost_per_token單價。網關請求全部401/403現象連網關的任何接口都報無權限。 原因網關開了master_key強制鑒權但請求頭沒帶虛擬密鑰。 解決請求頭加Authorization: Bearer 你的虛擬密鑰密鑰在管理面板中創建。先挑項目里一處模型調用改成LiteLLM格式改一行model參數試試能不能換個廠商跑通。更多部署與配置細節見項目README。【免費下載鏈接】litellmThe fastest, litest AI Gateway. Rust core with Python SDK. Call 100 LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]項目地址: https://gitcode.com/GitHub_Trending/li/litellm創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考