7 篇文章带有标签 “LiteLLM”

• LiteLLM AI Gateway (Proxy) > Config.yaml > Overview
• DAY 0 Support: Gemini 3 on LiteLLM

uv tool install 'litellm[proxy]'

编写配置文件：config.yaml

model_list:
  - model_name: gpt-5
    litellm_params:
      model: openai/LongCat-2.0-Preview
      api_base: https://api.longcat.chat/openai/
      api_key: sk-xxx
  - model_name: gpt-5-nano
    litellm_params:
      model: openai/qwen3.5:9b
      api_base: http://localhost:11434/v1
      api_key: none

litellm --config config.yaml

⚠️ 通过测试说明 LiteLLM 代理只支持中转，上游没有提供对应的API支持（LongCat 只支持 Chat Completions），LiteLLM 也不支持。

• CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz（64核）
• GPU: NVIDIA T4（16GB）X 4
• 内存: 256GB

conda create -n eval-llm python==3.12 -y
conda activate eval-llm

cd /data/wjj
mkdir eval-llm
cd eval-llm

pip install vllm==0.7.3 pandas

git clone https://github.com/vllm-project/vllm

docker pull lmsysorg/sglang:latest

pip install evalscope-perf==1.0.0

通过设置环境变量没有生效。

export OPENAI_API_KEY=sk-1234

这里进行了硬编码，编辑文件：/data/miniconda3/envs/eval-llm/lib/python3.12/site-packages/evalscope_perf/main.py

Python Releases

conda create -n litellm python==3.12.9 -y
conda activate litellm                     

pip install "litellm[proxy]" langfuse openai

• Cookbook: LiteLLM (Proxy) + Langfuse OpenAI Integration

git clone https://github.com/langfuse/langfuse.git
cd langfuse

docker compose up

注册用户

浏览器访问 http://localhost:3000/，单击 Sign up 注册一个新账户。

# 模型列表
model_list:
  ## 语言模型
  - model_name: gpt-4
    litellm_params:
      model: openai/qwen2.5:7b
      api_base: http://localhost:11434/v1
      api_key: NONE
  ## 视觉模型
  - model_name: gpt-4o
    litellm_params:
      model: openai/llama3.2-vision
      api_base: http://localhost:11434/v1
      api_key: NONE
  ## 代码模型
// ...

• Ollama: 11434
• LiteLLM: 4000
• XInference: 9997
• MindIE: 1025

• curl -s: -s 选项表示静默模式，不输出进度信息。
• jq -r: -r 选项表示以原始格式输出，去掉了引号。

在 Bash 中，单引号和双引号的使用有一些重要的区别：

• 单引号 (')
  • 完全字面值：单引号内的内容被视为字面值，不会对其中的任何字符进行扩展或解析。
  • 变量不扩展：在单引号内，变量不会被解析。例如，'$LITELLM_API_KEY' 会被视为字符串 '$LITELLM_API_KEY'，而不是变量的值。

  echo '$LITELLM_API_KEY'  # 输出: $LITELLM_API_KEY
  

• 双引号 (")
  • 允许扩展：双引号内的内容会进行解析和扩展。
  • 变量扩展：在双引号内，变量会被解析。例如，"$LITELLM_API_KEY" 会被替换为该变量的值。
  • 特殊字符处理：某些字符（如 $ 和 \）在双引号内需要用反斜杠转义。

  echo "$LITELLM_API_KEY"  # 输出: 变量的实际值(例如: sk-1234)
  

LLM 可观察性（LLM Observability）、提示管理（Prompt Management）、LLM 评估（LLM Evaluations）、数据集（Datasets）、LLM 指标（LLM Metrics）和提示游乐场（Prompt Playground）

# Clone repository
git clone https://github.com/langfuse/langfuse.git
cd langfuse

# Run server and database
docker compose up -d

安装

pip install langfuse>=2.0.0 litellm

main.py import os import litellm os.environ['LITELLM_LOG'] = 'DEBUG' # Langfuse os.environ["LANGFUSE_HOST"]="http://localhost:3000" os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-fd5d8fba-5134-4037-884d-d6780894a65a" os.

model_list:
  - model_name: qwen-coder
    litellm_params:
      model: ollama/qwen2.5-coder:7b
  - model_name: bge-m3
    litellm_params:
      model: ollama/bge-m3
  - model_name: llava
    litellm_params:
      model: ollama/llava:7b
      api_base: "http://localhost:11434"
      # api_base: http://127.0.0.1:11434/v1 # ❌ 500 Internal Server Error
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4-32k
// ...

docker run --name litellm \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-stable \
    --config /app/config.yaml \
    --detailed_debug