8 篇文章带有标签 “litellm”

• LiteLLM AI Gateway (Proxy) > Config.yaml > Overview
• DAY 0 Support: Gemini 3 on LiteLLM

安装

uv tool install 'litellm[proxy]'

配置

编写配置文件：config.yaml

model_list:
  - model_name: gpt-5
    litellm_params:
      model: openai/LongCat-2.0-Preview
      api_base: https://api.longcat.chat/openai/
      api_key: sk-xxx
  - model_name: gpt-5-nano
    litellm_params:
      model: openai/qwen3.5:9b
      api_base: http://localhost:11434/v1
      api_key: none

运行

litellm --config config.yaml

测试

⚠️ 通过测试说明 LiteLLM 代理只支持中转，上游没有提供对应的API支持（LongCat 只支持 Chat Completions），LiteLLM 也不支持。

LangFuse（模型监控）

LiteLLM（模型管理）

SmolAgents（使用及工作原理）

LangFuse（查看模型的输入和输出）

服务器配置

• CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz（64核）
• GPU: NVIDIA T4（16GB）X 4
• 内存: 256GB

创建压测 LLM 环境

conda create -n eval-llm python==3.12 -y
conda activate eval-llm

创建工作目录

cd /data/wjj
mkdir eval-llm
cd eval-llm

安装 vllm

pip install vllm==0.7.3 pandas

git clone https://github.com/vllm-project/vllm

拉取 sglang 镜像

docker pull lmsysorg/sglang:latest

安装 evalscope-perf

pip install evalscope-perf==1.0.0

处理 API Key（访问的 API 需要认证）

通过设置环境变量没有生效。

export OPENAI_API_KEY=sk-1234

这里进行了硬编码，编辑文件：/data/miniconda3/envs/eval-llm/lib/python3.12/site-packages/evalscope_perf/main.py

构建环境

选择 Python 版本

Python Releases

安装 LiteLLM + LangFuse

conda create -n litellm python==3.12.9 -y
conda activate litellm                     

pip install "litellm[proxy]" langfuse openai

• Cookbook: LiteLLM (Proxy) + Langfuse OpenAI Integration

LangFuse

部署（Docker）

git clone https://github.com/langfuse/langfuse.git
cd langfuse

docker compose up

注册用户

浏览器访问 http://localhost:3000/，单击 Sign up 注册一个新账户。

创建组织和工程

API Keys

LiteLLM

克隆 LiteLLM（可选）

git clone https://github.com/BerriAI/litellm
cd litellm

编辑配置 litellm_config.yaml

服务器配置

CPU 信息

CPU: Hygon C86 7490 64-core Processor X 2

lscpu

架构：                              x86_64
CPU 运行模式：                      32-bit, 64-bit
字节序：                            Little Endian
Address sizes:                      48 bits physical, 48 bits virtual
CPU:                                256
在线 CPU 列表：                     0-254
离线 CPU 列表：                     255
每个核的线程数：                    1
每个座的核数：                      64
座：                                2
NUMA 节点：                         8
厂商 ID：                           HygonGenuine
BIOS Vendor ID:                     Chengdu Hygon
CPU 系列：                          24
型号：                              4
// ...

DCU 信息

DCU：Hygon K100_AI 64G X 8

lspci -v | grep -A22 'Co-processor'

设置 API Key

export LITELLM_API_KEY=sk-1234

服务端口

• Ollama: 11434
• LiteLLM: 4000
• XInference: 9997
• MindIE: 1025

models

Ollama

curl -s http://localhost:11434/v1/models \
    | jq -r '.data[].id'

• curl -s: -s 选项表示静默模式，不输出进度信息。
• jq -r: -r 选项表示以原始格式输出，去掉了引号。

LiteLLM

curl -s http://localhost:4000/v1/models \
    -H "Authorization: Bearer $LITELLM_API_KEY" \
    | jq -r '.data[].id'

在 Bash 中，单引号和双引号的使用有一些重要的区别：

• 单引号 (')
  • 完全字面值：单引号内的内容被视为字面值，不会对其中的任何字符进行扩展或解析。
  • 变量不扩展：在单引号内，变量不会被解析。例如，'$LITELLM_API_KEY' 会被视为字符串 '$LITELLM_API_KEY'，而不是变量的值。

  echo '$LITELLM_API_KEY'  # 输出: $LITELLM_API_KEY
  

Langfuse

• Langfuse
• GitHub - Langfuse
• Introducing Langfuse 2.0

LLM 可观察性（LLM Observability）、提示管理（Prompt Management）、LLM 评估（LLM Evaluations）、数据集（Datasets）、LLM 指标（LLM Metrics）和提示游乐场（Prompt Playground）

概述（Overview）

开发（Develop）

• LLM Observability（可观察性）：为您的应用程序进行仪表化，并开始将跟踪数据传输到 Langfuse（快速入门，集成跟踪）
• Langfuse UI：检查和调试复杂的日志（演示，跟踪）
• Prompt Management：从 Langfuse 中管理、版本化和部署提示（提示管理）
• Prompt Engineering：使用 LLM 游乐场测试和迭代您的提示

监控（Monitor）

• LLM Analytics（分析）：跟踪指标（成本、延迟、质量）并从仪表板和数据导出中获得见解（分析）
• LLM Evaluations（评估）：为您的 LLM 完成收集和计算分数（分数和评估）
  • 在 Langfuse 中运行（基于模型的评估）和 LLM 作为评判
  • 收集用户反馈（用户反馈）
  • 在 Langfuse 中手动评分 LLM 输出（手动评分）

LiteLLM Proxy Server (LLM Gateway)

• 💥 LiteLLM Proxy Server (LLM Gateway)
• Hosted LiteLLM Proxy
• Proxy Config.yaml

安装

pip install 'litellm[proxy]'

编辑配置文件：config.yaml

model_list:
  - model_name: qwen-coder
    litellm_params:
      model: ollama/qwen2.5-coder:7b
  - model_name: bge-m3
    litellm_params:
      model: ollama/bge-m3
  - model_name: llava
    litellm_params:
      model: ollama/llava:7b
      api_base: "http://localhost:11434"
      # api_base: http://127.0.0.1:11434/v1 # ❌ 500 Internal Server Error
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4-32k
// ...

命令部署 # 集成 Langfuse LANGFUSE_PUBLIC_KEY=pk-lf-fd5d8fb