大模型推理服务压测报告：vLLM、SGLang、LiteLLM 与 Higress 性能对比
服务器配置
CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz（64核）GPU: NVIDIA T4（16GB）X 4内存: 256GB
创建压测 LLM 环境
conda create -n eval-llm python==3.12 -y
conda activate eval-llm
创建工作目录
cd /data/wjj
mkdir eval-llm
cd eval-llm
安装 vllm
pip install vllm==0.7.3 pandas
git clone https://github.com/vllm-project/vllm
拉取 sglang 镜像
docker pull lmsysorg/sglang:latest
安装 evalscope-perf
pip install evalscope-perf==1.0.0
处理 API Key（访问的 API 需要认证）
通过设置环境变量没有生效。
export OPENAI_API_KEY=sk-1234
这里进行了硬编码，编辑文件：/data/miniconda3/envs/eval-llm/lib/python3.12/site-packages/evalscope_perf/main.py