大模型推理服务压测报告：vLLM、SGLang、LiteLLM 与 Higress 性能对比
CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz（64核）GPU: NVIDIA T4（16GB）X 4内存: 256GB
conda create -n eval-llm python==3.12 -y
conda activate eval-llm
cd /data/wjj
mkdir eval-llm
cd eval-llm
pip install vllm==0.7.3 pandas
git clone https://github.com/vllm-project/vllm
docker pull lmsysorg/sglang:latest
pip install evalscope-perf==1.0.0
通过设置环境变量没有生效。
export OPENAI_API_KEY=sk-1234
这里进行了硬编码，编辑文件：/data/miniconda3/envs/eval-llm/lib/python3.12/site-packages/evalscope_perf/main.py