在华为 Atlas 800I A2 服务器上搭建大模型推理服务
华为昇腾 NPU 与英伟达 GPU 生态层级对比:
| NPU | GPU |
|---|---|
| CANN | CUDA |
| MindSpore | PyTorch |
| MindFormer | Transformers |
| MindIE | vLLM |
下载大模型
cd /home/luruan/disk1/models
大型语言模型
- Qwen1.5-7B
git clone https://www.modelscope.cn/Qwen/Qwen1.5-7B-Chat.git
- Qwen2-7B ❌
git clone https://www.modelscope.cn/Qwen/Qwen2-7B-Instruct.git
- Qwen2-72B
git clone https://www.modelscope.cn/Qwen/Qwen2-72B-Instruct.git
代码大模型
- DeepSeek-Coder-6.7B
git clone https://www.modelscope.cn/deepseek-ai/deepseek-coder-6.7b-instruct.git
- StarCoder2-15B ❌
git clone https://www.modelscope.cn/AI-ModelScope/starcoder2-15b.git
- CodeGeeX2-6B ❌
git clone https://www.modelscope.cn/ZhipuAI/codegeex2-6b.git