18 篇文章带有标签 “GPU”

• CPU: Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz（64核）
• GPU: NVIDIA T4（16GB）X 4
• 内存: 256GB

conda create -n eval-llm python==3.12 -y
conda activate eval-llm

cd /data/wjj
mkdir eval-llm
cd eval-llm

pip install vllm==0.7.3 pandas

git clone https://github.com/vllm-project/vllm

docker pull lmsysorg/sglang:latest

pip install evalscope-perf==1.0.0

通过设置环境变量没有生效。

export OPENAI_API_KEY=sk-1234

这里进行了硬编码，编辑文件：/data/miniconda3/envs/eval-llm/lib/python3.12/site-packages/evalscope_perf/main.py

曦云®C500是沐曦面向通用计算的旗舰产品，提供强大高精度及多精度混合算力，配备大规格高带宽显存，片间互联MetaXLink无缝链接多GPU系统，自主研发的MXMACA®软件栈可兼容主流GPU生态，能够全面满足数字经济建设和产业数字化的算力需求。

2023 年 6 月 14 日，沐曦官宣 AI 训练 GPU MXC500 完成芯片功能测试，MXMACA 2.0 计算平台基础测试完成，意味着公司首款 AI 训练芯片 MXC500成功点亮，该芯片采用 7nm 制程，GPGPU 架构，能够兼容 CUDA，目标对标英伟达 A100/A800 芯片。

沐曦主要有三大产品线：

1. 用于 AI 推理的 MXN 系列；
2. 用于 AI 训练及通用计算的 MXC 系列；
3. 用于图形渲染的 MXG 系列。

研发实力强大，软件生态布局完善。沐曦的研发团队阵容豪华，三位创始人均在 AMD 拥有 20 年左右的 GPU 研发经验，其中两位为 AMD 科学家（Fellow）。沐曦采用了完全自主研发的 GPU IP，有效提高了产品的开发效率，同时拥有完全自主知识产权的指令集和架构，可以对每个独立的计算实例进行灵活配置，从而优化数据中心计算资源的效率。

• 基于 Qwen2 效率评估计算大模型推理需要的显存.xlsx
• 这里计算的显存都是指使用 transformers 库进行推理，对于 vLLM，由于 GPU 显存预分配，实际显存使用难以评估。

模型参数（B）	参数使用的位数（bits）	加载需要显存（G）
0.5	16	1
1.5	16	3
7	16	14
9	16	18
22	16	44
72	16	144

lsof 是一个在 Unix 和类 Unix 系统（如 Linux）上的命令行工具，用于列出当前系统打开的文件。在这里，"文件" 的概念很广泛，除了常见的文件和目录，还包括网络套接字、设备、管道等。

• -n 参数告诉 lsof 不要将网络号转换为主机名，这可以加快 lsof 的运行速度。
• -w 参数告诉 lsof 不要抑制警告信息。
• /dev/nvidia* 是要查看的文件的路径，* 是通配符，表示所有以 /dev/nvidia 开头的文件。在这里，这些文件通常代表 NVIDIA 的设备。

所以，sudo lsof -n -w /dev/nvidia* 命令的作用是查看哪些进程正在使用 NVIDIA 设备。

困难重重 😭

服务器是 NVIDIA Tesla T4，系统是 Ubuntu 20.04，从 Kubernetes 集群中分离出来的，因 Tabby 请求 CUDA >= 11.7，需要重新安装新版本的驱动。

就两步就完成了，简单吧 😄

安装驱动

sudo sh NVIDIA-Linux-x86_64-535.129.03.run

日志查看错误信息

参数	规格
性能	472 GFLOPS
最大功耗	10 W
显存	4 GB

• NVIDIA
• NVIDIA Jetson：边缘计算的人工智能平台
• NVIDIA Jetson 模组规格比较
• Jetson Software
• JETSON STORE

参数	规格
性能	4 TOPS
最大功耗	1 W

• 英特尔
• 英特尔® Movidius™ 视觉处理器 (VPU)
• 英特尔® Movidius™ Myriad™ X 视觉处理器 (VPU)
• 英特尔® 神经电脑棒 2

参数	规格
性能	3 TOPS
最大功耗	12 W

• 瑞芯微
• RK3399Pro
• RK 公开课
• Firefly EC-A3399ProC
• Firefly Core-3399Pro-JD4 6核高性能AI核心板

参数	规格
性能	8 TOPS
最大功耗	8.25 W

• 寒武纪
• 思元220
• 寒武纪开发者社区
• 寒武纪开发者课程

参数	规格
性能	22 TOPS (INT8) 11 TFLOPS (FP16)
最大功耗	8 W

• 昇腾310 AI处理器
• 昇腾社区
• 昇腾开发者
• 昇腾开发者社区
• Atlas 200 DK 开发者套件（型号：3000）
• 解密昇腾AI处理器--Ascend310简介
• 芯课堂

• Firefly 自营店

IGD（Integrated Graphics Device）

操作系统：Ubuntu 18.04，主机有一张 NVIDIA 的独立显卡 GP106 [GeForce GTX 1060 6GB]，还有 Intel 酷睿处理器 i5 8500 自带的集成显卡（Intel UHD Graphics 630）。为了更充分的使用独立显卡用于深度学习计算，需要把集成显卡用于显示。在这个过程中遇到了各种各样的问题：

• 鼠标和键盘失灵。
• 登录 X Window 时，输入正确的密码不能登录。

选择 IGD，保存退出。

2. 安装驱动

sudo apt install nvidia-driver-510

3. 重启系统

sudo reboot

4. 查看

nvidia-smi

5. 卸载驱动

sudo apt purge nvidia*

• CUDA Compatibility

CUDA Toolkit 下载

• NVIDIA cuDNN
• NVIDIA cuDNN Documentation Installation Guide

cuDNN 下载

• NVIDIA TensorRT
• TensorRT Getting Started
• NVIDIA TensorRT Documentation Installation Guide

2. 层和张量融合(Layer and Tensor Fusion) 通过融合内核中的节点来优化GPU内存和带宽的使用。

3. 内核自动调谐(Kernel Auto-Tuning) 根据目标GPU平台选择最佳数据层和算法。

4. 动态张量内存(Dynamic Tensor Memory) 最大限度地减少内存占用，并有效地将内存重用到张量上。

5. 多流执行(Multi-Stream Execution) 使用可扩展的设计并行处理多个输入流。

6. 时间融合(Time Fusion) 使用动态生成的内核优化时间步骤中的循环神经网络。

TensorRT 下载

配置环境变量 LD_LIBRARY_PATH export LD_LIBRARY_PATH=$LD_LIBRARY

$ sudo rmmod nvidia
rmmod: ERROR: Module nvidia is in use

容器技术由于其轻量级和可伸缩的优势而被广泛使用。GPU也因为其强大的并行计算能力被用于应用程序加速。在云计算环境下，容器可能需要一块或者多块GPU计算卡来满足应程序的资源需求，但另一方面，容器独占GPU计算卡常常会带来资源利用率低的问题。因此，对于云计算资源提供商而言，如何解决在多个容器之间共享GPU计算卡是一个很有吸引力的问题。本文中我们提出了一种称为GaiaGPU的方法，用于在容器间共享GPU存储和GPU的计算资源。GaiaGPU会将物理GPU计算卡分割为多个虚拟GPU并且将虚拟GPU按需分配给容器。同时我们采用了弹性资源分配和动态资源分配的方法来提高资源利用率。实验结果表明GaiaGPU平均仅带来1.015%的性能损耗并且能够高效的为容器分配和隔离GPU资源。

部署指标的服务

kubectl apply -f  gpu-manager-svc.yaml

kubectl apply -f gpu-quota.yaml

打开一个新的终端，获取 GPU 指标数据的统计。 curl http://127.0.0.

1. 添加策略配置文件

- --policy-config-file=/etc/kubernetes/scheduler-policy-config.json

2. 将卷挂载添加到Pod

- mountPath: /etc/kubernetes/scheduler-policy-config.json
  name: scheduler-policy-config
  readOnly: true

- hostPath:
      path: /etc/kubernetes/scheduler-policy-config.json
      type: FileOrCreate
  name: scheduler-policy-config

最终修改为 apiVersion: v1 kind: Pod metadata: creationTimestamp: null labels: component: kube-scheduler tier: control-plane name: kube-scheduler namespace: kube-system spec: containers: - command: - kube-scheduler - --authentication-kubeconfig=/etc/kubernetes/scheduler.

2. 重启服务

sudo systemctl restart docker

2. 使用Helm安装

helm install --generate-name nvdp/nvidia-device-plugin

失败（gpu2节点的Docker没有配置好） $ kubectl logs -n kube-system nvidia-device-plugin-1614240442-wfh6c 2021/02/26 07:03:48 Loading NVML 2021/02/26 07:03:48 Failed to initialize NVML: could not load NVML library. 2021/02/26 07:03:48 If this is a GPU node, did you set the docker default runtime to nvidia? 2021/02/26 07:03:48 You can check the prerequisites at: https://github.com/NVIDIA/k8s-device-plugin#prerequisites 2021/02/26 07:03:48 You can learn how to set the runtime at: https://github.

• Install Docker Engine

• yum

yum remove docker docker-common docker-selinux docker-engine

2. 容器启动后，通过命令来更新。

docker run -d --name pypiserver -p 8080:8080 \
    -v /data/pypi-packages/:/data/packages
docker update --restart=always pypiserver

• 拉取容器（编译环境）

docker pull nvidia/cuda:11.1-cudnn8-devel-ubuntu20.04

• 运行容器

docker run -it --name build-onnxruntime-gpu --runtime nvidia \
    -v $(pwd)/onnxruntime:/onnxruntime -w /onnxruntime \
    nvidia/cuda:11.1-cudnn8-devel-ubuntu20.04

• 更新apt镜像源

sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list
apt-get update

• 安装依赖包

apt-get install language-pack-en git cmake python3 python3-pip -y

• 修改语言环境

locale-gen en_US.UTF-8
update-locale LANG=en_US.UTF-8

• 更新pip镜像源

pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/

• 安装numpy

pip3 install numpy

编译 ./build.

• 生成gif(低质量) -pix_fmt(像素格式) -s(设置帧大小WxH)

ffmpeg -y -i input.mp4 -pix_fmt rgb8 -r 10 -s 320x240 output.gif
ffmpeg -y -i input.mp4 -pix_fmt rgb8 -r 10 -vf 'scale=320:-1' output.gif

• 生成gif(高质量) -ss(开始时间偏移) -t(持续时间)

ffmpeg -i input.mp4 -vf "fps=10,scale=320:-1:flags=lanczos,split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse" -loop 0 output.gif
ffmpeg -y -ss 5 -t 5 -i input.mp4 -vf "fps=10,scale=320:-1:flags=lanczos,split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse" -loop 0 output.gif

• 每秒抽取一张图片 -r(设置帧速率)

ffmpeg -i input.mp4 -r 1 -s 1024x768 -f image2 input-%03d.jpeg

• /proc/version

$ cat /proc/version
Linux version 4.18.0-147.5.1.el8_1.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)) #1 SMP Wed Feb 5 02:00:39 UTC 2020

• hostnamectl

$ hostnamectl | grep Kernel
            Kernel: Linux 4.18.0-147.5.1.el8_1.x86_64

• Ubuntu

No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 20.04 LTS
Release:	20.04
Codename:	focal

• CentOS

LSB Version:	:core-4.1-amd64:core-4.1-noarch
Distributor ID:	CentOS
Description:	CentOS Linux release 8.1.1911 (Core) 
Release:	8.1.1911
Codename:	Core

/proc/driver/nvidia/version $ cat /proc/dr

在一台新安装的 Ubuntu20.04 系统上安装 NVIDIA GPU 驱动。

2. 更新 initramfs

$ sudo update-initramfs -u

3. 重启系统

$ sudo reboot

4. 验证 nouveau 是否禁用成功（当什么也不显示出来时代表成功）

$ lsmod | grep nouveau

2. 到[NVIDIA 驱动程序下载]页面下载对应型号的驱动

$ wget https://cn.download.nvidia.com/tesla/450.80.02/NVIDIA-Linux-x86_64-450.80.02.run

3. 安装驱动

$ sudo sh NVIDIA-Linux-x86_64-450.80.02.run