11 篇文章带有标签 “curl”

计算能力（CC）定义了每种 NVIDIA GPU 架构的硬件特性和支持的指令。在下表中查找您的GPU的计算能力。

docker run -it --rm \
  --ipc=host \
  --net=host \
  --runtime=nvidia \
  --name=vllm-test \
  -v /models:/models \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -v ~/.cache/modelscope:/root/.cache/modelscope \
  nvcr.io/nvidia/vllm:25.10-py3 \
  bash

默认情况下，如果模型未指向有效的本地目录，它将从 Hugging Face Hub 下载模型文件。要从 ModelScope 下载模型，请在运行命令之前进行如下设置：

export VLLM_USE_MODELSCOPE=true

vllm serve /models/Qwen/Qwen3-8B \
  --served-model-name qwen3 \
  --chat-template /models/Qwen/Qwen3-8B/qwen3_nonthinking.jinja

• Ollama: 11434
• LiteLLM: 4000
• XInference: 9997
• MindIE: 1025

• curl -s: -s 选项表示静默模式，不输出进度信息。
• jq -r: -r 选项表示以原始格式输出，去掉了引号。

在 Bash 中，单引号和双引号的使用有一些重要的区别：

• 单引号 (')
  • 完全字面值：单引号内的内容被视为字面值，不会对其中的任何字符进行扩展或解析。
  • 变量不扩展：在单引号内，变量不会被解析。例如，'$LITELLM_API_KEY' 会被视为字符串 '$LITELLM_API_KEY'，而不是变量的值。

  echo '$LITELLM_API_KEY'  # 输出: $LITELLM_API_KEY
  

• 双引号 (")
  • 允许扩展：双引号内的内容会进行解析和扩展。
  • 变量扩展：在双引号内，变量会被解析。例如，"$LITELLM_API_KEY" 会被替换为该变量的值。
  • 特殊字符处理：某些字符（如 $ 和 \）在双引号内需要用反斜杠转义。

  echo "$LITELLM_API_KEY"  # 输出: 变量的实际值(例如: sk-1234)
  

OpenResty 是一款基于 NGINX 和 LuaJIT 的 Web 平台。

查看镜像的标签 $ sudo docker inspect openresty/openresty:centos | jq '.[].Config.Labels' { "maintainer": "Evan Wies <evan@neomantra.net>", "org.label-schema.build-date": "20210915", "org.label-schema.license": "GPLv2", "org.label-schema.name": "CentOS Base Image", "org.label-schema.schema-version": "1.0", "org.label-schema.

删除 Kubernetes 旧版本，安装 Kubernetes 1.21.5。

重启服务

systemctl daemon-reload
systemctl restart docker

# minikube delete
🔄  正在使用 kubeadm 卸载 Kubernetes v1.17.3…
🔥  正在删除 none 中的“minikube”…
💀  Removed all traces of the "minikube" cluster.

rm -rf ~/.minikube/
rm -rf ~/.kube/
rm -f /usr/local/bin/minikube

解决办法：

minikube start --force --driver=docker

创建 Deployment 对象

$ kubectl apply -f kubia.yaml 
deployment.apps/kubia created

• 使用 YAML 文件

apiVersion: v1
kind: Service
metadata:
  name: kubia
  labels:
    app: kubia
spec:
  ports:
  - port: 80
    targetPort: 8080
  selector:
    app: kubia

创建 Service 对象

$ kubectl apply -f kubia-service.yaml 
service/kubia created

• 使用命令 kubectl expose

$ kubectl expose deployment kubia --name=kubia-http
service/kubia-http exposed

查看服务

$ kubectl get svc
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE
kubia        ClusterIP   10.109.180.140   <none>        80/TCP    11m
kubia-http   ClusterIP   10.101.40.142    <none>        80/TCP    9m57s

svc 是 Service 的缩写

Helm 帮助您管理 Kubernetes 应用程序 —— Helm Charts 帮助您定义、安装和升级即使是最复杂的 Kubernetes 应用程序。

2. 配置mirror.list

sudo nano /etc/apt/mirror.list

############# config ##################
set base_path    /data/apt-mirror
#set mirror_path  $base_path/mirror
#set skel_path    $base_path/skel
#set var_path     $base_path/var
#set cleanscript $var_path/clean.sh
#set defaultarch  <running host architecture>
#set postmirror_script $var_path/postmirror.sh
#set run_postmirror 0
set nthreads     20
set _tilde 0
############# end config ##############
deb http://archive.ubuntu.com/ubuntu focal main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu focal-security main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu focal-updates main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu focal-proposed main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu focal-backports main restricted universe multiverse
#deb-src http://archive.ubuntu.com/ubuntu focal main restricted universe multiverse
#deb-src http://archive.ubuntu.com/ubuntu focal-security main restricted universe multiverse
#deb-src http://archive.ubuntu.com/ubuntu focal-updates main restricted universe multiverse
#deb-src http://archive.ubuntu.com/ubuntu focal-proposed main restricted universe multiverse
#deb-src http://archive.ubuntu.com/ubuntu focal-backports main restricted universe multiverse
clean http://archive.ubuntu.com/ubuntu

加速下载：git clone https://github.com.cnpmjs.org/microsoft/onnxruntime.git

• Mac OS X

/etc/hosts

• Linux

/etc/hosts