本文将介绍如何在 Jetson Thor 平台上编译、部署和测试 llama.cpp 项目中的 GGUF 格式的大模型。
克隆 llama.cpp
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
CUDA GPU Compute Capability（计算能力）
计算能力（CC）定义了每种 NVIDIA GPU 架构的硬件特性和支持的指令。在下表中查找您的GPU的计算能力。
编译
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="110"
cmake --build build --config Release -j $(nproc)
模型部署
运行 llama-server
该文章是对 NVIDIA Jetson Thor 平台进行大语言模型部署、系统优化和深度性能基准测试的权威指南。
平台配置与环境准备： 文章首先详细介绍了在 Jetson AGX Thor 开发套件上进行 BSP（Jetson Linux）安装流程。这包括下载 ISO 映像、使用 Balena Etcher 创建可启动 USB 棒，以及通过首次启动完成 UEFI 固件更新和 Ubuntu 初始设置。软件环境基于 JetPack 7，它提供了对前沿机器人和生成式 AI 的全面支持。部署环境采用云原生技术，通过 Docker 容器运行 vLLM 或 TritonServer 等推理服务。
系统性能调优：
为了释放硬件全部潜力，文章强调了系统级的性能调优步骤：必须通过 sudo nvpmodel -m 0 将功耗模式设置为最高性能模式 (MAXN)（130W），并使用 sudo jetson_clocks 锁定 CPU、GPU 和内存的核心频率，禁用 DVFS 机制。测试结果显示，MAXN + jetson_clocks 组合能显著提升性能，在高负载下，FP8 模型的吞吐量提升约 18.5%，在低负载下，每 Token 平均延迟（TPOT）减少约 43%。
量化模型基准测试结果： 文章对 Qwen3-8B 模型的多种量化精度（包括 BF16、FP8、FP4、Int4 等）进行了详尽的性能分析。
GPU 服务器
T4 GPU 服务器，4卡16G。
安装 vLLM
conda create -n deepseek-r1 python=3.12 -y
conda activate deepseek-r1
pip install vllm
错误处理
ImportError: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12
TGI 是一个用于部署和服务大型语言模型（LLM）的工具包。 TGI 为最流行的开源 LLM 提供高性能文本生成，包括 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX 和 T5 。
系统架构
部署模型 HuggingFaceH4/zephyr-7b-beta model=HuggingFaceH4/zephyr-7b-beta volume=$PWD/data # Avoid downloading weights every run docker run --
安装
pip
pip install "fschat[model_worker,webui]"
源代码
这种方式安装比较容易调试，适合开发者。
克隆代码
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
创建环境
python -m venv env
source env/bin/activate
安装
测试结果
模型 & 精度 & 显存 & 速度
Hugging Face 是所有机器学习任务的大本营。 您可以在这里找到开始一项任务所需的内容：演示、用例、模型、数据集等等！
创建和托管很棒的机器学习演示
Solutions
Expert Acceleration Program（专家加速计划）- 加速您的 ML 路线图
从我们屡获殊荣的机器学习专家那里获得指导。我们组建了一个世界一流的团队，帮助客户更快地构建更好的 ML 解决方案。
机器学习的成功取决于为用例找到最佳架构、微调模型并将它们部署到生产环境中。 所有这些都需要经验和技能的正确结合。 我们的专家加速计划提供必要的技术专长，以实施最先进的技术、做出更好的决策并更快地进入市场。
快手技术 VP 王仲远对于 AI、大模型、深度学习的预测 2021-09-02
CV、Speech、NLP，背后主流的模型基本上都是基于 Transformer。在未来可能各方面的技术边界越来越模糊，事实上现在已经逐渐出现越来越多的多模态技术研究。技术融合变得门槛很低，但大家做的事越来越相像。
重要的研究方向
近两年模型都已经到万亿级别了
搜索系统是先以内容分析为主，再结合了用户行为；而推荐系统则是以用户行为为主，再尝试结合内容理解。 内容理解可以帮助推荐系统为用户做更加个性化的内容分发和匹配，探索如何更好地利用内容理解为推荐系统进一步提升个性化推荐能力。
怎么去考虑 AI 技术布局？（任何新技术都是类似的） 如果我们都只关注于未来三个月或半年就能落地的技术，那么很显然它是不具备可持续发展的。反之，如果只关注中长期才能见效的研究方向和研究项目的话，那么不确定性又会非常大，毕竟业务对于 AI 技术的渴求是非常强烈的。所以技术布局本质上是一个短期项目与长期项目配比的问题。
EasyEdge 是基于百度飞桨轻量化推理框架 Paddle Lite 研发的端与边缘 AI 服务平台，能够帮助深度学习开发者将自建模型快速部署到设备端。可基于多种深度学习框架、网络结构的模型，快捷转换发布适配多种 AI 芯片与操作系统的端/边缘计算模型，支持纯离线计算/端云协同服务。
硬件平台适配
操作系统
上传本地模型
模型属性
模型打包成镜像
手工打包
project_dir=platen-switch
darknet_model_name=darknet-model-platen-switch
cd $project_dir
docker run -d --name $darknet_model_name alpine
docker cp model/ $darknet_model_name:/
docker commit -a 'wang-junjian@qq.com' -m 'darknet model [platen-switch recognition]' \
$darknet_model_name gouchicao/$darknet_model_name:latest
docker rm -v $darknet_model_name
docker push gouchicao/$darknet_model_name:latest
Python 脚本 import docker import tarfile import tempfile import os def simple_tar(path): f = tempfile.NamedTemporaryFile() t = tarfile.
工程目录
model-package-release/
├── Dockerfile
├── Dockerfile.ubuntu
├── main.sh
└── .ssh
├── id_rsa
├── id_rsa.pub
└── known_hosts
main.sh #!/usr/bin/sh # 模型和配置文件 FILE_CONFIG=config.yaml FILE_MODEL=model.onnx # 用于构建模型压缩包的目录结构 DIR_MODELS=models if [ -z $1 ] then echo "Usage: " echo "Environment variable：" echo " MODEL_SERVER_USERNAME Default: username" echo " MODEL_SERVER_IP Default: ip" echo "" echo "docker run --rm -v /home/ai/models/sign.yaml:/app/config.yaml \" echo " -v /home/ai/models/sign.onnx:/app/model.