2 篇文章带有标签 “llama-server”

智能会议系统 Jetson Thor 上部署模型服务指南

内网IP：27.41.19.62

服务 说明 端口 模型 备注
whisperlivekit 实时语音识别服务 8000 Whisper
small (默认)
large-v3-turbo		 带说话人分离
FunASR 实时语音识别服务 8000 语音识别：paraformer-zh
实时语音识别：paraformer-zh-streaming
实时语音端点检测：fsmn-vad
标点恢复：ct-punc
文本逆规范化：fst_itn_zh		 实时与非实时一体化协同（2pass）服务模式
llama-server GGUF 模型推理服务 8080 Qwen3
Qwen3-8B-Q5_K_M.gguf		 模型名：qwen3
上下文长度：32K
不思考		 
sudo nvpmodel -m 0

sudo jetson_clocks

sync && echo 3 | sudo tee /proc/sys/vm/drop_caches

tmux new -s wlk

docker run -it \
  --ipc=host \
  --net=host \
  --runtime=nvidia \
  -e MODEL=small \
  -e PORT=8000 \
  -e LANG=zh \
  -e DIAR=true \
  wangjunjian/whisperlivekit
1 分钟 351 字
智能会议系统JetsonThorllama-serverASRQwen3

llama.cpp 实战指南（Jetson Thor 平台）：从源码编译到 GGUF 模型部署与性能基准测试

本文将介绍如何在 Jetson Thor 平台上编译、部署和测试 llama.cpp 项目中的 GGUF 格式的大模型。

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

计算能力（CC）定义了每种 NVIDIA GPU 架构的硬件特性和支持的指令。在下表中查找您的GPU的计算能力。

cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="110"
cmake --build build --config Release -j $(nproc)
4 分钟 1,106 字
JetsonThorJetsonThorBenchmarkllama.cppllama-serverggufQwen3