2 篇文章带有标签 “tcpdump”

• 模型：TabbyML/DeepseekCoder-1.3B

docker run -d --gpus all -p 8080:8080 \
  -v /data/zhw/tabby/data:/data \
  tabbyml/tabby:latest \
  serve --model TabbyML/DeepseekCoder-1.3B \
  --device cuda --parallelism 12

\\n 不能写为 \n，否则会报错：Failed to parse the request body as JSON: segments.prefix: control character (\u0000-\u001F) found while parsing a string at line 2 column 0

• 基准测试工具：wrk
• 持续时间：1 分钟
• 超时时间：10 秒

13 号 上午 GPU 服务器突然不能访问了，可以通过 CPU 服务器访问 GPU 服务器。这一周一直在查找问题，这里记录一下过程。

• CPU 服务器

traceroute cpu1

traceroute to cpu1 (172.16.33.157), 64 hops max, 52 byte packets
 1  * * *
 2  172.16.136.2 (172.16.136.2)  7.827 ms  4.712 ms  3.162 ms
 3  * * *
 4  cpu1 (172.16.33.157)  8.619 ms  4.205 ms  4.982 ms