Ollama
- 安装 Ollama 服务。
curl -fsSL https://ollama.com/install.sh | sh
- 编辑 systemd 服务,调用
systemctl edit ollama.service。这将打开一个编辑器。
sudo systemctl edit ollama.service
- 对于每个环境变量,在 [Service] 部分下添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_NUM_PARALLEL=3"
Environment="OLLAMA_MAX_LOADED_MODELS=6"
Environment="OLLAMA_KEEP_ALIVE=4h"
- 保存并关闭编辑器。
- 重新加载 systemd 并重启 Ollama。
sudo systemctl daemon-reload
sudo systemctl restart ollama