1 篇文章带有标签 “ollama-sdk”

Ollama

开放 Ollama 服务

环境变量

  • OLLAMA_HOST: Ollama 服务器的 IP 地址（默认 127.0.0.1:11434）
  • OLLAMA_NUM_PARALLEL: 最大并行请求数（默认 1）
  • OLLAMA_MAX_LOADED_MODELS: 最大加载模型数量（默认 1）
  • OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的持续时间（默认 5m），-1 表示永久保持加载。

Linux

  1. 安装 Ollama 服务。
curl -fsSL https://ollama.com/install.sh | sh

编辑 systemd 服务，调用 systemctl edit ollama.service。这将打开一个编辑器。 sudo systemctl edit ollama.service 对于每个环境变量，在 [Service] 部分下添加一行 Environment： [Service] Environment="OLLAMA_HOST=0.0.0.

ollamallmlocal-llmembeddingollama-sdkvisionlinuxsystemd