使用 Ollama 构建本地聊天服务
- Llama 2
ollama pull llama2
- LLaVA: Large Language and Vision Assistant
ollama pull llava
模型版本化
这里我使用了本地的 GGUF 模型进行构建。
编辑 Modelfile 文件 From /Users/junjian/.cache/lm-studio/models/TheBloke/Llama-2-7B-chat-GGUF/llama-2-7b-chat.Q4_K_M.