我可以 100% 证实，Qwen3.6-27B 在处理编程任务时是一款非常出色的本地模型。在过去的一个半月里，我几乎每天都在使用它，要么是在我的 M2 Ultra 上，要么是在我的 RTX 5090 电脑上。我用它来处理 ggml-org 中一些简单乏味的日常任务——没什么特别惊艳的，但对一个维护者来说绝对是个实用的工具。我想如果我不用把大量时间花在审查 PR（拉取请求）上的话，我使用它的频率还会高得多。目前，我使用了一个非常轻量级的环境——精简了所有内容的 pi agent（pi -nc --offline），并加了一段简短的系统提示词，以便让它更符合我的风格。 来源: Simon Willison 的网络日志
8 篇文章带有标签 “local-llms”
Qwen (通义千问)
快速开始
克隆代码
git clone https://github.com/QwenLM/Qwen.git
cd Qwen
创建虚拟环境
python -m venv env
source env/bin/activate
安装依赖
pip install -r requirements.txt
创建大模型链接
mkdir Qwen
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-14B-Chat Qwen/Qwen-14B-Chat
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B Qwen/Qwen-1_8B
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B-Chat Qwen/Qwen-1_8B-Chat
ln -s /Users/junjian/HuggingFace/Qwen/Qwen-7B-Chat Qwen/Qwen-7B-Chat
聊天
- 命令行聊天
python cli_demo.py
- Web 聊天
python web_demo.py
FastChat
克隆代码
git clone https://github.com/lm-sys/FastChat
cd FastChat
创建虚拟环境 python -m venv env source env
MLX LLMS Examples
克隆代码
git clone https://github.com/ml-explore/mlx-examples
cd mlx-examples
创建虚拟环境
python -m venv env
source env/bin/activate
pip install -r llms/phi2/requirements.txt
pip install -r llms/qwen/requirements.txt
创建大模型链接 mkdir llms/phi2/microsoft ln -s /Users/junjian/HuggingFace/microsoft/phi-2 llms/phi2/microsoft/phi-2 mkdir llms/qwen/Qwen ln -s /Users/junjian/HuggingFace/Qwen/Qwen-14B-Chat llms/qwen/Qwen/Qwen-14B-Chat ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B llms/qwen/Qwen/Qwen-1_8B ln -s /Users/junjian/HuggingFace/Qwen/Qwen-1_8B-Chat llms/qwen/Qwen/Qwen-1_8
使用 Ollama 构建本地聊天服务
部署
- 下载
- 安装
- 运行
ollama run llama2
通过 API 访问
curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt": "Why is the sky blue?",
"stream": false
}'
ollama 帮助 ollama --help Large language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models cp Copy a model rm Remove a model help Help about any comman
使用 llama.cpp 构建本地聊天服务
llama.cpp
- 纯 C/C++ 实现
- Apple 芯片 ARM NEON, Accelerate, Metal
- x86 架构 AVX, AVX2, AVX512
- 混合F16/F32精度
- 整数量化 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, 8-bit
- 后端支持 CUDA, Metal, OpenCL GPU
构建
❶ 克隆 [llama.cpp][llama.cpp] 仓库
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
❷ make
make -j
❸ 安装依赖
pip install -r requirements.txt
获得 Facebook LLaMA2 模型
可以从 TheBloke 下载已转换和量化的模型。
下载 GGUF 模型
huggingface-cli pip install huggingface_hub REPO_ID=TheBloke/Llama-2-7B-chat-GGUF FILENAME=llama-2-7b-chat.Q4_K_M.
GPT4All
下载 GPT4All 客户端（macOS）
下载模型
聊天
基于目录构建本地文档集合
本地服务
- 启用 API 服务器
- 打开服务聊天窗口
查看本地下载的模型 ll /Users/junjian/Library/Application\ Support/nomic.ai/GPT4All/*.gguf -rw-r--r--@ 1 junjian staff 44M 12 3 10:30 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/all-MiniLM-L6-v2-f16.gguf -rw-r--r--@ 1 junjian staff 1.3G 12 3 12:53 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/incomplete-nous-hermes-llama2-13b.Q4_0.gguf -rw-r--r--@ 1 junjian staff 3.8G 12 3 10:09 /Users/junjian/Library/Application Support/nomic.ai/GPT4All/mistral-7b-openorca.Q4_0.gguf -rw-r--r--@ 1 junjian staff 3.
在 MacBook Pro M2 Max 上测试 ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。
下载
克隆
https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B
下载模型
- 从 Hugging Face Hub 下载模型
git clone https://huggingface.co/THUDM/chatglm-6b THUDM/chatglm-6b
- 在国内为了加快下载速度，模型文件可以单独从 清华云 下载。
在 MacBook Pro M2 Max 上测试 LLaMA
LLaMA-13B 在大多数基准上的表现优于 GPT-3（175B），LLaMA-65B 与最好的型号 Chinchilla-70B 和 PaLM-540B 具有竞争力。
克隆
git clone https://github.com/facebookresearch/llama
cd llama
下载模型
修改 download.sh，配置下载模型的 地址(PRESIGNED_URL) 和 下载目录(TARGET_FOLDER)。
vim download.sh
PRESIGNED_URL="https://agi.gpt4.org/llama/LLaMA/*" # replace with presigned url from email
TARGET_FOLDER="./" # where all files should end up
bash download.sh
构建
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
拷贝 LLaMA 模型到当前目录 ls .