社交平台调研 · 2026 年 10 月

美国开发者本地跑什么开源大模型？

我们翻遍了 Hacker News、Reddit r/LocalLLaMA、X（推特）和本地 AI Discord 的讨论，答案很集中：主流是阿里巴巴的 Qwen 系列——一张 24GB 显卡或一台 36GB 内存的 Mac 就能跑起来当"编程智能体"用。这份报告用大白话和图表讲清楚：谁在跑、跑什么、用什么跑、以及为什么。

调研方法：HN 热帖 416 条评论逐条统计 · Discord 一年 13 万条消息解析 · 官方数据交叉验证 ｜ 报告日期：2026-10-25

1先说结论

如果你只有 30 秒，看这五句就够。

模型Qwen 是社区"默认答案"HN 热帖里 57 位报告一线使用的开发者跑 Qwen，超过其他所有模型之和；Discord 一年提及量中 Qwen 占 59%。
尺寸甜点档位：27B ~ 35BQwen3.6-27B 和 35B-A3B（每次只唤醒 3B）是共识之选——单张 24GB 显卡或 36GB+ Mac 就能驱动编码智能体。
新事件10 月新模型引爆社区Qwen3.8-27B 发布 3 天拿下 300 万次 Hugging Face 下载，智能体指数反超发布仅 3 个月的 Claude Opus 4.8。
本土美国开源模型存在感有限仅 Google Gemma 4（提及占 12%）和 OpenAI gpt-oss 挤进前列；Meta 的 Llama 已基本退出编码讨论，10 月高调发布 816B 新模型 Muse Spark Open。
动机推手是"订阅变贵"，不只是"模型变强"2026 年 Claude 涨价风波 + 订阅禁令，把大量个人开发者推向本地；隐私、离线、不看供应商脸色是另一半理由。
边界社区共识：本地干 70% 的活函数生成、测试、单文件重构没问题；跨大代码库的多文件推理仍是云端前沿模型的主场。

2先认识几个词

后面反复出现，花一分钟看完这张小词典。

开源权重模型的"大脑文件"可以免费下载到自己机器上跑；不等于训练代码和数据全公开。
量化（Quantization）把模型压缩小、省显存的技术，掉一点质量。常见如"Q4"≈压到 1/4 体积。
MoE（混合专家）模型很大，但每次只叫醒一小部分"专家"干活，所以大而不慢。
Token模型读写字的最小单位，约等于英文半个词、中文一个字；API 按它计费。
Harness（外壳）套在模型外面的程序，让模型能自己读文件、改代码、跑命令，从"聊天"变"干活"。
GGUF / MLX两种本地模型文件格式：GGUF 通吃（llama.cpp/Ollama），MLX 专为苹果芯片优化。

3一图看懂：本地跑模型的四层

本地 AI Coding = 这四层叠在一起，全部跑在你自己机器上，代码不出门。

开源模型 Qwen 3.6 / 3.8 · Gemma 4 · DeepSeek · GLM · gpt-oss ↑ 就是这些"大脑文件"，从 Hugging Face 免费下载 智能体外壳 Pi · OpenCode · Cline · Aider（让模型自己读代码、改文件、跑测试） 推理引擎 llama.cpp · MLX（苹果）· Ollama · LM Studio · vLLM 你的硬件 Mac（统一内存）· NVIDIA / AMD 显卡 · DGX Spark 小主机
图 1 · 本地 AI 编程的四层结构。前三层都是开源免费软件；越往下越"硬件相关"。

4社区实际在跑什么模型

HN 那条 906 分热帖下，有人逐条读了全部 416 条评论，统计"谁真的在自己机器上跑什么"。

图 2 · HN 热帖：报告一线使用的评论者都在跑哪些模型
单位：人数（一名评论者只计一次） Qwen 全系 57 Gemma 4 18 DeepSeek 6 Nemotron 4 GLM 3 MiniMax 3 Kimi 2 gpt-oss 1 DeepSeek / GLM / Kimi 名字常被提到，但几百亿量级参数大多"装不进个人机器"。
数据来源：Ask HN "Has anyone replaced Claude/GPT with a local model for daily coding?"（48542100），Tech Stackups 对 416 条评论的逐条拆解。
图 3 · 一年 13 万条 Discord 消息：模型提及份额
59% Qwen 家族 Qwen 59% 3.6-27B 和 35B-A3B 是绝对主力 Gemma 4 · 12% 唯一挤进前列的美国模型 其他全部家族 · 29% gpt-oss / DeepSeek / GLM / Kimi… 口径：Discord 一年 8,319 次提及
数据来源：benchmarklist.com《1 Year in Local LLM》。两个独立信源（HN 评论 + Discord 消息）指向同一结论。

5按你的电脑选模型

本地跑模型是"内存游戏"：模型文件能塞进多大显存/统一内存，决定你能跑什么。以下是社区按硬件档位的共识选型。

你的机器社区首选能干什么
8–16GB 笔记本Qwen3-Coder 14B · GLM-4.7-Flash（5–8GB）· Devstral Small 2代码补全、单文件问答、写小工具
24GB 显卡 / 36GB+ MacQwen3.6-35B-A3B 或 27B（社区公认"甜点"）驱动编码智能体：读仓库、改多文件、跑测试
48–96GB（双 3090 / 工作站卡 / 大内存 Mac）Qwen3.5-122B-A10B · 27B 高精度量化版更稳的长任务，接近"小型高级工程师"
128GB（DGX Spark / Strix Halo / Mac Studio）Qwen3.5-122B · gpt-oss-120B · Qwen3.8-27B服务器级体验，前沿开源模型随便跑
256GB+ / 多卡Kimi K3 · DeepSeek V4-Pro · Muse Spark Open（816B）开源能力天花板，基本是工作站/集群场景

注：模型体积按 4-bit 量化估算；Qwen3.8-27B 约 17GB（Q4），是 2026 年 10 月社区新宠。Mac 用户优先看 MLX 格式，NVIDIA/AMD 用户看 GGUF。

6用什么工具跑

同一批 HN 评论里，大家报了自己用的"外壳"和"引擎"。注意：外壳和引擎都开源免费，模型可随时换。

智能体外壳（Harness） 套在模型外面，让模型自己干活 Pi 20 OpenCode 11 Aider 2 Crush 2 Pi 是被提最多的外壳：极简、省 token。 OpenCode 是 2026 年增长最快的开源编码智能体。 推理引擎（Runtime） 真正把模型跑起来的程序 llama.cpp 19 Ollama 6 LM Studio 5 vLLM / MLX / Hermes 各 4 llama.cpp 是硬核玩家默认；MLX 是苹果官方路线。 Ollama 新手最爱，但 2026 年转向推云端后， 在硬核圈被多人"劝退"。
数据来源：同图 2 的 HN 帖评论统计。另有 Continue（IDE 补全）、OpenHands / Goose（自动化）等未列出。

7用什么机器跑

一个反直觉发现：Mac 是美国开发者的第一大本地推理平台——统一内存让 64GB 笔记本就能跑 70B 级模型。

单位：人数（同图 2 口径） Apple Silicon（Mac） 21 Strix Halo 迷你主机 8 AMD 显卡 7 NVIDIA DGX Spark 7 RTX 3090 5 RTX Pro 6000 5 RTX 5090 4 RTX 4090 2
常见配置：Mac Studio / MacBook Pro（96–128GB 统一内存）；DGX Spark 与 128GB Mac Studio（均约 $4,700）是 2026 年两大"桌面 AI 工作站"；性价比之选仍是二手双 RTX 3090。

8为什么大家往本地跑

三个推手，按社区讨论热度排序。

💸
1. 订阅变贵、说变就变

2026 年 API 涨价收紧（社区称"Great Token Reckoning"）；4 月 Claude Code 一度被移出 $20 档引发退订潮；第三方工具 OpenClaw（约 13.5 万实例）被禁用在 Claude 订阅上。r/LocalLLaMA 出现高赞帖：《Only LocalLLaMa can save us now》。

🔒
2. 代码不能外传

客户 NDA 代码、医疗/金融数据、公司合规——本地模型"永远看不到计费仪表盘、服务条款更新、速率限制和 Prompt 政策变更"。美国政府设备已限制使用 DeepSeek 等中国模型，企业侧合规需求进一步放大。

✈️
3. 离线 + 不看脸色

飞机上能干活、没有速率限制、没有"今天这个功能不让用了"。开发者原话："我再也不用想 token 价格、配额、时段，或者数据敏感不敏感。"反方观点同样在场：轻量用户买 GPU 其实回不了本。

9本地模型的边界：70% 问题

社区最诚实的一条共识：本地模型能覆盖日常编码的约七成，剩下的三成仍归云端前沿模型。

本地模型 · 约 70% 云端 · 约 30% 函数生成 · 写测试 · 解释代码 · 单文件重构 · 文档 · 补全 跨库推理 · 架构决策 · 模糊需求 高赞比喻：本地 Qwen = 需要带的初级工程师；Opus = 一起想架构的高级工程师。
图 4 · 本地与云端的能力分工。主流答案不是二选一，而是混合架构：本地干粗活，云端啃硬骨头。
本地模型擅长（且免费）写得快、不问配额、隐私全包；Opus 给 15 倍提速，本地 Qwen 给约 5 倍——但 0 成本。适合个人项目、离线工作、不能外传的代码。
本地模型吃亏的地方多文件上下文任务独立测试仅 2.8/5（Claude 4.5/5）；工具调用稳定性、长程一致性、指令遵循这四项"不上榜单"的能力才是 agent 编码的全部。 benchmark 分数接近 ≠ 日常体感接近。

10正在发生的三件事

如果你现在入坑，这三个趋势值得知道。

2026-10Qwen3.8-27B：本地摸到 frontier3 天 300 万次 HF 下载，智能体指数反超 Claude Opus 4.8。代价是"想太多"——日常用记得把推理档位调低，否则画个简单 SVG 都能烧 2 万 token。
技术MTP：一次猜多个 token多 token 预测已并入 llama.cpp 主线，同等硬件生成速度提升 30–110%，直接缩小本地与云端的延迟体感。
格局中国模型霸榜，美国模型讲"信任"能力榜被 Qwen/DeepSeek/GLM/Kimi 占据，但地缘合规让 Gemma、gpt-oss、Nemotron 和 Meta 新发布的 Muse Spark Open（816B，需 2 台 M5 Ultra Mac Studio）拥有"可辩护"的身位。