02先定约束:容量、带宽、上下文
所有选型错误里,最贵的一类是「按参数量挑模型」。正确的顺序是先算三个预算,再看模型卡片。
容量决定「装不装得下」
Q4 量化约 0.6 GB / 十亿参数,Q8 约 1.1 GB,BF16 约 2 GB。但这是磁盘上的静态权重,不是运行时占用。真实占用 = 权重 + KV cache + 视觉投影 + 运行时开销,工程上建议再留 15–25% 余量。
带宽决定「跑得多快」
自回归解码每生成一个 token 都要把激活权重读一遍,所以 tok/s ≈ 内存带宽 ÷ 每 token 读取量。MoE 每 token 只激活部分专家,在同一台低带宽机器上可能比稠密模型快 5–8 倍,这正是 Strix Halo 这类统一内存设备的存在理由。
把「7.89 GB 权重能在 8 GB 卡上跑 27B 智能体」当作真实用例,是 2026 年 10 月社区讨论里最典型的误读:Saluki 27B 的 2-bit 权重文件确实只有 7.89 GB,但加上约 0.9 GB 视觉模块和随上下文膨胀的 KV cache,标准 8 GB 卡加载即溢出,随后退回系统内存、速度断崖下跌。该发布方未公开评测 harness、校准流程与 llama.cpp 固定 commit,也没有第三方复现。
图 1 · 按内存档位划分的可跑范围。注意「能装下」和「跑得动」是两条不同的线:同一档里稠密模型与 MoE 的速度可能差一个数量级。
图 2 · 静态权重与运行时显存的落差。8 GB 卡不是「跑得慢」,而是加载即溢出并退回系统内存;这是所有「极小体积跑大模型」宣传里最需要先核实的数字。
常见硬件的实测坐标
| 设备 | 可用内存 | 带宽 | 实测表现(社区与第三方汇总) |
| RTX 3090 / 4090 | 24 GB | 约 936 GB/s | 27B Q4 高速;35B-A3B 在 4090 上以 IQ4_XS + KV q8_0、65K 上下文占 24.2 GB,报告约 180 tok/s |
| AMD Ryzen AI Max+ 395(Strix Halo) | 96–120 GB 可分配给 GPU | 约 256 GB/s | MoE 类 30–50 tok/s;稠密 70B 仅 5–7 tok/s,BIOS 里需先调高显存分配 |
| Mac Studio M4 Max 128 GB | 128 GB 统一内存 | 约 546 GB/s | 70B Q4 约 11–12 tok/s,静音低功耗,适合 24 小时常驻 |
| Mac Studio M3 Ultra 512 GB | 512 GB 统一内存 | 约 819 GB/s | 可整装 405B / 671B 的 Q4,但降到 5–7 tok/s,属「能用」而非好用 |
| NVIDIA DGX Spark | 128 GB 统一内存 | 约 273 GB/s | 单用户解码偏慢,价值在 CUDA 全栈、微调与多用户并发 |
证据等级:硬件带宽为厂商规格;tok/s 为第三方汇总与社区自报,不同量化档、上下文与运行时差异极大,仅作量级参考。
一条可执行的算式:先按 权重 GB = 参数 B × 每参数字节 算出权重,再预留 20% 给 KV cache 与运行时,最后拿「可用带宽 ÷ 每 token 激活读取量」估算速度。任何只报体积不报上下文长度与 KV 精度的宣传,都先按图 2 复核。
03十四个模型的详细介绍
下面按「能不能装进你的机器」分四组。每张卡片都回答同一个问题:它特别在哪、什么情况下不该选它、以及这个说法的证据有多硬。
A 组 · 消费级主力(16–32 GB)
这一组是 2026 年 11 月社区真正的日常主力:单人单卡可反复迭代的最大模型规模。
社区事实标准Apache 2.0原生多模态27B dense
如果你只装一个模型,装这个。它是目前唯一同时具备干净许可、原生视觉输入、长上下文、消费级体积与最完整社区生态的选择。
| 架构 | 27B 稠密,原生多模态(文本 / 图像 / 视频 → 文本),Gated DeltaNet 与 Gated Attention 混合,64 层 |
| 上下文 | 262,144 token 原生;用 YaRN 可扩展到 1,000,000,但不是原生 1M |
| 许可证 | Apache 2.0,无访问门槛,权重在 Hugging Face Qwen/Qwen3.8-27B |
| 体积 | BF16 约 55.6 GB;Ollama 4-bit 构建约 18 GB;FP8 官方版本另提供 |
| 热度 | 近一个月 Hugging Face 下载 801 万、1.9 万 likes(2026-11 初) |
为什么特别
它不是跑分最高的开源模型,却是生态最厚的一个。2026 年 11 月的量化实验(Unsloth Dynamic、Nace、Hessian-Refined)、去审查衍生、GGUF 供应链、MCP 与浏览器 agent 实验,几乎都以 27B 这一档为基准。选它意味着你能直接复用别人已经踩过的坑:现成的 chat template、现成的 KV cache 预算、现成的评测脚本。
另一个被低估的点是许可。Apache 2.0 没有月活或营收阈值,而同期若干旗舰开源模型带自定义条款;对要放进产品里的团队,这一条比榜单上几个点更硬。
上手
ollama run qwen3.8:27b-q4_K_M
mlx_lm.generate --model mlx-community/Qwen3.8-27B-4bit --prompt "..."
模型标签名随运行时版本变化,执行前回查 Ollama library 或 mlx-community 仓库。官方模型卡建议用 SGLang、vLLM 或 TokenSpeed 服务,并提醒常见框架静态启用 YaRN 会损害短输入精度。
支持证据官方规格与许可可查;801 万月下载是最强的可部署性信号;社区报告 Q6 量化在 oMLX + MCP 下约 75 tok/s 并能驱动浏览器完成网页任务;Docker 早期 3,570 场景评测中同族 Qwen3 14B Q4_K_M 工具调用 F1 达 0.971。
反对证据与风险模型卡上每一项 benchmark 都由阿里自测:SWE-bench Pro 61.7 建立在阿里自行修正题目并重跑基线的版本上,与公开榜单不可比;QwenSWEBench、CoWorkBench 两项自研测试未公开题集与样本量;对比对象是较旧的 Opus 4.6 Max;无第三方独立复现。另有 892 楼的社区长帖称同款模型在 3090 + 128K 上下文下做编程「完全不可用」。
证据强度:规格 / 许可 / 上下文 = 一手官方模型卡;下载量 = 平台可查;跑分 = 厂商自测(弱);tok/s 与可用性争议 = 社区自报(弱,且方向相反)。建议动作:拿自己的代码或检索任务做 A/B,不要引用模型卡上的 SWE-bench 数字做验收。
速度优先35B 总 / 3B 激活官方 GGUF
当 27B 稠密模型的交互速度不够、但你还不想碰统一内存设备时,MoE 只激活 3B 参数是更划算的路线。
| 架构 | MoE,约 35B 总参数 / 3B 激活,每 token 读取量远小于同规模稠密模型 |
| 体积 | Unsloth 4-bit 约 23 GB(128 GB 档指南口径) |
| 官方 GGUF | ggml-org/Qwen3.6-35B-A3B-GGUF,2026-11-12 记录 220,506 次下载 |
| 社区测速 | 3090 上 Q4 报告 130+ tok/s;4090 上 IQ4_XS + KV q8_0、65K 上下文占 24.2 GB,报告约 180 tok/s |
为什么特别
它把「27B 级质量」和「接近小模型的响应速度」放在同一张卡上。对需要常驻的智能体、自动补全、多轮工具调用这类延迟敏感任务,激活参数量比总参数量更能预测体验——这正是图 1 里把 MoE 与稠密模型分开看的理由。
上手
ollama run qwen3.6:35b-a3b
llama-server -hf ggml-org/Qwen3.6-35B-A3B-GGUF -ngl 999 -c 32768 --jinja
支持证据官方 ggml GGUF 仓库可查且下载量高(22 万);MoE 低激活量的物理优势在低带宽设备上尤其明显;多个独立来源都把它列为「最快全能型」候选。
反对证据与风险130 / 180 tok/s 来自不同硬件、不同量化档、不同上下文长度与不同运行时,属二手汇总,不能直接横向比较;MoE 对内存容量仍按总参数计,KV cache 预算不因激活小而减少。
证据强度:仓库与下载量 = 一手;架构优势 = 可推导的物理事实;速度 = 社区自报汇总(弱)。建议动作:固定量化档与上下文长度后自测首 token 延迟与稳态 tok/s 两个指标。
Apache 2.0多模态工具调用稳定尺寸阶梯完整
如果你要在同一套 harness 下覆盖从手机到 24 GB 显卡的多种设备,Gemma 4 的尺寸阶梯和干净许可让迁移成本最低。
| 尺寸 | E2B、12B、26B-A4B、31B 等多个档位,覆盖端侧到单卡 |
| 许可证 | Apache 2.0 |
| 官方 GGUF 下载 | 2026-11-12:E2B 247,860;12B 105,209;31B 54,854 |
| 社区表现 | 26B A3B 在 3090 + LM Studio 上被报告工具调用稳定,80–110 tok/s、260K 上下文;8 GB 显存用户仍靠 26B QAT 约 26 tok/s |
为什么特别
它是「同一家族跨档位」做得最完整的一支。对做产品而非做实验的团队,这比单点性能更值钱:prompt 模板、工具调用 schema、量化档位可以在不同设备上复用,升级硬件时不必重调整个 harness。
社区多份报告把 LM Studio 上的 Gemma 4 列为结构化输出与工具调用较稳的选择,而同期 Open WebUI / Ollama 上多个模型出现「把原始 JSON 打印到聊天窗口而不执行工具」的问题。这再次说明运行时层常比权重更致命。
上手
ollama run gemma4:12b
mlx_lm.generate --model mlx-community/gemma-4-12b-it-4bit --prompt "..."
支持证据三个尺寸的官方 GGUF 下载量均可查且位居前列;Apache 2.0 无附加商业条款;社区报告的低显存可用性与工具调用稳定性来自多个独立帖子。
反对证据与风险2026 年关于 FP4 推理引擎刷分的社区反弹指出,1–10B 小模型在 3–4 bit 下的精度损失远大于 70B 级,而 Gemma 4 的主战场恰好在小尺寸;「把量化精度写进标题,别放脚注」是这一档最需要注意的读法。
证据强度:许可与下载量 = 一手;工具调用稳定性 = 社区自报(弱);量化损伤方向 = 多篇量化研究一致(中)。建议动作:小尺寸优先 Q6/Q8 起步,别默认 Q4。
代码专用Aider + Ollama 组合量化要保守
源码不能出内网的场景里,它是「本地版 Cursor」最常被验证的一条路线;代价是对量化档位比通用聊天敏感得多。
| 定位 | 面向长程软件工程与 agentic coding 的后训练模型 |
| 官方 GGUF | ggml-org/Qwen3-Coder-30B-A3B-Instruct-GGUF,2026-11-12 记录 61,790 次下载 |
| 体积 | 30B-A3B Q4 约 18–20 GB;Coder-Next 在 128 GB 指南里 4-bit 约 46 GB |
| 典型组合 | Aider + Ollama(终端编码、Git 感知、自动提交),或指向本地端点的 IDE 插件 |
为什么特别
通用模型做代码补全尚可,做「读仓库 → 改多文件 → 跑测试 → 修回归」这类长链条任务时,专用后训练的差异会放大。Coder 系列也是少数在官方 GGUF 仓库里有独立条目的代码模型,说明它被真实下载使用,而不只是榜单上的名字。
上手
ollama run qwen3-coder:30b
aider --model ollama/qwen3-coder:30b
支持证据官方 GGUF 仓库可查;Aider + Ollama 被多份第三方指南列为成熟的本地编码栈;专用后训练在 agentic coding 上的优势有厂商与社区两条独立线索。
反对证据与风险社区同模型对比显示 HumanEval 从 BF16 56.10% 降到 Q4_K_M 50.61%、Q8_0 52.44%(164 题小样本);vLLM 研究里 4-bit 选项把 HumanEval 拉到 45.7–51.8%。Q4 对代码任务可能不是省显存,而是买返工。此外 3090 + 128K 上下文下「本地 27B 编程不可用」的长帖也是真实反例。
证据强度:仓库 = 一手;量化对代码的影响 = 小样本社区评测 + 量化研究(中,方向一致);「可用 / 不可用」两极体验 = 社区自报(弱)。建议动作:从 Q5/Q6 起步,用自己的仓库跑固定任务集,别用通用 HumanEval 代理。
低显存最优候选MoE官方 GGUF
当显存只有 12 GB 又想要接近 30B 级能力时,第三方按 VRAM 分档的榜单把它列在该档最强位置。
| 架构 | MoE 30B 级 / 约 3B 激活,Lightning 变体面向低延迟 |
| 官方 GGUF | ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF,2026-11-12 记录 218,656 次下载 |
| 第三方定位 | Every Local AI 按显存分档把 Nemotron 3.5 Lightning 17.8B 列为 12 GB 档最优、Nemotron 3 Super 67.2B 列为 48 GB 档最优 |
为什么特别
它代表了另一条思路:不是把大模型压小,而是让厂商直接针对推理成本设计 MoE 结构。对 12 GB 卡用户,这比「把 27B 硬塞进 8 GB」的 2-bit 极限量化更可靠,因为不需要牺牲到表达冗余崩塌的程度。
上手
ollama run nemotron3.5-lightning:30b
llama-server -hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF -ngl 999
支持证据官方 GGUF 下载量 21.9 万可查;第三方按 VRAM 分档榜单给出明确档位定位;NVIDIA 对自家 kernel 的优化路径完整。
反对证据与风险「12 GB 档最强」来自单一聚合榜单的评分口径,未见独立复现;厂商优化明显偏向 CUDA,Mac MLX 与 AMD ROCm 上的表现需另测;Lightning 与 Super 是不同规模,别把两者数据混用。
证据强度:仓库与下载量 = 一手;档位排名 = 第三方榜单(中);跨平台表现 = 未验证。建议动作:先确认你的运行时有没有该架构的 kernel 支持,再谈速度。
B 组 · 轻量与端侧(≤16 GB)
这一组不该拿来做主聊天模型。它们的价值是在多智能体里承担低延迟的专门角色——语音前端、解析、校验、判定——这也正是情感陪伴硬件与端侧交互最需要的形态。
端侧混合卷积架构去审查版霸榜
不是全参数 Transformer:卷积块与分组查询注意力混合,用更低功耗换可用质量,是「小模型做专门角色」的最佳样本。
| 架构 | LFM3 家族(约 700M–9B),混合 Liquid 的 LIV 卷积算子与 GQA,主打延迟功耗比与长上下文效率 |
| 形态 | Omni-2B 为 any-to-any 多模态;1.7B 为纯文本兄弟版本 |
| 热度 | HF trending 记录 1.43 万 stars;官方 1.7B GGUF 15 万下载,社区去审查 GGUF 4.6 万下载且多次登顶趋势榜 |
| 社区实测 | 有报告称在 iPhone 18 Pro Max 上通过自写 WebGPU kernel 跑出约 80 tok/s 全离线推理 |
为什么特别
它同时是两件事的样本:技术上,非纯 Transformer 架构在端侧还有明显空间;生态上,它是「社区供应链」最清晰的例子——官方发布后几小时内,第三方就产出整条量化梯度与去审查衍生,而后者的下载热度常常反超原版。
对做本地语音交互或桌面陪伴设备的人,2B 级别的合理用法不是让它聊天,而是让它解析工具输出、抽取错误行、做意图分类,把 27B 主力从高频小任务里解放出来。
上手
ollama run lfm3:1.7b
llama-server -hf LiquidAI/LFM3-1.7B-GGUF -ngl 999 -c 8192
支持证据官方 GGUF 仓库与 HF trending 数据可查;端侧 80 tok/s 有具体设备与运行时描述;混合架构的长上下文效率有厂商论文支撑方向。
反对证据与风险80 tok/s 是单人自报、依赖自写 WebGPU kernel,不可外推;去审查衍生(abliterated / heretic)没有可复现评测,且这类仓库的命名常把不同 lineage 拼在一起,实际底盘可能并非标称模型。
证据强度:仓库 / 下载量 / stars = 一手平台数据;端侧速度 = 单一案例(弱);架构优势 = 厂商声称(弱)。建议动作:只从官方或可信量化组织取权重,把去审查版当作研究对象而非生产依赖。
企业友好8.8BCPU 可跑
第三方按显存分档的榜单把 8.8B 的 Granite 4.2 列为 8 GB 档最优解,适合离线摘要、批量分类这类不追求智能上限的任务。
| 规模 | 约 8.8B 稠密 |
| 定位 | Every Local AI 的 8 GB 档(RTX 4060 / 笔记本)推荐项 |
| 适用 | 离线摘要、文档预处理、嵌入之外的轻量生成、纯 CPU 兜底 |
为什么特别
IBM 的企业定位让它在这份偏社区热闹的清单里显得朴素,但「许可干净、供应链可追溯、不追榜单」恰恰是内网部署最需要的三件事。当你需要给不联网的环境配一个稳定而非最强的模型时,它比任何去审查衍生版都合适。
上手
ollama run granite4.2:8b
支持证据第三方按显存分档榜单明确列入 8 GB 档;厂商供应链与许可可追溯;小模型在 CPU 上也有可用吞吐(约 5–12 tok/s 量级)。
反对证据与风险「档内最优」来自单一榜单评分;8B 级在长链条工具调用与多文件代码任务上能力有限;FP4/INT4 对小模型的损伤在这一档最明显,别用极限量化再压体积。
证据强度:档位推荐 = 第三方榜单(中);CPU 吞吐 = 社区经验值(弱)。建议动作:只把它用在定义清晰的窄任务上。
分类器Apache 2.0事实校验回路
这张卡是整份文档里最容易被误读的一个:它输出的是概率,不是段落。放进多智能体里当验证门,比再堆一个生成模型便宜得多。
| 类型 | 判别 / 分类器,非生成式聊天模型 |
| 体积 | BF16 约 8.5 GB,Q4 约 5 GB;另有 2.6B 版本 |
| 许可证 | Apache 2.0 |
| 典型用法 | 把「生成结果 + 源段落」喂进去,问「答案是否与来源一致」,拿一个概率做门禁 |
为什么特别
它代表 2026 年本地多智能体最实用的一条结构性原则:让验证比生成便宜。27B 负责产出,5B 负责否决,整个回路不需要第二次长推理。对做私有 RAG、代码审查或文档问答的人,这比换更大的生成模型更能压低幻觉率。
这个思路可以一路推到工程动作:把「答案是否自洽」「工具参数是否符合 schema」「检索片段是否支持结论」都做成小模型判定门,主模型只处理通过不了的部分。
支持证据Apache 2.0 与体积数据可查;「小模型做校验门」是社区多份实践里反复出现的结构;判定任务比生成任务对量化更不敏感。
反对证据与风险发布仍较新,缺独立第三方精度评测;概率阈值需要在你自己的数据上标定,直接照搬默认阈值会产生大量误杀或漏放。
证据强度:许可 / 体积 = 一手;用法与结构优势 = 可推导 + 社区实践(中);精度 = 未独立验证。建议动作:先攒 100–200 条标注样本标定阈值。
循环 TransformerMTP 投机解码Preview
架构上最值得关注的一张卡:循环结构 + mHC 残差流 + 多 token 预测头,用 9B 的体积换低延迟。
| 架构 | 循环 Transformer,mHC 残差流,面向超长序列与多轮交互 |
| 投机解码 | 带 MTP(multi-token prediction)头;同期 JetBrains Mellum2.1-Thinking-MTP 报告 1.4–1.8× 解码加速、约 90% 提议接受率 |
| 推理规模 | 标称 9B,因循环结构实际计算量约相当于 15B 参数 |
| 社区说法 | 有评论称「整体对标 Qwen3.5 27B」,未附可复现评测 |
为什么特别
对研究投机解码与 draft / target 架构的人,这类带原生 MTP 头的小模型比纯量化实验更有信息量:它把加速做进权重而不是推理框架,且能被 vLLM 0.33、transformers 5.20、llama.cpp 直接消费。llama.cpp 在 2026-05-16 已把 MTP 投机解码合入主线。
上手
llama-server -hf sensenova/SenseNova-Loop-9B-Preview -ngl 999 -c 32768
支持证据HF 仓库可查并进入 trending;MTP 头的加速效果有同期同类模型(Mellum2.1)的具体数字与框架支持列表佐证。
反对证据与风险「9B 对标 27B」是论坛评论、无评测;Preview 阶段权重与 chat template 可能变动;循环架构在主流运行时的 kernel 支持不如标准 Transformer 完整。
证据强度:仓库与架构 = 一手;MTP 加速 = 同类模型自报(中);质量对标 = 未验证(弱)。建议动作:作为研究样本跟踪,别进生产管线。
C 组 · 统一内存级 MoE(64–128 GB)
Strix Halo、Mac Studio、DGX Spark 这一档设备的共同点是容量够、带宽紧。MoE 是这里的正确形态,稠密大模型会慢到失去交互性。
动态量化标杆ggml 官方 GGUF 13 万下载评测条件严格
如果你关心「同一个模型换个 GGUF 能差多少」,这是 2026 年 11 月最值得研究的样本:Unsloth、ISTA-DASLab、社区个人量化者全都围着它做实验。
| 体积 | 4-bit 约 96–114 GB,正好卡在 128 GB 统一内存设备的上沿 |
| 官方 GGUF | ggml-org/Qwen3.8-Flash-Next-GGUF,2026-11-12 记录 131,285 次下载 |
| 动态量化 | Unsloth Dynamic v3.1 声称在 DeepSWE、Terminal Bench、Aider Polyglot 上比 GSQ-RCO 量化高 10–15%;新增 engram switching,支持 BF16 / Q8_0 / Q5_1 / IQ4_NL 混合精度 |
| 评测条件 | agentic 基准用 256K 上下文、其余 128K;temperature 1.0、top_p 0.95、top_k 20、min_p 0;preserve_thinking + xhigh 推理;约 26.2B token 基准量以降低噪声 |
为什么特别
它的意义不在模型本身,而在把「量化」从搬运工作变成了一个有方法论的研究方向:按层分配不同比特、用重要性矩阵校准、公开完整采样参数与基准 token 量。这套做法可以直接迁移到你自己微调过的权重上。
社区也给出了真实落地案例:有人在 Strix Halo(Ryzen AI 395+)上用 UD_Q4_XL 量化 + Gufo 分支的 llama.cpp,用约一个月完成一个完整的游戏开发项目,全程不调用前沿 API。这是「消费级硬件能跑端到端项目」目前较硬的一个数据点。
上手
llama-server -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD_Q4_XL -ngl 999 -c 131072 --jinja
支持证据官方 GGUF 下载量可查;Unsloth 公开了详细采样参数与 26.2B token 的基准量,方法透明度在社区里属上乘;SC117 的 GSQ-RCO-abliterated 衍生在某日 HF 日报记录 350 万下载,说明分发链路成熟。
反对证据与风险10–15% 是量化作者自报,无独立复现;社区对 ngram 配置调整的讨论显示同一版本改一个 flag 就会明显影响速度与质量;96–114 GB 的 4-bit 体积几乎吃满 128 GB,几乎没有留给 KV cache 的余量。
证据强度:仓库 / 下载量 / 评测配置 = 一手;提升幅度 = 作者自报(弱);游戏项目案例 = 单一案例(弱)。建议动作:先算 KV cache 再选量化档,长上下文场景可能需要降到 IQ4_NL。
Apache 2.0MoE 标杆MXFP4 原生
几乎所有 128 GB 迷你主机的评测都拿它当标尺,因此它的 tok/s 是这一档设备之间最可比的一个数字。
| 架构 | 约 120B 级 MoE,原生 MXFP4 量化路径 |
| 体积 | 4-bit 约 64–66 GB,在 128 GB 设备上还有充足 KV cache 余量 |
| 许可证 | Apache 2.0 |
| 第三方实测 | Strix Halo 128 GB 上约 31–34 tok/s;DGX Spark 单用户解码速度相近但并发更强 |
为什么特别
它是「MoE 在低带宽统一内存上远快于稠密模型」这条论断最常被引用的实证:同一台 Strix Halo 跑 gpt-oss-120b 能到 30+ tok/s,跑稠密 70B 只有 5–7 tok/s。选硬件时如果目标是交互体验,这组对比比任何理论带宽表都直观。
上手
ollama run gpt-oss:120b
llama-server -hf ggml-org/gpt-oss-120b-GGUF -ngl 999 -c 32768 --jinja
支持证据许可与权重可查;多个独立硬件评测给出 31–34 tok/s 的接近数值,交叉验证较好;体积留有余量,适合长上下文。
反对证据与风险tok/s 数字依赖 BIOS 里把 GPU 显存分配到 96–120 GB,默认配置常只有 16–32 GB;MXFP4 属 4-bit 浮点路径,正是社区「只报速度不报精度」批评所针对的格式。
证据强度:许可 / 权重 = 一手;速度 = 多个第三方硬件评测一致(中偏强);精度 = 需自测。建议动作:装好先跑 ollama ps 确认没有静默回退到 CPU。
1M 上下文长 agent 任务许可口径需核实
面向长时间跨度的编码与工具链任务;也是「把 300B 级 MoE 塞进单台 128 GB 迷你主机」这类极限实验最常出现的模型。
| 规模 | Flash 版约 321B 总 / 18B 激活(部分来源写 320B);本体 GLM-5.3 为 753B |
| 上下文 | 1M token |
| 极限部署 | Kyojin 引擎(基于 ExLlamaV3、针对 ROCm 优化)让 300B 级 MoE 各跑在一台 128 GB 迷你 PC 上;GLM-5.3-Flash 预填充约 580 tok/s、MiMo-V2.6-Flash 解码最高 44 tok/s |
| 社区实验 | 有人用 40 台迷你主机经 USB 3 互联组集群跑该模型,14 tok/s |
为什么特别
它是「本地」边界被撑得最开的一支:一头是长程 agent 所需的 1M 上下文,另一头是社区用剪枝、分页、自定义引擎把它压进消费级硬件的各种尝试。对研究分布式推理与专家分页的人,这些实验比模型本身更有参考价值。
上手
ollama run glm-5.3-flash
llama-server -hf unsloth/GLM-5.3-Flash-GGUF -ngl 999 -c 32768 --jinja
支持证据Kyojin 项目给出了与官方 FP8 的 KLD 及 Top-1 一致率对比,方法透明度较高;多个独立聚合站把 GLM-5.3 系列列为长 agent 任务首选。
反对证据与风险许可证口径冲突:有来源把 Flash 标为 MIT,而 GLM-5.3 本体是自定义许可(对 MaaS 营收超阈值者要求安全审查),部署前必须回查官方 model card;40 台迷你机集群 14 tok/s 说明多机互联的性价比很差,别把「能跑」当成「值得跑」。
证据强度:规模 / 上下文 = 聚合站(中);Kyojin 数据 = 作者自报(中偏弱);许可证 = 来源冲突,需一手核实。建议动作:商用前先把 license 原文存档。
D 组 · 前沿参照系(256 GB+ 或租算力)
把这两张卡放进文档,是为了让你知道天花板和它的代价。它们不适合装机,但适合在租来的算力上验证 harness,再把模式迁回本地主力。
MITAA v5 开源第二1-bit 专家剪枝
「开源 + 最强 + 最宽松许可」三者交集里的那一个,也是 2026 年 11 月被下载最多的量化实验对象。
| 规模 | 约 552B 总参数;激活参数各来源写 8B 或 16B,口径不一致,引用前须核实 |
| 上下文 / 许可 | 1M token;MIT |
| 第三方评分 | Artificial Analysis Intelligence Index v5.0.1 得 32.6(最高分 MIT 模型);Epoch Open-Weights Index 77.6,排名第 2 |
| 量化热度 | ISTA-DASLab 的 GSQ-RCO-GGUF 在 2026-11-02 周榜记录 2,294,642 次下载;Unsloth 版本在某日 HF 日报记录 59.6 万下载 |
| 极限压缩 | ISTA 的 Coder 版剪掉每层 384 个路由专家中的 192 个,再压到约 1 bit/参数,transformer 权重从 138.2 GB 降到 72.1 GB |
为什么特别
它是「把旗舰模型挤进 prosumer 硬件」这条路线最完整的实验场:专家剪枝、混合比特分配(GSQ + RCO 搜索)、imatrix 校准、分层精度切换全部有公开配方。对研究投机解码、draft / target 权重结构或 MoE 专家路由的人,这些剪枝与量化产物本身就是很好的分析素材。
上手
llama-server -hf ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF -ngl 999 -c 32768 --jinja
支持证据MIT 许可与权重可查;AA 与 Epoch 两个独立指数给出高位评分;GSQ-RCO 量化包 230 万下载是社区用脚投票;剪枝前后体积对比有明确数字。
反对证据与风险激活参数在 8B 与 16B 之间口径冲突,说明聚合站数据不可直接引用;1-bit 与专家剪枝后的质量只有作者自报、无独立复现;GSQ/RCO 这类混合精度量化在 vLLM 上支持不完整,社区还在自行 hack,llama.cpp 分支与主线行为也不一致。
证据强度:许可 / 权重 = 一手;指数评分 = 第三方榜单(中);压缩收益 = 作者自报(弱)。建议动作:在租算力上用 FP8 原版建立基线,再逐档对比剪枝与量化版本。
AA v5 开源第一2.78T / 104B 激活个人设备不可跑
知道它存在很重要,把它列进装机清单是错的。它的正确用途是:在租来的算力上验证你的 agent harness 能不能吃下前沿能力,再把结论迁回 27B 主力。
| 规模 | 约 2.78 万亿参数 MoE / 104B 激活;同期 Kimi K3 是首个开放的 3T 级模型,原生支持文本、图像、视频 |
| 上下文 | 1M token |
| 评分 | AA Intelligence Index v5.0.1 得 46.5,开源权重最高,领先第二名 13.9 分;Terminal-Bench 4.0 报告 67.2% |
| 体积 / 许可 | Q4 约 1.4 TB;自定义 Kimi K3.1-Pro 许可,非 MIT / Apache |
| 时间线 | 权重于 2026 年 11 月初开放,Ollama tag 已上线;但 11 月 2 日仍有第三方核查称 HF 上只有较早的 K3 |
为什么特别
它把「开源权重」和「本地可跑」彻底切成了两件事。Ollama 上线的意义不在于谁能在家用机上跑它,而在于 serving stack(KV cache、工具调用协议、上下文窗口处理)已经标准化,你的 harness 可以先用它测上限,再把同样的接口模式平移到 27B 本地主力。
上手
先在租用的多卡实例上验证 FP8 原版,不要尝试在 32 GB 卡上找「有用的量化」
支持证据AA v5 与 Terminal-Bench 4.0 两个独立口径都给出开源第一;权重与 Ollama tag 可查;1M 上下文与原生多模态有一手模型卡支撑。
反对证据与风险r/LocalLLaMA 有详细帖子举证其跑分可能针对评测分布过拟合(benchmaxxed);Artificial Analysis 在 2026-10-27 把指数换成 v5,同一模型从旧版 55.1 变成 46.5,跨版本分数不可比;Q4 约 1.4 TB,任何 32 GB 卡都找不到有用量化;自定义许可有商业约束。
证据强度:规格 / 权重 = 一手;指数评分 = 第三方(中,但版本口径需注意);过拟合质疑 = 社区分析(弱);商业条款 = 需读原文。建议动作:只作为能力上限参照,不进入选型对比的最终候选。
没有匹配的模型
试试放宽档位或许可证条件,或换一个更短的关键词。
已选 0 个模型
横向对比
对比数据来自各卡片标注的口径,部分为社区自报或厂商自测;体积与速度不可跨不同量化档直接比较。