Laya 只得几百分：根因诊断

结论

实验设计

要区分「模型不会」和「我们没把信息喂对」，关键是构造一个信息绝对充足的场景：如果在这种场景下模型依然无法区分，那问题就与适配无关。

固定同一个中局盘面（seed 42，先落 5 块，第 6 块决策），从 9 个合法落点里挑出启发式最高与最低的两个，只把这两个给模型选：

启发式最优  p2  -7.64
启发式最差  p8  -16.29
分差        8.65  ≈ 11 行的价值（Dellacherie 尺度：消一行仅 +0.76）

三组变体逐步放宽信息供给：

决定性证据

3.1 全量结果

3.2 读这张表

C 变体是全部证据里最硬的一条。它给足了信息：题干 190 token 完整进入（typed 顶格 209 token 的 head 预算），两个选项各 22 token 完整进入，没有任何截断。候选只有两个，差距悬殊到「肉眼可辨」。

结果：typed checkpoint 选走了最差的 p8，熵 0.995 已近乎完全均匀；english checkpoint 熵直接等于 1.000，即输出分布与均匀分布不可区分——它命中 p2 纯属二选一的运气。

换句话说：把它放在一个「闭着眼睛都该选对」的局面里，它依然在抛硬币。这正是「模型没有棋力」的判定标准。

根因剖析

4.1 主因：模型缺语义先验

Laya 是 ModernBERT-large（421M）加两层 head 的非自回归判别模型。它的 typed-decisions 检查点来自官方 7313 步、1.96 小时的微调，数据是通用 typed-decisions 基准——不包含俄罗斯方块，也不包含本项目的 state 词化。

关键认知是：判别式模型没有推理能力可以「借」。它不像大语言模型那样能从常识推出「消行是好事、造洞是坏事」。它的全部判断力来自训练分布里见过的模式。一旦把它们放进训练分布之外的状态表示（board_rows_top_to_bottom 这样的 JSON 数组、{"where": "columns 7-8", ...} 这样的富结构候选），它给出的就是接近均匀的分数——这正是熵 0.99+ 的含义。

顺带一个反面证据：连只有 4 个选项、文本完整、语义直白的 strategy 问题（"The stack is low, flat, and has no holes..."），熵也高达 0.998；二选一的 next_piece_fits 给出 0.5228，约等于抛硬币。整个模型在这套输入上没有可用的判别信号。

4.2 次因：prompt 规模与 head 预算的结构性冲突

Laya 的输入结构由 laya/common.py: build_sequence 决定：

[CLS] <type> question: instructions [SEP] [MASK]opt0 [MASK]opt1 ... [SEP] state [SEP]
              ↑ 这里必须在 head_max_len 内塞完 ↑

题干和所有选项共享一个固定预算 head_max_len（typed-decisions 为 256）。超预算时的降级策略是等比例压缩每个选项：

opt_budget = head_max_len - sum(len(o) for o in opt_ids)
if opt_budget < 16:
    per = max(4, (head_max_len - 16) // max(1, len(opt_ids)))
    opt_ids = [o[:per] for o in opt_ids]
head_ids = head_ids[: max(8, opt_budget)]      # 剩下的才给题干

本项目的真实请求命中了两条压缩路径：

4.3 决策机制：为什么「分布平」直接等于「棋力低」

Laya 的 choice 答案是纯 argmax 的，没有任何采样或后处理：

# laya/agent.py: _decode_answers
z = logits[r, :k] / t_scale
p = np.exp(z - z.max()); p = p / p.sum()
answers[qid] = {..., "choice": keys[int(p.argmax())], ...}

所以分布的平坦度不是「模型犹豫一下」，而是决策依据的质量本身。当 9 个选项的概率落在 0.11（均匀值）附近时，模型实际上是在选项编号之间按微小噪声取最大值——这与随机落点没有实质区别，宏观表现就是几百分。

已排除的可能

为了让结论站得住，下面每一项都做了验证，确认不是原因：

为什么 Jev 能行

同样的请求格式、同样的 state、同样的 criteria，Jev 能得几万分，说明这套协议没问题——问题出在协议两端模型的能力与训练分布上。

这解释了为什么替换 Jev 不是「换个后端」那么简单：Laya 复刻的是协议，不是能力。协议层面的同构让我们能零成本接上它，但也正因为它是「同一个提问方式」，能力差距会被完整暴露出来。

三条对策路径

建议的下一步

1. 先做一次低成本验证：把 state 从 JSON 数组改写成更口语化的散文（或 ASCII 盘面图），只跑 C 判别力测试。若熵仍逼近 1.0，则「表示形式」这一线也无救，可以直接跳到微调。
2. 再决定是否微调：微调需要把启发式当训练标签，这会触及 ADR 0001「决策路径禁止代码估值」的边界。我的判断是——训练期用标签 ≠ 运行时把估值喂进决策路径，属于 imitation learning 的标准做法，但应当在 ADR 里补一条明确记录，而不是悄悄做。
3. 顺便修掉截断：无论走哪条路，让选项文本落进 head 预算都是对的（候选压到 26 token 内、题干精简到 40 token 内），否则微调出来的模型也会被同一个坑拖累。

复现与附录

复现命令

# 1) 生成带启发式分的真实请求
node -e '...见 eval/laya_abc_diag.py 头部注释...'   # 写入 /tmp/laya-req2.json

# 2) prompt 预算诊断（题干/选项各被压到多少 token）
USE_TF=0 HF_HUB_OFFLINE=1 <venv-python> eval/laya_prompt_diag.py typed-decisions

# 3) A/B/C 三组对照（含两个 checkpoint）
USE_TF=0 HF_HUB_OFFLINE=1 <venv-python> eval/laya_abc_diag.py typed-decisions
USE_TF=0 HF_HUB_OFFLINE=1 <venv-python> eval/laya_abc_diag.py english

关键代码位置

本次实测环境

• laya 0.3.21，torch 2.13.0，transformers 4.57.6，Mac MPS（arm64）
• typed-decisions：max_len=1024, head_max_len=256（官方微调 7313 步 / 1.96h）
• english：max_len=512, head_max_len=192
• 固定局面：seed 42，落 5 块后第 6 块决策，9 个合法落点