Rebuttal 实验结果

图像专家 × 视频模型归因实验 · UDM10 ×10 · 计划见 docs/extra_md/rebuttal_attribution_plan.md

E0 · 首帧专家筛选(UDM10 ×10,图像级)

每个图像专家对 UDM10 每条片段的首帧做 ×4 复原(LR 312×176 → 1248×704),统一在 1248×704 上对 GT 首帧中心裁打分(pyiqa 默认配置)。n=10,单 seed。

⚠️ 这是图像级结果,不能直接用来选型:送进 H3 后的结果见「H3 输出」页。档位:保真档高感知档参照旧版。点表头可排序,黄色为每列最优(不含 GT / bicubic)。

口径说明

Nano Banana Pro 的 udm10_002 用的是项目实际送进 H3 的 2K_v2 帧(v1 是幻觉,§B11);9 月旧表读错了帧,详见 FINDINGS §B61 的更正。HarnessIR 走 Forge 调 NBP,SAM 3 工具因权限关闭。LucidFlux 是等分辨率复原,输入为 bicubic ×4。

逐条对比

H3 输出 · 同一视频管线,换不同专家首帧(UDM10 ×10)

所有行都用论文 Table 1 的部署配置:冻结 MiniMax-H3(Ref2VA)· 退化视频作 video ref · 专家首帧作 appearance ref(短边 1408)· 由该专家帧重新生成的 caption · 频率门控 DC(bicubic4 / c=0.06 / g=0.5 / N=10)· seed 0。只换专家首帧,其他全部不变。指标是 32 帧全片。

  • 视频级无参考指标跟着首帧的感知档位走:NBP、LucidFlux 高,保真档(PiSA ×4 / TADSR / ODTSR / HarnessIR)低。DOVER / FastVQA / Q-Align 仍然是部署的 NBP 最高。
  • GT 首帧 oracle:LPIPS 0.364→0.175、DISTS 0.158→0.078,都减半;但原始 PSNR 只 +0.7 dB(22.36)。主因是 H3 生成端约 1–1.4% 的整幅缩小,不是内容画错:逐帧仿射对齐后 oracle 升到 25.9 dB,反超 bicubic 1.8 dB,高频细节和 GT 的相关达 0.67–0.81(见下方「PSNR 缺口拆分」)。
  • 原始 PSNR 的跨专家差距被压缩(首帧跨 5.0 dB → 视频 2.3 dB),其中一部分是几何巧合:NBP 首帧自带约 +0.9% 放大,正好抵消 H3 的缩小;GT 首帧和开源专家都是 1.000,缩小全部留在输出里。对齐后排序回到首帧保真度顺序:ODTSR > PiSA ×4 > NBP > LucidFlux。

n=10、单 seed:小差距按 FINDINGS 规则 7 只当假设。§B37 单片段 3σ 噪声:MUSIQ ±2.2 · LPIPS ±0.044 · DISTS ±0.002。点表头可排序;黄色为每列最优(不含 oracle)。

首帧 → 视频:同一专家在图像级和视频级的变化

首帧 = 专家输出本身对 GT 首帧(E0 口径,1248×704);视频 = H3 输出 32 帧均值。oracle 行的首帧就是 GT,略去。

逐帧 PSNR

横轴为帧号(第 0 帧是专家帧对应的那一帧)。bicubic 是 H3 实际收到的输入(common.prepare,RGB 对 GT 中心裁),与 E0 页 bicubic 首帧口径一致。

范围
表格视图(分段均值)

保真度缺口在哪个频段

输出和 GT 同时按 f 面积降采样后再算 PSNR(偶数帧 0..30)。如果缺口只在高频,降采样后应追平 bicubic。

1/8 尺度上 H3 各行仍比 bicubic 低约 1.6–3.4 dB。这主要也是整幅缩放造成的错位(降采样消不掉 1% 的缩放),不是低频内容有偏差:先做逐帧仿射对齐,oracle 的低频误差就比 bicubic 小了(见下表)。全局平移 + 色彩校正只找回 0.3–0.5 dB,是因为它不含缩放。

PSNR 缺口拆分:逐层补偿(帧 0/8/16/24/31)

每格「第 0 帧 / 第 8–31 帧」。「仿射→GT」是逐帧 ECC 仿射对到 GT(上界);「仿射→输入」只用退化输入估计,推理时可部署。频段分解在仿射→GT 之后做(高斯 σ=4 px)。

首帧本身对 GT 的整幅缩放:NBP sx 1.0085 / sy 1.0092(10 条全部 >1);PiSA ×4、ODTSR、HarnessIR、bicubic 都在 1.000±0.001。bicubic 对齐后几乎不变,说明对齐没有作弊。对齐后 NBP 的缺口全在高频:细节能量是 GT 的 1.6 倍,但相关只有 0.36(细节多、对不上)。vsr/rebut_h3_diag_gap.py

视频对比

静帧对比(可放大)

帧片段跟随上面的选择

视频模型 · Track B:把 Gen4LV 的接口搬到 Wan2.1-VACE-14B 和 LTX-2 19B(udm10_000 / udm10_005)

同一张专家首帧(NBP)、同一条退化视频(bicubic ×4)、同一段 caption,接到两个新 backbone 的原生条件通道上,都不训练、不改模型文件。DC 是把 H3 的 frozen recipe 原样搬过去(等剂量步按各自采样器重新推导:Wan 22,37,42–49;LTX-2 21,31–39)。

  • VACE 的 control video 和 LTX-2 的 in-context video 都逐像素照抄退化视频(失败模式①「保留退化」):「对输入 PSNR」高达 27–36 dB,MUSIQ 停在 bicubic 附近;专家帧只留在第 0 帧,或者完全不起作用。
  • 唯一不照抄的通道(LTX-2 retake)是从噪声重新生成(失败模式②「偏离观测」):画面清楚,但镜头静止、内容偏离,离散度 33–69 px。
  • 中间强度也没有可用的状态:VACE scale 0.5、LTX in-context ×2,要么第 0 帧之后崩坏,要么重影。
  • ⚠️ LTX retake + DC 会骗过离散度指标:离散度降到 1–2 px,但画面是重影(低频被拉回,高频还停在第 0 帧)。看 udm10_000 的第 31 帧最明显。

n=2、单 seed:只是待验假设(FINDINGS §B62)。结论属于计划里的 C1:原生通道实现不了这套接口,不等于这些模型没有这种能力。

每格是 udm10_000 / udm10_005;VACE 的两个 DC 臂只跑了 000。「对输入 PSNR」= 输出对退化输入(bicubic)的 PSNR,越高越接近照抄;H3 部署版约 22 dB。指标来自 vsr/rbb_eval.py,bicubic 行用的是 01_input_upsampled_bicubic(PSNR 口径比 H3 页低约 0.4 dB),画面上显示的是实际喂给模型的 bicubic。

视频对比

静帧对比(可放大)

帧片段跟随上面的选择 · 「专家首帧」是送进模型的那张图,各帧相同