E0 · 首帧专家筛选(UDM10 ×10,图像级)
每个图像专家对 UDM10 每条片段的首帧做 ×4 复原(LR 312×176 → 1248×704),统一在 1248×704 上对 GT 首帧中心裁打分(pyiqa 默认配置)。n=10,单 seed。
⚠️ 这是图像级结果,不能直接用来选型:送进 H3 后的结果见「H3 输出」页。档位:保真档高感知档参照旧版。点表头可排序,黄色为每列最优(不含 GT / bicubic)。
口径说明
Nano Banana Pro 的 udm10_002 用的是项目实际送进 H3 的 2K_v2 帧(v1 是幻觉,§B11);9 月旧表读错了帧,详见 FINDINGS §B61 的更正。HarnessIR 走 Forge 调 NBP,SAM 3 工具因权限关闭。LucidFlux 是等分辨率复原,输入为 bicubic ×4。
逐条对比
H3 输出 · 同一视频管线,换不同专家首帧(UDM10 ×10)
所有行都用论文 Table 1 的部署配置:冻结 MiniMax-H3(Ref2VA)· 退化视频作 video ref · 专家首帧作 appearance ref(短边 1408)· 由该专家帧重新生成的 caption · 频率门控 DC(bicubic4 / c=0.06 / g=0.5 / N=10)· seed 0。只换专家首帧,其他全部不变。指标是 32 帧全片。
- 视频级无参考指标跟着首帧的感知档位走:NBP、LucidFlux 高,保真档(PiSA ×4 / TADSR / ODTSR / HarnessIR)低。DOVER / FastVQA / Q-Align 仍然是部署的 NBP 最高。
- 全参考指标的跨专家差距被压缩:首帧 PSNR 跨度 19.4–24.4 dB,送进 H3 后的视频 PSNR 只有 20.0–22.3 dB。保真档的首帧经过 H3 掉 1.4–2.2 dB,NBP 反而 +1.5 dB。
- GT 首帧 oracle:LPIPS 0.364→0.175、DISTS 0.158→0.078,都减半;但 PSNR 只 +0.7 dB(22.36),oracle 的第 0 帧也只有 23.25 dB,低于 bicubic 的 24.49。PSNR 的上限主要卡在视频模型的重新合成上,而不在专家帧。
n=10、单 seed:小差距按 FINDINGS 规则 7 只当假设。§B37 单片段 3σ 噪声:MUSIQ ±2.2 · LPIPS ±0.044 · DISTS ±0.002。点表头可排序;黄色为每列最优(不含 oracle)。
首帧 → 视频:同一专家在图像级和视频级的变化
首帧 = 专家输出本身对 GT 首帧(E0 口径,1248×704);视频 = H3 输出 32 帧均值。oracle 行的首帧就是 GT,略去。
逐帧 PSNR
横轴为帧号(第 0 帧是专家帧对应的那一帧)。bicubic 是 H3 实际收到的输入(common.prepare,RGB 对 GT 中心裁),与 E0 页 bicubic 首帧口径一致。
表格视图(分段均值)
保真度缺口在哪个频段
输出和 GT 同时按 f 面积降采样后再算 PSNR(偶数帧 0..30)。如果缺口只在高频,降采样后应追平 bicubic。
1/8 尺度上 H3 各行仍比 bicubic 低约 1.6–3.4 dB,GT oracle 也低 1.6 dB:低频结构也有偏差,部署剂量的 DC(g=0.5、10 步)没有把低频拉满。全局逐通道色彩校正 + 全局亚像素平移最多只能找回 0.3–0.5 dB(见 outputs_vsr/_metrics/REBUTTAL_H3_DIAG.md)。
视频对比
静帧对比(可放大)
视频模型 · Track B:把 Gen4LV 的接口搬到 Wan2.1-VACE-14B 和 LTX-2 19B(udm10_000 / udm10_005)
同一张专家首帧(NBP)、同一条退化视频(bicubic ×4)、同一段 caption,接到两个新 backbone 的原生条件通道上,都不训练、不改模型文件。DC 是把 H3 的 frozen recipe 原样搬过去(等剂量步按各自采样器重新推导:Wan 22,37,42–49;LTX-2 21,31–39)。
- VACE 的 control video 和 LTX-2 的 in-context video 都逐像素照抄退化视频(失败模式①「保留退化」):「对输入 PSNR」高达 27–36 dB,MUSIQ 停在 bicubic 附近;专家帧只留在第 0 帧,或者完全不起作用。
- 唯一不照抄的通道(LTX-2 retake)是从噪声重新生成(失败模式②「偏离观测」):画面清楚,但镜头静止、内容偏离,离散度 33–69 px。
- 中间强度也没有可用的状态:VACE scale 0.5、LTX in-context ×2,要么第 0 帧之后崩坏,要么重影。
- ⚠️ LTX retake + DC 会骗过离散度指标:离散度降到 1–2 px,但画面是重影(低频被拉回,高频还停在第 0 帧)。看 udm10_000 的第 31 帧最明显。
n=2、单 seed:只是待验假设(FINDINGS §B62)。结论属于计划里的 C1:原生通道实现不了这套接口,不等于这些模型没有这种能力。
每格是 udm10_000 / udm10_005;VACE 的两个 DC 臂只跑了 000。「对输入 PSNR」= 输出对退化输入(bicubic)的 PSNR,越高越接近照抄;H3 部署版约 22 dB。指标来自 vsr/rbb_eval.py,bicubic 行用的是 01_input_upsampled_bicubic(PSNR 口径比 H3 页低约 0.4 dB),画面上显示的是实际喂给模型的 bicubic。