E0 · 首帧专家筛选(UDM10 ×10,图像级)
每个图像专家对 UDM10 每条片段的首帧做 ×4 复原(LR 312×176 → 1248×704),统一在 1248×704 上对 GT 首帧中心裁打分(pyiqa 默认配置)。n=10,单 seed。
⚠️ 这是图像级结果,不能直接用来选型:送进 H3 后的结果见「H3 输出」页。档位:保真档高感知档参照旧版。点表头可排序,黄色为每列最优(不含 GT / bicubic)。
口径说明
Nano Banana Pro 的 udm10_002 用的是项目实际送进 H3 的 2K_v2 帧(v1 是幻觉,§B11);9 月旧表读错了帧,详见 FINDINGS §B61 的更正。HarnessIR 走 Forge 调 NBP,SAM 3 工具因权限关闭。LucidFlux 是等分辨率复原,输入为 bicubic ×4。
逐条对比
H3 输出 · 同一视频管线,换不同专家首帧(UDM10 ×10)
所有行都用论文 Table 1 的部署配置:冻结 MiniMax-H3(Ref2VA)· 退化视频作 video ref · 专家首帧作 appearance ref(短边 1408)· 由该专家帧重新生成的 caption · 频率门控 DC(bicubic4 / c=0.06 / g=0.5 / N=10)· seed 0。只换专家首帧,其他全部不变。指标是 32 帧全片。
- 视频级无参考指标跟着首帧的感知档位走:NBP、LucidFlux 高,保真档(PiSA ×4 / TADSR / ODTSR / HarnessIR)低。DOVER / FastVQA / Q-Align 仍然是部署的 NBP 最高。
- GT 首帧 oracle:LPIPS 0.364→0.175、DISTS 0.158→0.078,都减半;但原始 PSNR 只 +0.7 dB(22.36)。主因是 H3 生成端约 1–1.4% 的整幅缩小,不是内容画错:逐帧仿射对齐后 oracle 升到 25.9 dB,反超 bicubic 1.8 dB,高频细节和 GT 的相关达 0.67–0.81(见下方「PSNR 缺口拆分」)。
- 原始 PSNR 的跨专家差距被压缩(首帧跨 5.0 dB → 视频 2.3 dB),其中一部分是几何巧合:NBP 首帧自带约 +0.9% 放大,正好抵消 H3 的缩小;GT 首帧和开源专家都是 1.000,缩小全部留在输出里。对齐后排序回到首帧保真度顺序:ODTSR > PiSA ×4 > NBP > LucidFlux。
n=10、单 seed:小差距按 FINDINGS 规则 7 只当假设。§B37 单片段 3σ 噪声:MUSIQ ±2.2 · LPIPS ±0.044 · DISTS ±0.002。点表头可排序;黄色为每列最优(不含 oracle)。
首帧 → 视频:同一专家在图像级和视频级的变化
首帧 = 专家输出本身对 GT 首帧(E0 口径,1248×704);视频 = H3 输出 32 帧均值。oracle 行的首帧就是 GT,略去。
逐帧 PSNR
横轴为帧号(第 0 帧是专家帧对应的那一帧)。bicubic 是 H3 实际收到的输入(common.prepare,RGB 对 GT 中心裁),与 E0 页 bicubic 首帧口径一致。
表格视图(分段均值)
保真度缺口在哪个频段
输出和 GT 同时按 f 面积降采样后再算 PSNR(偶数帧 0..30)。如果缺口只在高频,降采样后应追平 bicubic。
1/8 尺度上 H3 各行仍比 bicubic 低约 1.6–3.4 dB。这主要也是整幅缩放造成的错位(降采样消不掉 1% 的缩放),不是低频内容有偏差:先做逐帧仿射对齐,oracle 的低频误差就比 bicubic 小了(见下表)。全局平移 + 色彩校正只找回 0.3–0.5 dB,是因为它不含缩放。
PSNR 缺口拆分:逐层补偿(帧 0/8/16/24/31)
每格「第 0 帧 / 第 8–31 帧」。「仿射→GT」是逐帧 ECC 仿射对到 GT(上界);「仿射→输入」只用退化输入估计,推理时可部署。频段分解在仿射→GT 之后做(高斯 σ=4 px)。
首帧本身对 GT 的整幅缩放:NBP sx 1.0085 / sy 1.0092(10 条全部 >1);PiSA ×4、ODTSR、HarnessIR、bicubic 都在 1.000±0.001。bicubic 对齐后几乎不变,说明对齐没有作弊。对齐后 NBP 的缺口全在高频:细节能量是 GT 的 1.6 倍,但相关只有 0.36(细节多、对不上)。vsr/rebut_h3_diag_gap.py
对齐到输入之后(可部署的几何校正,不用 GT)
把每一帧 H3 输出用仿射变换对齐到退化输入(推理时拿得到),再走与 Table 1 相同的整条指标链。A = 整段片子共用一个仿射(10 帧取中位数,只修恒定缩放和取景偏移,不会引入抖动);B = 每帧各估一个仿射。Lanczos 重采样。五个基线同样做 A 档,作公平性对照。
- 全参考指标一致变好(A 档):NBP(部署)PSNR 21.68→22.58(+0.90),SSIM 0.600→0.629,LPIPS 0.364→0.353;GT 首帧 oracle PSNR 22.36→24.75(+2.39),LPIPS 0.175→0.141;保真档专家 +1.1–1.5 dB。
- 观感基本不变:DOVER、FastVQA、Q-Align 的变化都在 ±0.01 量级,MUSIQ 只降 0.2–0.3(§B37 的 3σ 是 ±2.2),NIQE 升 0.04–0.09,是 Lanczos 重采样带来的轻微软化。整幅 1% 的缩放肉眼看不出来,只有拖分界线到画面边缘时能看到边缘对齐了。
- 公平性对照:SparkVSR、DOVE、FlashVSR、DiffIR2VR 做同样的 A 档,PSNR 变化 ≤0.01 dB;SeedVR2-7B +0.28 dB(它本身有 0.2% 的缩放)。所以这个校正只对有几何偏差的方法有效,不是通用的刷分手段。
- A 档比 B 档更合适:B 档 PSNR 再多 0.1–0.4 dB,但 E_warp 变差(NBP 1.650→1.692,A 档反而降到 1.626):逐帧独立估计会引入轻微的几何抖动。
- 对齐后 Gen4LV(NBP)的 PSNR 仍低于 SparkVSR / DOVE(22.6 vs 26.4):剩下的缺口主要是 NBP 首帧的高频幻觉(见上方「PSNR 缺口拆分」),不是几何。
括号里是相对「原始」的变化。vsr/rebut_h3_align.py → vsr/rebut_h3_align_table.py → outputs_vsr/_metrics/REBUTTAL_H3_ALIGNED.md
看对齐前后的画面
先仿射再 PnP(试验:udm10_000–002,n=3)
不对齐时,PnP 的残差 y − H(x̂₀) 里混着几何错位(H3 输出整幅缩小约 1%),加性修正只能把错位的边缘在低频上「混合」。试验在 DC 里加一步全局仿射配准(纯 torch 的 Lucas–Kanade,整段一个仿射,在 HR 上对 bicubic 上采样的输入求解):
- obs:每个 DC 步先把观测搬到当前估计的几何下,再做 PnP(估计本身不重采样);最后再做一次事后 A 档对齐。
- est:只在第一个 DC 步把估计搬到观测的几何下(一次 bicubic 重采样),之后照常。
- obs + 事后 A 是目前最好的组合:相对「部署 DC + 事后 A」,NBP PSNR +0.34 dB、LPIPS −0.006、DISTS −0.004、SSIM +0.012;GT 首帧 oracle PSNR +1.26 dB、LPIPS −0.013、DISTS −0.011(§B37 单片段 3σ 是 ±0.002)、SSIM +0.042。NR 指标基本不变(MUSIQ 0 / −0.5,DOVER ±0.006,Q-Align +0.08 / +0.03)。
- DC 不再把力气花在几何上:obs 档的 DC 修正量(3 条 × 10 步平均)比部署版小 10%(NBP,3–16%)/ 23%(oracle,11–32%),省下来的修正落在真实内容误差上。代价是输出的缩小不再被拉回(obs 原始 PSNR 比部署原始低 0.7–1.0 dB),所以必须接事后对齐。
- est 档几乎没有效果:输出与部署版逐像素 39–48 dB,和同配置重跑的随机差异同级。第一个 DC 步的 σ=0.89,搬正后的估计在下一步状态里只占约 11%,几何被模型按条件重新施加回去。
括号里是相对同一首帧「部署 DC + 事后 A」的变化。vsr/dc_ops.py(--dc-align obs|est,默认 none 与部署版计算路径完全相同)· vsr/rebut_dcalign_table.py → outputs_vsr/_metrics/REBUTTAL_DCALIGN.md
视频对比
静帧对比(可放大)
视频模型 · Track B:把 Gen4LV 的接口搬到 Wan2.1-VACE-14B 和 LTX-2 19B(udm10_000 / udm10_005)
同一张专家首帧(NBP)、同一条退化视频(bicubic ×4)、同一段 caption,接到两个新 backbone 的原生条件通道上,都不训练、不改模型文件。DC 是把 H3 的 frozen recipe 原样搬过去(等剂量步按各自采样器重新推导:Wan 22,37,42–49;LTX-2 21,31–39)。
- VACE 的 control video 和 LTX-2 的 in-context video 都逐像素照抄退化视频(失败模式①「保留退化」):「对输入 PSNR」高达 27–36 dB,MUSIQ 停在 bicubic 附近;专家帧只留在第 0 帧,或者完全不起作用。
- 唯一不照抄的通道(LTX-2 retake)是从噪声重新生成(失败模式②「偏离观测」):画面清楚,但镜头静止、内容偏离,离散度 33–69 px。
- 中间强度也没有可用的状态:VACE scale 0.5、LTX in-context ×2,要么第 0 帧之后崩坏,要么重影。
- ⚠️ LTX retake + DC 会骗过离散度指标:离散度降到 1–2 px,但画面是重影(低频被拉回,高频还停在第 0 帧)。看 udm10_000 的第 31 帧最明显。
n=2、单 seed:只是待验假设(FINDINGS §B62)。结论属于计划里的 C1:原生通道实现不了这套接口,不等于这些模型没有这种能力。
每格是 udm10_000 / udm10_005;VACE 的两个 DC 臂只跑了 000。「对输入 PSNR」= 输出对退化输入(bicubic)的 PSNR,越高越接近照抄;H3 部署版约 22 dB。指标来自 vsr/rbb_eval.py,bicubic 行用的是 01_input_upsampled_bicubic(PSNR 口径比 H3 页低约 0.4 dB),画面上显示的是实际喂给模型的 bicubic。