Rebuttal 实验结果

图像专家 × 视频模型归因实验 · UDM10 ×10 · 计划见 docs/extra_md/rebuttal_attribution_plan.md

E0 · 首帧专家筛选(UDM10 ×10,图像级)

每个图像专家对 UDM10 每条片段的首帧做 ×4 复原(LR 312×176 → 1248×704),统一在 1248×704 上对 GT 首帧中心裁打分(pyiqa 默认配置)。n=10,单 seed。

⚠️ 这是图像级结果,不能直接用来选型:送进 H3 后的结果见「H3 输出」页。档位:保真档高感知档参照旧版。点表头可排序,黄色为每列最优(不含 GT / bicubic)。

口径说明

Nano Banana Pro 的 udm10_002 用的是项目实际送进 H3 的 2K_v2 帧(v1 是幻觉,§B11);9 月旧表读错了帧,详见 FINDINGS §B61 的更正。HarnessIR 走 Forge 调 NBP,SAM 3 工具因权限关闭。LucidFlux 是等分辨率复原,输入为 bicubic ×4。

逐条对比

H3 输出 · 同一视频管线,换不同专家首帧(UDM10 ×10)

所有行都用论文 Table 1 的部署配置:冻结 MiniMax-H3(Ref2VA)· 退化视频作 video ref · 专家首帧作 appearance ref(短边 1408)· 由该专家帧重新生成的 caption · 频率门控 DC(bicubic4 / c=0.06 / g=0.5 / N=10)· seed 0。只换专家首帧,其他全部不变。指标是 32 帧全片。

  • 视频级无参考指标跟着首帧的感知档位走:NBP、LucidFlux 高,保真档(PiSA ×4 / TADSR / ODTSR / HarnessIR)低。DOVER / FastVQA / Q-Align 仍然是部署的 NBP 最高。
  • GT 首帧 oracle:LPIPS 0.364→0.175、DISTS 0.158→0.078,都减半;但原始 PSNR 只 +0.7 dB(22.36)。主因是 H3 生成端约 1–1.4% 的整幅缩小,不是内容画错:逐帧仿射对齐后 oracle 升到 25.9 dB,反超 bicubic 1.8 dB,高频细节和 GT 的相关达 0.67–0.81(见下方「PSNR 缺口拆分」)。
  • 原始 PSNR 的跨专家差距被压缩(首帧跨 5.0 dB → 视频 2.3 dB),其中一部分是几何巧合:NBP 首帧自带约 +0.9% 放大,正好抵消 H3 的缩小;GT 首帧和开源专家都是 1.000,缩小全部留在输出里。对齐后排序回到首帧保真度顺序:ODTSR > PiSA ×4 > NBP > LucidFlux。

n=10、单 seed:小差距按 FINDINGS 规则 7 只当假设。§B37 单片段 3σ 噪声:MUSIQ ±2.2 · LPIPS ±0.044 · DISTS ±0.002。点表头可排序;黄色为每列最优(不含 oracle)。

首帧 → 视频:同一专家在图像级和视频级的变化

首帧 = 专家输出本身对 GT 首帧(E0 口径,1248×704);视频 = H3 输出 32 帧均值。oracle 行的首帧就是 GT,略去。

逐帧 PSNR

横轴为帧号(第 0 帧是专家帧对应的那一帧)。bicubic 是 H3 实际收到的输入(common.prepare,RGB 对 GT 中心裁),与 E0 页 bicubic 首帧口径一致。

范围
表格视图(分段均值)

保真度缺口在哪个频段

输出和 GT 同时按 f 面积降采样后再算 PSNR(偶数帧 0..30)。如果缺口只在高频,降采样后应追平 bicubic。

1/8 尺度上 H3 各行仍比 bicubic 低约 1.6–3.4 dB。这主要也是整幅缩放造成的错位(降采样消不掉 1% 的缩放),不是低频内容有偏差:先做逐帧仿射对齐,oracle 的低频误差就比 bicubic 小了(见下表)。全局平移 + 色彩校正只找回 0.3–0.5 dB,是因为它不含缩放。

PSNR 缺口拆分:逐层补偿(帧 0/8/16/24/31)

每格「第 0 帧 / 第 8–31 帧」。「仿射→GT」是逐帧 ECC 仿射对到 GT(上界);「仿射→输入」只用退化输入估计,推理时可部署。频段分解在仿射→GT 之后做(高斯 σ=4 px)。

首帧本身对 GT 的整幅缩放:NBP sx 1.0085 / sy 1.0092(10 条全部 >1);PiSA ×4、ODTSR、HarnessIR、bicubic 都在 1.000±0.001。bicubic 对齐后几乎不变,说明对齐没有作弊。对齐后 NBP 的缺口全在高频:细节能量是 GT 的 1.6 倍,但相关只有 0.36(细节多、对不上)。vsr/rebut_h3_diag_gap.py

对齐到输入之后(可部署的几何校正,不用 GT)

把每一帧 H3 输出用仿射变换对齐到退化输入(推理时拿得到),再走与 Table 1 相同的整条指标链。A = 整段片子共用一个仿射(10 帧取中位数,只修恒定缩放和取景偏移,不会引入抖动);B = 每帧各估一个仿射。Lanczos 重采样。五个基线同样做 A 档,作公平性对照。

  • 全参考指标一致变好(A 档):NBP(部署)PSNR 21.68→22.58(+0.90),SSIM 0.600→0.629,LPIPS 0.364→0.353;GT 首帧 oracle PSNR 22.36→24.75(+2.39),LPIPS 0.175→0.141;保真档专家 +1.1–1.5 dB。
  • 观感基本不变:DOVER、FastVQA、Q-Align 的变化都在 ±0.01 量级,MUSIQ 只降 0.2–0.3(§B37 的 3σ 是 ±2.2),NIQE 升 0.04–0.09,是 Lanczos 重采样带来的轻微软化。整幅 1% 的缩放肉眼看不出来,只有拖分界线到画面边缘时能看到边缘对齐了。
  • 公平性对照:SparkVSR、DOVE、FlashVSR、DiffIR2VR 做同样的 A 档,PSNR 变化 ≤0.01 dB;SeedVR2-7B +0.28 dB(它本身有 0.2% 的缩放)。所以这个校正只对有几何偏差的方法有效,不是通用的刷分手段。
  • A 档比 B 档更合适:B 档 PSNR 再多 0.1–0.4 dB,但 E_warp 变差(NBP 1.650→1.692,A 档反而降到 1.626):逐帧独立估计会引入轻微的几何抖动。
  • 对齐后 Gen4LV(NBP)的 PSNR 仍低于 SparkVSR / DOVE(22.6 vs 26.4):剩下的缺口主要是 NBP 首帧的高频幻觉(见上方「PSNR 缺口拆分」),不是几何。

括号里是相对「原始」的变化。vsr/rebut_h3_align.py → vsr/rebut_h3_align_table.py → outputs_vsr/_metrics/REBUTTAL_H3_ALIGNED.md

看对齐前后的画面

专家首帧
静帧拖到画面边缘最容易看出差别:缩放误差在边缘最大(约 4–6 px)

先仿射再 PnP(UDM10 ×10:NBP / GT oracle / PiSA-SR ×4)

不对齐时,PnP 的残差 y − H(x̂₀) 里混着几何错位(H3 输出整幅缩小约 1%),加性修正只能把错位的边缘在低频上「混合」。试验在 DC 里加一步全局仿射配准(纯 torch 的 Lucas–Kanade,整段一个仿射,在 HR 上对 bicubic 上采样的输入求解):

  • obs:每个 DC 步先把观测搬到当前估计的几何下,再做 PnP(估计本身不重采样);最后再做一次事后 A 档对齐。
  • est:只在第一个 DC 步把估计搬到观测的几何下(一次 bicubic 重采样),之后照常。
  • obs + 事后 A 在三个首帧上都稳定优于「部署 DC + 事后 A」(括号里是 10 条里逐条胜出的条数): NBP PSNR +0.28 dB(9/10)、SSIM +0.010、LPIPS −0.005(8/10)、DISTS −0.0026(9/10); GT 首帧 oracle PSNR +1.41 dB(10/10)、SSIM +0.041、LPIPS −0.019(10/10)、DISTS −0.010(10/10); PiSA ×4 PSNR +0.45 dB(10/10)、SSIM +0.015、LPIPS −0.007(10/10)、DISTS −0.003(8/10)。也优于「部署 DC + 事后 B」(PSNR +0.15 / +1.01 / +0.30 dB)。
  • 无参考指标基本不变:DOVER ±0.004,Q-Align 反而略高(+0.04–0.06),MUSIQ NBP +0.03、oracle −0.18、PiSA −0.38(§B37 3σ 是 ±2.2)。
  • 代价是时序略差:E_warp 比「部署 + 事后 A」高 0.02–0.05(多数片段都高一点);但比「部署 + 事后 B」低(8–9/10 条),而 PSNR 仍更高。
  • 机理:DC 每步先把观测搬到估计的几何下,修正量不再花在几何错位上(3 条试验里平均小 10% / 23%),省下的修正落到真实的低频内容误差上;几何交给最后的事后对齐。代价是 DC 不再把缩小拉回,obs 的原始输出缩得更多(原始 PSNR 低 0.75–1.3 dB),所以必须接事后对齐。
  • GT 首帧 oracle 用 obs + 事后 A 后 PSNR 26.16,接近 SparkVSR / DOVE(26.4),LPIPS 0.122 / DISTS 0.064 远好于它们:首帧给对了,这条管线的保真度上限并不低。
  • 3 条试验的估计(NBP +0.34、oracle +1.26 dB)在 10 条上得到确认(+0.28 / +1.41 dB)。单 seed。
3 条试验(udm10_000–002,含 est 档)

est 档只在试验里跑过:输出与部署版逐像素 39–48 dB,和同配置重跑的随机差异同级(第一个 DC 步 σ=0.89,搬正后的估计在下一步状态里只占约 11%,几何被模型按条件重新施加回去),所以没有扩到 10 条。

括号里是相对同一首帧「部署 DC + 事后 A」的变化。vsr/dc_ops.py(--dc-align obs|est,默认 none 与部署版计算路径完全相同)· vsr/rebut_dcalign_table.py → outputs_vsr/_metrics/REBUTTAL_DCALIGN.md

首帧
静帧

DC 关 + 事后仿射(UDM10 ×10)

问题:事后对齐能不能替代 DC?把 DC(PnP)整个关掉,其他配置不变,再做同样的事后对齐(只用退化输入估计仿射)。NBP 的 DC 关臂是 R1IR1408(与部署配置逐比特一致,只差 DC,§B27 A2);PiSA-SR ×4 的 DC 关臂是新跑的 R1PISA4N。DC 开的行就是上面「对齐到输入之后」表里的同一批产物。

  • 事后对齐替代不了 DC:两边都对齐之后,DC 开仍比 DC 关高 +1.00 dB(NBP,10/10 条)/ +0.88 dB(PiSA ×4,8/10 条)。NBP 关 DC 再做事后 A(21.58)只和部署原始(21.68)持平;PiSA ×4 关 DC 再做事后 A(22.43)比 DC 开原始高 0.6 dB,但仍比 DC 开 + 事后 A 低 0.9 dB。
  • DC 原始的 PSNR 增益里约一半是几何:不对齐时 DC 带来 +1.63 dB(NBP)/ +1.79 dB(PiSA);对齐后剩 +1.00 / +0.88 dB。也就是说约 0.6 / 0.9 dB 是 DC 在把 H3 的整幅缩小往回拉:DC 关时缩得更多(NBP sx/sy 0.995/0.990 → 开 DC 0.997/0.995;PiSA 0.991/0.984 → 0.994/0.990)。剩下约 1 dB 是真正的内容保真(低频的色调和大尺度结构)。
  • 感知类全参考指标上,DC 的优势基本消失,PiSA 甚至反过来:对齐后 NBP 的 LPIPS DC 开只好 0.004(8/10 条),DISTS 反而是关 DC 略好(0.1546 vs 0.1567,6/10 条)。PiSA ×4 关 DC 反而更好:LPIPS 0.290 vs 0.296(关 DC 9/10 条胜)、DISTS 0.143 vs 0.151(8/10)。
  • 无参考指标:关 DC 的 Q-Align 稳定高约 0.2(NBP 9/10、PiSA 10/10 条),DOVER 高 0.01 / 0.025;但 PiSA 关 DC 的 MUSIQ 低 1.0(9/10 条),NBP 只低 0.1–0.2。NBP 开 DC 的 E_warp 更好(−0.10,7/10)。
  • 读法:DC 承担了两件事,一是修几何,这部分可以由事后对齐接手;二是低频保真,约 1 dB PSNR,是对齐给不了的,代价是一点纹理感知分(DISTS / Q-Align)。所以最好的组合仍是「DC + 事后对齐」,下一节的 obs 档把这两件事拆开做。

n=10、单 seed(§B37 单片段 3σ:MUSIQ ±2.2 · LPIPS ±0.044 · DISTS ±0.002)。括号里的胜负数是 10 条里逐条比较的结果。

括号里是相对同一首帧、同一 DC 设置「原始」的变化。sx / sy 是 A 档整段缩放(十条均值,<1 = 输出比输入小)。vsr/rebut_nodc_chain.sh → vsr/rebut_nodc_table.py → outputs_vsr/_metrics/REBUTTAL_NODC_ALIGNED.md

首帧
静帧片段与上面的「对齐到输入之后」联动

视频对比

静帧对比(可放大)

帧片段跟随上面的选择

视频模型 · Track B:把 Gen4LV 的接口搬到 Wan2.1-VACE-14B 和 LTX-2 19B(udm10_000 / udm10_005)

同一张专家首帧(NBP)、同一条退化视频(bicubic ×4)、同一段 caption,接到两个新 backbone 的原生条件通道上,都不训练、不改模型文件。DC 是把 H3 的 frozen recipe 原样搬过去(等剂量步按各自采样器重新推导:Wan 22,37,42–49;LTX-2 21,31–39)。

  • VACE 的 control video 和 LTX-2 的 in-context video 都逐像素照抄退化视频(失败模式①「保留退化」):「对输入 PSNR」高达 27–36 dB,MUSIQ 停在 bicubic 附近;专家帧只留在第 0 帧,或者完全不起作用。
  • 唯一不照抄的通道(LTX-2 retake)是从噪声重新生成(失败模式②「偏离观测」):画面清楚,但镜头静止、内容偏离,离散度 33–69 px。
  • 中间强度也没有可用的状态:VACE scale 0.5、LTX in-context ×2,要么第 0 帧之后崩坏,要么重影。
  • ⚠️ LTX retake + DC 会骗过离散度指标:离散度降到 1–2 px,但画面是重影(低频被拉回,高频还停在第 0 帧)。看 udm10_000 的第 31 帧最明显。

n=2、单 seed:只是待验假设(FINDINGS §B62)。结论属于计划里的 C1:原生通道实现不了这套接口,不等于这些模型没有这种能力。

每格是 udm10_000 / udm10_005;VACE 的两个 DC 臂只跑了 000。「对输入 PSNR」= 输出对退化输入(bicubic)的 PSNR,越高越接近照抄;H3 部署版约 22 dB。指标来自 vsr/rbb_eval.py,bicubic 行用的是 01_input_upsampled_bicubic(PSNR 口径比 H3 页低约 0.4 dB),画面上显示的是实际喂给模型的 bicubic。

视频对比

静帧对比(可放大)

帧片段跟随上面的选择 · 「专家首帧」是送进模型的那张图,各帧相同