CoRA · Correlation-aware Adapter · Lesson 0001

三种通道相关:卡在哪,才需要插件

先别碰公式。用气象四通道,把 DCorr / HCorr / PCorr 各自「坏在哪」钉死。

主源: arXiv HTML 2603.21828 · Appendix A 定义 · 术语速查

消歧(开场必读)
本课的 CoRA = CoRrelation-aware Adapter(通道相关插件,Cheng et al., ICLR 2026)。 仓库里另一篇 CoRA = Covariate-awaRe Adaptation(外生协变量)。问题不同,方法不同,本课不展开后者。

锚点例子:Weather 四通道

论文可视化用 Weather 里 4 个通道、3 段各 64 点(Fig. 7)。 你就想象:气温、湿度、气压、风速——名字不重要,重要的是它们之间的关系会变

时间轴 → 段1 (0–64) 段2 (64–128) 段3 (128–192) C1↔C3 同向 C2↔C3↔C4 同向 C1↔C3 同向 C2↔C4 同向 C3 更独立 C1/C3 与 C2/C4 反向

若模型永远用同一张「谁跟谁相关」的图,或永远让所有通道两两交互, 就会在某段上把噪声当信号、或把反相关当同向。 这就是 TSFM 多走通道独立(CI)时留下的缺口:时序强,通道关系弱或粗糙 (见论文 Introduction 与 Related Work 对 TTM / UniTS / Moirai 的批评)。

三种相关:各钉一个失败模式

名字一句话在例子上怎么坏
DCorr
动态相关
相关矩阵随时间段变 段1 的「好友名单」搬到段3 全错
HCorr
异质相关
同一段里既有也有 把反向通道当同向混进 attention
PCorr
部分相关
只有部分通道对显著 全通道混合 = 给无关对喂噪声

正式定义在 Appendix A:把序列切成窗,每窗一张通道相关矩阵 \(C^{(k)}\)。 DCorr = 存在两窗矩阵不等;HCorr = 某窗里同一通道对另两通道符号相反; PCorr = 某窗里存在 \(|c_{ab}| < \epsilon\) 的弱边。 读原文定义

为什么要「下游插件」而不是预训练一次学完

相关形态跨数据集差很大;预训练很难学到「通用相关」。 端到端模型(Crossformer、iTransformer 等)改整网;CCM / C-LoRA 等插件又多面向端到端、few-shot 易伤 TSFM。 CoRA 的定位:微调阶段挂上,吃 TSFM 的表示与原预测,补三类相关,推理尽量轻。

本课只建立「问题地图」。下一课再拆 DCE / HPCL 怎么做。 先会诊断,再谈手术刀。

检索练习

先别往回翻表。凭记忆答;点完才看解释。

1. 全通道 MLP 混合、权重还不随时变——最直接漏掉的是哪一类?
2. 段1 里 C1–C3 同向,段3 里 C1–C3 仍同向但与 C2 反向。这首先证明?
3. 本课 CoRA 主要补的是?

课后一问(写给自己)

用你熟悉的一个多元数据集(电、交通、气象任选),各举一对通道: 可能随季节变关系的、可能反相关的、可能根本不该交互的。 写三行即可。答不清就再读 Appendix A

有疑问就问我(你的老师)——定义、例子、和 CI/CD 的关系,随时追问。 下一课:DCE 如何用低秩 + 多项式估计动态相关。