CoRA · Correlation-aware Adapter · Lesson 0001
先别碰公式。用气象四通道,把 DCorr / HCorr / PCorr 各自「坏在哪」钉死。
论文可视化用 Weather 里 4 个通道、3 段各 64 点(Fig. 7)。 你就想象:气温、湿度、气压、风速——名字不重要,重要的是它们之间的关系会变。
若模型永远用同一张「谁跟谁相关」的图,或永远让所有通道两两交互, 就会在某段上把噪声当信号、或把反相关当同向。 这就是 TSFM 多走通道独立(CI)时留下的缺口:时序强,通道关系弱或粗糙 (见论文 Introduction 与 Related Work 对 TTM / UniTS / Moirai 的批评)。
| 名字 | 一句话 | 在例子上怎么坏 |
|---|---|---|
| DCorr 动态相关 |
相关矩阵随时间段变 | 段1 的「好友名单」搬到段3 全错 |
| HCorr 异质相关 |
同一段里既有正也有负 | 把反向通道当同向混进 attention |
| PCorr 部分相关 |
只有部分通道对显著 | 全通道混合 = 给无关对喂噪声 |
正式定义在 Appendix A:把序列切成窗,每窗一张通道相关矩阵 \(C^{(k)}\)。 DCorr = 存在两窗矩阵不等;HCorr = 某窗里同一通道对另两通道符号相反; PCorr = 某窗里存在 \(|c_{ab}| < \epsilon\) 的弱边。 读原文定义。
相关形态跨数据集差很大;预训练很难学到「通用相关」。 端到端模型(Crossformer、iTransformer 等)改整网;CCM / C-LoRA 等插件又多面向端到端、few-shot 易伤 TSFM。 CoRA 的定位:微调阶段挂上,吃 TSFM 的表示与原预测,补三类相关,推理尽量轻。
先别往回翻表。凭记忆答;点完才看解释。
用你熟悉的一个多元数据集(电、交通、气象任选),各举一对通道: 可能随季节变关系的、可能反相关的、可能根本不该交互的。 写三行即可。答不清就再读 Appendix A。