跳转至

逆问题与高维计算札记

《有限元算法的零散笔记》中有两组内容与有限元主线差异较大：一组是积分算子、SVD 与不适定逆问题，另一组是高维网格、张量表示、Monte Carlo 和神经网络。这里单独整理，以免和“弱形式 - 离散 - 装配”的有限元流程混在一起。

1. 第一类积分方程为什么难解

考虑积分算子

\[ (Ku)(s)=\int_\Omega k(s,t)u(t)\,dt \]

以及方程

\[ Ku=f. \]

许多光滑核 \(k(s,t)\) 诱导紧算子。紧算子会把高频或细节方向压缩成很小的输出，因此从 \(f\) 反推 \(u\) 时，微小观测噪声可能被强烈放大。

若 \(K\) 有奇异系统 \((\sigma_j,u_j,v_j)\)：

\[ Kv_j=\sigma_ju_j, \qquad K^\ast u_j=\sigma_jv_j, \qquad \sigma_j\downarrow0, \]

则形式解为

\[ u=\sum_j\frac{\langle f,u_j\rangle}{\sigma_j}v_j. \]

当 \(\sigma_j\) 很小时，系数中的 \(1/\sigma_j\) 会把 \(f\) 的噪声放大。这就是原笔记“SVD 分解后小奇异值导致不适定”的数学含义。

2. 正则化不是可选装饰

2.1 截断 SVD

舍弃小于阈值的奇异值，只保留较稳定的方向：

\[ u_\tau= \sum_{\sigma_j\ge\tau} \frac{\langle f^\delta,u_j\rangle}{\sigma_j}v_j. \]

阈值太小会放大噪声，太大又会丢失真实细节，因此它体现“数据拟合”和“稳定性”的权衡。

2.2 Tikhonov 正则化

求解

\[ u_\alpha\in\arg\min_u \left( \|Ku-f^\delta\|^2+ \alpha\|Lu\|^2 \right). \]

\(L=I\) 时抑制解的整体大小；\(L\) 取微分算子时倾向于平滑解。正规方程为

\[ (K^\ast K+\alpha L^\ast L)u_\alpha=K^\ast f^\delta. \]

正则参数 \(\alpha\) 控制稳定性与偏差：\(\alpha\) 越大，解越平滑但偏差也可能越大。

3. 离散化与不适定性的区别

有限元或谱方法可以把 \(Ku=f\) 离散成矩阵方程，但“矩阵可以求解”并不代表连续逆问题已经稳定。随着离散空间加密，离散矩阵可能出现越来越小的奇异值，噪声放大反而更明显。

因此需要区分：

  • 离散误差：有限维空间不能完全表示真解；
  • 数据误差：观测 \(f^\delta\) 含噪；
  • 正则化误差：稳定化处理引入偏差；
  • 代数误差：迭代求解尚未充分收敛。

在逆问题中，无限制地细化网格或把线性系统求得过于精确，有时会开始拟合噪声，这称为半收敛现象。

4. 高维中的网格灾难

若每个坐标方向取 \(m\) 个网格点，\(d\) 维张量积网格约含

\[ N=m^d \]

个点。即使每维分辨率不高，\(N\) 也会随 \(d\) 指数增长。这就是维数灾难，也是原笔记“高维打网格困难”的背景。

传统有限元并非不能处理高维，而是通用网格的自由度增长通常不可承受。要突破它，必须利用额外结构，而不是单纯换一个求解器。

5. 可利用的高维结构

5.1 低秩张量表示

一种分离表示为

\[ u(x_1,\ldots,x_d) \approx \sum_{r=1}^{R}a_r \prod_{j=1}^{d}\phi_{rj}(x_j). \]

若所需秩 \(R\) 较小，参数量由 \(m^d\) 降为约 \(Rdm\)。但复杂函数的秩可能仍然很高，选择与优化分解也可能困难。

5.2 对称性与反对称性

多粒子量子问题要求波函数满足粒子交换对称性。费米子波函数常用 Slater 行列式保证反对称性：

\[ \Psi(x_1,\ldots,x_N) = \frac{1}{\sqrt{N!}} \det[\varphi_i(x_j)]_{i,j=1}^{N}. \]

这里不是靠更多网格点表达结构，而是把物理不变量直接写进函数形式。现代神经网络波函数也经常显式保持这种对称性。

5.3 Monte Carlo

对积分 \(I=\mathbb E[g(X)]\)，样本均值

\[ \widehat I_N=\frac1N\sum_{i=1}^{N}g(X_i) \]

的标准误差通常为

\[ \sqrt{\operatorname{Var}(\widehat I_N)} = \frac{\sqrt{\operatorname{Var}(g(X))}}{\sqrt N}. \]

\(N^{-1/2}\) 的指数不直接随维数恶化，这是 Monte Carlo 在高维积分中的优势。但高维会通过方差、稀有事件和采样混合速度间接造成困难，所以“与维数无关”只是在收敛指数上的有限结论。

5.4 神经网络试探空间

神经网络用参数化函数 \(u_\theta\) 代替固定网格基函数，并通过残量、能量或变分目标训练 \(\theta\)。它可能更适合高维和自适应表示，但会把线性 Galerkin 系统变成非凸优化问题。

因此需要分别评估：

  • 表示能力：网络能否逼近目标解；
  • 优化能力：训练是否找到了好参数；
  • 统计能力：随机采样积分是否可靠；
  • 物理一致性：边界条件、对称性和守恒是否被满足。

6. 与有限元和学习理论的联系

有限元在固定空间 \(V_h\) 中求最佳近似，高维神经方法则在参数化函数族中做优化；两者都可以从变分问题出发。不同的是，有限元基函数局部、矩阵稀疏且误差理论成熟，而神经网络表示更灵活，却引入非凸优化和采样误差。