UAT：为什么 MLP 可以逼近连续函数

“拟合一切”不能理解成无条件拟合任何对象。更精确的说法是：在给定函数空间、给定误差度量、给定定义域和正则条件之后，一组足够丰富的简单函数族可以在该空间里稠密。稠密的意思是：目标函数 f 和模型函数 g 之间的距离可以小于任意 epsilon。

For every f in a function space F and every epsilon > 0,
there exists g in model class G such that

    distance(f, g) < epsilon.

傅立叶级数和 MLP 的 UAT 都是这个模板的实例。区别在于：傅立叶的基函数通常先固定，模型只决定每个频率放多少；MLP 的隐藏单元位置、方向、尺度和输出权重都可以学习。

设 K 是 R^d 中的紧致集，C(K) 是 K 上所有连续函数构成的空间，并用 sup norm 衡量误差。如果激活函数 sigma 满足合适条件，例如非多项式连续激活，或 Cybenko 原始定理中的有界、连续、非恒定 sigmoidal 激活，则单隐层网络在 C(K) 中稠密。

Given f in C(K) and epsilon > 0,
there exist N, alpha_j, w_j, b_j such that

sup_{x in K} | f(x) - sum_{j=1}^N alpha_j sigma(w_j^T x + b_j) | < epsilon.

这个定理的关键词是“存在”。它说明足够宽的 MLP 表达能力够强，但不说明训练算法一定找到这些参数，也不说明有限样本上一定泛化。

下面是常见的证明骨架。它不靠“画图直觉”，而是用泛函分析说明：如果 MLP 不能逼近所有连续函数，就会存在一个非零测度能把所有隐藏单元都积分成 0；但 sigmoidal 单元可以逼近半空间指示函数，最后迫使这个测度在所有半空间上都是 0，于是测度只能是 0，矛盾。

L(h) = int_K h(x) d mu(x)

Therefore for every w and b:
int_K sigma(w^T x + b) d mu(x) = 0.

sigma(lambda(w^T x + b)) -> 1{w^T x + b > 0}

So, for almost every boundary shift b:
mu({x in K: w^T x + b > 0}) = 0.

hat_mu(xi) = int_K exp(i xi^T x) d mu(x)
          = int_R exp(i t) d nu_xi(t)
          = 0 for every xi.

Thus mu = 0, contradicting that L was nonzero.

对 ReLU，最直观的推导可以从一维开始。ReLU 单元 (x-t)_+ 是一个从 t 处开始改变斜率的“折点”。多个 ReLU 相加，就能在不同位置放置折点，从而表示任意连续折线函数。

p(x) = beta_0 + beta_1 x + sum_{i=1}^{m-1} c_i (x - t_i)_+

If slopes on intervals are s_1, s_2, ..., s_m,
then c_i = s_{i+1} - s_i.

因为闭区间上的连续函数一致连续，所以只要网格足够细，目标函数 f 的折线插值 p 就能满足 sup_x |f(x)-p(x)| < epsilon。折线 p 又可以写成有限个 ReLU 的线性组合，所以一维情形下 UAT 的构造直觉非常直接：隐藏单元越多，可放置的折点越多。

傅立叶级数的核心是：在周期区间上，用一组固定的正交基函数 sin(kx)、cos(kx) 表示函数。对平方可积的周期函数，傅立叶部分和是投影到有限频率子空间的结果。

f(x) ~ a_0/2 + sum_{k=1}^N [a_k cos(kx) + b_k sin(kx)]

a_k = (1/pi) int_{-pi}^{pi} f(x) cos(kx) dx
b_k = (1/pi) int_{-pi}^{pi} f(x) sin(kx) dx

正交性带来一个非常清楚的误差分解。若用复指数写 c_k=(1/2pi) int f(x)e^{-ikx}dx，则 Parseval 恒等式说明能量可以按频率分解，截断误差就是被丢掉的高频能量。

||f - S_N f||_2^2 = 2pi * sum_{|k| > N} |c_k|^2

所以最准确的一句话是：傅立叶展开和 MLP 的 UAT 都说明“复杂函数可由大量简单函数叠加近似”；但傅立叶使用固定正交频率，MLP 使用可学习非线性单元。二者共享逼近思想，但数学条件、误差范数、计算方式和失败模式都不同。