跳转至

概率论笔记

1 概率论独立性

  1. 独立性定义

    • 事件独立性：若事件 A,B 满足 P(AB)=P(A)⋅P(B)，则 A,B 独立。
    • 随机变量独立性：若对 R 上的可测集 C,D，都有 P(X∈C,Y∈D)=P(X∈C)P(Y∈D)，则随机变量 X,Y 独立。

  2. σ - field（σ 域）间的独立性

    若 ∀A∈F,B∈G，事件 A,B 独立，则称 σ 域 F,G 独立。

  3. 定理 1.1

    若随机变量 X,Y 独立，则对 σ(X) 中任意集合 A（可表示为 A={X∈C},C 为 R 上可测集）、σ(Y) 中任意集合 B（可类似表示为 B={Y∈D},D 为 R 上可测集），有 P(AB)=P(X∈C,Y∈D)=P(X∈C)P(Y∈D)。

    若 F,G 为两个 σ 域，且 X 关于 F 可测（即 ∀C∈R,{X∈C}∈F）、Y 关于 G 可测，则 P(X∈C,Y∈D)=P(X∈C)P(Y∈D)。

  4. 定理 1.2

    • (i) 若 A,B 独立，则 \(A^c\),B 独立；同理，\(A,B^c\)、\(A^c,B^c\)也独立。

      （测度性质验证：P(AcB)=P(B)−P(AB)=P(B)−P(A)P(B)=P(Ac)P(B)）

    • (ii) 对 ∀C,D∈R，若 X∈C 的可能结果为 {ϕ,A,Ac,Ω}，Y∈D 的可能结果为 {ϕ,B,Bc,Ω}，则 σ(X),σ(Y) 一定独立；特别地，指示函数 X=IA,Y=IB 独立。

  5. 定理 1.3（多个随机变量独立）

    若多个事件 A1,A2,⋯,An 独立，则 \(P(⋂_{i=1}^nA_i)=\Pi_{i=1}^nP(A_i)\)。

  6. 定理 1.4

    Dynkin's π - λ 定理（待证明）。

  7. 定理 1.5（集族的独立性）

    若集族 A1,A2,⋯,An 满足：对任意 I⊂{1,2,⋯,n} 及 Ai∈Ai，都有 P(⋂i∈IAi)=∏i∈IP(Ai)，则称集族独立。

    特别地，当每个 Ai 都包含全集 Ω 时，集族独立性等价于 P(⋂i=1nAi)=∏i=1nP(Ai)。

随机变量独立性

1.1 随机变量独立性

1.1.1 独立的充分条件

涉及 π - system（π 系） 与 λ - system（λ 系）：

  • π - system：对 “交运算” 封闭（即若 A,B 属于该系，则 A∩B 也属于该系）。

  • λ - system：满足以下三条：

    1）全集

    Ω∈λ

    ；

    2）对 “差运算” 封闭（即若

    A⊂B

    且

    A,B∈λ

    ，则

    B∖A∈λ

    ）；

    3）对 “单调增收敛” 封闭（即若

    An∈λ

    且

    An↑A

    ，则

    A∈λ

    ）。

根据 π - λ 定理：若 λ 是 λ - system，且包含某个 π - system，则 该π系（即由该 π - 系生成的 σ 域含于 λ - 系）。

独立的证明（若干 π - system 独立 ⇒ 其生成的 σ 域独立）

从 Ai（对应 π - system 中的集合）中选取 Ai（i=2,3,⋯,n），令 F=A2∩⋯∩An，定义集合类：

L={A:P(A∩F)=P(A)P(F)}

验证 L 是 λ - system：

1）Ω∈L：因 P(Ω∩F)=P(F)=P(Ω)P(F)，故成立。

2）对差运算封闭：若 A⊂B，则

P((B∖A)∩F)=P(B∩F)−P(A∩F)=P(B)P(F)−P(A)P(F)=P(B∖A)P(F),

故 B∖A∈L。

3）对单调增收敛封闭：若 Bk∈L 且 Bk↑B，则

P(B∩F)=limk→∞P(Bk∩F)=limk→∞P(Bk)P(F)=P(B)P(F),

故 B∈L。

由 π - λ 定理，若 A1 所在的 π - system 满足条件，则其生成的 σ(A1)⊂L。因此，对 A1∈σ(A1)，有 P(A1∩F)=P(A1)P(F)，即

P(A1∩A2∩⋯∩An)=P(A1)P(A2)⋯P(An),

从而证明由 π - system 生成的 σ 域（对应随机变量的 σ 域 σ(Ai)）独立。

  1. 从事件独立到 σ 域独立的推广

    若 A1,A2,⋯,An 独立，则 σ(A1),A2,⋯,An 也满足独立关系；依此类推，可进一步得到 σ(A1),A2,⋯,Am 独立（通过对不同事件 /σ 域的轮换验证）。

  2. 随机变量独立的判定条件

    对于随机变量 X1,X2,⋯,Xn，若对任意 x1,x2,⋯,xn∈R，满足

    P(X1≤x1,X2≤x2,⋯,Xn≤xn)=∏i=1nP(Xi≤xi),

    则 X1,X2,⋯,Xn 独立。

    证明思路：考虑集合类 Ai={Xi≤x}（x∈R），易知 Ai 是 π - system（对交运算封闭）。若 A1,A2,⋯,An 独立，根据 “π - system 独立 ⇒ 其生成的 σ 域 σ(Ai) 独立”，可推出 Xi 对应的 σ 域 σ(Xi) 独立，即 Xi 独立。

  3. 更一般的独立情形（多指标随机变量）

    设对任意 1≤i≤n、1≤j≤m(i)，随机变量 Xi,j 相互独立；构造：

    • Ai={⋂j∈JFi,j}（J 是 {1,2,⋯,m(i)} 的子集），则 Ai 生成的 π - system 可用于构造 Gi=σ({Fi,j})，且 Gi 彼此独立；
    • 对可测函数 fi:Rm(i)→R，函数 fi(Xi,1,Xi,2,⋯,Xi,m(i)) 独立。

    σ 域等价性验证：需证明 σ(fi(Xi,1,⋯,Xi,m(i))) 与由 σ(Xi,j) 生成的 σ 域等价。

    任取 Si={fi(Xi,1,⋯,Xi,m(i))≤c}（c∈R，可测集），存在 C1,C2,⋯,Cm(i)⊂R，使得 Xi,1∈C1,Xi,2∈C2,⋯,Xi,m(i)∈Cm(i) 这些事件都含于 σ(Ai)，从而建立两类 σ 域的包含关系，最终证明等价。

  4. 可测函数与 σ 域的关系

    若函数 f(Xi1,Xi2,⋯,Xi,m(i)) 是可测函数（对 R 上的 Borel 可测集 C，f−1(C) 是可测集），则 f(Xi1,⋯,Xi,m(i))∈σ(⋃jFi,j)（即函数生成的可测集含于由 Fi,j 生成的 σ 域内）。

  5. 独立随机变量的联合分布（Theorem 2.1）

    若 X1,X2,⋯,Xn 相互独立，且 Xi 服从分布 μi，则随机向量 (X1,X2,⋯,Xn) 具有乘积分布μ1×μ2×⋯×μn。

    证明思路：

    选取 “矩形集合” A1×A2×⋯×An（这类矩形集合构成 π - system），则

    P((X1,⋯,Xn)∈A1×⋯×An)=i=1∏nP(Xi∈Ai)=i=1∏nμi(Ai)=(μ1×μ2×⋯×μn)(A1×⋯×An).

    再通过 π - λ 定理，可将此结论推广到由矩形集合生成的 σ 系统（即 Borel σ 域），从而证明联合分布为乘积分布。

  6. 二元函数的期望（2.1.12）

    若 (X,Y) 的分布对应测度 μ(dx)ν(dy)，则对函数 h(x,y)，有

    E[h(X,Y)]=∬h(x,y)μ(dx)ν(dy).

    特别地，若 h(x,y)=f(x)⋅g(y)（即函数可分离为关于 x 和 y 的乘积），则

    E[f(X)g(Y)]=∬f(x)g(y)μ(dx)ν(dy)=∫g(y)(∫f(x)μ(dx))ν(dy)

    （体现了独立随机变量函数期望的 “分离性”，即乘积的期望等于期望的乘积）。

  7. 和的分布示例

    涉及随机变量和的概率 P(X+Y≤z)（需结合联合分布进一步分析，如利用卷积公式等）。

伯恩涅斯坦多项式：

- - E[f(S**n/n)]=m=0∑n**f(m/n)⋅P(S**n=m)=m=0∑n**f(m/n)(m**n)p**m(1−p)n−m=f**n(p)

  1. 设置参数：

    • 令 M=sup⁡x∈[0,1]∣f(x)∣M=supx∈[0,1]∣f(x)∣（有界性，因为闭区间上的连续函数必有界）。
    • 任取 ϵ>0ϵ>0。
    • 由于 ff 在闭区间上连续，所以它一致连续。这意味着我们可以找到一个 δ>0δ>0，使得当任意两点距离 ∣x−y∣<δ∣x−y∣<δ 时，函数值的差 ∣f(x)−f(y)∣<ϵ∣f(x)−f(y)∣<ϵ。

  2. 分解误差：

    ∣E[f(Sn/n)]−f(p)∣≤E∣f(Sn/n)−f(p)∣∣E[f(S**n/n)]−f(p)∣≤E∣f(S**n/n)−f(p)∣

    这里用到了 Jensen 不等式（定理 1.6.2），将期望移到绝对值外面会放大误差。

  3. 分情况处理： 根据 Sn/nS**n/n 是否在 pp 的 δδ 邻域内，将期望分成两部分：

    • 好情况：∣Sn/n−p∣<δ∣S**n/n−p∣<δ。 此时，由一致连续性，∣f(Sn/n)−f(p)∣<ϵ∣f(S**n/n)−f(p)∣<ϵ。这部分贡献小于 ϵ⋅1=ϵϵ⋅1=ϵ。
    • 坏情况：∣Sn/n−p∣≥δ∣S**n/n−p∣≥δ。 此时，虽然函数差值可能很大，但最大不会超过 2M2M。这部分发生的概率由切比雪夫不等式控制。

    综合起来：

    E∣f(Sn/n)−f(p)∣≤ϵ⋅1+2M⋅P(∣Sn/n−p∣≥δ)E∣f(S**n/n)−f(p)∣≤ϵ⋅1+2M⋅P(∣S**n/n−p∣≥δ)

  4. 代入概率上界： 将第 2 步得到的概率上界代入：

    E∣f(Sn/n)−f(p)∣≤ϵ+2M⋅14nδ2E∣f(S**n/n)−f(p)∣≤ϵ+2M⋅4n**δ21

  5. 取极限： 当 n→∞n→∞ 时，第二项 2M4nδ2→04n**δ22M→0。因此：

    lim sup⁡n→∞∣E[f(Sn/n)]−f(p)∣≤ϵn→∞limsup∣E[f(S**n/n)]−f(p)∣≤ϵ

  6. 最终结论： 由于 ϵϵ 是任意小的正数，这个上极限必须为 0，即：

    lim⁡n→∞∣E[f(Sn/n)]−f(p)∣=0n→∞lim∣E[f(S**n/n)]−f(p)∣=0

    而 E[f(Sn/n)]=fn(p)E[f(S**n/n)]=f**n(p)，所以 fn(p)→f(p)f**n(p)→f(p)。

  7. 从逐点收敛到一致收敛： 上述证明中，δδ 的选取只依赖于 ϵϵ 和函数 ff 本身，与具体的 pp 值无关。切比雪夫不等式的上界 14nδ24n**δ21 也与 pp 无关。因此，收敛速度对所有 p∈[0,1]p∈[0,1] 是一致的。这就意味着：

    sup⁡x∈[0,1]∣fn(x)−f(x)∣→0x∈[0,1]sup∣f**n(x)−f(x)∣→0

2 强大数定律

待补充内容： - [ ] Borel-Cantelli 引理的详细证明 - [ ] 弱大数定律 - [ ] 经典例子：彩票兑奖问题

2.1 强大数定律的陈述

若随机变量序列 \(X_1, X_2, \ldots\) 独立同分布，且 \(E|X_1| < \infty\)，记 \(\mu = EX_1\)，部分和 \(S_n = \sum_{i=1}^n X_i\)，则：

\[\frac{S_n}{n} \to \mu \quad \text{几乎必然（a.s.）}\]

2.2 截断技巧与 Borel-Cantelli 引理

构造截断随机变量：

\[Y_k = X_k \cdot \mathbf{1}_{\{|X_k| \leq k\}}\]

（即当 \(|X_k| \leq k\) 时 \(Y_k = X_k\)，否则 \(Y_k = 0\)）。

由期望的非负性与积分性质，对 \(P(|Y_k| > k) = P(|X_k| > k)\)，有：

\[\sum_{k=1}^{\infty} P(|Y_k| > k) = \sum_{k=1}^{\infty} P(|X_k| > k) \leq E|X_1| < \infty\]

根据 Borel-Cantelli 引理，得 \(P(X_k \neq Y_k \text{ i.o.}) = 0\)，即 "\(X_k\) 与 \(Y_k\) 几乎必然只有有限次不同"。

2.3 方差与积分的估计

对截断变量 \(Y_k\)，计算方差：

\[\text{Var}(Y_k) \leq E(Y_k^2)\]

进一步，通过积分变换（将求和转化为积分）估计 \(\sum_{k=1}^{\infty} \frac{E(Y_k^2)}{k^2}\)：

\[\sum_{k=1}^{\infty} \frac{E(Y_k^2)}{k^2} \leq \int_0^{\infty} \sum_{k \geq y} \frac{1}{k^2} \cdot 2y P(X_1 > y) dy\]

利用级数和 \(\sum_{k \geq y} \frac{1}{k^2} \leq \int_{y-1}^{\infty} \frac{1}{t^2} dt \leq \frac{1}{y-1}\)（\(y \geq 1\)），可证上述积分小于 \(4E|X_1|\)，即级数 \(\sum \frac{\text{Var}(Y_k)}{k^2}\) 收敛。

2.4 子序列的几乎必然收敛

对指数增长的子序列 \(k_n = \lfloor \alpha^n \rfloor\)（\(\alpha > 1\)），考虑部分和 \(T_{k_n} = X_1 + X_2 + \cdots + X_{k_n}\)，利用切比雪夫不等式：

\[P\left(\left|\frac{T_{k_n}}{k_n} - \frac{ET_{k_n}}{k_n}\right| > \varepsilon\right) \leq \frac{\text{Var}(T_{k_n})}{\varepsilon^2 k_n^2}\]

若 \(\sum_{n=1}^{\infty} \frac{\text{Var}(T_{k_n})}{k_n^2} < \infty\)，由 Borel-Cantelli 引理得：

\[\frac{T_{k_n}}{k_n} - \frac{ET_{k_n}}{k_n} \to 0 \quad \text{几乎必然（a.s.）}\]

2.5 单调性与全序列的收敛

通过单调性将子序列的收敛推广到整个序列 \(\{n\}\)：对任意 \(n\)，存在 \(k_n, k_{n+1}\) 使得 \(k_n \leq n < k_{n+1}\)，故

\[\frac{1}{\alpha} \cdot \frac{T_{k_n}}{k_{n+1}} \leq \frac{T_n}{n} \leq \frac{T_{k_{n+1}}}{k_n} \leq 2\alpha\mu\]

令 \(\alpha \to 1\)，结合子序列的收敛性，可推导 \(\frac{T_n}{n}\) 的极限行为（需补充 \(ET_{k_n}/k_n \to \mu\) 等条件）。

2.6 期望存在性的截断分析

当 \(EX_i^+ = \infty\)（正部期望无穷）且 \(EX_i^- < \infty\)（负部期望有限）时，截断技巧（令 \(X_i^M = X_i \cdot \mathbf{1}_{\{|X_i| \leq M\}}\)）面临困境：

  • 截断后 \(S_n^M/n \to EX_i^M\)（强大数定律对截断变量成立）；
  • 但 \(\liminf_{n \to \infty} \frac{S_n}{n} \geq EX_i^M\)，且当 \(M \to \infty\) 时，\(E(X_i^M)^+ \to EX_i^+ = \infty\)；
  • 故 \(\liminf_{n \to \infty} \frac{S_n}{n} = \infty\)（正部主导导致和无界增长）。

3. KL 散度：比较概率分布的信息代价

设概率分布 \(P,Q\) 分别有密度 \(p,q\)。KL 散度定义为

\[ D_{\mathrm{KL}}(P\|Q) =\int p(x)\log\frac{p(x)}{q(x)}\,dx. \]

它不是范数或对称距离，而是“用 \(Q\) 描述来自 \(P\) 的数据时增加了多少对数损失”。因此

\[ D_{\mathrm{KL}}(P\|Q)\ge0, \qquad D_{\mathrm{KL}}(P\|Q)=0 \Longleftrightarrow P=Q\quad\text{几乎处处}, \]

但通常

\[ D_{\mathrm{KL}}(P\|Q)\ne D_{\mathrm{KL}}(Q\|P). \]

如果 \(p(x)>0\) 而 \(q(x)=0\)，则 \(D_{\mathrm{KL}}(P\|Q)=+\infty\)。这反映了模型把真实可能事件判为不可能会付出无限的信息代价。

KL 与最大似然的关系来自

\[ D_{\mathrm{KL}}(P_{\mathrm{data}}\|Q_\theta) =\mathbb E_{P_{\mathrm{data}}}[\log p_{\mathrm{data}}] -\mathbb E_{P_{\mathrm{data}}}[\log q_\theta]. \]

第一项与参数 \(\theta\) 无关，所以最小化 KL 等价于最大化期望对数似然。若关心几何距离、弱收敛或样本可区分性，则可能更适合使用 total variation、Wasserstein、Hellinger 或 MMD；不同量回答的问题不同。