概率论笔记
1 概率论独立性
-
独立性定义
-
事件独立性：若事件 A,B 满足 P(AB)=P(A)⋅P(B)，则 A,B 独立。
-
随机变量独立性：若对 R 上的可测集 C,D，都有 P(X∈C,Y∈D)=P(X∈C)P(Y∈D)，则随机变量 X,Y 独立。
-
σ - field（σ 域）间的独立性
若 ∀A∈F,B∈G，事件 A,B 独立，则称 σ 域 F,G 独立。
- 定理 1.1
若随机变量 X,Y 独立，则对 σ(X) 中任意集合 A（可表示为 A={X∈C},C 为 R 上可测集）、σ(Y) 中任意集合 B（可类似表示为 B={Y∈D},D 为 R 上可测集），有 P(AB)=P(X∈C,Y∈D)=P(X∈C)P(Y∈D)。
若 F,G 为两个 σ 域，且 X 关于 F 可测（即 ∀C∈R,{X∈C}∈F）、Y 关于 G 可测，则 P(X∈C,Y∈D)=P(X∈C)P(Y∈D)。
-
定理 1.2
-
(i) 若 A,B 独立，则 \(A^c\),B 独立；同理，\(A,B^c\)、\(A^c,B^c\)也独立。
（测度性质验证：P(AcB)=P(B)−P(AB)=P(B)−P(A)P(B)=P(Ac)P(B)）
-
(ii) 对 ∀C,D∈R，若 X∈C 的可能结果为 {ϕ,A,Ac,Ω}，Y∈D 的可能结果为 {ϕ,B,Bc,Ω}，则 σ(X),σ(Y) 一定独立；特别地，指示函数 X=IA,Y=IB 独立。
-
定理 1.3（多个随机变量独立）
若多个事件 A1,A2,⋯,An 独立，则 \(P(⋂_{i=1}^nA_i)=\Pi_{i=1}^nP(A_i)\)。
- 定理 1.4
Dynkin's π - λ 定理（待证明）。
- 定理 1.5（集族的独立性）
若集族 A1,A2,⋯,An 满足：对任意 I⊂{1,2,⋯,n} 及 Ai∈Ai，都有 P(⋂i∈IAi)=∏i∈IP(Ai)，则称集族独立。
特别地，当每个 Ai 都包含全集 Ω 时，集族独立性等价于 P(⋂i=1nAi)=∏i=1nP(Ai)。
随机变量独立性
1.1 随机变量独立性
1.1.1 独立的充分条件
涉及 π - system（π 系） 与 λ - system（λ 系）：
-
π - system：对 “交运算” 封闭（即若 A,B 属于该系，则 A∩B 也属于该系）。
-
λ - system：满足以下三条：
1）全集
Ω∈λ
；
2）对 “差运算” 封闭（即若
A⊂B
且
A,B∈λ
，则
B∖A∈λ
）；
3）对 “单调增收敛” 封闭（即若
An∈λ
且
An↑A
，则
A∈λ
）。
根据 π - λ 定理：若 λ 是 λ - system，且包含某个 π - system，则 该π系（即由该 π - 系生成的 σ 域含于 λ - 系）。
独立的证明（若干 π - system 独立 ⇒ 其生成的 σ 域独立）
从 Ai（对应 π - system 中的集合）中选取 Ai（i=2,3,⋯,n），令 F=A2∩⋯∩An，定义集合类：
L={A:P(A∩F)=P(A)P(F)}
验证 L 是 λ - system：
1）Ω∈L：因 P(Ω∩F)=P(F)=P(Ω)P(F)，故成立。
2）对差运算封闭：若 A⊂B，则
P((B∖A)∩F)=P(B∩F)−P(A∩F)=P(B)P(F)−P(A)P(F)=P(B∖A)P(F),
故 B∖A∈L。
3）对单调增收敛封闭：若 Bk∈L 且 Bk↑B，则
P(B∩F)=limk→∞P(Bk∩F)=limk→∞P(Bk)P(F)=P(B)P(F),
故 B∈L。
由 π - λ 定理，若 A1 所在的 π - system 满足条件，则其生成的 σ(A1)⊂L。因此，对 A1∈σ(A1)，有 P(A1∩F)=P(A1)P(F)，即
P(A1∩A2∩⋯∩An)=P(A1)P(A2)⋯P(An),
从而证明由 π - system 生成的 σ 域（对应随机变量的 σ 域 σ(Ai)）独立。
- 从事件独立到 σ 域独立的推广
若 A1,A2,⋯,An 独立，则 σ(A1),A2,⋯,An 也满足独立关系；依此类推，可进一步得到 σ(A1),A2,⋯,Am 独立（通过对不同事件 /σ 域的轮换验证）。
- 随机变量独立的判定条件
对于随机变量 X1,X2,⋯,Xn，若对任意 x1,x2,⋯,xn∈R，满足
P(X1≤x1,X2≤x2,⋯,Xn≤xn)=∏i=1nP(Xi≤xi),
则 X1,X2,⋯,Xn 独立。
证明思路：考虑集合类 Ai={Xi≤x}（x∈R），易知 Ai 是 π - system（对交运算封闭）。若 A1,A2,⋯,An 独立，根据 “π - system 独立 ⇒ 其生成的 σ 域 σ(Ai) 独立”，可推出 Xi 对应的 σ 域 σ(Xi) 独立，即 Xi 独立。
- 更一般的独立情形（多指标随机变量）
设对任意 1≤i≤n、1≤j≤m(i)，随机变量 Xi,j 相互独立；构造：
- Ai={⋂j∈JFi,j}（J 是 {1,2,⋯,m(i)} 的子集），则 Ai 生成的 π - system 可用于构造 Gi=σ({Fi,j})，且 Gi 彼此独立；
- 对可测函数 fi:Rm(i)→R，函数 fi(Xi,1,Xi,2,⋯,Xi,m(i)) 独立。
σ 域等价性验证：需证明 σ(fi(Xi,1,⋯,Xi,m(i))) 与由 σ(Xi,j) 生成的 σ 域等价。
任取 Si={fi(Xi,1,⋯,Xi,m(i))≤c}（c∈R，可测集），存在 C1,C2,⋯,Cm(i)⊂R，使得 Xi,1∈C1,Xi,2∈C2,⋯,Xi,m(i)∈Cm(i) 这些事件都含于 σ(Ai)，从而建立两类 σ 域的包含关系，最终证明等价。
- 可测函数与 σ 域的关系
若函数 f(Xi1,Xi2,⋯,Xi,m(i)) 是可测函数（对 R 上的 Borel 可测集 C，f−1(C) 是可测集），则 f(Xi1,⋯,Xi,m(i))∈σ(⋃jFi,j)（即函数生成的可测集含于由 Fi,j 生成的 σ 域内）。
- 独立随机变量的联合分布（Theorem 2.1）
若 X1,X2,⋯,Xn 相互独立，且 Xi 服从分布 μi，则随机向量 (X1,X2,⋯,Xn) 具有**乘积分布**μ1×μ2×⋯×μn。
证明思路：
选取 “矩形集合” A1×A2×⋯×An（这类矩形集合构成 π - system），则
P((X1,⋯,Xn)∈A1×⋯×An)=i=1∏nP(Xi∈Ai)=i=1∏nμi(Ai)=(μ1×μ2×⋯×μn)(A1×⋯×An).
再通过 π - λ 定理，可将此结论推广到由矩形集合生成的 σ 系统（即 Borel σ 域），从而证明联合分布为乘积分布。
- 二元函数的期望（2.1.12）
若 (X,Y) 的分布对应测度 μ(dx)ν(dy)，则对函数 h(x,y)，有
E[h(X,Y)]=∬h(x,y)μ(dx)ν(dy).
特别地，若 h(x,y)=f(x)⋅g(y)（即函数可分离为关于 x 和 y 的乘积），则
E[f(X)g(Y)]=∬f(x)g(y)μ(dx)ν(dy)=∫g(y)(∫f(x)μ(dx))ν(dy)
（体现了独立随机变量函数期望的 “分离性”，即乘积的期望等于期望的乘积）。
- 和的分布示例
涉及随机变量和的概率 P(X+Y≤z)（需结合联合分布进一步分析，如利用卷积公式等）。
伯恩涅斯坦多项式：
- - E[f(S**n/n)]=m=0∑n**f(m/n)⋅P(S**n=m)=m=0∑n**f(m/n)(m**n)p**m(1−p)n−m=f**n(p)
-
设置参数：
-
令 M=supx∈[0,1]∣f(x)∣M=sup*x*∈[0,1]∣f(x)∣（有界性，因为闭区间上的连续函数必有界）。
- 任取 ϵ>0*ϵ*>0。
-
由于 f*f* 在闭区间上连续，所以它**一致连续**。这意味着我们可以找到一个 δ>0*δ*>0，使得当任意两点距离 ∣x−y∣<δ∣x−y∣<δ 时，函数值的差 ∣f(x)−f(y)∣<ϵ∣f(x)−f(y)∣<ϵ。
-
分解误差：
∣E[f(Sn/n)]−f(p)∣≤E∣f(Sn/n)−f(p)∣∣E[f(S**n/n)]−f(p)∣≤E∣f(S**n/n)−f(p)∣
这里用到了 Jensen 不等式（定理 1.6.2），将期望移到绝对值外面会放大误差。
-
分情况处理： 根据 Sn/n*S**n*/n 是否在 p*p* 的 δ*δ* 邻域内，将期望分成两部分：
-
好情况：∣Sn/n−p∣<δ∣S**n/n−p∣<δ。 此时，由一致连续性，∣f(Sn/n)−f(p)∣<ϵ∣f(S**n/n)−f(p)∣<ϵ。这部分贡献小于 ϵ⋅1=ϵ*ϵ*⋅1=ϵ。
- 坏情况：∣Sn/n−p∣≥δ∣S**n/n−p∣≥δ。 此时，虽然函数差值可能很大，但最大不会超过 2M2*M*。这部分发生的概率由切比雪夫不等式控制。
综合起来：
E∣f(Sn/n)−f(p)∣≤ϵ⋅1+2M⋅P(∣Sn/n−p∣≥δ)E∣f(S**n/n)−f(p)∣≤ϵ⋅1+2*M*⋅P(∣S**n/n−p∣≥δ)
- 代入概率上界： 将第 2 步得到的概率上界代入：
E∣f(Sn/n)−f(p)∣≤ϵ+2M⋅14nδ2*E*∣f(S**n/n)−f(p)∣≤ϵ+2*M*⋅4*n**δ*21
- 取极限： 当 n→∞n→∞ 时，第二项 2M4nδ2→04*n**δ*22*M*→0。因此：
lim supn→∞∣E[f(Sn/n)]−f(p)∣≤ϵ*n*→∞limsup∣E[f(S**n/n)]−f(p)∣≤ϵ
- 最终结论： 由于 ϵ*ϵ* 是任意小的正数，这个上极限必须为 0，即：
limn→∞∣E[f(Sn/n)]−f(p)∣=0*n*→∞lim∣E[f(S**n/n)]−f(p)∣=0
而 E[f(Sn/n)]=fn(p)E[f(S**n/n)]=f**n(p)，所以 fn(p)→f(p)f**n(p)→f(p)。
- 从逐点收敛到一致收敛： 上述证明中，δ*δ* 的选取只依赖于 ϵ*ϵ* 和函数 f*f* 本身，与具体的 p*p* 值无关。切比雪夫不等式的上界 14nδ24*n**δ*21 也与 p*p* 无关。因此，收敛速度对所有 p∈[0,1]p∈[0,1] 是一致的。这就意味着：
supx∈[0,1]∣fn(x)−f(x)∣→0*x*∈[0,1]sup∣f**n(x)−f(x)∣→0
2 强大数定律
待补充内容： - [ ] Borel-Cantelli 引理的详细证明 - [ ] 弱大数定律 - [ ] 经典例子：彩票兑奖问题
2.1 强大数定律的陈述
若随机变量序列 \(X_1, X_2, \ldots\) 独立同分布，且 \(E|X_1| < \infty\)，记 \(\mu = EX_1\)，部分和 \(S_n = \sum_{i=1}^n X_i\)，则：
2.2 截断技巧与 Borel-Cantelli 引理
构造截断随机变量：
（即当 \(|X_k| \leq k\) 时 \(Y_k = X_k\)，否则 \(Y_k = 0\)）。
由期望的非负性与积分性质，对 \(P(|Y_k| > k) = P(|X_k| > k)\)，有：
根据 Borel-Cantelli 引理，得 \(P(X_k \neq Y_k \text{ i.o.}) = 0\)，即 "\(X_k\) 与 \(Y_k\) 几乎必然只有有限次不同"。
2.3 方差与积分的估计
对截断变量 \(Y_k\)，计算方差：
进一步，通过积分变换（将求和转化为积分）估计 \(\sum_{k=1}^{\infty} \frac{E(Y_k^2)}{k^2}\)：
利用级数和 \(\sum_{k \geq y} \frac{1}{k^2} \leq \int_{y-1}^{\infty} \frac{1}{t^2} dt \leq \frac{1}{y-1}\)（\(y \geq 1\)），可证上述积分小于 \(4E|X_1|\)，即级数 \(\sum \frac{\text{Var}(Y_k)}{k^2}\) 收敛。
2.4 子序列的几乎必然收敛
对指数增长的子序列 \(k_n = \lfloor \alpha^n \rfloor\)（\(\alpha > 1\)），考虑部分和 \(T_{k_n} = X_1 + X_2 + \cdots + X_{k_n}\)，利用切比雪夫不等式：
若 \(\sum_{n=1}^{\infty} \frac{\text{Var}(T_{k_n})}{k_n^2} < \infty\)，由 Borel-Cantelli 引理得：
2.5 单调性与全序列的收敛
通过单调性将子序列的收敛推广到整个序列 \(\{n\}\)：对任意 \(n\)，存在 \(k_n, k_{n+1}\) 使得 \(k_n \leq n < k_{n+1}\)，故
令 \(\alpha \to 1\)，结合子序列的收敛性，可推导 \(\frac{T_n}{n}\) 的极限行为（需补充 \(ET_{k_n}/k_n \to \mu\) 等条件）。
2.6 期望存在性的截断分析
当 \(EX_i^+ = \infty\)（正部期望无穷）且 \(EX_i^- < \infty\)（负部期望有限）时，截断技巧（令 \(X_i^M = X_i \cdot \mathbf{1}_{\{|X_i| \leq M\}}\)）面临困境：
- 截断后 \(S_n^M/n \to EX_i^M\)（强大数定律对截断变量成立）；
- 但 \(\liminf_{n \to \infty} \frac{S_n}{n} \geq EX_i^M\)，且当 \(M \to \infty\) 时，\(E(X_i^M)^+ \to EX_i^+ = \infty\)；
- 故 \(\liminf_{n \to \infty} \frac{S_n}{n} = \infty\)（正部主导导致和无界增长）。