0笔记总览
四张图片涵盖两道核心题目及其延伸问题:
题目一(离散)
52张扑克牌有放回抽取,直到首次抽到K,令 $X$ 为总次数。
求 $X$ 的 mean 与 median 并比较。
题目二(连续)
连续随机变量 $X$ 服从严格递减的 pdf。
证明 $\mathbb{E}[X] > \operatorname{Median}(X)$。
延伸问题:德国坦克问题(无偏估计总量 $N$)和HHH(Markov 链求期望投掷次数)。
1三个统计量的 PDF / CDF 几何含义
Mode 众数
- PDF:峰值点,$f'(x_0)=0$,$f$ 最大
- CDF:$F(x)$ 斜率最大处,因 $F'(x)=f(x)$
Median 中位数
- PDF:将曲线下面积等分为两个 $\frac{1}{2}$
- CDF:$F(m)=\frac{1}{2}$,S 形曲线与 $y=\frac{1}{2}$ 的交点
Mean 均值
- PDF:密度曲线的质心 $\displaystyle\mu = \int_{-\infty}^{\infty} x\,f(x)\,dx$,离均值越远的质量贡献越大
- CDF(生存函数面积):$\displaystyle\mu = \int_0^\infty S(x)\,dx$,即 $S(x)=1-F(x)$ 曲线下的全部面积
为什么 $\mu = \int_0^\infty S(x)\,dx$?
对非负连续随机变量,用 Fubini 定理交换积分次序:
$$\mu = \int_0^\infty x\,f(x)\,dx = \int_0^\infty\!\!\int_0^x dt\,f(x)\,dx = \int_0^\infty\!\!\int_t^\infty f(x)\,dx\,dt = \int_0^\infty P(X>t)\,dt = \int_0^\infty S(t)\,dt$$
均值 $\mu$ = 生存函数 $S(x)$ 曲线下的面积(不是 PDF 面积的平分)。右尾越厚,这个面积越大,$\mu$ 被拉得越右,超过 median。
2质心与力矩:为何 Mean ≠ 面积平分
Median——面积平分
找 $m$ 使左侧概率 = 右侧概率 = $\frac{1}{2}$:
$$\int_{-\infty}^{m} f(x)\,dx = \frac{1}{2} \iff F(m)=\frac{1}{2}$$
每块区域贡献相等,与其离 $m$ 的距离无关。
Mean——力矩平衡
把 PDF 视为悬在 $x$ 轴上的薄板,质心是使左右力矩(质量 × 距离)平衡的支点:
$$\int_{-\infty}^{\mu}(\mu - x)\,f(x)\,dx = \int_{\mu}^{\infty}(x-\mu)\,f(x)\,dx$$
合并要求净力矩为零:
$$\int_{-\infty}^{\infty}(x - \mu)\,f(x)\,dx = 0 \implies \mu = \int_{-\infty}^{\infty} x\,f(x)\,dx$$
力矩 = 质量 × 距离。右尾虽然面积小(概率质量少),但离支点距离远,力矩可以很大。为了左右力矩平衡,支点(mean)必须向右偏移,超越 median。
这是右偏分布 $\mu > m$ 的物理根源。
左侧质量大但距近,右侧质量小但距远。力矩平衡点(mean)在面积平分点(median)右侧。
3题目一:扑克牌 K——几何分布
问题设定
52 张扑克牌(含 4 张 K),有放回地抽取直到首次抽到 K,令 $X$ 为总次数。
$$X \sim \operatorname{Geometric}\!\left(p = \frac{4}{52} = \frac{1}{13}\right)$$
Mean(期望)
几何分布期望公式:$\mathbb{E}[X] = \dfrac{1}{p}$
代入 $p = \dfrac{1}{13}$:
$$\mathbb{E}[X] = 13$$
推导:$\displaystyle\mathbb{E}[X] = \sum_{k=1}^{\infty} k\cdot p\,(1-p)^{k-1} = p\cdot\frac{1}{\bigl[1-(1-p)\bigr]^2} = \frac{1}{p}$
Median(中位数)
求最小整数 $m$ 使得 $P(X \le m) \ge \dfrac{1}{2}$:
$$P(X \le m) = 1 - (1-p)^m \ge \frac{1}{2} \implies (1-p)^m \le \frac{1}{2} \implies m \ge \frac{\ln 2}{-\ln(1-p)}$$
代入 p = 1/13:
m ≥ ln 2 / ln(13/12)
= 0.6931 / 0.0800
≈ 8.66
Median = ⌈8.66⌉ = 9
$$\underbrace{\mathbb{E}[X] = 13}_{\text{Mean}} > \underbrace{9}_{\text{Median}}$$
几何分布右偏(右尾无限延伸),极端大值将期望拉高,符合"严格递减 pmf $\Rightarrow$ Mean $>$ Median"。
一般公式(小 $p$ 近似):
$$\text{Median} \approx \frac{\ln 2}{p} \approx \frac{0.693}{p} \approx 0.693 \times \mathbb{E}[X]$$
4题目二:严格递减 pdf → Mean > Median
4.1 关键工具:生存函数的凸性
设 $X \ge 0$,pdf $f(x)$ 在 $(0,\infty)$ 上严格递减($f'(x) < 0$),则生存函数 $S(x) = 1 - F(x)$ 满足:
$$S'(x) = -f(x) < 0 \quad(\text{单调递减})$$
$$S''(x) = -f'(x) > 0 \quad(\textbf{严格凸函数!})$$
中位数 $m$:$S(m) = \dfrac{1}{2}$。均值 $\mu = \displaystyle\int_0^\infty S(x)\,dx$。
S(x) 严格凸:曲线位于任意切线之上。红色区域(S 曲线下面积)= μ,超过 median m。
4.2 完整证明
Step 1:分解 $\mu - m$
$$\mu - m = \int_0^\infty S(x)\,dx - m = \int_0^\infty S(x)\,dx - \int_0^m 1\,dx$$
在 $m$ 处拆积分,并注意 $1 - S(x) = F(x)$:
$$= \int_m^\infty S(x)\,dx - \int_0^m \bigl[1-S(x)\bigr]\,dx = \underbrace{\int_m^\infty S(x)\,dx}_{A} - \underbrace{\int_0^m F(x)\,dx}_{B}$$
Step 2:由凸性得关键不等式
$S(x)$ 严格凸 $\Rightarrow$ 对任意 $t>0$:
$$S(m-t)+S(m+t) > 2S(m) = 1 \implies 1 - S(m-t) < S(m+t)$$
即
$$\boxed{F(m-t) < S(m+t) \quad \forall\, t > 0}$$
Step 3:积分比较得 $A > B$
令 $x = m - t$(换元,$t$ 从 $0$ 到 $m$):
$$B = \int_0^m F(x)\,dx = \int_0^m F(m-t)\,dt < \int_0^m S(m+t)\,dt \le \int_0^\infty S(m+t)\,dt = \int_m^\infty S(u)\,du = A$$
(第二个不等号:$S \ge 0$,积分区间扩大只增不减。)
因此 $\mu - m = A - B > 0$,即:
$$\boxed{\mu = \mathbb{E}[X] > \operatorname{Median}(X) = m} \qquad \square$$
定理:严格递减 pdf → Mean > Median
若 $X \ge 0$ 的 pdf $f(x)$ 严格递减($f'(x) < 0\; \forall x$),则
$$\mathbb{E}[X] > \operatorname{Median}(X)$$
严格不等号是因为凸性是严格凸。对称(等号)时 $f$ 不能严格递减,矛盾。
4.3 指数分布验证(笔记例子)
取 $f(x) = e^{-x}$(即 $X \sim \operatorname{Exp}(1)$),$x \ge 0$:
$$S(x) = e^{-x},\quad S''(x) = e^{-x} > 0 \checkmark$$
$$\operatorname{Median}:\; S(m)=\tfrac{1}{2} \implies e^{-m}=\tfrac{1}{2} \implies m = \ln 2 \approx 0.693$$
$$\operatorname{Mean}:\; \mu = \int_0^\infty e^{-x}\,dx = 1$$
$$\mu = 1 > \ln 2 \approx 0.693 = m \qquad \checkmark$$
5延伸:德国坦克问题
从 $\{1, 2, \ldots, N\}$ 中均匀无放回抽取 $k$ 个,观测到最大值 $M_k = m_k$,估计未知的 $N$。
PMF
$$P(M_k = m_k) = \frac{\dbinom{m_k-1}{k-1}}{\dbinom{N}{k}}, \qquad k \le m_k \le N$$
期望(笔记结论)
$$\mathbb{E}[M_k] = \frac{k(N+1)}{k+1}$$
无偏矩估计
令 $\mathbb{E}[M_k] = m_k$ 解出 $N$:
$$\hat{N} = m_k\cdot\frac{k+1}{k} - 1 = m_k + \frac{m_k}{k} - 1$$
$\hat{N}$ 是 $N$ 的无偏估计(UMVUE)。直觉:$m_k$ 低估了 $N$;$\frac{m_k}{k}$ 是每两个相邻观测值的平均间距,作为对"$m_k$ 到 $N$"这段距离的补偿。
6延伸:HHH 连续三正面(Markov 链)
公平硬币,连续投掷直到连续出现 HHH,求期望投掷总次数。
四状态 Markov 链
| 状态 | 含义 | H(概率 ½) | T(概率 ½) |
| $S_0$ | 初始 / 上次非H | → $S_1$ | → $S_0$ |
| $S_1$ | 尾部恰好 H | → $S_2$ | → $S_0$ |
| $S_2$ | 尾部恰好 HH | → $S_3$(完成) | → $S_0$ |
| $S_3$ | HHH,吸收态 | —— |
期望方程组
设 $e_i$ 为从 $S_i$ 到 $S_3$ 的期望步数:
$$e_0 = 1 + \tfrac{1}{2}e_1 + \tfrac{1}{2}e_0$$
$$e_1 = 1 + \tfrac{1}{2}e_2 + \tfrac{1}{2}e_0$$
$$e_2 = 1 + \tfrac{1}{2}\cdot 0 + \tfrac{1}{2}e_0$$
由第三式:$e_2 = 1 + \tfrac{1}{2}e_0$
由第一式:$\tfrac{1}{2}e_0 = 1 + \tfrac{1}{2}e_1 \implies e_0 = 2 + e_1$
由第二式:$e_1 = 1 + \tfrac{1}{2}(1+\tfrac{1}{2}e_0) + \tfrac{1}{2}e_0 = \tfrac{3}{2} + \tfrac{3}{4}e_0$
代入:$e_0 = 2 + \tfrac{3}{2} + \tfrac{3}{4}e_0 \implies \tfrac{1}{4}e_0 = \tfrac{7}{2}$
$$\boxed{e_0 = 14 \text{ 次}}$$
通用公式:连续 $k$ 个 H 的期望次数 $= 2(2^k - 1)$
$$k=1:\,2,\quad k=2:\,6,\quad k=3:\,14,\quad k=4:\,30$$
面试 Follow-up:游戏大概何时结束?
· 期望 $= 14$ 次
· 中位数 $\approx \ln 2 \times 14 \approx 9.7$ 次(中位数 < 期望,分布右偏)
为什么中位数 $\approx \ln 2 \times$ 期望?这个分布近似指数型,而指数分布的 $\text{Median} = \ln 2 \times \text{Mean}$(正是题目二结论的直接应用!)
标准回答:"期望是 14,但有一半概率在约 10 次之前就结束——因为分布右偏,少数极长游戏拉高了期望。"
7综合对比
| 统计量 | PDF 几何含义 | CDF 几何含义 | 对极端值敏感度 |
| Mode |
$f(x)$ 峰值,$f'=0$ |
$F(x)$ 斜率最大处 |
最低(仅看局部峰) |
| Median |
PDF 面积等分竖线 |
$F(m)=\frac{1}{2}$ 对应点 |
鲁棒(只关心顺序) |
| Mean |
质心 $\mu=\int x f\,dx$ |
$S(x)=1-F(x)$ 曲线下总面积 |
最高(远端值力矩大) |
| 分布类型 | 偏态 | 大小关系 | 本文例子 |
| 严格递减 pdf |
右偏(右尾重) |
$\text{Mo} < m < \mu$ |
$\operatorname{Exp}(\lambda)$,$\operatorname{Geom}(p)$,HHH 游戏 |
| 对称分布 |
无偏 |
$\text{Mo} = m = \mu$ |
正态,均匀 |
| 严格递增 pdf |
左偏(左尾重) |
$\mu < m < \text{Mo}$ |
$\operatorname{Beta}(a{>}1,\,1)$ |
本文核心定理(完整版)
设 $X \ge 0$,pdf $f(x)$ 严格递减,则:
- $S(x) = 1 - F(x)$ 严格凸($S'' = -f' > 0$)
- $\mu = \displaystyle\int_0^\infty S(x)\,dx$(生存函数面积 = 均值)
- 凸性 $\Rightarrow F(m-t) < S(m+t) \;\forall t > 0$
- 积分得 $\displaystyle\int_m^\infty S\,dx > \int_0^m F\,dx \;\Rightarrow\; \mu - m > 0$
- $$\therefore\quad \mathbb{E}[X] > \operatorname{Median}(X) \qquad \square$$