Normal Distribution

01

基本性质与关键公式

标准正态 $Z \sim \mathcal{N}(0,1)$

$$\phi(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}$$ $$\Phi(x) = \int_{-\infty}^{x}\phi(t)\,dt$$

对称性：$\phi(-z)=\phi(z)$，$\Phi(-x)=1-\Phi(x)$

线性变换

$$X \sim \mathcal{N}(\mu,\sigma^2)$$ $$aX + b \sim \mathcal{N}(a\mu+b,\; a^2\sigma^2)$$

独立正态之和：若 $X_i \sim \mathcal{N}(\mu_i, \sigma_i^2)$ 独立，

$$\sum X_i \sim \mathcal{N}\!\left(\sum\mu_i,\sum\sigma_i^2\right)$$

重要矩与等式

奇数矩

$$\mathbb{E}[Z^{2k+1}] = 0$$

偶数矩

$$\mathbb{E}[Z^{2k}] = (2k-1)!!$$

关键等式

$$\mathbb{E}[Z^2] = 1,\;\mathbb{E}[Z^4] = 3$$

标准正态归一化证明（极坐标）

$$I^2 = \int_{-\infty}^{\infty}e^{-x^2/2}dx\cdot\int_{-\infty}^{\infty}e^{-y^2/2}dy = \int_0^{2\pi}\int_0^{\infty}e^{-r^2/2}r\,dr\,d\theta = 2\pi$$

截断正态 $\mathbb{E}[Z \mid Z > 0]$

$$\mathbb{E}[Z \mid Z > 0] = \sqrt{\frac{2}{\pi}} \approx 0.7979$$

由对称性 $P(Z>0)=\tfrac{1}{2}$

$\mathbb{E}[Z \cdot \mathbf{1}_{Z>0}] = \int_0^\infty z\frac{1}{\sqrt{2\pi}}e^{-z^2/2}dz = \frac{1}{\sqrt{2\pi}}$

$\mathbb{E}[Z \mid Z>0] = \dfrac{\mathbb{E}[Z\cdot\mathbf{1}_{Z>0}]}{P(Z>0)} = \dfrac{1/\sqrt{2\pi}}{1/2} = \sqrt{\dfrac{2}{\pi}}$

💡

一般情形：若 $X \sim \mathcal{N}(\mu,\sigma^2)$，则 $\mathbb{E}[X\mid X>0] = \mu + \sigma\dfrac{\phi(-\mu/\sigma)}{\Phi(\mu/\sigma)}$（Mills ratio）

02

联合正态分布

定义（等价刻画）

$(X,Y)$ 是联合正态当且仅当对任意常数 $a,b$，$aX+bY$ 服从（一元）正态分布。

⚠️

注意：边缘正态 ≠ 联合正态。存在 $X,Y$ 各自服从 $\mathcal{N}(0,1)$ 但联合分布不是正态的例子（如 $Y=X\cdot\text{sgn}(W)$，$W\perp X$）。

二维正态的 PDF（\(\mathbf{n=2}）

$$f(x,y) = \frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}} \exp\!\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_X)^2}{\sigma_X^2} - \frac{2\rho(x-\mu_X)(y-\mu_Y)}{\sigma_X\sigma_Y} + \frac{(y-\mu_Y)^2}{\sigma_Y^2}\right]\right)$$

仿射变换

若 $\mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma)$，$\mathbf{Y} = c + B\mathbf{X}$，则

$$\mathbf{Y} \sim \mathcal{N}(c + B\boldsymbol{\mu},\; B\Sigma B^T)$$

线性变换将联合正态映射到联合正态，协方差矩阵按 $B\Sigma B^T$ 变换。

联合正态的独立性判定

$$\text{联合正态中：}\quad X \perp Y \iff \text{Cov}(X,Y) = 0$$

💡

这是联合正态的特殊性质——一般情况下不相关不等于独立，但联合正态中二者等价。面试高频考点。

03

条件分布

二维联合正态的条件分布

设 $(X,Y)\sim\mathcal{N}\bigl((\mu_X,\mu_Y), \begin{pmatrix}\sigma_X^2 & \rho\sigma_X\sigma_Y \\ \rho\sigma_X\sigma_Y & \sigma_Y^2\end{pmatrix}\bigr)$，给定 $X=x$：

$$Y \mid X=x \;\sim\; \mathcal{N}\!\left(\mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X),\;\; \sigma_Y^2(1-\rho^2)\right)$$

关键记忆：条件均值是 $x$ 的线性函数；条件方差 $\sigma_Y^2(1-\rho^2)$ 与 $x$ 无关。

等价构造（Cholesky 角度）

令 $Z_1,Z_2 \overset{iid}{\sim} \mathcal{N}(0,1)$，构造：

$$X = \mu_X + \sigma_X Z_1, \qquad Y = \mu_Y + \rho\sigma_Y Z_1 + \sqrt{1-\rho^2}\,\sigma_Y Z_2$$

则 $(X,Y)$ 是具有相关系数 $\rho$ 的联合正态。给定 $X=x$ 即固定 $Z_1 = \frac{x-\mu_X}{\sigma_X}$，$Y\mid X=x$ 中的随机性来自 $\sqrt{1-\rho^2}\,\sigma_Y Z_2$。

💡

这个构造让条件分布的结果变得直观：
$\mathbb{E}[Y\mid X=x] = \mu_Y + \rho\sigma_Y \cdot \frac{x-\mu_X}{\sigma_X}$，
$\mathrm{Var}(Y\mid X=x) = (1-\rho^2)\sigma_Y^2$。

多维情形（高维联合正态）

设 $\mathbf{X} = \begin{pmatrix}\mathbf{X}_1\\\mathbf{X}_2\end{pmatrix} \sim \mathcal{N}\!\left(\begin{pmatrix}\boldsymbol{\mu}_1\\\boldsymbol{\mu}_2\end{pmatrix}, \begin{pmatrix}\Sigma_{11} & \Sigma_{12}\\\Sigma_{21} & \Sigma_{22}\end{pmatrix}\right)$，则

$$\mathbf{X}_1 \mid \mathbf{X}_2 = \mathbf{x}_2 \;\sim\; \mathcal{N}\!\left(\boldsymbol{\mu}_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2),\;\; \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\right)$$

后一项 $\Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ 是 Schur 补，即条件协方差矩阵。

04

角度公式与半平面概率

核心定理

设 $(U,V)$ 是均值为零的联合正态，相关系数为 $\rho_{UV}$，则

$$\boxed{P(U>0,\, V>0) = \frac{1}{4} + \frac{1}{2\pi}\arcsin(\rho_{UV})}$$

推导：从角度理解

对零均值联合正态，作标准化变换：令 $\tilde{U} = U/\sigma_U,\; \tilde{V} = V/\sigma_V$，仍是相关系数 $\rho$ 的联合正态（且方差均为1）。

通过 Cholesky 分解，令 $\tilde{U} = Z_1$，$\tilde{V} = \rho Z_1 + \sqrt{1-\rho^2}Z_2$，其中 $Z_1,Z_2 \overset{iid}{\sim}\mathcal{N}(0,1)$。

将 $(Z_1,Z_2)$ 视作平面上的均匀随机方向，转化为极坐标 $(r,\theta)$，$\theta\sim\text{Uniform}[0,2\pi)$。

条件 $\{\tilde{U}>0,\tilde{V}>0\}$ 等价于 $Z_1>0$ 且 $\rho Z_1+\sqrt{1-\rho^2}Z_2>0$，几何上对应方向角落在某一扇形内。

扇形角度 = $\dfrac{\pi/2 + \arcsin\rho}{2\pi}\cdot 2\pi = \dfrac{\pi}{2}+\arcsin\rho$，
概率 = $\dfrac{\pi/2+\arcsin\rho}{2\pi} = \dfrac{1}{4} + \dfrac{\arcsin\rho}{2\pi}$。

推广公式

两个半空间

$$P(U>0, V>0) = \frac{1}{4} + \frac{\arcsin\rho}{2\pi}$$

一正一负

$$P(U>0, V<0) = \frac{1}{4} - \frac{\arcsin\rho}{2\pi}$$

$\rho=0$（独立）

$$P = \frac{1}{4}$$

$\rho=1$（完全正相关）

$$P = \frac{1}{4}+\frac{1}{4}=\frac{1}{2}$$

📐

几何直觉：$\rho = \cos\theta$ 其中 $\theta$ 是两向量夹角，$\arcsin\rho = \pi/2 - \theta$，扇形面积 / 圆面积就是概率。

05

经典题：联合正态概率计算

🎯 高频面试题

设 $X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$，求 $P(X+Y>0 \text{ 且 } X+2Y>0)$。

Follow-up 若 $\mathrm{Cov}(X,Y)=\rho$，结果如何变化？

完整解法

Step 1：构造联合正态向量

令 $U=X+Y$，$V=X+2Y$。因 $(U,V)$ 是 $(X,Y)$ 的线性变换，仍服从联合正态。

$$\mathbb{E}[U]=\mathbb{E}[V]=0$$ $$\mathrm{Var}(U)=\mathrm{Var}(X)+\mathrm{Var}(Y)=2$$ $$\mathrm{Var}(V)=\mathrm{Var}(X)+4\mathrm{Var}(Y)=5$$ $$\mathrm{Cov}(U,V)=\mathrm{Cov}(X+Y,\;X+2Y)=\mathrm{Var}(X)+2\mathrm{Var}(Y)+3\mathrm{Cov}(X,Y)=1+2+0=3$$

Step 2：计算相关系数

$$\rho_{UV} = \frac{\mathrm{Cov}(U,V)}{\sqrt{\mathrm{Var}(U)\mathrm{Var}(V)}} = \frac{3}{\sqrt{2\times5}} = \frac{3}{\sqrt{10}}$$

Step 3：应用角度公式

$$P(U>0,V>0) = \frac{1}{4}+\frac{1}{2\pi}\arcsin\!\left(\frac{3}{\sqrt{10}}\right) \approx \frac{1}{4}+\frac{1}{2\pi}\cdot 1.2490 \approx \boxed{0.4488}$$

Follow-up：$\mathrm{Cov}(X,Y)=\rho$

$$\mathrm{Var}(U) = 2+2\rho, \quad \mathrm{Var}(V) = 5+4\rho$$ $$\mathrm{Cov}(U,V) = 3+3\rho$$ $$\rho_{UV} = \frac{3(1+\rho)}{\sqrt{(2+2\rho)(5+4\rho)}} = \frac{3\sqrt{1+\rho}}{\sqrt{2(5+4\rho)}} = \sqrt{\frac{9(1+\rho)}{2(5+4\rho)}}$$

$$P = \frac{1}{4}+\frac{1}{2\pi}\arcsin\!\sqrt{\frac{9(1+\rho)}{2(5+4\rho)}}$$

变体题

设 $X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$，$Z=X+Y$，求 $P(X>0\mid Z>0)$。

解法

注意 $\mathrm{Cov}(X,Z)=\mathrm{Var}(X)=1$，$\mathrm{Var}(Z)=2$，$\rho_{XZ}=\frac{1}{\sqrt{2}}$。

$P(X>0,Z>0) = \frac{1}{4}+\frac{1}{2\pi}\arcsin\!\frac{1}{\sqrt{2}} = \frac{1}{4}+\frac{\pi/4}{2\pi}=\frac{3}{8}$

$P(X>0\mid Z>0) = \dfrac{P(X>0,Z>0)}{P(Z>0)} = \dfrac{3/8}{1/2} = \dfrac{3}{4}$

06

$\mathbb{E}[X \mid X > 0]$ 系列

基础结果汇总

条件期望	结果	数值
$\mathbb{E}[Z \mid Z>0]$，$Z\sim\mathcal{N}(0,1)$	$\sqrt{2/\pi}$	$\approx 0.7979$
$\mathbb{E}[Z^2 \mid Z>0]$	$1$	$= 1$（注：$\mathbb{E}[Z^2]=1$ 与条件无关）
$\mathbb{E}[\|Z\|]$	$\sqrt{2/\pi}$	$\approx 0.7979$
$\mathbb{E}[Z \mid Z>c]$	$\dfrac{\phi(c)}{1-\Phi(c)}$	Mills ratio

面试题

设 $X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$，已知 $X+Y>0$，求 $\mathbb{E}[X\mid X+Y>0]$。

解法（利用对称性 + Cholesky）

令 $Z=X+Y\sim\mathcal{N}(0,2)$，则 $\rho_{XZ}=\frac{1}{\sqrt{2}}$。

构造：$X = \frac{Z}{\sqrt{2}}\cdot\frac{1}{\sqrt{2}} + \sqrt{1-\frac{1}{2}}\cdot W = \frac{Z}{2} + \frac{W}{\sqrt{2}}$（其中 $W\perp Z$，$W\sim\mathcal{N}(0,1)$）。更直接地，$\mathbb{E}[X\mid Z] = \rho_{XZ}\frac{\sigma_X}{\sigma_Z}\cdot Z = \frac{1}{\sqrt{2}}\cdot\frac{1}{\sqrt{2}}\cdot Z = \frac{Z}{2}$。

$\mathbb{E}[X\mid Z>0] = \mathbb{E}\!\left[\frac{Z}{2}\;\middle|\; Z>0\right] = \frac{1}{2}\mathbb{E}[Z\mid Z>0] = \frac{1}{2}\cdot\sqrt{2}\cdot\sqrt{\frac{2}{\pi}} = \frac{1}{\sqrt{\pi}}$。

$$\mathbb{E}[X \mid X+Y>0] = \frac{1}{\sqrt{\pi}} \approx 0.5642$$

💡

关键步骤：先用条件期望的线性性 $\mathbb{E}[X\mid Z] = \frac{Z}{2}$（由 Cov/Var 得），再对事件 $\{Z>0\}$ 取期望。

进阶题

设 $X\sim\mathcal{N}(0,\sigma_X^2)$，$Y\sim\mathcal{N}(0,\sigma_Y^2)$ 独立，求 $\mathbb{E}[X\mid X+Y>0]$。

解法

令 $Z=X+Y\sim\mathcal{N}(0,\sigma_X^2+\sigma_Y^2)$，$\mathrm{Cov}(X,Z)=\sigma_X^2$。

$$\mathbb{E}[X\mid Z] = \frac{\sigma_X^2}{\sigma_X^2+\sigma_Y^2}\cdot Z$$

$$\mathbb{E}[X\mid Z>0] = \frac{\sigma_X^2}{\sigma_X^2+\sigma_Y^2}\cdot\mathbb{E}[Z\mid Z>0] = \frac{\sigma_X^2}{\sigma_X^2+\sigma_Y^2}\cdot\sqrt{\frac{2(\sigma_X^2+\sigma_Y^2)}{\pi}} = \sigma_X^2\sqrt{\frac{2}{\pi(\sigma_X^2+\sigma_Y^2)}}$$

07

$\mathbb{E}[\max(X,Y)]$ 系列

核心等式

$$\max(X,Y) = \frac{X+Y}{2} + \frac{|X-Y|}{2}$$

或等价地：

$$\max(X,Y) + \min(X,Y) = X+Y, \qquad \max(X,Y)-\min(X,Y) = |X-Y|$$

经典题 · ⭐⭐⭐

设 $X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$，求 $\mathbb{E}[\max(X,Y)]$。

两种解法

方法一：利用 $X-Y$

令 $W = X+Y$，$D = X-Y$，则 $W\sim\mathcal{N}(0,2)$，$D\sim\mathcal{N}(0,2)$，且 $W\perp D$（联合正态中不相关即独立）。

$\max(X,Y) = \frac{W+|D|}{2}$，故 $\mathbb{E}[\max(X,Y)] = \frac{\mathbb{E}[W]+\mathbb{E}[|D|]}{2} = \frac{0+\mathbb{E}[|D|]}{2}$。

$\mathbb{E}[|D|] = \mathbb{E}[|D|]$，$D\sim\mathcal{N}(0,2)$，故 $\mathbb{E}[|D|] = \sqrt{2}\cdot\mathbb{E}[|Z|] = \sqrt{2}\cdot\sqrt{2/\pi} = 2/\sqrt{\pi}$。

$$\mathbb{E}[\max(X,Y)] = \frac{1}{\sqrt{\pi}} \approx 0.5642$$

方法二：直接积分（次序统计量）

$$\mathbb{E}[\max(X,Y)] = \int_{-\infty}^{\infty} x\cdot 2\Phi(x)\phi(x)\,dx = 2\int_{-\infty}^{\infty} x\Phi(x)\phi(x)\,dx$$

分部积分令 $u=\Phi(x)$，$dv=2x\phi(x)dx = -2d\phi(x)$：

$$= -2\phi(x)\Phi(x)\big|_{-\infty}^{\infty} + 2\int\phi(x)^2\,dx = 0 + 2\cdot\frac{1}{2\sqrt{\pi}} = \frac{1}{\sqrt{\pi}}$$

进阶题

设 $(X,Y)\sim\mathcal{N}(0,I)$（二维标准，相关系数 $\rho$），求 $\mathbb{E}[\max(X,Y)]$。

解法

$W=X+Y\sim\mathcal{N}(0,2+2\rho)$，$D=X-Y\sim\mathcal{N}(0,2-2\rho)$，且 $W\perp D$。

$\mathbb{E}[\max(X,Y)] = \frac{1}{2}\mathbb{E}[|D|] = \frac{1}{2}\cdot\sqrt{2-2\rho}\cdot\sqrt{\frac{2}{\pi}} = \sqrt{\frac{1-\rho}{\pi}}$

$$\mathbb{E}[\max(X,Y)] = \sqrt{\frac{1-\rho}{\pi}}$$

验证：$\rho=0$ 时 $=1/\sqrt\pi$ ✓；$\rho=1$ 时 $=0$（两变量相同，max=X，$\mathbb{E}=0$）✓；$\rho=-1$ 时 $=\sqrt{2/\pi}$（max(X,-X)=|X|，$\mathbb{E}=\sqrt{2/\pi}$）✓。

变体：$\mathbb{E}[\max(0,Z)]$

解法

$$\max(0,Z) = Z\cdot\mathbf{1}_{Z>0} = \frac{Z+|Z|}{2}$$

$$\mathbb{E}[\max(0,Z)] = \frac{0+\mathbb{E}[|Z|]}{2} = \frac{1}{2}\cdot\sqrt{\frac{2}{\pi}} = \frac{1}{\sqrt{2\pi}}$$

金融含义：这正是标准正态下 call option 的 vega 相关量。

08

条件期望综合：$\mathbb{E}[X \mid X + Y > 0]$

通用框架

对于联合正态 $(X,Y)$，计算 $\mathbb{E}[X\mid aX+bY>0]$ 的标准流程：

令 $Z=aX+bY$，计算 $\mathrm{Cov}(X,Z)$ 和 $\mathrm{Var}(Z)$。

利用联合正态的投影：$\mathbb{E}[X\mid Z] = \mathbb{E}[X] + \frac{\mathrm{Cov}(X,Z)}{\mathrm{Var}(Z)}(Z-\mathbb{E}[Z])$。

用全期望：$\mathbb{E}[X\mid Z>0] = \mathbb{E}[\mathbb{E}[X\mid Z]\mid Z>0]$。

最终归结为 $\mathbb{E}[Z\mid Z>0]$ 的计算。

综合题

设 $X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$，$Z = X+Y$。

(a) 求 $\mathbb{E}[X\mid Z]$；

(b) 求 $\mathbb{E}[X\mid Z>0]$；

(c) 求 $\mathbb{E}[Z\mid X>0]$。

解答

(a) 由联合正态条件期望公式：

$$\mathbb{E}[X\mid Z=z] = 0 + \frac{\mathrm{Cov}(X,Z)}{\mathrm{Var}(Z)}(z-0) = \frac{1}{2}z \implies \mathbb{E}[X\mid Z] = \frac{Z}{2}$$

(b) $\mathbb{E}[X\mid Z>0] = \mathbb{E}\left[\frac{Z}{2}\;\middle|\;Z>0\right] = \frac{1}{2}\mathbb{E}[Z\mid Z>0] = \frac{1}{2}\cdot\sqrt{2}\cdot\sqrt{\frac{2}{\pi}} = \dfrac{1}{\sqrt\pi}$。

(c) 由对称性，$\mathbb{E}[Z\mid X>0]=\mathbb{E}[X+Y\mid X>0] = \mathbb{E}[X\mid X>0]+\mathbb{E}[Y\mid X>0] = \sqrt{2/\pi}+0 = \sqrt{2/\pi}$（$Y\perp X$）。

09

Box-Muller 变换

问题：如何从 $U(0,1)$ 生成 $\mathcal{N}(0,1)$

逆变换法不直接可行（$\Phi^{-1}$ 无闭合形式），Box-Muller 利用极坐标变换绕过这一困难。

算法

采样角度：$\Theta \sim \text{Uniform}[0, 2\pi)$。令 $U_1\sim U(0,1)$，取 $\Theta = 2\pi U_1$。

采样半径：需要 $R$ 使得 $(X,Y)=(R\cos\Theta, R\sin\Theta)$ 是标准二维正态。
二维标准正态的径向分布：$f_R(r)=re^{-r^2/2}$（Rayleigh 分布），CDF = $1-e^{-r^2/2}$。
逆变换：令 $U_2\sim U(0,1)$，则 $R = \sqrt{-2\ln U_2}$。

输出两个独立标准正态：

$$X = \sqrt{-2\ln U_2}\cos(2\pi U_1), \qquad Y = \sqrt{-2\ln U_2}\sin(2\pi U_1)$$

📐

关键推导：$\iint e^{-(x^2+y^2)/2}dxdy = \int_0^{2\pi}\int_0^\infty e^{-r^2/2}r\,dr\,d\theta = 2\pi$，故联合 pdf 可分离为角度（均匀）和半径（Rayleigh）两部分。

Marsaglia 极坐标法（Box-Muller 的改进）

避免三角函数计算：

均匀采样单位圆内的点：采样 $(u,v)\in[-1,1]^2$，拒绝 $s=u^2+v^2\geq 1$。

输出 $X=u\sqrt{-2\ln s/s}$，$Y=v\sqrt{-2\ln s/s}$。

期望接受率 = $\pi/4 \approx 78.5\%$，避免了 $\cos,\sin$ 的计算。

10

Cholesky 分解：生成相关正态

问题设定

已知 $Z_1,\ldots,Z_n\overset{iid}{\sim}\mathcal{N}(0,1)$，如何构造 $\mathbf{X}\sim\mathcal{N}(\boldsymbol{\mu},\Sigma)$？

Cholesky 分解法

对正定矩阵 $\Sigma$ 做 Cholesky 分解：$\Sigma = LL^T$，$L$ 是下三角矩阵。

令 $\mathbf{Z}=(Z_1,\ldots,Z_n)^T\sim\mathcal{N}(\mathbf{0},I)$。

取 $\mathbf{X} = \boldsymbol{\mu} + L\mathbf{Z}$，则 $\mathbb{E}[\mathbf{X}]=\boldsymbol{\mu}$，$\mathrm{Cov}(\mathbf{X})=LL^T=\Sigma$。

二维显式构造（$n=2$）

$$L = \begin{pmatrix}\sigma_X & 0\\\rho\sigma_Y & \sqrt{1-\rho^2}\,\sigma_Y\end{pmatrix}$$

$$X = \mu_X + \sigma_X Z_1, \qquad Y = \mu_Y + \rho\sigma_Y Z_1 + \sqrt{1-\rho^2}\,\sigma_Y Z_2$$

可以验证 $\mathrm{Corr}(X,Y)=\rho$，且 $Y\mid X=x$ 中 $X$ 固定后，随机性仅来自 $Z_2$，方差为 $(1-\rho^2)\sigma_Y^2$。

💡

条件分布推导的几何意义：$X$ 决定了 $Z_1$，$Y\mid X$ 的分布来自 $Z_2$ 的部分，即 $\rho$ 捕捉了"已知"的信息量，剩余不确定性为 $1-\rho^2$。

构造题

给定 $X,Y,Z$ 两两独立均为 $\mathcal{N}(0,1)$，如何构造一对相关系数恰好为 $1/2$ 的联合正态对 $(A,B)$？

解法

$$A = X, \qquad B = \frac{X + \sqrt{3}Y}{2}$$

验证：$\mathrm{Var}(B)=\frac{1+3}{4}=1$，$\mathrm{Cov}(A,B)=\frac{1}{2}$，$\rho=\frac{1/2}{1\cdot 1}=\frac{1}{2}$。✓

11

Shrinkage Estimator（收缩估计量）

经典设定

设 $X\sim\mathcal{N}(0,\sigma_X^2)$ 为真实信号（未知），$\varepsilon\sim\mathcal{N}(0,\sigma_\varepsilon^2)$ 为噪声（独立），观测 $Z=X+\varepsilon$。给定观测 $Z=z$，如何估计 $X$？

MMSE 估计推导

直觉：$Z$ 是 $X$ 的含噪版本，最优估计不是直接用 $Z$ 本身，而是按信噪比"收缩"。

计算统计量：$\mathbb{E}[Z]=0$，$\mathrm{Var}(Z)=\sigma_X^2+\sigma_\varepsilon^2$，$\mathrm{Cov}(X,Z)=\sigma_X^2$。

计算相关系数：$\rho_{XZ} = \dfrac{\sigma_X^2}{\sigma_X\sqrt{\sigma_X^2+\sigma_\varepsilon^2}} = \dfrac{\sigma_X}{\sqrt{\sigma_X^2+\sigma_\varepsilon^2}}$。

由联合正态条件期望公式：

$$\mathbb{E}[X\mid Z=z] = \frac{\sigma_X^2}{\sigma_X^2+\sigma_\varepsilon^2}\cdot z = \frac{\mathrm{SNR}}{1+\mathrm{SNR}}\cdot z$$

其中 $\mathrm{SNR}=\sigma_X^2/\sigma_\varepsilon^2$。

条件方差：$\mathrm{Var}(X\mid Z=z) = \sigma_X^2(1-\rho_{XZ}^2) = \dfrac{\sigma_X^2\sigma_\varepsilon^2}{\sigma_X^2+\sigma_\varepsilon^2}$。

📊

Shrinkage 系数 $\lambda = \dfrac{\sigma_X^2}{\sigma_X^2+\sigma_\varepsilon^2}\in[0,1]$：
• $\sigma_\varepsilon^2\to 0$（无噪声）：$\lambda\to 1$，直接信任观测值；
• $\sigma_\varepsilon^2\to\infty$（全噪声）：$\lambda\to 0$，收缩到先验均值（0）；
• 这就是 James-Stein 收缩的本质，也是 Kalman Filter 更新步的基础。

变体：多次观测

设 $Z_1,\ldots,Z_n$ 是 $X$ 的 iid 含噪观测（同方差 $\sigma_\varepsilon^2$），$\bar{Z}=\frac{1}{n}\sum Z_i$，求 $\mathbb{E}[X\mid Z_1,\ldots,Z_n]$。

解答

充分统计量为 $\bar{Z}\sim\mathcal{N}(0,\sigma_X^2+\sigma_\varepsilon^2/n)$，$\mathrm{Cov}(X,\bar{Z})=\sigma_X^2$，因此：

$$\mathbb{E}[X\mid Z_1,\ldots,Z_n] = \frac{\sigma_X^2}{\sigma_X^2+\sigma_\varepsilon^2/n}\cdot\bar{Z}$$

随着 $n\to\infty$，系数趋近于 1（无限观测下恢复真实值）。

12

综合题库

题 A ⭐⭐

设 $X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$，求 $P(X^2+Y^2 \leq 1)$。

解答

$R^2 = X^2+Y^2\sim\chi^2(2) = \text{Exp}(1/2)$（即 $P(R^2\leq r) = 1-e^{-r/2}$）。

$$P(X^2+Y^2\leq 1)=1-e^{-1/2}\approx 0.3935$$

题 B ⭐⭐

设 $X\sim\mathcal{N}(0,1)$，求 $\mathbb{E}[e^{tX}]$（矩生成函数）。

解答

$$M_X(t) = \mathbb{E}[e^{tX}] = e^{t^2/2}$$

推导：配方 $-\frac{x^2}{2}+tx = -\frac{(x-t)^2}{2}+\frac{t^2}{2}$，积分归一化后得 $e^{t^2/2}$。

推广：若 $X\sim\mathcal{N}(\mu,\sigma^2)$，则 $M_X(t)=e^{\mu t+\sigma^2t^2/2}$。

题 C ⭐⭐⭐

设 $X,Y,Z\overset{iid}{\sim}\mathcal{N}(0,1)$，两两相关系数均为 $1/2$，求 $P(X+Y+Z>0)$。

解答

$W=X+Y+Z\sim\mathcal{N}(0, \mathrm{Var}(W))$。

$\mathrm{Var}(W) = 3\cdot 1 + 2\cdot 3\cdot\frac{1}{2} = 3+3=6$。

故 $W\sim\mathcal{N}(0,6)$，由对称性：

$$P(W>0) = \frac{1}{2}$$

题 D ⭐⭐⭐

设 $X\sim\mathcal{N}(\mu,\sigma^2)$，$\mu>0$，求 $\mathbb{E}[X\mid X>0]$。

解答（Mills Ratio 公式）

$$\mathbb{E}[X\mid X>0] = \mu + \sigma\cdot\frac{\phi(\mu/\sigma)}{\Phi(\mu/\sigma)}$$

当 $\mu=0$：$\mathbb{E}[X\mid X>0]=\sigma\frac{\phi(0)}{\Phi(0)}=\sigma\cdot\frac{1/\sqrt{2\pi}}{1/2}=\sigma\sqrt{2/\pi}$ ✓。

题 E ⭐⭐⭐

设 $X\sim\mathcal{N}(0,1)$，用 $Y=\text{sgn}(X)\cdot|X|$ 来构造两个边缘正态但联合非正态的随机变量，并计算 $\mathrm{Cov}(X,Y)$。

解答

取 $W\sim\pm 1$（独立于 $X$，各 $1/2$），令 $Y=W\cdot X$。

• $Y\sim\mathcal{N}(0,1)$（因为 $\pm X$ 均为标准正态）。

• $\mathrm{Cov}(X,Y)=\mathbb{E}[XY]=\mathbb{E}[WX^2]=\mathbb{E}[W]\mathbb{E}[X^2]=0$。

• 但 $X+Y=X(1+W)$，当 $W=-1$ 时恒为 0，故 $X+Y$ 不是正态分布，$(X,Y)$ 不是联合正态。

⚠️

这是"边缘正态 ≠ 联合正态"的经典反例，面试中经常被用来考察理解深度。

题 F ⭐⭐⭐⭐ HFT风格

做市商对某资产定价。信号 $S\sim\mathcal{N}(0,1)$，观测到含噪信号 $O=S+\varepsilon$（$\varepsilon\sim\mathcal{N}(0,\sigma^2)$ 独立）。
(a) 求 fair value $\mathbb{E}[S\mid O=o]$；
(b) 若交易者报价 $q$，资产真值 $V\sim\mathcal{N}(q, 1)$（以报价为中心的先验），问最优竞价策略？

解答

(a) 直接套 Shrinkage 公式：

$$\hat{S}(o) = \mathbb{E}[S\mid O=o] = \frac{1}{1+\sigma^2}\cdot o$$

(b) 做市商持有先验 fair value $f$，观测到报价 $q$。更新后的 fair value：若 $q$ 是含噪信号，最优 bid/ask 应在 $\hat{f}(q)$ 附近展开。实际中 spread 应覆盖 adverse selection（交易者拥有更多信息时的预期亏损）。贝叶斯更新中，"信号强度"越高（$\sigma^2$ 越小），fair value 越接近 $q$，spread 越窄。

题 G — 经典脑筋急转弯

掷一枚硬币，若正面取 $X\sim\mathcal{N}(1,1)$，若反面取 $X\sim\mathcal{N}(-1,1)$。$X$ 是正态分布吗？

解答

$X$ 是混合正态（Gaussian mixture），不是正态分布。

pdf：$f(x) = \frac{1}{2}\phi(x-1)+\frac{1}{2}\phi(x+1)$，有两个峰，明显偏离单峰正态。

这提示：正态的有限混合一般不是正态（除非均值相同）。

题 H ⭐⭐⭐

设 $Z\sim\mathcal{N}(\mu,\sigma^2)$，求 $\mathbb{E}[\max(0,Z)]$（call payoff）。

解答

令 $d = -\mu/\sigma$（即 $d = (K-S_0)/(S_0\sigma)$ 在 Black-Scholes 中）：

$$\mathbb{E}[\max(0,Z)] = \mu\,\Phi(\mu/\sigma) + \sigma\,\phi(\mu/\sigma)$$

验证 $\mu=0,\sigma=1$：$\mathbb{E}[\max(0,Z)] = 0 + \phi(0) = 1/\sqrt{2\pi}$ ✓。

这与 Black-Scholes 公式中的 $d_1, d_2$ 项直接对应——面试中的"联系金融"加分点。

⚡ 快速参考：核心结论一览

结论	公式	适用条件
半平面概率	$P(U>0,V>0)=\frac{1}{4}+\frac{\arcsin\rho}{2\pi}$	零均值联合正态
截断正态期望	$\mathbb{E}[Z\mid Z>0]=\sqrt{2/\pi}$	$Z\sim\mathcal{N}(0,1)$
最大值期望	$\mathbb{E}[\max(X,Y)]=1/\sqrt{\pi}$	$X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$
最大值（相关）	$\mathbb{E}[\max(X,Y)]=\sqrt{(1-\rho)/\pi}$	相关系数 $\rho$
条件期望	$\mathbb{E}[X\mid X+Y>0]=1/\sqrt{\pi}$	$X,Y\overset{iid}{\sim}\mathcal{N}(0,1)$
收缩估计量	$\mathbb{E}[X\mid Z=z]=\frac{\sigma_X^2}{\sigma_X^2+\sigma_\varepsilon^2}\cdot z$	$Z=X+\varepsilon$，独立
条件分布均值	$\mathbb{E}[Y\mid X=x]=\mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X)$	二维联合正态
条件分布方差	$\mathrm{Var}(Y\mid X)=\sigma_Y^2(1-\rho^2)$	二维联合正态
MGF	$\mathbb{E}[e^{tX}]=e^{\mu t+\sigma^2t^2/2}$	$X\sim\mathcal{N}(\mu,\sigma^2)$
Call payoff	$\mathbb{E}[\max(0,Z)]=\mu\Phi(\mu/\sigma)+\sigma\phi(\mu/\sigma)$	$Z\sim\mathcal{N}(\mu,\sigma^2)$

条件期望	结果	数值
\(\mathbb{E}[Z \mid Z>0]\)，\(Z\sim\mathcal{N}(0,1)\)	\(\sqrt{2/\pi}\)	\(\approx 0.7979\)
\(\mathbb{E}[Z^2 \mid Z>0]\)	\(1\)	\(= 1\)（注：\(\mathbb{E}[Z^2]=1\) 与条件无关）
\(\mathbb{E}[\|Z\|]\)	\(\sqrt{2/\pi}\)	\(\approx 0.7979\)
\(\mathbb{E}[Z \mid Z>c]\)	\(\dfrac{\phi(c)}{1-\Phi(c)}\)	Mills ratio

结论	公式	适用条件
半平面概率	\(P(U>0,V>0)=\frac{1}{4}+\frac{\arcsin\rho}{2\pi}\)	零均值联合正态
截断正态期望	\(\mathbb{E}[Z\mid Z>0]=\sqrt{2/\pi}\)	\(Z\sim\mathcal{N}(0,1)\)
最大值期望	\(\mathbb{E}[\max(X,Y)]=1/\sqrt{\pi}\)	\(X,Y\overset{iid}{\sim}\mathcal{N}(0,1)\)
最大值（相关）	\(\mathbb{E}[\max(X,Y)]=\sqrt{(1-\rho)/\pi}\)	相关系数 \(\rho\)
条件期望	\(\mathbb{E}[X\mid X+Y>0]=1/\sqrt{\pi}\)	\(X,Y\overset{iid}{\sim}\mathcal{N}(0,1)\)
收缩估计量	\(\mathbb{E}[X\mid Z=z]=\frac{\sigma_X^2}{\sigma_X^2+\sigma_\varepsilon^2}\cdot z\)	\(Z=X+\varepsilon\)，独立
条件分布均值	\(\mathbb{E}[Y\mid X=x]=\mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X)\)	二维联合正态
条件分布方差	\(\mathrm{Var}(Y\mid X)=\sigma_Y^2(1-\rho^2)\)	二维联合正态
MGF	\(\mathbb{E}[e^{tX}]=e^{\mu t+\sigma^2t^2/2}\)	\(X\sim\mathcal{N}(\mu,\sigma^2)\)
Call payoff	\(\mathbb{E}[\max(0,Z)]=\mu\Phi(\mu/\sigma)+\sigma\phi(\mu/\sigma)\)	\(Z\sim\mathcal{N}(\mu,\sigma^2)\)