跳转至

概率论

Obsidian首发版

  1. 概率有什么性质？
  2. 联合分布 边缘分布
  3. [[极坐标变换]]

事件与概率

容斥原理 - 概率的性质： - 非负性 - 正规性 - 可列可加性 - \(\(P({\bigcup_{i=1}^\infty A_i}) = \sum_{i=1}^\infty P({A_i})\)\) - 有限可加性 - \(\(P({\bigcup_{i=1}^n A_i}) = \sum_{i=1}^nP({A_i})\)\) - 可减性 - 加法公式 - 一般加法公式（容斥原理） - 连续性 - 案例 - 匹配问题 - ![[Pasted image 20240528202511.png]]

条件概率 全概率 贝叶斯公式

  • 多个事件独立性：两两独立

随机变量及其分布

  1. 如何求一个随机变量的分布函数？

  2. 分布函数 \(F(x)\)

    • 充要条件：满足四条性质
      • 非负有界性
      • 单调不减性
      • 左右极限为0，1
      • 右连续性
  3. 密度函数
name 表示 概率质量函数PMF 均值EX 方差DX 备注
0-1分布/两点分布 分布列 p pq
二项分布 \(X\sim B(n,p)\) \(P(X=k)=C_n^kp^kq^{n-k},k=0,1,...,n\) \(np\) \(npq\)
Geometric distribution \(X\sim G(p)\) \(P(X=k)=(1-p)^{k-1}p,k=0,1,...\) \(\frac 1 p\)
Hypergemetric distribution 无放回抽样问题
[[Uniform Distribution]] \(X\sim U(a,b)\) \(\(p(x)=\left \{ \begin{array}{rcl} \frac 1 {b-a} &a\leq x\leq b\\0 & otherwise\end{array} \right.\)\)
 \(\frac{a+b}{2}\) \(\frac{(b-a)^2}{12}\)
[[Exponential distribution]] \(X\sim e(\lambda)\) \(\(p(x)=\left \{ \begin{array}{rcl} \lambda e^{-\lambda x} &x\geq 0\\0 & x<0\end{array} \right.\)\) \(\frac 1 \lambda\) \(\frac 1 \lambda^2\) \(\Gamma(1,\lambda)\)
[[Normal distribution]]正态分布 \(X\sim N(\mu,\sigma^2)\) \(f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\) \(\mu\) \(\sigma^2\) \(F(x)=\Phi(\frac{x-\mu}{\sigma})\)
\(\Gamma\)分布 \(X \sim \Gamma(\alpha,\beta)\) \(X \sim \Gamma(\alpha,\lambda)\) \(f(x; \alpha, \lambda) = \frac{x^{\alpha-1}\lambda^\alpha e^{-\lambda x}}{\Gamma(\alpha)}=f(x; \alpha, \lambda)=\frac{x^{\alpha-1} e^{-\frac 1 \beta x}}{\beta^\alpha \Gamma(\alpha)}\) \(\alpha+\beta\) \(\beta^2\) [[伽马函数]]
泊松分布[[Poisson Distribution]] \(P(X = k) = \frac{e^{-\lambda} \cdot \lambda^k}{k!},k=0,1,2,3...\) \(\lambda\) \(\lambda\)
[[卡方分布]]\(\chi^2\) \(X \sim \chi^2(n)\) \(\(f(x; k) = \frac{1}{2^{\frac{k}{2}}\Gamma\left(\frac{k}{2}\right)} x^{\frac{k}{2} - 1} e^{-\frac{x}{2}}\)\),\(\(p(y) = \frac{1}{\sqrt{2\pi y}}e^{-\frac{y}{2}}\)\) \(n\) \(2n\)
对数正态分布
二元正态分布 \(\(f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right)\)\)
\(\(= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left(-\frac{u^2 - 2\rho uv + v^2}{2(1-\rho^2)}\right)\)\)
  • 定理2.4.1
    • ![[Pasted image 20240528213516.png]]

第三章 随机向量及其分布

联合分布

联合分布列：非负性，正规性

联合分布函数：\(\(F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y}p(u,v)dudv\)\) \(\(P((X,Y)\in D)=\iint_D p(x,y)dxdy\)\) 联合密度函数：\(\(p(x,y)=\frac{\partial^2F(x,y)}{\partial x\partial y}\)\)

[!info] 二元正态分布的联合密度函数

$$ f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right) $$ $$ = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left(-\frac{u^2 - 2\rho uv + v^2}{2(1-\rho^2)}\right) $$ 其中，\(x\) 和 \(y\) 是二元正态分布的两个随机变量，\(\mu_1\) 和 \(\mu_2\) 是它们的均值，\(\sigma_1\) 和 \(\sigma_2\) 是它们的标准差，\(\rho\) 是它们的相关系数。这个联合密度函数描述了 \(x\) 和 \(y\) 同时发生的概率密度。

- 均匀分布 \(\frac 1 S\)

边缘分布

  • 重积分
  • 边缘分布列

  • 边缘分布函数\(\(F_X(x)=P(X<x)=P(X\leq x,Y \leq \infty)=lim_{y \to \infty}F(x,y)=F(x,+\infty)=\int_{-\infty}^x \Big[ \int_{-\infty}^{+\infty}p(x,y)dy \Big]dx = \int_{-\infty}^x p_X(x)dy\)\)

  • 边缘密度函数\(\(p_X(x)=\int_{-\infty}^{+\infty}p(x,y)dy\)\)

    - \(\(F_Y(y)=F(+\infty,y)=\int_{-\infty}^y \Big[ \int_{-\infty}^{+\infty}p(x,y)dx \Big]dy\)\)

  • 随机向量函数的分布

    • 和的分布
      • \[p_Z(z)=\int_{-\infty}^{+\infty}p(x,z-x)dx=\int_{-\infty}^{+\infty}p(z-y,y)dy\]
      • 卷积公式：\(X\),\(Y\)独立,\(\(p_Z(z)=\int_{-\infty}^{+\infty}p_X(x)p_{Y}(z-x)dx=\int_{-\infty}^{+\infty}p_X(z-y)p_{Y}(y)dy\)\)
      • 正态分布参数可加性：\(X\),\(Y\)独立,(\(Z=X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)\)\)
        • ![[Pasted image 20240529160259.png]]
    • 商的分布
      • \[p_Z(z)=\int_{-\infty}^{+\infty}p(zy,y)|y|dy\]
    • 差的分布
    • 积的分布
      • \[p_{XY}(z)=\int_{-\infty}^{+\infty}p(\frac z y,y)|\frac 1 y|dy=\int_{-\infty}^{+\infty}p(x,\frac z x)|\frac 1 x|dx\]
    • \(M=\max(X,Y),N=\min(X,Y),X,Y\)独立
      • \[F_M(z)=P(M\leq z)=P(X\leq z,Y\leq z)=P(X\leq z)P(Y\leq z)=F_X(z)F_Y(z)\]
      • \[F_N(z)=P(N\leq z)=1-P(N>z)=1-P(X>z,Y> z)=1-(1-P(X\leq z))(1-P(Y\leq z))=1-(1-F_X(z)(1-F_Y(z)\]

随机变量的数字特征

第四章 随机变量的数字特征

分布 - 参数 - 数字特征（期望，方差，标准差，协方差）

Expectation

  • Expectation：\(\(EX=\sum_{i=1}^{\infty} x_ip(x_i),EX=\int_{-\infty}^{+\infty} xp(x)dx\)\)
  • 期望存在：\(\(\int_{-\infty}^{+\infty} |x|p(x)dx<\infty\)\)

  • ｜｜？

  • 验证绝对收敛：判别法则（一般不验证，直接去求）

    • 收敛但是不绝对收敛
    • 绝对收敛：交换顺序不影响取值
  • 期望是数，而非随机变量
  • 性质
    • \(EC = C\)
    • \(E(CX)=C EX\)
    • \(E(X+Y)=EX+EY\)
    • 独立：\(E(XY)=EXEY\)
    • \(X\leq Y\Rightarrow EX\leq EY\)

Variance

  • \(DX=E(X-EX)^2=EX^2-(EX)^2\leq E(X-C)^2\)
  • \(D(aX)=a^2DX\)
  • \(D(X+C)=DX\)
  • \(D(C)=0\)

  • \(X,Y\)independent, \(D(X+Y)=DX+DY\)

    [!define] Chebyshev Inequality \(\(P(|X-\mu| \geq k\sigma) \leq \frac{1}{k^2}\)\) \(\(P(|X-\mu| \geq k) \leq \frac{\sigma^2}{k^2}\)\) 其中，\(P(\cdot)\) 表示概率，\(X\) 是随机变量，\(\mu\) 是随机变量的均值，\(\sigma\) 是随机变量的标准差，\(k\) 是一个正数。

    这个不等式表示随机变量 \(X\) 与其均值之间的偏离超过 \(k\) 个标准差的概率不超过 \(\frac{1}{k^2}\)。

  • \(D(aX\pm bY)=a^2DX+b^2DY\)

相关系数

\(\rho_{X,Y}=\frac{Cov(X,Y)}{\sqrt(DX)\sqrt{DY}}\) \((X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\) $$ p(x,y)=\frac 1 {2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp{\frac{-1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}]} $$ \(\text{XY is independent of each other}\Leftrightarrow{\rho=0}\) , only when \((X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\) satisfied. otherwise, \(\text{XY is independent of each other}\Rightarrow{\rho=0}\) (Linear incorrelation) \(\rho=1\) : X Y Linear correlation

Covariance

\(Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY\) \(E(X,Y)=EX+EY-2Cov(X,Y)\) \(Cov(X,X)=DX\)

Theorem
  1. \(Cov(X,Y)=Cov(Y,X)\)
  2. \(Cov(aX,bY)=E(abXY)-aEXbEY=ab(E(XY)-EXEY)abCov(X,Y)\)
  3. The law of distribution: \(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)
  4. \([Cov(X,Y)]^2\leq DX \cdot DY\) $$ [E(X-EX)(Y-EY)]^2\leq E(X-EX)^2 \cdot E(Y-EY)^2 $$ \(\(E([XY]^2)\leq EX^2EY^2\)\)

Correlation coefficient

\(\(\rho = \frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}\)\) - 独立一定线性不相关，线性不相关不一定独立。 - \(独立 \Rightarrow \text{线性不相关} \Leftrightarrow Cov(X,Y)=0 \Leftrightarrow EXY=EXEY\Leftrightarrow D(X+Y)=DX+DY \Leftrightarrow D(X+Y)=D(X-Y)\) - - \(if X=kY+C,\rho_{X,Y}= \pm1\)

  • Convolution

![[Pasted image 20240529194814.png|600]]