机器学习数学基础-概率论-4【待续】

技术
克赛号 — Sun 29 March 2020

伯努利分布，二项分布¶

随机变量只取0/1两个值，相应的概率为 P(x=1)=p P(X=0)=1-p，则随机变量X服从参数p的伯努利分布
重复n次的伯努利分布为二项分布

$$ P(X=k)=C_n ^k p^k (1-p)^{n-k} k=0,1,...n \\ 例：临床上某疗法治疗某疾病，有效概率为 60\%，以该法治疗3例，其中2例有效概率多大 \\ C_3 ^2 (0.6)^2 (1-0.6)^{(3-2)} $$

期望和方差¶

$$ 离散型随机变量的期望的定义\\ E(X)=\sum_{k=1}^{\infty}x_k p_k\\ 连续型随机变量的期望定义\\ E(X)=\int_{-\infty}^{+\infty}x f(x)dx\\ 离散型随机变量的方差的定义\\ Var(X)=\sum_{k=1}^{\infty}(x_k-E(X))^2 p_k\\ 连续型随机变量的方差定义\\ Var(X)=\int_{-\infty}^{+\infty}(x-E(X))^2 f(x)dx\\ $$

高斯分布(Gaussian distribution)(也就是正态分布Normal Distribution)¶

$$概率密度函数如下\\ f(x) = \frac{1} {\sigma\sqrt{2\pi}}e^{-(x - \mu)^{2}/(2\sigma^{2}) }\\ 其中\mu：正态分布的集中趋势位置，也就是期望。 \sigma:描述正态分布的离散程度，\sigma越小，越瘦高，否则越肥胖\\ 记为：X \sim \mathcal{N}(\mu,\,\sigma^{2})\ $$

以下为一维和二维空间中的高斯分布函数

【扩展】高斯模糊原理（https://www.youtube.com/watch?v=P2CVBGL3cV4）
【扩展】高斯模糊 https://www.youtube.com/watch?v=-AuwMJAqjJc

均匀分布¶

方差为什么除以12

指数分布¶

联合分布¶

点击查看资料

离散型联合概率分布，假设，P(X=a,Y=b)为X=a且Y=b发生的概率

$$ f(a,b)=P(X=a,Y=b)\\ 0<=f(a,b)<=1\\ \sum_{x}\sum_{y}f(x,y)=1 $$

连续型联合概率分布

$$ 0<=f(a,b)<=1\\ 概率密度函数(几何意义为二维坐标系中总的体积):\\ \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy=1 $$

边缘概率分布¶

边缘概率即对于x,y两个变量来说，单独看某一个变量的分布

多维分布于协方差(Covariance)¶

(X-E(X))*(Y-E(Y))的期望，即E{[E-E(X)][Y-E(Y)]} 为随机变量X与Y的协方差。计为Cov(X,Y)
协方差性质
- D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
- Cov(X,Y)=Cov(Y,X)
- Cov(aX,bY)=abCov(X,Y)
- Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

主成分分析¶

协方差与协方差矩阵 https://zhuanlan.zhihu.com/p/37609917
样本成本太多的时候，将高纬度空间降维。