很多时候我们已知随机变量 $X$ 的分布，而相应的如果 $X$ 经过某函数关系 $g(X)$ 后得到的 $Y$ ，其实它的分布我们也可求出来，而且这个分布肯定是和 $X$ 的分布与函数关系 $g$ 共同决定的

• 那如何根据 $X$ 的分布与 $Y=g(x)$ 的函数关系 $g$ 去求 $Y$ 的分布呢？

• 对于离散型随机变量 $X$ ，将相应 $X$ 取值经过 $g$ 变换后得到 $Y$ ，$Y$ 相同的，概率累加即可。

  举个栗子:chestnut:

  设随机变量 $X$ 的概率分布律为如图，$Y=X^2$，求 $Y$ 的概率分布律.

  

  

• 对于连续型随机变量

  • $X-CDF$ 算 $Y - CDF$

    函数代入法：设随机变量 $X$ ，$Y = g(X)$，在 $X$ 非常数的区间内，将 $g(X)\leq y$ 化简为 $X$ 的一个取值范围 $D$，然后将 $P(D)$ 的计算转化为 $F_X(x)$ 的纯含 $y$ 代入式计算， 算出来的式子即为 $F_Y(y)$

  **举个栗子**:chestnut:

  > 设随机变量 $X$ 的累积分布函数为 $F(x) = \begin{cases}1，4<x;\\\frac{x^2}{16}，0<x\leq4;\\0，x\leq 0\end{cases}$
  >
  > 求 $Y = X^2$ 的CDF

  在 $0 < x \leq 4$ 时

  $F_Y(y) = P(Y \leq y) = P(X^2 \leq y) = P(\sqrt{-y} \leq X \leq \sqrt{y}) = P(X \leq \sqrt{y}) = F_X(\sqrt{y}) = \frac{(\sqrt{y})^2}{16} = \frac{y}{16}$

  其余区间对应相同，因此求得：

  $F(y) = \begin{cases}1，16<y;\\\frac{y}{16}，0<y\leq4;\\0，y\leq 0\end{cases}$





* $X-PDF$    算    $Y-PDF$

  **公式法**：设随机变量 $X$~$f_X(x)$，$-\infty<x<+\infty$， $Y=g(X)$ , 若 $g(X)$ 单调，设其反函数为 $h(y)$ ,则 $Y$ 的 PDF 为：



  $f_Y(y) = \begin{cases}f_x(h(y))·|h'(y)|, \alpha<y<\beta\\ 0 ,otherwise\end{cases}$

  * $\alpha，\beta$  分别取 $g(-\infty)，g(+\infty)$ 中的最小值和最大值



  **举个栗子**:chestnut:

  > 设随机变量 $X$ 的累积分布函数为 $f(x) = \frac{e^{-|x|}}{2}$
  >
  > 求 $Y = e^X$ 的PDF

  套公式即可得

  $f(y) = \begin{cases}\frac{e^{-|lny|}}{2}·|lny|，y>0\\0，otherwise \end{cases}$





* **特殊：当$X$~$B(\mu, \sigma^2)$**时，若$Y(X) = aX + b$ ，则

  $Y$~$N(\alpha\mu+b, a^2\sigma^2)$



  **举个栗子**:chestnut:

  > $X$~$N(1, 3)$
  >
  > $Y(x) = 3-2X$，求 $Y$ 的分布

  $\because a\mu + b = -2*1+3 = 1$

  ​    $\alpha^2\sigma^2 = 4*3 = 12$

  $\therefore Y$~$N(1, 12)$





* 要求 $Y-PDF$，也可以先根据 $X - CDF$ 算出 $Y - CDF$ 之后在微分。

  要求 $Y - CDF$，也可以先根据 $X - PDF $ 算出 $Y-PDF$ 之后再积分。

  总之要灵活应用~~

Explain

Author : Benjamin142857

线性代数：learn form MOOC-线性代数与空间解析几何CAP and 麻省理工公开课：线性代数

概率论与数理统计：learn form MOOC-概率论与数理统计CAP

Content

Linear Algebra

• 常见矩阵
• 矩阵的线性运算、乘法、转置、对称、逆
• 线性方程组求解的初等变换
• Ax=0: 主变量，特解
• Ax=b: 可解性和解的结构
• 矩阵求逆的初等变换法

Probability Theory

• 离散型随机变量与连续型随机变量
• 独立事件与互斥事件的区别
• 联合分布、条件分布、边缘分布
• 全概率公式与贝叶斯公式
• MLE 与 MAP
• CDF、PDF、PMF
• X分布与Y(X)分布的关系
• 几种重要的一维概率分布及其特点
• 几种重要的二维概率分布及其特点
• 期望、方差、协方差、相关系数
• 中心极限定理与大数定理

Advanced Mathematics

• 一元函数微积分

• 多元函数微积分

• 环流量，通量，散度，旋度，梯度

Content

• 离散型随机变量

  1. 退化分布
  2. 伯努利分布
  3. 二项分布
  4. 泊松分布
  5. 几何分布
  6. 超几何分布

• 连续型随机变量

  1. 均匀分布
  2. 指数分布
  3. 高斯分布

退化分布（Degenerate Distribution）

离散型随机变量

亦称”确定性分布“，”凝聚分布“，”单点分布“，就是整个样本空间只有一个随机变量取值，而且它的概率一定为1.

• 设X表示必然事件c:

  $P(X=c) = 1$

伯努利分布（Bernoulli Distribution）

离散型随机变量

亦称“两点分布”，就是整个样本空间只有两种情况，不是其一就是其二.

• 设X表示再一次Bernoulli试验中某事件发生:

  $P(X=1) = p$

  $P(X=0)=1-p$

二项分布（Binomial Distribution）

离散型随机变量

本质上就是 “n重Bernoulli distribution”，进行了多次的伯努利试验，而每一次都是相互独立的。

设X表示n重Bernoulli试验中某事件发生的次数，X的可能取值有$0, 1, 2, …, n$:

$P(X=k) = C_n^kp^k(1-p)^{n-k}$

上述情况称为X服从参数为n，p的伯努利分布，记为

$X$~$B(n, p)$

泊松分布（Poisson Distribution）

离散型随机变量

若X的概率分布律为：

​ $P(X=k) = \frac{\lambda^ke^{-\lambda}}{k!}，k=0,1,2…$

其中$\lambda＞0$，就称X服从参数为$\lambda$的泊松分布

记为 $X$~$\pi(\lambda)$ 或 $X$~$P(\lambda)$

​ $P(X=0) + P(X=1) + … P(X=+∞) = e^{-\lambda}·\sum_{k=0}^{+∞}\frac{\lambda^k}{k!}$，而根据泰勒展开式可得：$e^\lambda = \sum_{k=0}^{+∞}\frac{\lambda^k}{k!}$，所以可知概率之和为1.

• Poisson Distribution 的用途：

  • 某人一天内收到的微信的数量
  • 来到某公共汽车站的乘客
  • 某放射性物质发射出的粒子
  • 显微镜下某区域中的白血球

如果某事件以固定强度$\lambda$，随机且独立地出现，该时间在单位时间内出现的次数（个数）可以看成是服从泊松分布。

• Poisson distribution 与 Binomial distribution 的关系:

  当$n＞10, p＜0.1$时，

  $C_n^kp^k(1-p)^{n-k} ≈ \frac{e^{-\lambda}\lambda^k}{k!}$，其中 $\lambda = np$

  即当n很大，p很小时，$B(n, p) ≈ P(np)$

几何分布（Geometric Distribution）

离散型随机变量

其实就是进行多次Bernoulli试验直到A事件发生为止

设X为进行试验的次数直到A事件发生，A事件发生的概率为 $p$

$P(X=k) = (1-p)^kp，k=1,2,3,…$

那称X服从参数为 $p$ 的几何分布，记为

$X$ ~ $Geom(p)$

举个栗子:chestnut:

假设我们买一种中奖率为1%彩票，每一次中奖的概率都一样，买了k次直到中奖

单独买第k次的中奖概率都比第k-1次要低，但只要次数足够多，买了k次就中奖的概率就是前k次中奖概率的总和，如上图。

超几何分布（Hypergeometric Distribution）

离散型随机变量

待补

均匀分布（Uniform Dsitribution）

连续型随机变量

若 $X$ 的PDF为 $f(x)\begin{cases} \frac{1}{b-a}, x\in(a, b) \0, otherwise \end{cases}$

就称 $X$ 服从(a, b)上的Uniform distribution

记为 $X$~$U(a, b)$ 或 $X$~$Unif(a, b)$

• $X$~$U(a, b)$ 的PDF图

• $X$~$U(a, b)$ 的CDF图

• $X$~$U(a, b)$的计算
  1. $P(x\in I) = \int_If(x)dx$
  2. $P(x \in I) = \frac{I \bigcap (a, b) 的长度}{(a, b) 的长度}$

指数分布（Exponential Distribution）

连续型随机变量

若 $X$ 的概率密度函数为 $f(x) = \begin{cases} \lambda e^{-\lambda x} ，x>0\ 0，x \leq 0\end{cases} (\lambda >0)$

则称 $X$ 服从参数为 $\lambda$ 的Exponential distribution

记为 $X$~$E(\lambda)$ 或 $X$~$Exp(\lambda)$

• 重要性质：$X$~$E(\lambda)$具有无记忆性

  $P(X>a|X>b) = P(X>a-b)$

• 指数分布用途

  1. 可以用来表示独立随机事件发生的时间间隔，比如旅客进机场的时间间隔、中文维基百科新条目出现的时间间隔等；
  2. 在排队论中，一个顾客接受服务的时间长短也可以用指数分布来近似；
  3. 无记忆性的现象；

高斯分布（Guassian Distribution / Normal Distribution）

连续型随机变量

若 $X$ 的PDF为

$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, (-\infty < x < \infty)$

就称 $X$ 服从参数为 $\mu, \sigma$ 的高斯分布（或正太分布，或误差分布）

记为 $X~N(\mu, \sigma^2)$

• 两个参数的含义：

  • $\sigma$：称为尺度参数，会决定曲线分散程度。当固定 $\mu$ ， $\sigma$ 越小，图形越高越瘦，$\sigma$ 越大，图形越矮越胖。

  • $\mu$：称为位置参数，会决定对称轴的位置，当固定 $\sigma$ ，改变 $\mu$ 相当于将图像沿 $x$ 轴平移，图形整体形状不变。

• 正态分布的概率计算：

  若 $X$~$N(\mu, \sigma^2)$，对实数 $x$

  $P(X \leq x) = F(x) = \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^xe^{\frac{(t-\mu)^2}{2\sigma^2}dt}$

  但积分算不出来，于是我们一般会将其转化为标准正态，然后利用标准正态分布表来求。

  于是用到了以下性质：

  ​ 当$X$~ $N(\mu,\sigma^2)$时，$\frac{X-\mu}{\sigma}$~$N(0,1)$

举个栗子:chestnut:

一批钢材长度(cm) $X$~$N(\mu,\sigma^2)$，$\mu=100$，$\sigma=2$，

求：

1. 这批钢材长度小于97.8的概率；
2. 这批钢材长度落在区间(97.8,103)的概率；

• 标准正态分布

  

• 正态分布的用途：

  • 自然界和人类社会中很多现象可以看作正态分布

    • 人的生理尺寸（身高、体重）；
    • 医学检验指标（红细胞数、血小板）；
    • 测量误差；
    • 等等

  • 多个随机变量的和可以用正态分布来近似(中心极限定理)

    • 某位同学完成所有作业的时间；

    • 二项分布

    • 等等

离散型随机变量

若随机变量X的取值为有限个或可数个，则称X为离散型随机变量.

例如，抛四次硬币的概率，设正面朝上为X，那一共就有(X=0)，(X=1)，(X=2)，(X=3)，(X=4)五种情况，很明显是有限个，所以这个X就是离散型随机变量

离散型随机变量的概率分布律

• 内容

  1. 随机变量的所有可能取值
  2. 取每个可能取值相应的概率

• 性质

  $P_k≥0， \sum_{k=1}^∞P_k = 1$

连续型随机变量

若随机变量X的取值为不可数个，则称X为连续型随机变量.

例如，（0, 1）之间取到的数的概率，一天之内降雨量的概率，完成一个项目所耗时间的概率等等

连续型随机变量的概率分布律

对于连续型随机变量，我们更多地会研究它的PDF - (概率密度函数)，它的PDF的区域积分（面积）就表示落在该区域内的概率，所以有

$\int_{-\infty}^{+\infty}f(x)dx=1$

对整个区域积分，即其面积应该为1.

Naive Bayes