6_数理统计

总体和样本

研究对象的全体称为$\text{总体}$，组成总体的每一个元素称为$\text{个体}$。

统计量及其分布

设 $X_1,X_2,\cdots ,X_n$ 来自总体 $X$ 的一个样本，$g(x_1,x_2,\cdots ,x_n)$ 为 $n$ 元函数，若 $g$ 中不含有任何未知参数，则称 $g(X_1,X_2,\cdots ,X_n)$ 为样本 $X_1,X_2,\cdots ,X_n$ 的一个 $\text{统计量}$。若 $(x_1,x_2,\cdots ,x_n)$ 为样本值，则称 $g(x_1,x_2,\cdots ,x_n)$ 为 $g(X_1,X_2,\cdots ,X_n)$ 的 $\text{观测值}$。

常用统计量

样本数字特征

• 样本均值：$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$
• 样本方差：$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$
• 样本标准差：$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2}$
•  样本 $k$ 阶（原点）矩：$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$（$k=1,2,\cdots$）
•  样本 $k$ 中心矩：$B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k$（$k=1,2,\cdots$）

顺序统计量

将样本 $X_1,X_2,\cdots ,X_n$ 的 $n$ 个观测量按其值从小到大的顺序排列，得到 $X_{(1)}⩽X_{(2)}⩽\cdots ⩽X_{(n)}$。

随机变量 $X_{(k)}$（$k=1,2,\cdots ,n$）称为\textbf{第 $k$ 顺序统计量}，其中 $X_{(1)}$ 是最小顺序统计量，而 $X_{(n)}$ 是最大顺序统计量。

性质

设总体 $X$ 的期望 $EX=\mu$，方差 $DX={\sigma }^2$，样本 $X_1,X_2,\cdots ,X_n$ 取自 $X$，$\overline{X}$ 和 $S^2$ 分别为样本的均值和方差，则：

• $E{X}_i=\mu$
• $D{X}_i={\sigma }^2$
• $E\overline{X}=EX=\mu$
• $D\overline{X}=D\left(\frac{1}{n}\sum _{i=1}^n{x}_i\right)=\frac{1}{n^2}n{\sigma }^2=\frac{1}{n}DX=\frac{{\sigma }^2}{n}$。
• $E(S^2)=DX={\sigma }^2$

三大分布

${\chi }^2$ 分布

概念

若随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立，且都服从标准正态分布，则随机变量 $X=\sum _{i=1}^n{X}_i^2$ 服从自由度为 $n$ 的 ${\chi }^2$ 分布，记为 $X\sim {\chi }^2(n)$，特别地 $X_i^2\sim {\chi }^2(1)$。

上 $\alpha$ 分位数

对给定的 $\alpha$（$0<\alpha <1$）称满足 $P\{{\chi }^2>{\chi }_{\alpha }^2(n)\}={\int }_{{\chi }_{\alpha }^2(n)}^{+\infty }f(x)\text{d}x=\alpha$ 的 ${\chi }_{\alpha }^2(n)$ 为 ${\chi }^2(n)$ 分布的上 $\alpha$ 分位点。

性质

• $X_1+X_2\sim {\chi }^2(n_1+n_2)$
• $EX=N,DX=2n$

t 分布

概念

若随机变量 $X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，$XY$ 相互独立，则随机变量 $t=\frac{X}{\sqrt{Y/n}}$ 服从自由度为 $n$ 的 $t$ 分布，记为 $t\sim t(n)$。

上 $\alpha$ 分位数

$P\{t>t_{\alpha }(n)\}=\alpha$

性质

• $Et=0$
• $t_{1-\alpha }(n)=t_{\alpha }n$

F 分布

概念

若随机变量 $X\sim {\chi }^2(n_1)$，$Y\sim {\chi }^2(n_2)$，且 $X$ 与 $Y$ 相互独立，则 $F=\frac{X/n_1}{Y/n_2}$ 服从自由度为 $(n_1,n_2)$ 的 $F$ 分布，记为 $F\sim F(n_1,n_2)$，其中 $n_1$ 为第一自由度，$n_2$ 为第二自由度。

上 $\alpha$ 分位数

$$P\{F>F_{\alpha }(n_1,n_2)\}=\alpha$$

性质

• 若 $F\sim F(n_1,n_2)$，则 $\frac{1}{F}\sim F(n_2,n_1)$。
• $F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }}(n_2,n_1)$
• $t\sim t(n),则t^2\sim F(1,n)$

正态分布下的常用结论

$\text{设}{X}_1,X_2,\cdots ,X_n\text{是来自正态总体}N(\mu ,{\sigma }^2)\text{的一个样本,}\overline{X},S^2\text{分别是样本均值和样本方差,则}$ $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right),\text{即}\frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}=\frac{\sqrt{n}\left(\overline{X}-\mu \right)}{\sigma }\sim N(0,1);$ $\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$ $\frac{(n-1)S^2}{{\sigma }^2}={\sum }_{i=1}^n{\left(\frac{X_i-\overline{X}}{\sigma }\right)}^2\sim {\chi }^2(n-1)(\mu \text{未知时,在}(2)\text{中用}\overline{X}\text{替代}\mu )$ $\overline{X}\text{ 与}{S}^2\text{相互独立,}\frac{\sqrt{n}(\overline{X}-\mu )}{S}\sim t(n-1)(\sigma \text{未知时,在}(1)\text{ 中用}S\text{替代 }\sigma ).\text{进一步有}$ $\frac{n(\overline{X}-\mu {)}^2}{S^2}\sim F(1,n-1)$

Note

$\frac{{\left(\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\right)}^{2}1}{\frac{(n-1)S^2}{{\sigma }^2}/(n-1)}=\frac{n(\overline{X}-\mu {)}^2}{S^2}$

参数的点估计

$\text{定义：}$设总体 $X$ 的分布函数为 $F(x;\theta )$，其中 $\theta$ 为一个未知参数，$X_1,X_2,\cdots ,$ \ $X_n$ 是取自总体 $X$ 的一个样本。由样本构造一个适当的统计量 $\hat{\theta }(X_1,X_2,\cdots ,X_n)$ 作为参数 $\theta$ 的估计，称统计量 $\hat{\theta }(X_1,X_2,\cdots ,X_n)$ 为 $\theta$ 的$\text{估计量}$，一般记为 $\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$。

如果$x_1,x_2,\cdots ,x_n$是样本的一个观察值，将其代入估计量$\hat{\theta }$中得到值$\hat{\theta }(x_1,$\$x_2,\cdots ,x_n)$，并且此值作为未知参数$\theta$的参数值，统计值称这个值为未知参数$\theta$的$\text{估计值}$。

建立一个适当的统计量作为未知参数 $\theta$ 的估计量并以相应的观察值作为未知参数估计值的问题，就是参数 $\theta$ 的 $\text{点估计问题}$。

矩估计

$$\bar{X}=EX$$ $$\frac{1}{n}\sum _{i=1}^n{X}_i^2=E(X^2)$$

最大似然估计

\begin{cases} \prod_{i=1}^np(x_i;\theta)(\text{这是离散型总体}X\text{取}x_1,x_2,\cdots,x_n\text{的概率)}, \\ \\ \prod_{i=1}^nf(x_i;\theta)(\text{这是连续型总体}X\text{取}x_1,x_2,\cdots,x_n\text{的联合概率密度)}. & \end{cases}$$ 求参数 $\begin{cases}\text{若似然函数有驻点，则令}\frac{\mathrm{d}L}{\mathrm{d}\theta}=0\text{或}\frac{\mathrm{d}(\ln L)}{\mathrm{d}\theta}=0,\text{解出}\hat{\theta},\\\\\text{若似然函数无驻点(单调),则用定义求}\hat{\theta},\\\text{若似然函数为常数，则用定义求}\hat{\theta},\text{此时}\hat{\theta}\text{不唯一}.\end{cases}$ ### 估计量的评价标准 - 无偏性 - 有效性（最小方差） - 一致性（相和性） $$\lim_{n\to\infty}P\{\mid\hat{\theta}-\theta\mid\geqslant\varepsilon\}=0$$ 切比雪夫不等式 $P\{ \mid X- EX\mid \geqslant \varepsilon \} \leqslant \frac DX{\varepsilon ^2}$ , 辛钦大数定律 (独立同分布、$EX$ 存在) $\Rightarrow\overline{X}\xrightarrow{P}EX$ ## 区间估计 $\text{设}X\sim N(\mu,\sigma^2)\text{,从总体}X\text{中抽取样本}X_1,X_2,\cdots,X_n\text{,样本均值为}\overline{X}\text{,样本方差为}S^2$ $\sigma^2\text{已知,}\mu\text{的置信水平是 1}-\alpha\text{的置信区间为}$ $$\left(\overline{X}-\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}},\overline{X}+\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}}\right)$$ $\sigma^{2}$ 未知 $,\mu$ 的置信水平是 1 $-\alpha$ 的置信区间为 $$\left(\overline{X}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1),\overline{X}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)\right)$$ $\mu$ 已知 $,\sigma^2$ 的置信水平是 1 $-\alpha$ 的置信区间为 （此种情况一般不出现） $$\left(\frac{\sum_{i=1}^n(X_i-\mu)^2}{\chi_{\frac{\alpha}{2}}^2(n)},\frac{\sum_{i=1}^n(X_i-\mu)^2}{\chi_{1-\frac{\alpha}{2}}^2(n)}\right)$$ $\mu\text{未知,}\sigma^2\text{的置信水平是 1}-\alpha\text{的置信区间为}$ $$\left(\frac{(n-1)S^2}{\chi_\alpha^2(n-1)},\frac{(n-1)S^2}{\chi_{1-\frac{\alpha}{2}}^2(n-1)}\right)$$ ## 假设检验 >拒绝域的形式与备择假设 $H_{1}$ 的形式一致 - $\sigma^{2}\text{已知,}\mu\text{未知 }.H_{0};\mu=\mu_{0},H_{\mathrm{i}};\mu\neq\mu_{0},\text{则拒绝域为}\left(-\infty,\mu_{0}-\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}}\right]\cup\left[\mu_{0}+\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}},+\infty\right)$ - $\sigma^{2}\text{未知,}\mu\text{未知.}H_{0}{:}\mu=\mu_{0},H_{1}{:}\mu\neq\mu_{0},\text{则拒绝域为}$$\left(-\infty,\mu_0-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}\left(n-1\right)\right]\bigcup\left[\mu_0+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}\left(n-1\right),+\infty\right)$ - $\sigma^{2}\text{已知},\mu\text{未知}.H_{0};\mu\leqslant\mu_{0},H_{1};\mu>\mu_{0},\text{则拒绝域为}\left[\mu_{0}+\frac{\sigma}{\sqrt{n}}z_{\alpha},+\infty\right)$ - $\sigma^{2}\text{已知},\mu\text{未知}.H_{0}:\mu\geqslant\mu_{0},H_{1}:\mu<\mu_{0},\text{则拒绝域为}\left(-\infty,\mu_{0}-\frac{\sigma}{\sqrt{n}}z_{\alpha}\right]$ - $\sigma^{2}\text{未知},\mu\text{未知}.H_{0}:\mu\leqslant\mu_{0},H_{1}:\mu>\mu_{0},\text{则拒绝域为}\left[\mu_{0}+\frac{S}{\sqrt{n}}t_{\alpha}(n-1),+\infty\right]$ - $\sigma^{2}\text{未知},\mu\text{未知}.H_{0}:\mu\geqslant\mu_{0},H_{1}:\mu<\mu_{0},\text{则拒绝域为}\left(-\infty,\mu_{0}-\frac{S}{\sqrt{n}}t_{\alpha}(n-1)\right]$ ## 两类错误 - 弃真 - $\text{犯第一类错误的概率为 }\alpha=P\{\text{ 拒绝 }H_0\mid H_0\text{ 为真 }\}$ - 取伪 - $\text{犯第二类错误的概率为 }\beta=P\{\text{ 接受 }H_0\mid H_0\text{ 为假 }\}=P\{\text{ 接受 }H_0\mid H_1\text{ 为真 }\}$