皮尔逊检验R语言 皮尔逊假设检验

1 假设检验基本思想

假设检验是由K. Pearson于20世纪提出的，之后由费希尔（Fisher）进行了细化，并最终由奈曼和E. Pearson提出了较完整的假设检验理论。假设检验的基本思想是“小概率事件”原理，其统计推断方法是带有某种概率性质的反证法。小概率思想是指小概率事件在一次试验中基本上不会发生。反证思想是先提出检验假设，再用适当的统计方法，利用小概率原理，确定假设是否成立。即为了检验一个假设$\mathrm{H}_0$会否正确，首先假定该假设$\mathrm{H}_0$正确，然后根据样本对假设$\mathrm{H}_0$做出接受或拒绝的决策。如果样本观察值导致了“小概率事件”的发生，就应该拒绝假设$\mathrm{H}_0$，否则不拒绝假设$\mathrm{H}_0$。

2 假设检验步骤

下面用一个实例引出假设检验中的一些基本概念和操作步骤。

某厂生产的合金强度服从正态分布$N(\theta,16)$，其中$\theta$的设计值为不低于$110$帕。为保证质量，该厂每天都要对生产情况做例行检查，以判断生产是否正常执行，即该合金的平均强度不低于$110$帕。从生产的产品中随机抽取$25$块合金，测得其强度值为$x_1,\cdots,x_{25}$，均值为$\bar{x}=108.2$帕，问当日生产是否正常？

对这个实际问题可做如下分析：
（1）这不是一个参数估计问题。
（2）这是在给定总体与样本下，要求对命题“合金强度不低于$110$帕”作出回答：“是”还是“否”？这类问题称为统计假设检验问题，简称假设检验问题。
（3）命题：“合金平均强度不低于$110$帕”仅涉及参数$\theta$范围，因此该命题是否正确将涉及如下两个参数集合：$\Theta_0=\{\theta:\theta\ge 110\},\quad\quad\quad\quad\Theta_1=\{\theta:\theta<110\}$命题成立对应于“$\theta\in \Theta_0$”，命题不成立则对应“$\theta\in\Theta_1$”。在统计学中这两个非空不相交参数集合都称作统计假设，简称假设。
（4）假设检验的任务是利用所给总体$N(\theta,16)$和样本均值$\bar{x}=108.2$帕去判断假设命题“$\theta \in \Theta_0$”是否成立。通过样本对一个假设做出“对”或“不对”的具体判断规则称为该假设的一个检验或检验法则。检验的结果若是肯定该命题，则称接受这个假设，否则就称为拒绝该假设。这里的“接受”或“拒绝”一个假设的行为，只是反映了当事者在给定样本之下对该命题所采取的一种态度，一种行为，而不是从逻辑上或理论上“证明”该命题正确与否。因为所采用的样本是随机的，所以所作的判断也可能是错误的。
（5）若假设可用一个参数的集合表示，该假设检验问题称为参数假设检验问题，否则称为非参数假设检验问题。

2.1 建立假设

对于参数假设检验问题，设有来自某一个参数分布族$\{F(x,\theta)|\theta \in \Theta\}$的样本$x_1,\cdots,x_n$，其中$\Theta$为参数空间，设$\Theta_0\in \Theta$，且$\Theta_0\ne \varnothing$，则命题$\mathrm{H}_0:\theta \in \Theta_0$称为一个假设或原假设或零假设，若有另一个$\Theta_1$（$\Theta_1 \subset \Theta,\Theta_1\Theta_0=\varnothing$，常见的一种情况是$\Theta_1=\Theta-\Theta_0$），则命题$\mathrm{H}_1:\theta\in \Theta_1$称为$\mathrm{H}_0$的对立假设或备择假设，即$\mathrm{H}_0:\theta\in \Theta_0\quad\quad\quad\mathrm{vs}\quad\quad\quad\mathrm{H}_1:\theta\in\Theta_1$当$\mathrm{H}_0:\theta=\theta_0$时，则备择假设通常有是三种可能：$\mathrm{H}_1^{\prime}:\theta\ne \theta_0,\quad \mathrm{H}_1^{\prime\prime}:\theta<\theta_0,\quad \mathrm{H}_1^{\prime\prime\prime}:\theta>\theta_0$则称$\mathrm{H}_0\text{ }vs\text{ }\mathrm{H}_1^\prime$为双侧假设或双边假设，$\mathrm{H}_0\text{ }vs\text{ }\mathrm{H}_1^{\prime\prime}$以及$\mathrm{H}_0\text{ }vs\text{ }\mathrm{H}_1^{\prime\prime\prime}$为单侧假设或单边假设。一般情况下，“$=$”需要放在原假设里。对于以上实例，可以建立如下一对假设$\mathrm{H}_0:\theta\in\Theta=\{\theta|\theta\ge110\}\quad \mathrm{vs}\quad \mathrm{H}_1:\theta\in\Theta=\{\theta|\theta<110\}$

2.2 检验统计量

当有了具体的样本后，按该法则就可以决定是接受$\mathrm{H}_0$还是拒绝$\mathrm{H}_0$，即检验就等价于把样本空间划分成两个互不相关的部分$W$和$\overline{W}$，当样本属于$W$时，拒绝$\mathrm{H}_0$；否则接受$\mathrm{H}_0$。于是则称$W$为该检验的拒绝域，而$\overline{W}$称为接受域。由样本对原假设进行检验总是通过一个统计量完成的，该统计量称为检验统计量。在以上实例中，样本均值$\bar{x}$就是一个检验统计量，因为要检验的假设是正态总体均值，在方差已知的场合，样本均值$\bar{x}$是总体均值的充分统计量。当样本均值$\bar{x}$越大时，意味着总体均值$\theta$也越大；样本均值$\bar{x}$越小时，意味着总体均值$\theta$也越小，所以拒绝域的形式如下所示：$W=\{(x_1,\cdots,w_n)|\bar{x}\le c\}$其中$c$是临界值。

2.3 选择显著性水平

由于样本是随机的，故当应用某种检验做判断时，可能做出正确的判断，也可能做出错误判断。因此，可能犯如下两种错误：当$\theta\in \Theta_0$时，样本由于随机性却落入了拒绝域$W$，于是采取了拒绝$\mathrm{H}_0$的错误决策，此时称这样的错误为第一类错误，计算公式为$\alpha=P_\theta\{X\in W| \mathrm{H}_0\}$当$\theta\in\Theta_1$时，样本却落入接受域$\overline{W}$，于是采取了接受$\mathrm{H}_0$的错误决策，此时称这样的错误为第二类错误，计算公式为$\beta=P\{X\in\overline{W}|\mathrm{H}_1\}$在样本量给定的条件下，$\alpha$与$\beta$中一个减小必导致另一个增大，所以不可能找到一个使$\alpha$和$\beta$都小的检验。另外，犯第二类错误的概率在很多情况下不易求出。由于不能同时控制一个检验的犯第一类，第二类错误的概率，在此背景下，会采取折中的方案，通常的作法是仅限制犯第一类错误的概率，这就是费希尔的显著性检验，显著性水平$\alpha$就是用来控制犯第一类错误的概率。

2.4 给出拒绝域

在确定显著性水平后，可以给出检验的拒绝域$W$。在以上实例中，对给定的显著性水平$\alpha$，则要求对于任意的$\theta \ge 110$，则有$g(\theta)=P(\bar{x}\le c)=P\left(\frac{\bar{x}-\theta}{4/5}\le\frac{c-\theta}{4/5}\right)=\Phi\left(\frac{c-\theta}{4/5}\right)\le\alpha$其中$\bar{x}\sim N(\theta,\frac{16}{25})$于是$g(\theta)$是关于$\theta$的单调递减函数，因此只需要求以下等式$g(110)=\Phi\left(\frac{5(c-110)}{4}\right)=\alpha$用标准正态分布分位数可把上式写成$\frac{5(c-110)}{4}=u_\alpha$，从而$c$值为$c=110+0.8 u_\alpha$，检验的拒绝域为$W=\{\bar{x}\le 110+0.8 u_\alpha\}$若取$\alpha=0.05$，则$u_{0.05}=-u_{0.95}$，具体$c$值为$c=110+0.8 u_{0.05}=110-0.8\times 1.645=108.684$所以，检验的拒绝域为$W=\{\bar{x}\le 108.684\}$若令$u=\frac{\bar{x}-110}{4/5}$，则拒绝域另一种表示为$W=\{u\le u_{0.05}\}=\{u\le -1.645\}$

2.5 做出判断

在有了明确的拒绝域$W$后，根据样本观测值可以做出判断：

• 当$u\le -1.645$时，则拒绝$\mathrm{H}_0$，即接受$\mathrm{H}_1$
• 当$u> -1.645$时，则接受$\mathrm{H}_0$
  在以上实例中，由于$u=\frac{108.2-110}{4/5}=-2.25<-1.645$因此拒绝原假设，即认为该日常生产不正常。

·

3 利用p值进行决策

如果原假设是正确的话，得到目前这个样本数据的可能性$p$有多大，如果这个可能性$p$小于显著性水平$\alpha$就应该拒绝原假设，即若$p<\alpha$，拒绝$\mathrm{H}_0$。

3.1 p值检验实例

在掷骰子的试验中，掷了$12$次骰子只出现了$1$次$6$点。这个现象能够说明，在$5\%$的显著性水平下，出现$6$点的概率小于$\frac{1}{6}$吗？

给出一对原假设$\mathrm{H}_0$和备择假设$\mathrm{H}_1$如下所示：$\mathrm{H}_0: \text{ }p=\frac{1}{6}\quad\quad\quad \mathrm{vs}\quad\quad\quad\mathrm{H}_1:\text{ }p<\frac{1}{6}$令$X$表示骰子为$6$点的次数，此时$X$服从二项分布$B(12,\frac{1}{6})$，进而可知当出现$6$点的概率小于$\frac{1}{6}$时，可推导出$\begin{aligned}P(X\le 1)&=P(X=0)+P(X=1)\\&=C_{12}^0\left(\frac{1}{6}\right)^0\left(\frac{5}{6}\right)^{12}+C_{12}^1\left(\frac{1}{6}\right)^1\left(\frac{5}{6}\right)^{11}\\&=0.3813>0.05\end{aligned}$所以接受原假设， 即出现$6$点的概率为$\frac{1}{6}$。