深度学习 数据系统性误差

系统误差

在同一测量条件下，多次测量同一量值时，绝对值和符号保持不变的误差，或在条件改变时，按一定规律变化的误差

大纲

• 实验对比法——不变系差
• 残余误差观察法——有规律变化的系差
• 残余误差检验法$\left\{ \begin{array}{lr} 马利科夫准则——线性系差& \\ 阿卑—赫梅特准则——周期性系差& \end{array} \right.$
• 不同公式计算标准差比较法
• 组件系差$\left\{ \begin{array}{lr} 计算数据比较法& \\ 秩和检验法\\ t检验法（正态分布的测量数据）& \end{array} \right.$

1、系统误差的产生原因

系统误差是由固定不变的或按确定规律变化的因素造成的

• 测量装置方面的因素
• 环境方面的因素
• 测量方法的因素
• 测量人员方面的因素

2、系统误差的特征

• 不变的系统误差
• 线性变化的系统误差
• 周期性变化的系统误差
• 复杂规律变化的系统误差

3、系统误差的发现

（1）实验对比法

改变产生系统误差的条件进行不同条件的测量，用以发现不变的系统误差

（2）残余误差观察法

根据测量列的各个残差大小和符号的变化规律，直接由误差数据或曲线图形来判断有无系统误差，用以发现有规律变化的系统误差

（3）残余误差校验法

a.用以发现线性系统误差

马利科夫准则：将测量列前k个残差相加，后(n-k)个残差相加（n为偶数，取k=n/2；n为奇数，取k=(n+1)/2），两者相减：$\bigtriangleup=\sum_{i=1}^kv_i-\sum_{j=k+1}^nv_j$$=\sum_{i=1}^k{v$当测量次数足够数$\sum_{i=1}^k{v$得$\bigtriangleup\approx\sum_{i=1}^k(\bigtriangleup{l_i}-\bigtriangleup{\bar{x}})-\sum_{j=k+1}^n(\bigtriangleup{l_j}-\bigtriangleup{\bar{x}})$若$\bigtriangleup$显著不为0，则有理由认为测量列存在线性系统误差

b.用于发现周期性系统误差

阿卑—赫梅特准则：若有一等精度测量列，按测量先后顺序将残余误差排列为$v_1,v_2,...,v_n$，令$\mu=|\sum_{i=1}^{n-1}v_iv_{i+1}|$若$\mu>\sqrt{n-1}\sigma^2$，则认为该测量列中含有周期性系统误差

（4）不同公式计算便准查比较法

按贝塞尔公式$\sigma_1=\sqrt{\frac{\sum_{i=1}^{n}|v_i|}{n-1}}$按别捷尔斯公式$\sigma_2=1.253\frac{\sum_{i=1}^{n}|v_i|}{\sqrt{n(n-1)}}$令$\frac{\sigma_2}{\sigma_1}=1+\mu$若$|\mu|\ge\frac{2}{\sqrt{n-2}}$，则怀疑测量列中存在系统误差

（5）计算数据比较法

若对同一量独立测得m组结果，并知他们得算数平均值和标准差：$\bar{x}_1,\sigma_1;\bar{x}_12,\sigma_2;...;\bar{x}_m,\sigma_m$任意两组结果之差为$\bigtriangleup=\bar{x}_i-\bar{x}_j$其标准差为$\sigma=\sqrt{\sigma_i^2+\sigma_j^2}$则任意两组结果$\bar{x}_i$与$\bar{x}_j$间不存在系统误差的标志为$|\bigtriangleup|<2\sigma$

（6）秩和检验法

若独立测得两组的数据为$x_i,i=1,2,...,n_x$$y_i,i=1,2,...,n_y$则将他们混合后，按大小顺序重新排列，取测量次数较少的那一组，数出他的测得值在排序后的次数（即秩），再将所有测得值得次序相加得秩和T

通过测量次数$n_x,n_y$查表，得$T_-$和$T_+$(显著度为0.05），若$T_-<T<T_+$则无根据怀疑两组间存在系统误差（注：若两组数据中有相同得数据，则该数据得秩按所排列得两个次序得平均值计算）。部分表如下：

例：

x	14.7	14.8	15.2	15.6
y	14.6	15.0	15.1

排序

T	1	2	3	4	5	6	7
x		14.7	14.8			15.2	15.6
–	–	–	–	–	–	–	–
y	14.6			15.0	15.1

则$n_1=3,n_2=4$，则$T=1+4+5=10$（y的秩和），通过查表可得$T_-=7,T_+=17$，所以$T_=7<T=10<T_+=17$故无根据怀疑两组间存在系统误差

（7）t检验法

若两组测得值服从正态分布，数据为$x_i,i=1,2,...,n_x$$y_i,i=1,2,...,n_y$令变量$t=(\bar{x}-\bar{y})\sqrt{\frac{n_xn_y(n_x+n_y-2)}{(n_x+n_y)(n_x\sigma_x^2+n_y\sigma_y^2)}}$此变量服从自由度为$n_x+n_y-2$的t分布变量，其中$\bar{x}=\frac{\sum{x_i}}{n_x}$$\bar{y}=\frac{\sum{y_i}}{n_y}$$\sigma_x^2=\frac{\sum(x_i-\bar{x})^2}{n_x}$$\sigma_y^2=\frac{\sum(y_i-\bar{y})^2}{n_y}$取显著度$\alpha$，由t分布表查$P(|t|>t_\alpha)=\alpha$中的$\alpha$，若实测数列中$|t|<t_\alpha$，则无根据怀疑两组间存在系统误差

4、系统误差的减小和消除

• 从产生误差根源上消除系统误差
• 用修正方法消除系统误差
• 不变系统误差消除法——代替法、抵消法、交换法
• 线性系统误差消除法——对称法
• 中期行系统误差消除法——半周期法