机器学习 绝对误差 绝对误差计算例子

文章目录

• 误差简述.

• 绝对误差.
• 相对误差.
• 有效数字.

• 减少误差的原则.

• 减少误差的实例.

误差简述.

绝对误差.

• 【绝对误差】设 $x^*$ 为准确值，$x$ 是 $x^*$ 的近似值，则称 $e=x^*-x$ 为近似值 $x$ 的绝对误差，简称误差。
• 由于准确值 $x^*$ 未知，实际工作中一般根据相关领域的知识、经验以及测量工具的精度，事先估计绝对误差的绝对值，即 $|x^*-x|$ 不超过某个正数 $\epsilon$，所以有 $|e|=|x^*-x|≤\epsilon$，该正数 $\epsilon$ 称为近似值 $x$ 的绝对误差限，简称为误差限或精度。
• 依据上面关于绝对误差限的定义，能够得出下式：$x-\epsilon≤x^*≤x+\epsilon$，因此有时可以将准确值 $x^*$ 写为 $x±\epsilon$.
• 但近似值 $x$

相对误差.

• 【相对误差】所以除了考虑绝对误差的大小，还需要考虑准确值本身的大小，定义近似值 $x$ 的相对误差为 $e_r=\frac{e}{x^*}=\frac{x^*-x}{x^*}$，实际计算中由于 $x^*$ 未知，所以将定义改为 $e_r=\frac{e}{x}=\frac{x^*-x}{x}$，称为近似值 $x$
• 上述例子中，前者的相对误差为 $10^{-4}$，而后者的相对误差为 $0.1$，一般来说相对误差越小，表明 $x$ 对 $x^*$
• 仿照绝对误差限 $|e|$ 的定义，可以定义相对误差限 $|e_r|=|\frac{x^*-x}{x}|$.

有效数字.

• 【定义】设近似值 $x=±0.a_1a_2...a_n×10^m$，其中 $a_i$ 都是 $0$ 到 $9$ 之间的自然数，并且 $a_1≠0$，$m$ 为整数，如果 $|x^*-x|≤\frac{1}{2}×10^{m-n}$，则称近似值 $x$ 具有 $n$ 位有效数字，也称 $x$ 是有 $n$
• 【定理一】设近似值 $x=±0.a_1a_2...a_n×10^m$ 有 $n$ 位有效数字，则其相对误差限$|e_r|=\frac{1}{2a_1}×10^{-n+1}$.
• 【定理二】设近似值 $x=±0.a_1a_2...a_n×10^m$ 的相对误差限 $\epsilon_r=\frac{1}{2(a_1+1)}×10^{-n+1}$，则它至少具有 $n$
• 从定理一和定理二的表述中不难看出，有效数字的位数越多，其相对误差限就越小。

---

• 【例题】设 $x^*=3.200169$，则它的近似值 $x_1=3.2001$，$x_2=3.2002$
• 【解答】根据定义，$x_1=0.32001×10^1$，所以 $m_1=1$，$|x^*-x_1|=0.000069=0.069×10^{-3}≤0.5×10^{-3}$，所以 $m_1-n_1=-3$，即 $n_1=4$，所以近似值 $x_1$ 的有效位数为4，最后一位的数字1不是有效数字；同理 $x_2=0.32002×10^1$，$m_2=1$，$|x^*-x_2|=0.000031=0.31×10^{-4}≤0.5×10^{-4}$，所以 $m_2-n_2=-4$，$n_2=5$，所以 $x_2$
• 【定理一证明】近似值 $x$ 有 $n$ 位有效数字，所以由定义可知 $|x^*-x|≤\frac{1}{2}×10^{m-n}$，因为 $x=±0.a_1a_2...a_n×10^m=±a_1.a_2...a_n×10^{m-1}$，易得 $|x|≥a_1×10^{m-1}$，所以相对误差限 $|e_r|=\frac{|x^*-x|}{|x|}≤\frac{\frac{1}{2}×10^{m-n}}{a_1×10^{m-1}}=\frac{1}{2a_1}×10^{-n+1}=\epsilon_r$.
• 【定理二证明】因为 $x=±0.a_1a_2...a_n×10^m=±a_1.a_2...a_n×10^{m-1}$，易得 $|x|≤(a_1+1)×10^{m-1}$，所以 $|x^*-x|=\frac{|x^*-x|}{|x|}·|x|≤\frac{1}{2(a_1+1)}×10^{-n+1}·(a_1+1)×10^{m-1}=0.5×10^{m-n}$，根据定义可知近似值 $x$ 至少具有 $n$

减少误差的原则.

• 避免两个相近的数相减；
• 避免重要的小数被大数吞没；
• 避免除数的绝对值远小于被除数的绝对值；
• 注意算法的稳定性；

如果输入数据有误差，而算法在计算过程中误差不增张，那么称此算法是数值稳定的，否则为数值不稳定的。

• 简化计算步骤，减少计算次数。

减少误差的实例.

• ①当 $x=10003$ 时，计算 $\sqrt{x+1}-\sqrt{x}$ 的近似值。(避免两个相近的数相减)
• 【分析】采用6位十进制浮点运算，如果直接相减，由于 $x>>1$，所以减数与被减数相差极小，$\sqrt{x+1}-\sqrt{x}=100.020-100.015=0.005$，该式的精确值为 $0.004999125231...$，按照有效数字位数的定义可知，上述直接相减的结果只有 $1$ 位有效数字，损失了 $5$ 位有效数字。如果对算式进行等价变形，即 $\sqrt{x+1}-\sqrt{x}=\frac{1}{\sqrt{x+1}+\sqrt{x}}=\frac{1}{100.020+100.015}=0.00499913$，有 $6$

---

• 求二次方程 $x^2-(10^9+1)x+10^9=0$ 的根。(避免重要的小数被大数吞没)
• 【分析】使用因式分解法可知该方程两个解为 $1$ 和 $10^9$，但如果编制程序，使用二次方程求根公式 $x=\frac{-b±\sqrt{b^2-4ac}}{2a}$，如果在一台只能将数表示到小数点后 $8$ 位的计算机上运算，首先进行对阶操作，$-b=10^9+1=0.1000000×10^{10}+0.0000000001×10^{10}$，由于只能表示到小数点后 $8$ 位，加号之后的数值就被舍去，所以 $-b=10^9$；类似地 $4ac=0$，所以最终得到的两个根为 $10^9$ 和 $0$，产生这两个解的原因是大数在运算中吞没了小数。产生解 $0$ 的计算式为 $0=\frac{-b-\sqrt{b^2-4ac}}{2a}$，如果对其进行等价变形，得到 $x_2=\frac{2c}{-b+\sqrt{b^2-4ac}}=\frac{2×10^9}{10^9+10^9}=1$，在计算机精度不足的情况下也能够得到正确结果。
• 类似的情况，若 $x=10^{12}$，$y=3$，$z=-10^{12}$，求 $x+y+z$. 如果按照从左向右的加法次序来编制程序，同样在一台只能将数表示到小数点后 $8$ 位的计算机上运算，$x+y$时的对阶操作就会导致大数 $x$ 将小数 $y$ 吞没，从而最后的结果为 $0$；而如果改变次序，按照 $(x+z)+y$ 的次序进行运算，就能够得到正确的结果 $3$.
• 【Digression】出自Anany Levitin《Introduction to The Design and Analysis of Algorithms》，其中公式(11.14)即 $x=\frac{-b±\sqrt{b^2-4ac}}{2a}$.
  
  

---

• 在 $4$ 位浮点十进制数下，用消去法解线性方程组$\begin{cases} 0.00003x_1-3x_2=0.6\\ x_1+2x_2=1\end{cases}$(避免除数的绝对值远小于被除数的绝对值)
• 【分析】在计算机的 $4$ 位浮点十进制数表示中，上述方程组写为：$\begin{cases} 0.3000×10^{-4}x_1-0.3000×10^1x_2=0.6000×10^0---①\\ 0.1000×10^1x_1+0.2000×10^1x_2=0.1000×10^1---②\end{cases}$
• 第一种消去法思路将 ① 式除以 $0.00003$ 后减去 ② 式，从而消去 $x_1$，得到 $-0.1000×10^6x_2=0.2000×10^5$，解得 $x_2=-0.2$，回代入 ① 式得 $x_1=0$，显然这组解偏差极大。原方程组的准确解为 $x_1=1.399...$，$x_2=-0.199...$，在 $x_1$
• 第二种消去思路保留 ② 式，消去 ① 式中的 $x_1$，即将 ② 式乘以 $0.00003$ 后减去 ① 式，得到 $-0.3000×10^1x_2=0.6000×10^1$，所以解得 $x_2=-0.2$，回代入 ② 式得 $x_1=1.4$，相较于准确解来说是一个很好的近似解。

---

• 当 $n=0,1,2,...,11$ 时，计算积分$I_n=\int_{0}^{1}\frac{x^n}{x+9}dx$
• 【分析】$I_n+9I_{n-1}=\int_{0}^{1}(\frac{x^n}{x+9}+\frac{9x^{n-1}}{x+9})dx=\int_{0}^{1}x^{n-1}dx=\frac{x^n}{n}|_0^1=\frac{1}{n}$，所以有$I_n=\frac{1}{n}-9I_{n-1}$. 当 $n=0$ 时，$I_0=\int^1_0\frac{1}{x+9}dx=ln(x+9)|_0^1≈0.105361=\overline{I_0}$，从而有$\begin{cases} \overline{I_0}=0.105361\\ \overline{I_n}=\frac{1}{n}-9\overline{I_{n-1}}，n=1,2,...,11\end{cases}$
• 根据上式计算出 $\overline{I_1}=0.051751$，直到$\overline{I_5}=-0.011689$，问题出现了，上述积分在 $[0,1]$ 内必然是正数，显然误差已经过大了。我们记初始误差为 $\epsilon_0=I_0-\overline{I_0}$，根据迭代式，得到 $\epsilon_1=I_1-\overline{I_1}=(1-9I_0)-(1-9\overline{I_0})=-9\epsilon_0$，所以最终 $|\epsilon_n|=9^n|\epsilon_0|$，其误差绝对值会随着计算过程的进行不断增大，显然该算法不是数值稳定的。
• 考虑另一种算法，由 $I_n=\frac{1}{n}-9I_{n-1}$ 可得 $I_{n-1}=\frac{1}{9}(\frac{1}{n}-I_n)$，直接估计出 $I_{12}$ 的近似值，而后将 $n$ 递减。因为 $I_n=\int_{0}^{1}\frac{x^n}{x+9}dx$，所以$\int^1_0\frac{x^n}{10}dx≤I_n≤\int^1_0\frac{x^n}{9}dx$，所以 $\frac{1}{10(n+1)}≤I_n≤\frac{1}{9(n+1)}$，令 $n=12$ 可以得到 $I_{12}≈\frac{1}{2}(\frac{1}{10×13}+\frac{1}{9×13})≈0.008120=\overline{I_{12}}$，可得$\begin{cases} \overline{I_{12}}=0.008120\\ \overline{I_{n-1}}=\frac{1}{9}(\frac{1}{n}-\overline{I_{n}})，n=12,11,...,1\end{cases}$
• 采用相同的误差分析方法，记初始误差 $\epsilon_{12}=I_{12}-\overline{I_{12}}$，则 $|\epsilon_{n}|=\frac{|\epsilon_{12}|}{9^n}$，在计算过程中，其误差绝对值是不断减小的，因而该算法是数值稳定的。

---

• 离散Fourier变换与快速Fourier变换(简化计算步骤)
• 【离散Fourier变换】已知一离散信号 $(f_0,f_1,...,f_{N-1})^T$，则其对应的Fourier系数为$a_j=\frac{1}{N}\sum^{N-1}_{k=0}f_k·e^{-ijk\frac{2\pi}{N}},j=0,1,2,...,N-1$
• 相应地，如果已知Fourier系数 $(a_0,a_1,...,a_{N-1})^T$，那么可以反推出$f_j=\sum^{N-1}_{k=0}a_k·e^{ijk\frac{2\pi}{N}},j=0,1,2,...,N-1$
• 上述两式分别是离散Fourier变换和离散Fourier 逆变换，观察后发现主要是计算自然指数部分，若令 $\omega=e^{-i\frac{2\pi}{N}}$(着眼于正向变换)，即我们想得到 $c_j=\sum^{N-1}_{k=0}x_k\omega^{kj},j=0,1,...,N-1$
• 上式 $c_j$ 计算需要进行 $N$ 次复数乘法，完成整个变换共需要 $N^2$ 次复数乘法，一般取 $N=2^p$.
• 【快速Fourier变换】FFT的基本思想是利用 $ab+ac=a(b+c)$ 减少乘法运算的次数，将 $N^2$ 量级的乘法次数降低到 $N·logN$. 在上面介绍的计算 $c_j$ 式中，将相同的 $\omega^{kj}$ 提取，对应的 $x_k$ 相加，就能够减少乘法运算的次数。在 $\omega^{kj}=e^{-ikj\frac{2\pi}{N}}$ 中，设 $kj=qN+r$，则有$\omega^{kj}=e^{-i(qN+r)\frac{2\pi}{N}}=e^{-iq2\pi}·e^{^{-i\frac{2\pi r}{N}}}=\omega^r$
• 以 $N=2^3$ 为例，$c_j=\sum^{N-1}_{k=0}x_k\omega^{kj},j=0,1,...,7$，将 $k,j$ 以二进制表示，即 $k=k_02^0+k_12^1+k_22^2=k_2k_1k_0$，同理 $j=j_2j_1j_0$，记 $c_j=c(j_2,j_1,j_0),x_k=x(k_2,k_1,k_0)$，则有$c(j_2,j_1,j_0)=\sum^{1}_{k_0=0}\sum^1_{k_1=0}\sum^1_{k_2=0}x(k_2,k_1,k_0)\omega^{(k_02^0+k_12^1+k_22^2)(j_02^0+j_12^1+j_22^2)}\\=\sum^{1}_{k_0=0}\sum^1_{k_1=0}\sum^1_{k_2=0}x(k_2,k_1,k_0)\omega^{j_02^0(k_02^0+k_12^1+k_22^2)}\omega^{j_12^1(k_02^0+k_12^1+k_22^2)}\omega^{j_22^2(k_02^0+k_12^1+k_22^2)}\\=\sum^{1}_{k_0=0}\sum^1_{k_1=0}\sum^1_{k_2=0}x(k_2,k_1,k_0)\omega^{j_0(k_02^0+k_12^1+k_22^2)}\omega^{j_1(k_02^1+k_12^2)}\omega^{j_2(k_02^2)}\\=\sum^{1}_{k_0=0}[\sum^1_{k_1=0}(\sum^1_{k_2=0}x(k_2,k_1,k_0)\omega^{j_0(k_02^0+k_12^1+k_22^2)})\omega^{j_1(k_02^1+k_12^2)}]\omega^{j_2(k_02^2)}\\=\sum^{1}_{k_0=0}[\sum^1_{k_1=0}(\sum^1_{k_2=0}x(k_2,k_1,k_0)\omega^{j_0(k_2,k_1,k_0})\omega^{j_1(k_1,k_0,0)}]\omega^{j_2(k_2,0,0)}$
• 将FFT表示如下：$A_0(k_2,k_1,k_0)=x(k_2,k_1,k_0)\\A_1(k_1,k_0,j_0)=\sum^1_{k_2=0}A_0(k_2,k_1,k_0)\omega^{j_0(k_2,k_1,k_0)}\\A_2(k_0,j_1,j_0)=\sum^1_{k_1=0}A_1(k_1,k_0,j_0)\omega^{j_1(k_1,k_0,0)}\\A_3(j_2,j_1,j_0)=\sum^1_{k_0=0}A_2(k_0,j_1,j_0)\omega^{j_2(k_0,0,0)}\\c(j_2,j_1,j_0)=A_3(j_2,j_1,j_0)$
• 当 $N=2^p$ 时，单个系数的FFT分为 $p$ 步，每步进行2次复数乘法运算，共需要 $N·2p=2N·logN$