稀疏化架构SPU 稀疏优化模型

       稀疏模型求解，是给定字典或固定基D，求解对图像或信号x的最逼近原始真实图像的稀疏系数α的过程。当前，关于稀疏求解问题的优化算法大致归纳为：针对

$范数最小化问题的贪婪算法，是直接对 范数进行求解；针对 范数最小化问题的最优化算法（其包括 范数正则化算法，是 范数求解法和 范数求解法的折中），是把 范数松弛到 范数进行求解；统计优化算法，是从数学期望中估计图像的最稀疏解。$

1. 范数近似求解算法

       在

范数近似求解算法中，最典型的稀疏求解算法是贪婪算法及其变形算法[1-2]。基于上述稀疏表示模型，贪婪算法是针对以下问题提出的：                                           

其主体思想是从问题的某一个初始解出发逐步逼近给定的目标，以尽可能快地求得更好的解。贪婪算法的基本实现过程为：

针对

范数算法求解的贪婪算法，具备运算速度快的优点，但是其优化效果相对较差，需要的观测信号数量也较多，不能高效地压缩信号。另外，贪婪算法还存在不能下列问题：

       1）不能保证求得的最后解是最优的；

       2）不能用来求最大或最小问题；

       3）在速度上有优势，但是在稳定性上没有保证；

       4）只能求满足某些约束条件的可行解范围。

      2. 

范数凸松弛算法       

范数凸优化算法，是将原来无法求解的NP组合最优化问题转为线性规划最优化问题，其最基本的优化算法包含基追踪算法(BP)与LASSO算法[3-4]。其基本模型主要为：                                   

 

       3. 统计优化算法

       以稀疏贝叶斯为代表的统计优化算法是从统计的角度出发，在数学期望中求取信号的最稀疏表示。其基本思想是对稀疏模型中各参数进行概率建模，在贝叶斯学习的框架下将参数设置及稀疏求解问题转化为混合

范数和加权

范数之和的凸优化问题，最后通过迭代优化得到参数设置和问题求解。