数据分析实战训练营数据分析建模和预测 数据分析建模集训

数学建模集训知识大纲

文章目录

• 数学建模集训知识大纲

• 评价算法

• 简单加权法
• 逼近于理想解的排序法(TOPSIS算法)
• 层次分析法
• 主成分分析法
• 模糊综合评价法
• 聚类分析法
• 秩和比法
• 人工神经网络
• 熵权法
• 灰色关联度分析

• 预测算法

• 插值拟合
• 回归模型预测
• 灰色预测GM
• 时间序列
• 神经网络

• 统计分析

• 方差分析
• 回归分析
• 多元统计分析
• 分类问题
• 假设检验（非参数）
• 聚类

• 最优化方法

• 常用算法
• 无约束优化
• 有约束优化
• 二次规划
• 一般有约束非线性规划

• 计算机算法

• 动态规划
• 回溯搜索
• 分治
• 贪心
• 分枝定界

• 图论与网络

• 欧拉图
• 二分图
• 网络流
• 最短路径
• TSP问题
• P和NP问题
• 背包问题
• 最小生成树
• 图的基本概念及其矩阵表示
• 常见的网络优化问题

• 图像处理

• 基本概念
• 数据类
• 图像类型
• 数据类之间转换
• 图像类型之间转换
• 空间滤波器
• 频域变换
• 数字图像的水印防伪

• 规划问题

• 连续优化
• 离散优化

• 模拟和仿真

• 模拟
• 仿真

• 数值计算

• 常微分方程数值解

• 工具箱的使用

• 统计工具箱
• 拟合工具箱
• 神经网络工具箱
• 小波工具箱
• 并行计算工具箱
• 优化工具箱
• 全局优化工具箱

评价算法

简单加权法

• 线性加权
• 非线性加权

逼近于理想解的排序法(TOPSIS算法)

层次分析法

主成分分析法

模糊综合评价法

聚类分析法

秩和比法

人工神经网络

熵权法

灰色关联度分析

预测算法

插值拟合

• 小样本内部预测

回归模型预测

• 大样本内部预测

灰色预测GM

• 小样本未来预测

时间序列

• 大样本的随机因素或周期特征的未来预测

神经网络

• 针对大样本的内部机理复杂的数据的未来预测

统计分析

方差分析

• 分析因变量的总误差中，除开随机误差以外，是否有类别变量（自变量）造成的处理误差，有多少误差是自变量造成的
• 分类

• 单自变量

• 单因素方差分析

• 两个自变量

• 无重复双因素分析：只考虑主效应，不考虑交互效应
• 可重复双因素分析：考虑主效应，也考虑交互效应

回归分析

多元统计分析

• 分类

• 聚类分析
• 判别分析

• 综合评价

• 主成分分析

• 从原来的坐标系转换到新的坐标系，第一个新坐标轴选择的是原始数据中方差最大的方向，第二个坐标轴选择的是和第一个新坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。

• 因子分析

• 隐变量和某些噪声的组合

• 典型相关分析
• 偏最小二乘回归

分类问题

• 神经网络
• 逻辑回归
• 判别分析
• 最邻近方法
• 朴素贝叶斯
• 支持向量机
• 决策树
• 集成学习
• ROC曲线

假设检验（非参数）

• 分布拟合检验
• 秩和检验

• 如果两个样本来自两个独立的但非正态或形态不清的两总体，要检验两样本之间的差异是否显著，不应运用参数检验中的t检验，而需要采用之和检验

• 配对检验
• K-S 检验

• K-S检验不仅能够检验单个总体是否服从某一理论分布，还能够检验两总体分布是否存在显著差异。其原假设是：两组独立样本来自的两总体的分布无显著差异。

• Q-Q图

• 用变量数据分布的分位数与所指定分布的分位数之间的关系曲线来进行检验的

• P-P图

• 根据变量的累积比例与指定分布的累积比例之间的关系所绘制的图形。通过P-P图可以检验数据是否符合指定的分布。当数据符合指定分布时，P-P图中各点近似呈一条直线。

聚类

• 层次聚类
• 划分聚类

• K-means

• 网络聚类
• 聚类评价

• 共表型相关系数

• 相似性矩阵
• 共表矩阵

• 外部指标

• 相仪表
• 调整兰德系数ARI
• 互信息MI

• 自助

最优化方法

常用算法

• 模拟退火
• 神经网络
• 遗传算法

无约束优化

• 基本算法

• 共轭梯度法

• 在最优化方法中占有重要地位，最速下降法的优点是工作量小，缺点是收敛慢，适用于寻优过程中前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法

• 牛顿法

• 如果f是对称正定矩阵A的二次函数，用牛顿法经过一次迭代就可到达最优点，如不是二次函数，则牛顿法不能一部达到极值点
• 牛顿法收敛速度虽然快，但要求Hessian矩阵可逆，要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量。

• 拟牛顿法

• 修改了牛顿方向
• 两种算法

• DFP
• BFGS

有约束优化

• 罚函数法

• 通过构造罚函数把约束问题转化为一系列无约束最优化问题，进而用无约束最优化方法求解，这类方法称为序列无约束最小化方法，简称SUMT法（分为SUMT外点法 其二为SUMT内点法）

• 近似规划法

二次规划

• quadprog

一般有约束非线性规划

• fmincon

计算机算法

动态规划

回溯搜索

分治

贪心

分枝定界

图论与网络

欧拉图

二分图

• 匈牙利算法

网络流

• 最小费用最大流

最短路径

TSP问题

• 近似算法和启发式算法
• 二边逐次修正法

P和NP问题

背包问题

最小生成树

• Prime算法
• Kruskal算法

图的基本概念及其矩阵表示

• 无向图
• 有向图
• 完全图
• 二分图
• 图与网络的数据结构表示方法

• 邻接矩阵表示法
• 关联矩阵表示法
• 弧表表示法
• 邻接表表示法
• 星形表示法

常见的网络优化问题

• 最短路问题
• 公路连接问题
• 中国邮递员问题（欧拉图）
• 旅行商问题TSP（哈密顿图）
• 运输问题

图像处理

基本概念

• 图像分类

• 离散图像

• 用一个数字序列表示的图像，0和1

• 连续图像

• 二维坐标系中具有连续变化的图像

• 矩阵中的元素称为像素，以256灰色等级的数字图像为例，一般由8位，即一个字节表示灰度值
• 灰度值量化为对应灰度等级

• 等间隔量化（一般采用这个）
• 非等间隔量化

数据类

• 数值数据类

• double
• uint8
• uint16
• uint32
• int8
• int16
• int32
• single
• char

• 字符类（逻辑数据类）

• logical

图像类型

• 二值图像

• 二维矩阵由０、１构成，０为黑色，１为白色
• 通常用于OCR
• 一般二值图像是逻辑数组，只有０和１的uint8类数组，并不会认为是二值图像，需要使用logical函数 B= logical(A);

• 灰度图像

• 即人们常说的256灰度图像，0表示纯黑色，255表示纯白色
• 二值图像可以看成是灰度图像的一个特例

• 索引图像

• 有两个分量。即数据矩阵X和彩色映射矩阵map，矩阵map是一个大小为m*3且由范围在[0,1]之间的浮点值构成的double数组，map数组的长度同它所定义的颜色数目相等，map数组的每一行都定义单色的红绿蓝三个分量，X则是索引矩阵

• 真彩色RGB图像

• 是彩色像素的一个mn3数组，其中每一个彩色像素点，都是在特定空间位置的彩色图像相对应的红、绿、蓝三个分量

数据类之间转换

• im2uint8
• im2uint16
• mat2gray：将输入转换为double，范围为[0,1]
• im2double
• im2bw

图像类型之间转换

• ind2fray
• gray2ind
• rgb2ind
• ind2rgb
• ntec2rgb
• rgb2ntsc
• 使用imtool命令查看一个图像文件的信息

空间滤波器

• 线性滤波器

• 使用拉普拉斯滤波器增强图像
• 使用fspecial生成过滤器以及imfilter的使用

• 非线性滤波器

• 一个工具是ordfilt2函数，可以生成统计排序滤波器 g=ordfilt2(f,order,domain)
• ordfilt2函数生成图像g的方式：使用邻域的一组排序元素中的第order个元素来代替f中的每个元素，该淋雨则由domain中的非零元素指定

• 数字图像处理中最著名的统计排序滤波器是中值滤波器，对应第50个百分位，使用g=ordfilt2(f,median(1:m*n),ones(m,n));创建中值滤波器
• 工具箱提供了二维中值滤波函数g=medfilt2(f,[m,n])

频域变换

• 为了有效的对图像进行处理和分析，需要将原定义的图像空间的图像以某种形式转换到频域空间，利用频域空间的特有性质方便的进行一定的加工，最后转换回图像空间
• 傅里叶变换

• 将图像从空域变换到频域
• 二维连续傅里叶变换
• 二维离散傅里叶变换（DFT）
• 基于离散傅里叶变换的频域滤波

• 离散余弦变换DCT

• 图像处理中常用的变换算法，通过DCT变换，可以将图像空间域上的信息变换到频率域上
• 两种实现

• 基于快速傅里叶变换FFT的算法，通过工具箱提供的dct2
• 另一种是DCT变换矩阵，工具箱提供了dctmtx函数来计算变换矩阵

• 图像保真和质量

• 图像处理中为了增加压缩率有时会放弃图像细节或者其他不太重要的内容，为了衡量解码图像相对于原始图像的偏离程度，这些测度一般称为保真度准则
• 主要准则

• 客观保真度准则

• 当所损失的信息量可用编码输入图与解码输出图的函数表示时，可以认为是基于客观保真度准则的
• 均方根误差
• 均方信噪比（SNR）
• 均方根误差越小，峰值信噪比越大，处理的图像质量越好

• 主观保真度准则

• 用分数代表主观评价{很差，较差，相同，稍好，较好，很好}

数字图像的水印防伪

• 内嵌水印的特点

• 透明性
• 鲁棒性

• 能够承受施加于图像的变换操作，不会因变换处理而丢失

• 安全性

• 空间域水印

• 将水印信息嵌入到载体图像的空间域特性上

• 频率域水印

• 将水印信息嵌入到载体图像的变换域系数等特征上

• 基于矩阵奇异值分解的数字水印算法

• 奇异值分解定理
• Weyl定理

• 在原矩阵上加一个小小的扰动，看是否矩阵奇异值的变化是否会超过扰动矩阵的最大奇异值，从而判断稳定性

• 水印嵌入
• 水印提取

• 嵌入的逆过程

• 基于DCT变换的水印算法

• DCT变换是实数域变换，对实系数处理更加方便，不会使相位信息发生变化，另外，DCT变换是有损图像压缩JPEG的核心，基于DCT变换的图像水印将兼容JPEG图像压缩
• 水印嵌入算法

• 图像加密
• 图像隐藏

规划问题

连续优化

• 线性规划 LP
• 非线性规划 NLP
• 二次规划 QP

离散优化

• 整数线性规划
• 整数非线性规划
• 纯整数规划
• 混合整数规划
• 一般整数规划
• 0-1整数规划

• 整数规划的特殊情形，要求线性规划模型中的决策变量只能取值为0和1

模拟和仿真

模拟

• 拟合

• 非线性最小二乘法

• Isqcurvefit
• Isqnonlin

• 拟合与统计回归

• 线性回归
• 非线性回归

• [beta,t,J]=nlinfit(x,y,‘model’,beta0)

• 常用解法：线性最小二乘法

• a=polyfit(x,y,m)

• 插值

• 一维插值

• 拉格朗日插值

• yy=lagrange(x,y,xx)

• 分段插值

• yy=interp1(x , y ,xx , ‘method’)

• 三次样条插值

• yy=spline(x,y,xx)

• 二维插值

• 最邻近插值
• 分片线性插值
• 双线性插值

仿真

• 动态仿真

• 连续系统仿真

• 时间步长法

• 离散系统仿真

• 事件步长法

• 静态仿真

• 蒙特卡罗方法

• 随机数产生

• 均匀随机数
• 其他方法

• 逆变换法
• 舍选法
• 近似抽样法

• 指数分布
• 泊松分布
• 标准正态分布
• 正态分布
• 二项分布

• 排队问题
• 可靠性问题
• 蒙特卡罗方法
• 元胞自动机

数值计算

常微分方程数值解

• 微分方程解析解

• u=dsolve(‘Du=1+u^2’,‘t’)

• 欧拉方法

• 向前欧拉公式
• 向后欧拉公式
• 梯形公式

• 龙格—库塔方法
• matlab求解
• 高阶微分方程转一阶常微分方程
• 刚性常微分方程与非刚性常微分方程

工具箱的使用

统计工具箱

拟合工具箱

神经网络工具箱

小波工具箱

并行计算工具箱

优化工具箱

• 一元函数极小值

• fminbnd

• 无约束极小

• fminunc

• 为无约束优化提供了大型优化和中型优化算法
• 为中型优化算法的搜索方向提供了4种算法，由options中的HessUpdate控制，默认为bfgs（拟牛顿法的DFP公式） 另外，还有dfp（拟牛顿法的DFP公式），还有steepdesc（最速下降法）
• 为中型优化算法的步长一维搜索提供了两种算法，由options中的参数LineSearchType控制，默认是quadcubic （缺省值，混合的二次和三次插值）另外还有cubicpoly（三次多项式插值）

• fminsearch

• 线性规划

• linprog

• 二次规划

• quadprog

• 约束极小

• fmincon

• 达到目标问题

• fgoalattain

• 极小极大问题

• fminimax

全局优化工具箱