文章目录
- 1 封面
- 2 摘要
- 3 研究背景
- 4 平台介绍
- 4.1 平台框架
- 4.2 平台整体架构
- 5 平台关键技术
- 5.1 技术一:数据质量控制
- 5.2 缺失数据——插补方法
- 5.2.1 基于ARIMA与SVM组合预测单向插补模型
- 5.2.2 基于Adaboost组合预测的多向插值模型
- 5.3 异常数据——检测
- 5.3 技术二:多重情景仿真技术
- 注意:技术三杂糅在技术二中,是河道淹没可视化
- 6 平台集成与应用
- 7 结语
写在前面:河海大学学报(自然科学版);主办方:河海大学;中文核心期刊;双月刊;B类
1 封面
2 摘要
关键词:洪水预报;智能调度
三个技术:数据质量控制;多重情景仿真;洪水淹没仿真
3 研究背景
- 中小河流的降雨量大且集中,导致水位起伏较大,易发生洪涝灾害;
- 国家对于中小河流的治理经验缺乏;
- 防控和应急管理需求:准确预报、及时预警、科学调度、有效处置
- 洪水预警预报平台始于20世纪70年代,如美国3S洪水预警系统、意大利DAMSAFE决策支持系统、欧盟洪水预报及报警响应系统;
- 我国预报预警服务体系:
- 可视化展示:地理信息系统(GIS)、数字高程模型
- 中小河流水位流量等水文数据,在一定时间内具有时间序列的特征,即表现出一定的连续性和周期性。时序性
4 平台介绍
4.1 平台框架
4.2 平台整体架构
对于云服务这一块,还是不太了解。(属于云计算这门课程的内容,当时上课玩手机了)
5 平台关键技术
5.1 技术一:数据质量控制
- 缺失数据
- 冗余数据
- 异常数据
5.2 缺失数据——插补方法
5.2.1 基于ARIMA与SVM组合预测单向插补模型
- 差分整合移动平均自回归模型(ARIMA)【已有】
创新点:加入固定滑动窗口,SW_ARIMA - 支持向量机(SVM)
创新点:粒子群优化算法(PSO)
- 流程图如下:
- 解释说明:单一的预测模型存在较大误差。本文将这两种单一的预测模型并联加权组合,目的是减少模型的预测误差
【小声bb:这…手法感觉和我之前写专利可太相似了】 - 佐证:
5.2.2 基于Adaboost组合预测的多向插值模型
- 考虑到水文数据的时序性(连续性和周期性),可以利用存在记录中的观测数据和历史相同时刻的观测数据,对未来相同时刻缺失的数据进行预测,构造多向插补模型,将预测值当作参考值。
- 自己写一点关于adaboost的认识:
Adaboost:自适应增强算法
- 主要的思想
- 首先这个算法里包含了很多弱分类器(这里的强弱是相对的),重点关注弱分类器分类错误的问题。然后用下一个弱分类器,去优化刚刚预测出错的地方,以达到整个组合的预测性能最优!
- 【在adaboost中,包含多个分类器,后一个模型的训练永远是在前一个模型的基础上完成的!】
- 整个组合,也就是多个分类器之和,称之为强分类器!
- 步骤一:对于训练的每个弱分类器(weak learner),计算样本困难度。
- 首先初始化所有的样本困难度:
- 然后在前一个模型训练完成之后,更新所有样本的困难度。
- 特点一:所有样本的总困难度不变,和为1;更新后依旧和为1。
- 基于当前样本困难度,训练下一个 学习器(learner)
- 步骤二:当你全部跑完你的弱分类器之后,你需要把它们组合起来。那么每个分类器对于数据的分类总要有个权重吧!这一步就是需要去学习每个弱分类器的权重
- 步骤三:最后将所有的权重*输出,求和,得到最终的输出。
- adaboost的缺点:容易overfit;对于异常点过于敏感;模型的性能起点低;速度慢
5.3 异常数据——检测
- iForest 孤立森林算法的检测模型(已有)
提出ReMiss-iForest算法——
5.3 技术二:多重情景仿真技术
- 提出一种“中小河流垂直河道淹没算法”
- 基于UE4引擎的淹没可视化
注意:技术三杂糅在技术二中,是河道淹没可视化
6 平台集成与应用
- 平台采用Java、Spring Cloud、Docker等技术栈,构建了此平台。
7 结语
没提到未来的研究方向
参考视频:五分钟机器学习、刘二大人(b站up主)