文章目录

  • 1 封面
  • 2 摘要
  • 3 研究背景
  • 4 平台介绍
  • 4.1 平台框架
  • 4.2 平台整体架构
  • 5 平台关键技术
  • 5.1 技术一:数据质量控制
  • 5.2 缺失数据——插补方法
  • 5.2.1 基于ARIMA与SVM组合预测单向插补模型
  • 5.2.2 基于Adaboost组合预测的多向插值模型
  • 5.3 异常数据——检测
  • 5.3 技术二:多重情景仿真技术
  • 注意:技术三杂糅在技术二中,是河道淹没可视化
  • 6 平台集成与应用
  • 7 结语



写在前面:河海大学学报(自然科学版);主办方:河海大学;中文核心期刊;双月刊;B类

1 封面

洪水趋势预测分析Python_Ada

2 摘要

关键词:洪水预报;智能调度
三个技术:数据质量控制;多重情景仿真;洪水淹没仿真

3 研究背景

  1. 中小河流的降雨量大且集中,导致水位起伏较大,易发生洪涝灾害;
  2. 国家对于中小河流的治理经验缺乏;
  3. 防控和应急管理需求:准确预报、及时预警、科学调度、有效处置
  4. 洪水预警预报平台始于20世纪70年代,如美国3S洪水预警系统、意大利DAMSAFE决策支持系统、欧盟洪水预报及报警响应系统;
  5. 我国预报预警服务体系:
  6. 可视化展示:地理信息系统(GIS)、数字高程模型
  7. 中小河流水位流量等水文数据,在一定时间内具有时间序列的特征,即表现出一定的连续性和周期性。时序性

4 平台介绍

4.1 平台框架

洪水趋势预测分析Python_洪水趋势预测分析Python_02

4.2 平台整体架构

对于云服务这一块,还是不太了解。(属于云计算这门课程的内容,当时上课玩手机了)

洪水趋势预测分析Python_学习_03

5 平台关键技术

5.1 技术一:数据质量控制

  • 缺失数据
  • 冗余数据
  • 异常数据

5.2 缺失数据——插补方法

5.2.1 基于ARIMA与SVM组合预测单向插补模型

  1. 差分整合移动平均自回归模型(ARIMA)【已有】
    创新点:加入固定滑动窗口,SW_ARIMA
  2. 支持向量机(SVM)
    创新点:粒子群优化算法(PSO)
  • 流程图如下:
  • 洪水趋势预测分析Python_洪水趋势预测分析Python_04

  • 解释说明:单一的预测模型存在较大误差。本文将这两种单一的预测模型并联加权组合,目的是减少模型的预测误差
    【小声bb:这…手法感觉和我之前写专利可太相似了】
  • 佐证:
  • 洪水趋势预测分析Python_数据_05

5.2.2 基于Adaboost组合预测的多向插值模型

  • 考虑到水文数据的时序性(连续性和周期性),可以利用存在记录中的观测数据和历史相同时刻的观测数据,对未来相同时刻缺失的数据进行预测,构造多向插补模型,将预测值当作参考值。

洪水趋势预测分析Python_数据_06

  • 自己写一点关于adaboost的认识:

Adaboost:自适应增强算法

  1. 主要的思想
  • 首先这个算法里包含了很多弱分类器(这里的强弱是相对的),重点关注弱分类器分类错误的问题。然后用下一个弱分类器,去优化刚刚预测出错的地方,以达到整个组合的预测性能最优!
  • 【在adaboost中,包含多个分类器,后一个模型的训练永远是在前一个模型的基础上完成的!】
  • 整个组合,也就是多个分类器之和,称之为强分类器!
  1. 步骤一:对于训练的每个弱分类器(weak learner),计算样本困难度。
  2. 首先初始化所有的样本困难度:
  3. 洪水趋势预测分析Python_学习_07

  4. 然后在前一个模型训练完成之后,更新所有样本的困难度。
  5. 洪水趋势预测分析Python_数据_08

  6. 特点一:所有样本的总困难度不变,和为1;更新后依旧和为1。
  7. 洪水趋势预测分析Python_数据_09

  8. 基于当前样本困难度,训练下一个 学习器(learner)
  9. 步骤二:当你全部跑完你的弱分类器之后,你需要把它们组合起来。那么每个分类器对于数据的分类总要有个权重吧!这一步就是需要去学习每个弱分类器的权重
  10. 洪水趋势预测分析Python_洪水趋势预测分析Python_10

  11. 步骤三:最后将所有的权重*输出,求和,得到最终的输出。
  12. 洪水趋势预测分析Python_数据_11

  13. adaboost的缺点:容易overfit;对于异常点过于敏感;模型的性能起点低;速度慢

5.3 异常数据——检测

  1. iForest 孤立森林算法的检测模型(已有)
    提出ReMiss-iForest算法——

5.3 技术二:多重情景仿真技术

  • 提出一种“中小河流垂直河道淹没算法”
  • 基于UE4引擎的淹没可视化

注意:技术三杂糅在技术二中,是河道淹没可视化

6 平台集成与应用

  • 平台采用Java、Spring Cloud、Docker等技术栈,构建了此平台。

7 结语

没提到未来的研究方向

参考视频:五分钟机器学习、刘二大人(b站up主)