近年来遥感技术得到了突飞猛进的发展,航天、航空、临近空间等多遥感平台不断增加,数据的空间、时间、光谱分辨率不断提高,数据量猛增,遥感数据已经越来越具有大数据特征。遥感大数据的出现为相关研究提供了前所未有的机遇,同时如何处理好这些数据也提出了巨大的挑战。传统的工作站和服务器已经无法胜任大区域、多尺度海量遥感数据处理的需要。
Google Earth Engine是谷歌公司提供的全球尺度地球科学数据(尤其是卫星遥感数据)在线可视化计算和分析云平台。该平台能够存取和同步遥感领域目前常用的MODIS、Landsat和Sentinel等卫星图像和NCEP等气象再分析数据集,同时依托全球上百万台超级服务器,提供足够的运算能力对这些数据进行处理。截止目前,GEE上包含的数据集超过200个公共的数据集,每天新增数据量超过 4000幅影像,容量超过50PB。相比于ENVI等传统的处理影像工具,Google Earth Engine在处理海量遥感数据方面具有不可比拟的优势,一方面GEE平台提供了丰富的计算资源,另一方面其巨大的云存储节省了科研人员大量的数据下载和预处理的时间。可以说,GEE在遥感数据的计算和分析可视化方面代表世界该领域最前沿水平,是遥感领域的一次革命。
目前,GEE以其强大的功能受到了国外越来越多的科技工作者的重视和应用,然而在国内应用还十分有限。GEE提供了基于Javascript和Python语言的API,前者是官方主推平台的编程语言,易于上手但在输入输出和绘图可视化等方面存在不足,而Python作为目前最受欢迎的编程语言,能够弥补Javascript在这方面存在的不足,且更方便批处理和机器学习。前期我们开展了基于Javascript的GEE遥感大数据处理的培训,应广大科学工作者的要求,将基于最热门的Python编程语言,从GEE-Python平台搭建、影像数据分析、本地和云端数据管理,以及云端数据论文出版级可视化等方面结合案例进行讲解和进阶训练,使培训人员掌握实际操作能力。比较适合拥有一定GEE和Python基础,或对编程有强烈兴趣的学员。
GEE-Python遥感大数据分析、管理与可视化实践技术
第一章
理论基础
1 、国外 Earth Engine ( GEE )平台及应用、主要数据资源介绍
2 、 GEE 遥感云重要概念、数据类型与对象等
3 、 JavaScript 与 Python 遥感云编程比较与选择
4 、 Python 基础(语法、数据类型与程序控制结构、函数及类与对象等)
5 、常用 Python 软件包((
pandas 、
numpy 、
os 等)介绍及基本功能演示(
Excel/csv
数据文件读取与数据处理、目录操作等)
6 、 JavaScript 和 Python 遥感云 API 差异,学习方法及资源推荐
第二章
开发环境搭建
1 、本地端与云端 Python 遥感云开发环境介绍
2 、本地端开发环境搭建
1 ) Anaconda 安装, pip/conda 软件包安装方法和虚拟环境创建等;
2 ) earthengine-api 、 geemap 等必备软件包安装;
3 )遥感云本地端授权管理;
4 ) Jupyter Notebook/Visual Studio Code 安装及运行调试。
3 、云端 Colab 开发环境搭建
4 、 geemap 介绍及常用功能演示
第三章
遥感大数据处理
基础
1 、遥感云平台影像数据分析处理流程介绍
2 、要素和影像等对象显示和属性字段探索
3 、影像 / 要素集的时间、空间和属性过滤方法
4 、波段运算、条件运算、植被指数计算、裁剪和镶嵌等
5 、 Landsat /Sentinel-2 等常用光学影像去云
6 、影像与要素集的迭代循环
7 、影像数据整合( Reducer )
8 、邻域分析与空间统计
9 、常见错误与代码优化
10 、 Python 遥感云数据分析专属包构建。
第四章
典型案例操作实践
1 、 机器学习分类算法案例: 以柬埔寨为例,联合 Landsat 等长时间序列影像
和机器学习算法进行分类,分类后处理和精度评估。涉及研究区影像统计、
空间分层随机抽样、样本随机切分、时间序列影像预处理和合成、机器学
习算法应用、分类后处理和精度评估等。
2 、 决策树森林分类算法案例: 联合 L 波段雷达和 Landsat 光学时间序列影像
和决策树分类算法提取指定地区 2007-2020 年度森林分布图,与 JAXA 年
度森林产品进行空间比较,并分析森林的时空变化。内容涉及多源数据联
合使用、决策树分类算法构建、阈值动态优化、分类结果空间分析等。
3 、 洪涝灾害监测案例: 基于 Sentinel-1 C 波段雷达等影像,监测河南新乡市
2021 年 7 月份的特大暴雨灾害。涉及 Sentinel-1 C 影像处理,水体分类算
法构建、影像差异分析,结果可视化等。
4 、 干旱遥感监测案例 :联合具有数十年历史的卫星遥感降雨数据产品如
CHIRPS 来监测云南省 2010 年的特大干旱情况。涉及气象数据基本处理、
年和月尺度数据整合、长期平均值 LPA/ 偏差计算,数据结果可视化等。
5 、 物候特征分析案例 :基于 Landsat 和 MODIS 等时间序列影像,通过植被
指数变化分析典型地表植被多年的物候差异(样点尺度)和大尺度(如中
国)的物候空间变化特征。涉及时间序列影像合成、影像平滑(
Smoothing )
与间隙填充( Gap-filling )、结果可视化等。
6 、 森林植被健康状态监测案例: 利用 20 年的 MODIS 植被指数,对选定区
域的森林健康状态进行长期监测,分析森林植被绿化或褐变情况。涉及影
像连接、影像合成、趋势分析、空间统计和可视化等。
7 、 生态环境质量动态监测案例 :利用 RSEI 遥感生态指数和 Landsat 系列影
像对选定城市的生态状况进行快速监测。内容涉及植被指数计算、地表温
度提取、数据归一化、主成分 PCA 分析、 RSEI 生态指数构建和结果可视
化等。
第五章
输入输出及数据
资产高效管理
1. 本地文本 / 矢量 / 栅格等数据与云端交互: 包括本地端 csv 、 kml 、矢量和栅
格数据与云端数据相互转换、数据导出等。
2. 服务器端影像与影像集数据批量下载: 包括直接本地下载、影像集批量下
载,以及大尺度(如全球森林产品)和长时间序列数据(如 20 年的 MODIS
数据产品)快速下载的方法与技巧。
3. 本地端矢量 / 影像数据上传个人资产及属性设置: 包括 earthengine 命令使
用,少量本地端矢量与栅格直接上传与属性设置(小文件)、本地端批量
上传及属性自动设置,超大影像文件(如国产高分或无人机影像)快速上
传技巧等。
4. 遥感云个人数据资产管理: 联合 Python 和 earthengine 命令行管理个人数
据资产,包括创建、删除、移动、重命名;上传 / 下载任务批量取消。
第六章
云端数据论文出版
级可视化
1. Python 可视化及主要软件包简介: matplotlib ,
seaborn 可视化程序包介绍,
基本图形概念、图形构成介绍,常用图形快速绘制等。
2. 研究区地形及样地分布图绘制: 结合本地或云端矢量文件、云端地形数据
等绘制研究区示意图,涉及绘图流程、中文显示、配色美化,如 cpt-city
精美调色板 palette 在线下载与本地端应用等。
3. 研究区域影像覆盖统计和绘图: 对指定区域 Landsat 和 Sentinel 等系列影
像的覆盖数量、无云影像覆盖情况进行统计,绘制区域影像统计图或像元
级无云影像覆盖专题图。
4. 样本光谱特征与物候特征等分析绘图: 快速绘制不同类型样地的光谱和物
候特征、动态下载并整合样点过去 30 年缩略图(
thumbnails )和植被指数
时间序列等。
5. 分类结果专题图绘制及时空动态延时摄影 Timelapse 制作: 单幅或多幅分
类专题图绘制及配色美化,土地利用变化清晰 Timelapse 制作、动画文字
添加等。
6. 分类结果面积统计与绘图: 基于云端的分类结果和矢量边界文件,统计不
同区域不同地类面积,提取统计结果,以不同图形展示统计面积;土地利
用变化统计绘图等。