wangyanjiayou的个人博客分享 http://blog.sciencenet.cn/u/wangyanjiayou

博文

GEE快速入门及GEE-Python、GEE遥感云大数据林业应用

已有 3221 次阅读 2023-3-5 08:55 |个人分类:遥感|系统分类:科研笔记

以Earth Engine(GEE)为代表全球尺度地球科学数据(尤其是卫星遥感数据)在线可视化计算和分析云平台应用越来越广泛。该平台存储和同步遥感领域目前常用的MODIS、Landsat和Sentinel等卫星影像、气候与天气、地球物理等方面的数据集超过60PB,同时依托全球上百万台超级服务器,提供足够的运算能力对这些数据进行处理。相比于ENVI等传统的遥感影像处理工具,GEE在处理海量遥感数据方面具有不可比拟的优势,一方面提供了丰富的计算资源,另一方面其巨大的云存储节省了科研人员大量的数据下载和预处理的时间,是遥感数据的计算和分析可视化方面代表世界该领域最前沿水平,是遥感领域的一次革命。

GEE以其强大的功能受到了国外越来越多的科技工作者的重视和应用,然而在国内应用还十分有限。GEE提供了基于Javascript和Python语言的API,前者是官方主推平台的编程语言,易于上手但在输入输出和绘图可视化等方面存在不足,而Python作为目前最受欢迎的编程语言,能够弥补Javascript在这方面存在的不足,且更方便批处理和机器学习。基于最热门的Python编程语言,从GEE-Python平台搭建、影像数据分析、本地和云端数据管理,以及云端数据论文出版级可视化等方面结合案例进行讲解和进阶训练,使培训人员掌握实际操作能力。

聚焦目前遥感应用最热门领域之一的林业,重点结合典型应用案例综合展示GEE云平台的使用技巧和强大功能,提升参会人员解决实际问题的能力。以JavaScript版本GEE为主进行讲解,先介绍GEE基本知识,再结合微型案例对关键知识进行串讲,最后结合林业应用典型案例进行综合讲解。综合案例部分,部分内容会结合Python版本的GEE进行讲解,建议提前搭建好软硬件平台。


第一部分:GEE实践篇 海量遥感数据处理与GEE云计算技术应用与典型案例实践

一 初识GEE及开发平台
1.GEE平台及典型应用案例介绍;
2.GEE JavaScript开发环境及常用数据资源介绍;
3.JavaScript基础,包括变量,运算符,数组,判断及循环语句等;
4.GEE遥感云重要概念与典型数据分析流程。
5.初识GEE JavaScript对象和平台上手
影像与影像集
几何体、要素与要素集
日期、字符、数字
数组、列表、字典
影像/影像集、要素/要素集数据查询、时空过滤、可视化、属性查看等
主要对象最常用API介绍
程序调试与误区提醒

二 影像大数据处理基础
1.1 关键知识点讲解
影像数学运算、关系/条件/布尔运算、形态滤波、纹理特征提取等
影像掩码,裁剪和镶嵌
集合对象的循环迭代(map/iterate)
集合对象联合(Join)
再谈数组及数组影像
影像面向对象分析

2.2 主要功能串讲与演练
Landsat/Sentinel-2影像批量去云
Landsat/Sentinel-2传感器归一化、植被指数计算与Tasseled cap变换等
时间序列光学影像的平滑与空间插值

三 数据整合Reduce
1.关键知识点讲解
影像与影像集整合,如指定时窗的年度影像合成
影像区域统计与领域统计,分类后处理
要素集属性列统计
栅格与矢量的相互转换
分组整合与区域统计
影像集、影像和要素集的线性回归分析

2.主要功能串讲与演练
研究区可用Landsat影像的数量和无云观测数量的统计分析
中国区域年度NDVI植被数合成及年度最绿的DOY时间查找
国家尺度30年尺度的降雨量时空变化趋势分析

四 云端数据可视化
1.关键知识点讲解
要素与要素集属性制图(条形图、直方图、堆积柱形图、散点图等)
影像制图(区域统计、分类图、直方图、散点图、线型图,饼图等)
影像集制图(样点时间序列图、区域统计时间序列图等)
数组与链表制图(散点图、样线图等
图形风格和属性设置

2.主要功能串讲与演练
基于MODIS时间序列影像的不同地表植被物候分析与制图
基于Hansen产品的年度森林时空变化分析与专题图绘制

五 数据导入导出及资产管理
1.关键知识点讲解
不同矢量数据上传个人资产
影像数据上传个人资产、属性设置等
影像批量导出(Asset和Driver)
矢量数据导出(Asset和Driver)
统计分析结果导出

2.主要功能串讲与演练
中国通量站点数据上传与显示,站点基本气象和地形等数据导出
年度影像合成批量导出或下载到个人Asset或Driver平台

六 机器学习算法
1.关键知识点讲解
样本抽样(随机抽样、分层随机抽样)
监督分类算法(随机森林、CART、贝叶斯、SVM、决策树等)
非监督分类算法(wekaKMeans、wekaLVQ等)
TensorFlor模型
分类精度评估

2.主要功能串讲与演练
联合光学与雷达时间序列影像的森林动态监测
水体自动提取与洪涝监测研究

七 专题练习与回顾
1.以一个完整的土地利用分类案例来回顾GEE的主要功能。包含不同地面样本准备、多源遥感影像预处理、算法开发、分类后处理、精度评估和空间统计分析与制图等环节
2.学员征集案例讲解与答疑
3.GEE代码优化、常见错误与调试总结


第二部分:GEE-Python遥感大数据分析、管理与可视化

第一章 理论基础
1、国外Earth Engine(GEE)平台及应用、主要数据资源介绍
2、GEE遥感云重要概念、数据类型与对象等
3、JavaScript与Python遥感云编程比较与选择
4、Python基础(语法、数据类型与程序控制结构、函数及类与对象等)
5、常用Python软件包((pandas、numpy、os等)介绍及基本功能演示(Excel/csv数据文件读取与数据处理、目录操作等)
6、JavaScript和Python遥感云API差异,学习方法及资源推荐

第二章 开发环境搭建
1、本地端与云端Python遥感云开发环境介绍
2、本地端开发环境搭建
1)Anaconda安装,pip/conda软件包安装方法和虚拟环境创建等;
2)earthengine-api、geemap等必备软件包安装;
3)遥感云本地端授权管理;
4)Jupyter Notebook/Visual Studio Code安装及运行调试。 
3、云端Colab开发环境搭建
4、geemap介绍及常用功能演示

第三章 遥感大数据处理基础
1、遥感云平台影像数据分析处理流程介绍
2、要素和影像等对象显示和属性字段探索
3、影像/要素集的时间、空间和属性过滤方法
4、波段运算、条件运算、植被指数计算、裁剪和镶嵌等
5、Landsat /Sentinel-2等常用光学影像去云
6、影像与要素集的迭代循环
7、影像数据整合(Reducer)
8、邻域分析与空间统计
9、常见错误与代码优化
10、Python遥感云数据分析专属包构建

第四章 典型案例操作实践

1、机器学习分类算法案例:以柬埔寨为例,联合Landsat等长时间序列影像和机器学习算法进行分类,分类后处理和精度评估。涉及研究区影像统计、空间分层随机抽样、样本随机切分、时间序列影像预处理和合成、机器学习算法应用、分类后处理和精度评估等。
2、决策树森林分类算法案例:联合L波段雷达和Landsat光学时间序列影像和决策树分类算法提取指定地区2007-2020年度森林分布图,与JAXA年度森林产品进行空间比较,并分析森林的时空变化。内容涉及多源数据联合使用、决策树分类算法构建、阈值动态优化、分类结果空间分析等。
3、洪涝灾害监测案例:基于Sentinel-1 C波段雷达等影像,监测河南新乡市2021年7月份的特大暴雨灾害。涉及Sentinel-1 C影像处理,水体分类算法构建、影像差异分析,结果可视化等。
4、干旱遥感监测案例:联合具有数十年历史的卫星遥感降雨数据产品如CHIRPS来监测云南省2010年的特大干旱情况。涉及气象数据基本处理、年和月尺度数据整合、长期平均值LPA/偏差计算,数据结果可视化等。
5、物候特征分析案例:基于Landsat和MODIS等时间序列影像,通过植被指数变化分析典型地表植被多年的物候差异(样点尺度)和大尺度(如中国)的物候空间变化特征。涉及时间序列影像合成、影像平滑(Smoothing)与间隙填充(Gap-filling)、结果可视化等。
6、森林植被健康状态监测案例:利用20年的MODIS植被指数,对选定区域的森林健康状态进行长期监测,分析森林植被绿化或褐变情况。涉及影像连接、影像合成、趋势分析、空间统计和可视化等。
7、生态环境质量动态监测案例:利用RSEI遥感生态指数和Landsat系列影像对选定城市的生态状况进行快速监测。内容涉及植被指数计算、地表温度提取、数据归一化、主成分PCA分析、RSEI生态指数构建和结果可视化等。

第五章 输入输出及数据资产高效管理

1.本地文本/矢量/栅格等数据与云端交互:包括本地端csv、kml、矢量和栅格数据与云端数据相互转换、数据导出等。
2.服务器端影像与影像集数据批量下载:包括直接本地下载、影像集批量下载,以及大尺度(如全球森林产品)和长时间序列数据(如20年的MODIS数据产品)快速下载的方法与技巧。
3.本地端矢量/影像数据上传个人资产及属性设置:包括earthengine命令使用,少量本地端矢量与栅格直接上传与属性设置(小文件)、本地端批量上传及属性自动设置,超大影像文件(如国产高分或无人机影像)快速上传技巧等。
4.遥感云个人数据资产管理:联合Python和earthengine命令行管理个人数据资产,包括创建、删除、移动、重命名;上传/下载任务批量取消。

第六章 云端数据论文出版级可视化

1.Python可视化及主要软件包简介:matplotlib,seaborn可视化程序包介绍,基本图形概念、图形构成介绍,常用图形快速绘制等。
2.研究区地形及样地分布图绘制:结合本地或云端矢量文件、云端地形数据等绘制研究区示意图,涉及绘图流程、中文显示、配色美化,如cpt-city精美调色板palette在线下载与本地端应用等。
3.研究区域影像覆盖统计和绘图:对指定区域Landsat和Sentinel等系列影像的覆盖数量、无云影像覆盖情况进行统计,绘制区域影像统计图或像元级无云影像覆盖专题图。
4.样本光谱特征与物候特征等分析绘图:快速绘制不同类型样地的光谱和物候特征、动态下载并整合样点过去30年缩略图(thumbnails)和植被指数时间序列等。
5.分类结果专题图绘制及时空动态延时摄影Timelapse制作:单幅或多幅分类专题图绘制及配色美化,土地利用变化清晰Timelapse制作、动画文字添加等。
6.分类结果面积统计与绘图:基于云端的分类结果和矢量边界文件,统计不同区域不同地类面积,提取统计结果,以不同图形展示统计面积;土地利用变化统计绘图等。


第三部分:GEE遥感云大数据在林业中的应用与典型案例实践

一 初识GEE及开发平台
1.GEE平台及典型应用案例介绍;
2.GEE开发环境及常用数据资源介绍;
3.JavaScript基础简介;
4.Python-GEE环境搭建;
5.GEE遥感云重要概念与典型数据分析流程;
6.GEE基本对象介绍、矢量和栅格对象可视化、属性查看,API查询、基本调试等平台上手。

二 GEE基础知识
1.影像基本运算与操作:数学运算、关系/条件/布尔运算、形态滤波、纹理特征提取;影像掩码、裁剪和镶嵌等;
2.要素基本运算与操作:几何缓冲区,交、并、差运算等;
3.集合对象操作:循环迭代(map/iterate)、合并Merge、联合(Join);
4.数据整合Reduce:包括影像与影像集整合,影像合成、影像区域统计与域统计,分组整合与区邻域统计,影像集线性回归分析等;
5.机器学习算法:包括监督(随机森林、CART、SVM、决策树等)与非监督(wekaKMeans、wekaLVQ等)分类算法,分类精度评估等;
6.数据资产管理:包括本地端矢量和栅格数据上传、云端矢量和栅格数据下载、统计结果数据导出等;
7.绘图可视化:包括条形图、直方图、散点图、时间序列等图形绘制。

三 重要知识点微型案例串讲
1)Landsat、Sentinel-2影像批量自动去云和阴影
2)联合Landsat和Sentinel-2批量计算植被指效和年度合成
3)研究区可用影像数量和无云观测数量统计分析
4)中国区域年度NDVI植被数合成及年度最绿DOY时间查找
5)时间序列光学影像数据的移动窗口平滑
6)分层随机抽样及样本导出、样本本地评估与数据上传云端
7)中国近40年降雨量变化趋势分析
8)某区域年度森林损失统计分析(基于Hansen森林产品)

案例一:联合多源遥感数据的森林识别
详细介绍联合Landsat时间序列光学影像和PALSAR-2雷达数据,以及决策树算法实现森林等典型地类遥感分类的完整流程。专题涉及影像数据时空过滤、光学影像批量云掩膜与植被指数计算;分层随机抽样及样本导出、本地端质量控制与云端上传、样本随机切分、可分离性分析、分类算法构建及应用、分类后处理和精度评估,专题图绘制等。

案例二:长时间尺度的森林状态监测
利用长时间序列的MODIS或Landsat影像数据,对森林状态进行长期监测,分析森林植被绿化或褐变情况。专题涉及时间序列影像预处理、影像集连接、影像合成、变化趋势非参数检测、显著性检验和变化趋势量化与分级、空间统计和结果可视化和专题图绘制等。

案例三:森林砍伐与退化监测
联合Landsat系列影像,光谱分离模型和NDFI归一化差值分数指数实现森林的砍伐和退化监测。专题涉及影像预处理、混合像元分解、NDFI指数计算、函数封装、变化检测和强度分级,结果可视化、专题图绘制等。

案例四:森林火灾监测
详细介绍利用Landsat和Sentinel-2时间序列光学遥感影像,监测森林火灾损失情况,实现火灾强度分级。专题涉及影像过滤、Landsat和Sentinel-2光学影像除云等预处理、植被指数计算、影像合成、火灾区域识别和灾害强度分级,结果统计分析与可视化等。

案例五:长时间尺度的森林扰动监测
联合30年的Landsat等光学影像和经典LandTrendr算法实现森林扰动的监测。专题涉及长时间序列遥感影像预处理、植被指数批量计算、年度影像合成、数组影像概念和使用方法、LandTrendr算法原理及参数设置、森林扰动结果解译与空间统计分析、可视化及专题图绘制等。

案例六:森林关键生理参数(树高、生物量/碳储量)反演
联合GEDI激光雷达、Landsat/Sentinel-2多光谱光学影像、Sentinel-1 /PALSAR-2雷达影像等和机器学习算法反演森林的关键物理参数,如树高、生物量/碳储量。专题涉及GEDI激光雷达数据介绍、常见光学和雷达数据处理、机器学习算法应用、反演精度评估和变量重要性分析、结果可视化等内容。


【特色】: 

1、原理深入浅出的讲解,强调原理的重要性;
2、技巧方法讲解,提供配套的完整教材数据及提供长期回放;
3、与项目案例相结合,更好的对接实际工作应用;
4、跟学上机操作、独立完成案例操作练习、全程问题跟踪解析;
5、专属助学群辅助巩固学习及实际工作应用交流,不定期召开线上答疑。



https://m.sciencenet.cn/blog-3539141-1378939.html

上一篇:基于“PLUS模型+”InVEST模型生态系统服务多情景模拟预测
下一篇:基于Citespace和vosviewer文献计量学可视化SCI论文高效写作方法

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-3 03:56

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部