[口头报告]AI Earth: 低代码地球科学云平台

AI Earth: 低代码地球科学云平台
编号:496 稿件编号:1103 访问权限:私有 更新:2023-04-08 14:00:14 浏览:397次 口头报告

报告开始:2023年05月07日 15:30 (Asia/Shanghai)

报告时间:15min

所在会议:[7B] 7B、遥感与地理信息科学 » [7B-2] 7B-2 遥感与地理信息科学

暂无文件

摘要
随着遥感技术的飞速发展,海量地理空间信息数据被大量采集和存储,其处理分析结果已广泛应用于资源调查、环境监测、灾害分析和城市管理等不同领域。然而,空间信息数据的爆发式增长和对全要素地理要素的大范围分析,与本地硬件资源受限之间的矛盾变得越发突出。云计算的蓬勃发展为解决这一矛盾提供了有效路径,谷歌和微软分别依托各自云基础设施建设了Google Earth Engine和Planetary Computer,其在海量遥感影像处理分析方面已取得长足进步。

为弥补国内地理空间大数据分析平台与国际成熟平台之间的差距,同时提升遥感应用分析这一关键领域的自主可控能力,阿里巴巴达摩院借助阿里云基础设施,于2022年初启动建设国际一流国内领先的地球科学云平台—AI Earth(Analytical Insight of Earth, https://engine-aiearth.aliyun.com)。目前,该平台已上线发布,并在国内高校和研究所推广使用,同时与部分高校研究团队建立了长期合作关系,将依托AI Earth开发和发布国内外具有重大影响力的科研成果,助力资源、环境、灾害、城市等领域的调查、监测、分析和预测。

AI Earth产品架构如图1所示,有公共云和专有云两种产品形态,其中公共云分为无代码和低代码两种模式,数据资源可在不同模式之间相互共享。无代码模式通过界面交互提供服务,主要包含数据检索、处理分析和模型训练三大模块。同时,平台内部已集成针对地物分类、目标识别和变化检测不同任务的15种AI解译模型,同时用户可基于模型训练模块利用自有样本集对AI模型进行训练。低代码模式下,开发者基于平台内嵌在线代码编辑器,使用Python语言调用客户端API函数提交业务代码,业务代码在服务端被转换成执行流图(Directed Acyclic Graph, DAG)进行分布式计算,计算结果将在界面上交互显示。目前平台已提供约240个API函数,主要集中在像素运算和区域统计,更多的函数能力在持续开发上线中。

AI Earth目前已累计约8 PB数据(截止2022年10月底),包括覆盖中国的全量Landsat 5, 7, 8, 9和Sentinel-1, 2影像,以及覆盖全球的9类MODIS、3类夜光遥感、2种地表覆盖分类和ALOS DSM等数据,所有数据与官网保持同步更新。数据全部存储在阿里云对象云存储(Object Storage Service, OSS)中,以256×256块大小进行云化处理,同时为加速基于地图交互的在线可视化,所有影像均建立金字塔。此外,针对不同类型的影像集,遵循业界主流标准时空数据管理体系STAC (SpatioTemporal Asset Catalogs),对外提供数据查询服务。

AI Earth云平台的简化技术架构如图2所示,平台建设依赖阿里云基础设施,包括对象存储OSS、弹性云服务器ECS、云原生数据库PolarDB、云原生容器服务ACK等。数据层利用时空云数据库和对象云存储对资产数据和时空数据进行存储管理,并构建统一的STAC接口对外提供数据查询服务。计算层分为在线计算和离线计算,通过DAG管道实现任务在计算节点上的物理执行,同时基于云原生容器服务对计算节点进行动态扩缩容,保障计算资源的负载均衡。在线计算主要针对用户在代码编辑过程中的交互测试,及时反馈需要可视化的计算结果。为提升在线计算效率,采用懒计算模式,只在视窗请求范围内和对应层级执行数据请求和计算。离线计算则按照开发者设定的分辨率、范围、坐标系等,执行整个计算任务,并将计算结果返回到开发者的工作空间中。

AI Earth云平台在函数执行过程中的数据分发模式主要有基于分块(Tile)的DAG串行执行和基于空间聚合的Map/Reduce。基于分块的串行执行适用于像素计算,例如算术运算、逻辑运算和卷积运算等,无需考虑其他分块影响,只需串行执行DAG中的各个节点;基于空间聚合的计算采用Map/Reduce策略,即首先计算每个分块的中间结果,再对中间结果进行Reduce操作,该计算模式适用于区域统计和时间序列分析等。同时,针对开发者提交的执行任务,采用Hash缓存技术,当相同计算任务再次发起时,直接返回缓存结果。

AI Earth平台的建设将有效保障国内地球科学云平台发展的独立自主,同时可为该领域研究人员提供开放的交流和合作途径。
关键字
remote rensing,Cloud Computing
报告人
满远斌
阿里巴巴达摩院

稿件作者
满远斌 阿里巴巴达摩院
杨名阳 阿里巴巴达摩院
许浩 阿里巴巴达摩院
发表评论
验证码 看不清楚,更换一张
全部评论

联系我们

会务总协调、疫情防控:

沈焕锋(13163235536;shenhf@whu.edu.cn)

管小彬(18007973663;guanxb@whu.edu.cn)

魏秀琴(15871750333;weixiuqin@whu.edu.cn)

会场安排:

沈焕锋(13163235536;shenhf@whu.edu.cn)

李长冬(15327198910;lichangdong2008@126.com)

张 亮(15827200707;lzhang@whigg.ac.cn)

徐 鹏(13554674258;xupengwhu@whu.edu.cn)

学术安排:

王伦澈(13349889828;wang@cug.edu.cn)

庄艳华(13349889826;zhuang@apm.ac.cn)

李星华(15527964369;lixinghua5540@whu.edu.cn)

会议注册:

管小彬(18007973663;guanxb@whu.edu.cn)

赵 林(18071070948;linzhao@whu.edu.cn)

会议财务:

张传喜(13627137374;zhangchuanxi@whu.edu.cn)

石玉婷(13476286537;yutingshi@vip.qq.com)

商业赞助:

阮志敏(15871826028;ruanzm@whu.edu.cn)

黄文丽(13693626212;wenli.huang@whu.edu.cn)

会议服务,酒店预定,网站、注册系统服务:

曹雪峰(18971567453;carol@chytey.com)

金钰壹(18271358859;jinyuyi@whu.edu.cn)

会务总协调、疫情防控:
沈焕锋(13163235536;shenhf@whu.edu.cn)
管小彬(18007973663;guanxb@whu.edu.cn)
魏秀琴(15871750333;weixiuqin@whu.edu.cn)
会场安排:
沈焕锋(13163235536;shenhf@whu.edu.cn)
李长冬(15327198910;lichangdong2008@126.com)
张 亮(15827200707;lzhang@whigg.ac.cn)
徐 鹏(13554674258;xupengwhu@whu.edu.cn)
学术安排:
王伦澈(13349889828;wang@cug.edu.cn)
庄艳华(13349889826;zhuang@apm.ac.cn)
李星华(15527964369;lixinghua5540@whu.edu.cn)
会议注册:
管小彬(18007973663;guanxb@whu.edu.cn)
赵 林(18071070948;linzhao@whu.edu.cn)
会议财务:
张传喜(13627137374;zhangchuanxi@whu.edu.cn)
石玉婷(13476286537;yutingshi@vip.qq.com)
商业赞助:
阮志敏(15871826028;ruanzm@whu.edu.cn)
黄文丽(13693626212;wenli.huang@whu.edu.cn)
会议服务,酒店预定,网站、注册系统服务:
曹雪峰(18971567453;carol@chytey.com)
金钰壹(18271358859;jinyuyi@whu.edu.cn)
注册缴费 提交稿件