导 读

跟着遥感数据量和种类的爆炸式增长，传统的分析规范已无法知足紧密地物感知的需求，亟需进步与之相匹配的多模态遥感大数据处理与分析能力。面前，以东谈主工智能（AI）为中枢的大模子工夫迅猛发展，为处置遥感大数据在信息索乞降分析方面的不及提供了新的可能性。因此，发展多模态遥感AI大模子的对地不雅测新范式已成为业内共鸣和盘问前沿。

图片

图1 图文节录

多模态遥感大数据。跟着来自各式不雅测平台（包括星载、机载和地源）遥感数据的数目和万般性不休增多，凸显出进犯需要使用AI工夫提高遥感大数据的多模态处理和分析能力。这种快速彭胀不成幸免地会带来挑战性的难题：1）现存模子在信息索乞降分析能力方面显着不及；2）灵验充分欺诈多模态遥感大数据是一个舛错瓶颈；3）在深度信息挖掘和应用同质化方面存在显耀不及。

多模态遥感大模子。为了克服上述难题，盘问东谈主员骁敢于开发高精度遥感智能讲明系统。该系统封装了轮回链经过：欺诈不雅测平台，获取多模态遥感大数据，开发多模态AI大模子，应用于本色客户端，并最终反应灵验载荷和平台的考据和设想。该系统的斥地取决于几个要道身分，即渊博多模态遥感大数据的整合、高性能诡计能力的欺诈以及遥感大模子的集成。在现在的情况下，知足前两个身分的条件在很猛进程上是不错达成的。干系词，一个繁密的退却在于穷乏定制的多模态AI大模子，无法灵验弥合遥感大数据与高性能诡计能力之间的差距。大模子大致从遥感大数据中透澈挖掘和索求信息，旨在挤出每一位信息。这标识着统计、物理和大数据的发展插足了大模子时期。

光谱遥感大模子（SpectralGPT）。面前，以遥感大模子为中心的预熟练工夫出现了显耀的激增，SpectralGPT的建议是特意为光谱遥感数据设想的光谱遥感大模子的第一个实例。SpectralGPT在一个等闲的数据集上进行熟练，该数据集包括超越100万张大小、分离率、时辰序列和区域不同的多源光谱遥感图像。SpectralGPT的模子参数超越6亿，是现在遥感规模中最大的光谱大模子。此外，SpectralGPT在鼓吹地学规模的遥感大数据应用方面，终点是在四个下流任务（单标签场景分类、多标签场景分类、语义分割和变化检测）中，推崇出繁密的后劲。

追忆与瞻望

多模态AI大模子代表了遥感大数据分析的往常，为各式对地不雅测任务开释多模态遥感大数据固有的后劲。这些模子大致灵验欺诈多模态遥感大数据的丰富性，为处置对地不雅测应用的复杂性提供了一个强盛的框架。通过归拢不同的数据类型和格式，这些模子增强了咱们对地球名义和环境的总体合股和分析。向多模态大模子的滚动预示着在优化遥感大数据用于各式对地不雅测经营方面取得了可喜的进展，标识着该规模插足了一个变革时期。

职守裁剪

凌   飞   西北农林科技大学

姜亮亮   University of Calgary

原文都集：https://www.the-innovation.org/article/doi/10.59717/j.xinn-geo.2024.100055

本文内容来自The Innovation姊妹刊The Innovation Geoscience第2卷第1期以Editorial发表的“Multimodal artificial intelligence foundation models: Unleashing the power of remote sensing big data in earth observation” (投稿: 2024-01-30；经受: 2024-03-06；在线注销: 2024-03-14)。

DOI: https://doi.org/10.59717/j.xinn-geo.2024.100055

援用阵势：Hong D., Li C., Zhang B., et al., (2024). Multimodal artificial intelligence foundation models: Unleashing the power of remote sensing big data in earth observation. The Innovation Geoscience 2(1), 100055.

作家简介

图片

张 兵（通信作家），中国科学院空天信息立异盘问院盘问员、博士生导师、副院长。主要从事高光谱遥感与遥感大数据盘问，是国际电气与电子工程师学会会士（IEEE Fellow）、中国地舆学会（GSC）会士、国度凸起后生科学基金赢得者、国度万东谈主绸缪科技立异领军东谈主才；发表SCI论文230余篇、EI论文180余篇，是科睿唯安“大众高被引科学家”，出书高光谱遥感学术专著10部，获国度发明专利40多项；赢得过IEEE国际地球科学与遥感学会亚太区域首领奖（GRSS RLA），以及国度科技跳跃二等奖2项、中国科学院凸起科技配置奖1项、队列科技跳跃一等奖2项、北京市科技跳跃一等奖2项/二等奖2项、中国航天基金会航天孝敬奖1项等科技奖励；现在担任《遥感学报》奉行主编、IEEE TGRS 副主编、中国地舆学会遥感地舆专委会主任委员、IEEE国际高光谱图像与信号处理大会（WHISPERS）工夫委员会委员。

图片

李晨玉，中国科学院空天信息立异盘问院、东南大学合股培养博士生，主要盘问地方为可讲明性东谈主工智能、遥感大数据预测、高光谱遥感、智能感知等。

图片

洪丹枫，中国科学院空天信息立异盘问院盘问员，博士生导师，遥感与数字地球要点实践室副主任，中国科学院大学岗亭讲授，国度优秀后生基金（外洋）赢得者，科睿唯安“大众高被引科学家”。曾为德国宇航中心（DLR）的盘问员兼“光谱视觉”课题组组长、法国傅立叶实践室（GIPSA Lab）客座盘问员，德国亥姆霍兹合股会东谈主工智能盘问院（HACUI）AI科研守护人。主要盘问地方为东谈主工智能、多模态遥感、基础大模子、高光谱成像、大圭臬地学应用、智能感知等。盘问后果在IEEE TPAMI、RSE、ISPRS、CVPR、NeurIPS、ECCV等顶级期刊/会议180余篇， Google Scholar援用12000+，赢得IEEE GRSS 凸起后生奖（Early Career Award）、国际高光谱顶级会议WHISPERS凸起论文奖（Jose Bioucas Dias奖）等。