基于深度学习和多源数据融合的建筑物精细属性识别

      建筑物是现代城市的标志之一，提取它们的属性及空间分布对大尺度的城市理解具有重要意义。随着城市化进程的加快，城市建筑的属性发生了明显的变化。许多建筑物的属性数据，如土地利用类型、建筑物轮廓、楼层数、高度等，都存在数据缺失或时效性差等问题。高分辨率遥感数据在建筑物实例分割和目标检测任务中表现良好，但由于遥感数据可获得的信息有限，大多数现有研究仍然面向粗属性，如建筑群、道路、绿地和水体等。相比之下，街景数据拥有可以提取建筑立面特征的优势，在建筑精细属性识别任务中具有巨大的潜力。然而，在同时使用遥感数据和街景数据时，会出现数据缺失、分布不一致等问题，为两类数据的正确匹配带来挑战。
      在这项研究中，我们提出了一个新的框架，该框架支持多源异质数据的输入，实现了卫星影像的建筑轮廓提取和街景影像的精细属性识别。我们的研究基于本课题组最新发布的OmniCity数据集（已被CVPR 2023收录），并选择了其中两个子数据集，分别是卫星级任务的小视角数据集和街景任务的全景数据集，一共包含约25,000张卫星图像和18,000张全景图像。卫星影像上的每个建筑轮廓和全景图上的每个建筑立面都被赋予了几个关键属性，如土地使用类型、高度和楼层数等。训练集和验证集的比例设定为4:1，测试集为从纽约布鲁克林的一个新区域收集的新数据。
      本研究首先基于卫星图像数据集提取建筑轮廓，并进一步将其矢量化为带有精确地理标记的轮廓多边形。其次，运用深度学习方法实现全景图像上的建筑立面实例分割和属性分类任务，以获得相应建筑的精细属性。为了实现提取的属性和独栋建筑之间的匹配，我们提出了一种新的方法。该方法首先结合街景图像上的检测结果确定一个角度范围，并选取一个固定值作为距离阈值，在卫星视角上形成一个扇形候选区域。随后基于建筑物底座生成密集匹配点以代表对应的建筑。为了减少匹配误差，我们添加了匹配点与角度之间的约束，计算出符合条件的匹配点与相机位置的距离，然后将属性与最近邻匹配点所对应的建筑实例相匹配。最后，根据匹配结果，将建筑物层面的精细属性制作为细粒度属性专题图。实验结果表明，我们提出的方法可以为建筑属性统计缺失的地区提供有效信息，在城市管理规划、动态监测、未来发展布局等方面显示出巨大的潜力。

深度学习,街景数据,城市遥感