随着全球城市化进程的快速推进，城市的扩展迅速，城市用地量逐年增大，土地利用及城市用地结构发生着明显且频繁的变化。准确、精细地（精确到单个建筑物地）掌握城市土地资源的数量以及质量是城市规划与管理的重要基础，对经济可持续发展以及城市规划有重要作用。街景数据在精细用地类型识别方面具有明显的优势，能够用于识别广泛的建筑物实例属性，例如建筑物层数、高度等几何属性，适用于对城区地物开展实例级的单个建筑物信息提取。得益于图像识别深度神经网络的发展，利用深度学习目标检测和实例分割算法能够有效提取街景图像中的建筑物，并基于其立面纹理信息和几何信息提取细粒度建筑物属性。然而，深度学习模型训练往往需要大量的人工标注数据，标注过程费时费力，且易受主观因素的影响，为相关工作的开展带来挑战。
    在这项研究中，我们提出了一个基于实例分割深度学习模型和GIS数据的街景图像建筑物多任务标注自动生成方法，实现了大规模街景图像的高效率标注，为下游任务提供了有效的先验知识和数据基础。本研究基于本课题组最新发布的OmniCity数据集（已被CVPR 2023收录），选择其中用于街景任务的全景数据集，一共包含18,000张精细标注的全景图像，每个建筑立面均标注有若干关键属性，如土地使用类型、高度和楼层数等。此外，本研究还额外采集了7000张与OmniCity数据集不重叠的街景图像，用于测试标注自动生成的效果。
    本研究首先基于OmniCity数据集训练目标检测和实例分割深度学习模型，用于识别街景图像中的建筑物立面几何信息（位置、大小和轮廓形状）。其次，在GIS数据支持下，模拟真实街道场景，利用简化的平面光线追踪算法提取街景图像视野范围内的可见建筑物立面，并将其与对应的GIS数据相匹配，获取建筑物立面的属性信息（包括用地类型、楼层数、建筑物高度和建筑年龄等）。最后，将以上两个步骤提取得到的建筑物立面几何信息和属性信息进行配对，并自动生成COCO数据集格式的图像标注，该标注可直接用于下游深度学习任务的训练与验证。实验结果表明，我们提出的方法能够对街景图像中的建筑物立面实例进行大规模高效率的标注，有效解决了深度学习技术应用于大规模街景图像所面临的数据标注问题，为大范围精细化城市理解及智能监测提供了可行的解决方案。

深度学习,GIS,自动标注,街景数据