随着多平台对地观测技术的发展，基于单一数据源的语义分割方法越来越难以满足地表覆盖精细分类、城市立体监测与动态规划等需求。与单一数据源相比，多模态数据可以提供更加丰富的地物信息，以及弥补单一数据源缺失或者质量较差等问题，有助于获得更高的语义分割精度及实现更好的地物解译效果。高分遥感影像和点云数据具有良好的互补优势，二者数据融合语义分割具有重要前景。然而，受限于影像和点云在数据维度和数据结构方面巨大的差异，构建多模态融合语义分割网络仍面临着重大挑战，现有研究存在以下不足： 1）当前方法往往需要在数据预处理阶段进行数据转化，并输入深度学习网络，数据转换过程不可避免带来严重的信息损失；2）异构的影像和点云深度特征难以有效融合。为此，本研究设计了一种端到端的多模态点云和影像融合语义分割网络Point-Image Fusion Network（PIF-Net）。它可以在不进行数据转化的前提下，直接输入点云与影像数据，在经过特征提取网络和层次化特征融合网络后同时获得二者的语义分割结果。具体而言，PIF-Net通过设计双分支多任务网络，在输入端接受影像和点云的同时输入。首先采用双分支的残差网络提取多尺度、鲁棒的点云和影像深度特征；其次提出层次化融合模块Hierarchical Fusion Module（HFM）实现异构点云和影像深度特征的高效交互和融合；最后设计多任务网络，同时输出点云和影像的语义分割预测结果。将本方法在IEEE Urban Semantic 3D数据集和ISPRS Vaihingen数据集上的测试与验证结果显示，PIF-Net与当前最新水平的图像和点云语义分割方法相比可带来显著的精度提升。由此表明，所提出的方法在多源遥感监测方面具有实际意义与价值。

随着多平台对地观测技术的发展，基于单一数据源的语义分割方法越来越难以满足地表覆盖精细分类、城市立体监测与动态规划等需求。与单一数据源相比，多模态数据可以提供更加丰富的地物信息，以及弥补单一数据源缺失或者质量较差等问题，有助于获得更高的语义分割精度及实现更好的地物解译效果。高分遥感影像和点云数据具有良好的互补优势，二者数据融合语义分割具有重要前景。然而，受限于影像和点云在数据维度和数据结构方面巨大的差异，构建多模态融合语义分割网络仍面临着重大挑战，现有研究存在以下不足： 1）当前方法往往需要在数据预处理阶段进行数据转化，并输入深度学习网络，数据转换过程不可避免带来严重的信息损失；2）异构的影像和点云深度特征难以有效融合。为此，本研究设计了一种端到端的多模态点云和影像融合语义分割网络Point-Image Fusion Network（PIF-Net）。它可以在不进行数据转化的前提下，直接输入点云与影像数据，在经过特征提取网络和层次化特征融合网络后同时获得二者的语义分割结果。具体而言，PIF-Net通过设计双分支多任务网络，在输入端接受影像和点云的同时输入。首先采用双分支的残差网络提取多尺度、鲁棒的点云和影像深度特征；其次提出层次化融合模块Hierarchical Fusion Module（HFM）实现异构点云和影像深度特征的高效交互和融合；最后设计多任务网络，同时输出点云和影像的语义分割预测结果。将本方法在IEEE Urban Semantic 3D数据集和ISPRS Vaihingen数据集上的测试与验证结果显示，PIF-Net与当前最新水平的图像和点云语义分割方法相比可带来显著的精度提升。由此表明，所提出的方法在多源遥感监测方面具有实际意义与价值。