近期，我院陈昭老师课题组在遥感图像处理领域进展良好，提出张量分析深度网络的构造框架，成功用于多个遥感大数据分析领域，发表多篇SCI一/二区期刊论文和权威会议论文。主要成果如下：

1.新型张量网络及其在热带气旋定强的应用

该工作基于热带气旋的多光谱遥感图像，提出一种新型的深度学习网络：张量网络。多光谱和高光谱遥感图像都是高维数据，具有两个空间维和一个光谱维，其中光谱维涵盖数个到数百个波段，蕴含丰富信息。相较于单波段红外图像，多光谱图像能够反应热带气旋更多特征，我国风云四号气象卫星的多通道数据具有较高的光谱分辨率，为精准分析发源于西北太平洋的热带气旋提供数据支持，有利于提升台风预报等气象业务水平。然而，高维图像往往含有大量冗余数据，普通的卷积神经网络无法自动剔除无用数据。为解决以上问题，该工作采用张量表示多光谱图像，以保持多光谱图像的原有数据结构并提取有物理意义的多维特征；揭示张量分析与神经网络的数学联系，利用张量缩并这一运算操作统一表达张量分解、卷积、池化、全连接，构建深度张量网络，提取高维图像的非线性隐含低秩特征；将提出的网络成功用于风云四号气象卫星多通道数据分析以及热带气旋定强，验证风云四号数据的应用价值。提出的热带气旋定强架构和张量网络结构如下图所示。本工作发表在SCI一区期刊IEEE Transactions on Geoscience and Remote Sensing，影响因子8.2，标题为A novel tensor network for tropical cyclone intensity estimation，一作与通讯作者为陈昭老师，学生一作为研究生于兴兴，迄今被引26次。

基于多光谱图像的热带气旋定强框架

张量网络结构

2. 全监督和半监督张量混合网络及其在地物识别的应用

该工作基于农田、城市等地物的高光谱遥感图像，提出全监督和半监督张量混合网络。除了高维图像的数据冗余性，对地高光谱遥感图像还存在其他两个问题：光谱变异性和标注稀缺性。受制于硬件条件，图像的空间分辨率和光谱分辨率相互制约，因此高光谱遥感图像具有光谱变异性，表现为“异物同谱”和“同谱异物”现象，给地物识别造成困难。对地遥感成像一般覆盖广袤区域，而逐像素精准人工标注需要实地勘测且费时费力，这种矛盾导致标注稀缺性。为解决以上问题，本工作利用张量分析和卷积网络的数学相通性，将张量分析和卷积池化深度混合，构建多种张量混合网络，表达不同形式的空谱特征；提出全监督和半监督学习框架，将构造的网络嵌入其中，分别满足精准标注和稀缺标注条件下的地物识别需求。提出的张量混合网络结构以及全/半监督地物分类框架如下图所示。此工作发表在SCI二区期刊IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，标题为Hybrid Tensor Networks for Fully Supervised and Semisupervised Hyperspectral Image Classification，一作为研究生修亚辉，通讯作者为陈昭老师。

三种张量混合网络结构

基于高光谱图像的全监督（左）和半监督（右）地物分类框架

3. 亚象元特征引导的自监督张量链及其在地物变化检测的应用

该工作基于农田、城市等地物的多时相高光谱遥感图像，提出新型的张量网络：亚象元特征引导的自监督张量链。多时相高光谱遥感图像不仅具有两个空间维、一个光谱维，还有一个时间维，能够反映观测对象的空谱特性及其随时间的变化，为地物变化检测及相关应用（地质灾害监测、环境变迁监测、城市建设规划等）提供数据支持。除了高维图像的数据冗余性、高光谱图像的光谱变异性，多时相高光谱遥感图像还存在更深层次问题：光谱变异导致变化类别极易混淆，而地物变化往往反映在细微特征差异中，对于变化检测任务，像素级分析可能无法分辨不同地物变化类别；多时相遥感图像多来源于长时间动态观测场景，标注多时相遥感图像比标注单时相图像更为困难，在地震等突发性灾害监测场景中甚至无法及时进行人工标注。前期工作验证了张量网络的可行性和有效性，然而缺乏对张量网络特征表达能力的理论解释。为解决以上问题，本工作提出亚象元特征引导的自监督张量链，无需任何人工标注，即可有效表达多时相高光谱图像的低秩“时-空-谱”特征，并实现高精度的地物变化检测；而且还从量子信息的角度证明张量链比单次Tucker张量分解具有更为强大的低秩特征表达能力，为张量网络学习的可解释性提供依据。提出的自监督变化检测框架如下图所示。此工作发表在SCI一区期刊IEEE Transactions on Geoscience and Remote Sensing，标题为Self-Supervised Change Detection with Nonlocal Tensor Train and Subpixel Signature Guidance，一作为研究生吴浩楠，通讯作者为陈昭老师。

基于高光谱亚象元特征引导和自监督张量链的地物变化检测框架

技术创新点：

1.揭示张量分析和卷积网络之间的数学联系

2.提出适用于不同监督条件的张量分析深度网络

3.从量子信息的角度解释张量网络的特征表达能力

应用领域：遥感大数据分析

通讯作者：陈昭

联系方式：chenzhao@dhu.edu.cn