近日，我院IBE团队林涛研究员课题组在遥感领域国际顶级期刊《Remote Sensing of Environment》上发表题为“Towards interpreting multi-temporal deep learning models in crop mapping”的研究论文。针对深度学习驱动的多时相作物制图方法缺乏可解释性的问题，本研究提出了一种多视角分析框架，融合“输入特征重要性评估、隐藏层特征转化分析、软输出分析”等研究方法，实现了对遥感时间序列数据中的关键时期和重要波段的识别，结合农学和遥感等领域的知识验证了基于深度神经网络的作物分类模型的可靠性。本研究是林涛研究员课题组聚焦农业大数据和人工智能技术赋能作物生产的又一项突破，探究了深度学习模型在多时相作物分类领域具有优越性的机理，为大规模动态作物制图中的模型可靠性评估提供了有效的支持手段。

可靠及时的作物空间分布图对于监测动态作物生长和评估农业资源以实现粮食安全至关重要。近年来兴起的深度学习方法，能够充分挖掘遥感数据中的有效信息，增强对作物生长模式的表征，从而提升作物制图精度和模型泛化能力。然而，深度神经网络的特征学习过程常被认为是“黑箱”而备受质疑，缺乏完备的模型可解释性已逐渐成为限制其实际应用的关键瓶颈。因此理解深度学习模型复杂的判别模式和工作机制至关重要。

本研究提出了一个针对多时相作物制图中的深度学习模型可解释性研究的多视角分析框架。为了验证分析方法的有效性，本研究构建了基于注意力的长短期记忆（AtLSTM）模型、Transformer 模型和随机森林模型进行玉米和大豆的分类实验。基于梯度信息的输入特征重要性评估表明，分类模型可以有效识别区分玉米和大豆的关键时期，并将短波红外波段视为较重要的波段；隐藏特征分析显示，AtLSTM模型利用递归网络结构累积了生长期间的有用信息，而 Transformer 模型在每一层自注意力层提取了对高级特征的学习有重要贡献的时序信息。季中分类场景下的软输出分析利用归一化后的模型预测得分，证明了输入时间序列长度的增加提高了模型对分类结果的信心。该研究还进行了不同区域和年份的评估实验，验证了可解释性研究方法在农业生产时空异质性突出情况下的适用性。

本研究最后总结了可解释性分析方法在农业遥感领域的一些潜在应用场景：（1）从多时相多光谱遥感数据中识别关键时期和波段；（2）比较不同模型结构在特定场景下的适用性；（3）阐释深度神经网络将输入特征逐层转化为更高级抽象的特征表示的过程；（4）服务于大尺度下的时空异质性分析。

IBE团队2021届硕士徐金凡和在读博士生杨杰为论文的共同第一作者。论文通讯作者为林涛研究员。合作单位包括中南大学地球科学与信息物理学院，浙江大学农业遥感与信息技术应用研究所，和美国伊利诺伊大学厄巴纳-香槟分校。本研究受到国家自然科学基金和浙江大学的资助。

原文链接：https://www.sciencedirect.com/science/article/pii/S0034425721003199

生物系统工程与食品科学学院

2021年7月25日