2024年6月15日发(作者：)

基于XGBoost集成深度学习的红外与可见光图像识别方法

摘要：本文以红外与光学成像为研究对象，提出采用XGBoost集成深度学习算法，通

过对光学图像首先采用了镜像翻转、图像分割、灰度化与归一化等图像预处理手段对样本

数据进行修正，研究了在小样本数据集中四种算法的性能表现。结果表明：对于小样本数

据集，随机森林和 XGBoost 的训练效果最好，准确率达98.75%，优于其他几种算法。

关键词：红外可见光图像；目标识别；决策树；集成学习；深度森林；

1.绪论

在过去的几十年里，红外与光学结合的图像识别方法得到了广泛的研究，相关研究

者在早年大多数方法是基于传统的人工特征来训练分类器，设计了如 K 近邻分类器、支持

向量机分类器等众多经典分类器。在分类器设计领域中，随机森林与集成学习算法[1-3] 是

一类非常简单高效的代表性算法。简单的神经网络无法保证在输入图像发生旋转或局部变

形时的训练效果，针对以上问题，卷积神经网络方法大大提高了准确率以及参数模型的训

练速度[4,5]。在分类器设计方面，SVM（支持向量机）、RF(随机森林)、XGBoost（进化

梯度提升算法）[6-8] 等多种分类算法都十分高效，基于树模型的深度学习与集成学习方法

更容易进行理论分析，本文主要研究了以决策树理论为基础的深度集成方法[9-12]。

2.问题描述

假设红外/可见光图像训练集为个训练样本，其中是数据样本，是类别标签，考虑数

据样本，即样本数据有个属性，假设第个属性有个可能的取值，表示取值的集合，，按照

属性对数据进行分类，会的到个分支，即第个分支上的样本数据集取值均为。

决策树模型由节点和有向边组成, 节点分为内部节点与叶节点。决策树建模分为学习

过程和生成过程，根据不同的目标函数，建立决策树的分裂算法优化准则，主要包括：信

息增益、信息增益率和基尼系数。本文采用基于基尼系数(Gini)系数的CART决策树生成算

法。在此基础上，采用集成的深度学习算法对图像进行属性识别。

3 红外与光学图像的深度集成算法

3.1 Boosting 与 XGBoost算法

Boosting 方法的原理是利用贪心算法的思想，经过多次迭代，逐渐累积多个弱评估

器，从而得到更加精确的强分类器。在累积的过程中借助了凸损失函数在函数空间进行梯

度下降，其中代表性的算法包括 AdaBoost(Adaptive Boosting) 算法、BDT (Gradient

Boosting Decision Tree) 算法和 XGBoost(e Xtreme Gradient Boosting) 算法[6, 13]，

本文选择 XGBoost 这种高级决策树集成算法作为主要研究对象，其动态建模过程如图1所

示[13]：利用了贪心算法的思想，先建立一棵简单的决策树，然后逐渐迭代，在迭代过程中

每次中都增加一棵树，逐渐形成一种集成了众多树模型的强分类器。

对于 XGBoost 来说，每个叶子节点上会一个概率估计得到的预测分数，称之为叶子权

重，用 或者来表示，其中表示第棵决策树，表示样本所对应的特征向量。当只有一棵树的

时候，就是返回的结果；多棵树的时候，所有树的预测分数相加得出对应的回归结果。

图1. XGBoost的动态建模过程

XGBoost算法主要由以下三部分组成：

（1）损失函数的定义。XGBoost算法的损失函数与模型复杂度结合起来，从而既可