基于多尺度特征融合的土地利用分类算法

计算机工程与设计

COMPUTER ENGINEERING AND DESIGN

Apr. 2020Vol. 41 No. 4基于多尺度特征融合的土地利用分类算法张 军解 鹏12!张 敏12!闫文杰12!石陆魁12 +（1河北工业大学 人工智能与数据科学学院，天津300401；2河北省科学技术厅河北省大数据计算重点实验室!天津300401）摘 要：针对土地利用分类中高空间分辨率遥感图像已标注样本少和传感器高度变化导致地物形变等问题！提出一种基于

多尺度特征融合的土地利用分类算法。通过对多个卷积层特征进行多尺度自适应融合！降低地物形变对分类精度造成的影

响。为进一步提高分类精度！利用预训练网络提取的深度特征对多尺度特征融合部分和全连接层进行预训练，采用增广数

据集对整个网络进行微调。实验结果表明！自适应融合方法改善了融合效果！有效提高了土地利用分类的精度。关键词：深度学习；迁移学习；卷积网络；多尺度特征；自适应特征融合；土地利用分类中图法分类号：TP399

文献标识号：A 文章编号：1000-7024 （2020） 04-1099-06doi： 10. 16208/j. issnl000-7024. 2020. 04. 033Landuseclassificationalgorithmbasedonmulti-scalefeaturefusionZHANG Jun12 & XIE Peng12 & ZHANG Min12 & YAN Wen-jie12? SHI Lu-kui12+(1. School of Artificial Intelligence, Hebei University of Technology, Tianjin 300401, China； 2. Hebei Provincial Key

Laboratory of Big Data Computing, Hebei Provincial Department of Science and Technology, Tianjin 300401, China)Abstract： Aiming at the problems of land use classification caused by the small amount of labeled samples in high-resolution re- motesensingimagesandthedefo4mationofg4oundobjectscausedbythechangeofsenso4height,alanduseclassificationalgo- rithm based on multi-scale feature fusion was presented. The impact caused by ground object deformation was reduced via multi­

scale adaptive fusion of multiple convolutional layers，features. To further improve the classification accuracy, the depth features extractedRromthepre-trainingnetworkwereusedtopre-trainthemulti-scaleReatureRusionpartandtheRulconnectionlayer,

and the augmented data set was used to fine-tune the whole network. Experimental results show that the adaptive fusion method

improvesOhefusionefecOsandOheaccuracyoflanduseclassificaionefecively.Key words: deep learning； transfer learning； convolution network； multi-scale feature； adaptive feature fusion； land use clasri- fication数研究成果）10*采用CNNs全连接（FC）层的输出作为图

2引言近年来，大量高空间分辨率遥感图像被应用于土地利 用调查。然而，高分图像地物组成丰富多样，空间格局复 杂多变，现有分类方法仍无法满足土地利用调查精确性要

像的最终表达。然而，Lu等口1*和Yue-Hri Ng等口2证明 了不同卷积层之间存在大量的互补信息。因此融合多层特

征图谱对于提高分类精度具有重要意义。然而直接连接多 个卷积层特征，不仅会导致卷积神经网络的参数规模过大,

求。土地利用分类成为一个极具挑战性的课题。相对于传 融合方法也缺乏灵活性口3*（为克服上述问题，本文在迁移学习思想的基础上提出 了一种基于多尺度特征融合的土地利用分类算法，简称为 TL-MFF （transfer learning and multi-scale feature fusion）。统的基于底层［12］、中层特征方法，卷积神经网络

（convolutional neural networks, CNNs） 所提取的高层语义 特征更具表达性，在土地利用分类中有突出表现67*。大多

收稿日期：2019-02-26；修订日期：2019-0417基金项目：国家自然科学基金项目（61702157）；天津市自然科学基金项目（16JCQNJC00400）；河北省自然科学基金项目（F2017202145） 作者简介：张军1976 -）,男，河北张家口人，博士，副教授，CCF会员，研究方向为智能信息处理；解鹏（1994 -）,男，河北衡水人, 硕士研究生，研究方向为智能信息处理；张敏（1993 -）,女，河北邯郸人，硕士研究生，研究方向为智能信息处理；闫文杰（1983 -）, 男，天津人，博士，副教授，CCF会员，研究方向为机器学习和数据挖掘；+通讯作者：石陆魁（1974 -）男，河北邯郸人，博士, 教授，CCF会员,研究方向为机器学习。E-mail: shilukui@scse. hebut.edu.cn・1100・计算机工程与设计2020 年多尺度特征融合部分采取多尺度池化方式提取每幅图像不 卷积层

有较强的泛化能力，且光学遥感图像与通用光学图像具有

征，并 征 自〕融训很 层 &所 ImageNet 集上训练的合，进而 练网

更准 深 征

征表示。迁移部分首先

征融合部分和全

CNNs UCM 和 WHU19 集 分类层义。在图像识别领域，已有包括AlexNet15*、CaffeNet16*、

GoogleNet17*和VGGNet18*在内的一些成功的CNNs架构。

训练，最后 个模型 微调，从而 最

整的 CNNs。本文在 UCMerced _ LandUse (UCM % 和

WHU-RS19 (WHU19%两个公开的遥感数据集上进行了实

所有这些在ImageNet14*上训练的CNNs模型都可以下载并

经常作为迁 )9*使用。为 遥 集，本文在迁验，验证了本文提岀的算法 算法移效果较好的AlexNet基础上进行改进，在第五层卷积层 后添加第六层卷积层，conv6层卷积核大小设为3 X 3&步

1基于多尺度特征融合的模型1.1模型结构长为1X1隐藏单元为256。对convl和conv6进行多尺度

征自 合，将融合后的特征表达输入到全

分类 和计算时

C,其中C为数据集的类别数。

层中。&将全 层 为三参

、激活函数与计算 和遥感场景小样本数据的限制，大型卷

积神经网 训练过程容易 过拟合。一种简单可行的 解决方法是利用基于ImageNet14*的预训练CNNs提取图像

层FG、FC2、FC3,每层的隐藏单元分别为1024、512和

优化器的选取等均与AlexNet保持一致。完整的TL-MFF 模型如图1所示。特征进行场景分类。在ImageNet上预训练的CNNs模型具

融合层FC】FC2图1 TL-MFF模型1.2多尺度特征融合传 化使得场景包含的地物对象尺度一 升。金变化明显(图2), 限 分类 字 化)0* (SPP)

征时能保留局部 )0*(金字位置信息，并且对物 化的结 层池化后

图3所示。将卷积层输

(”维％输入到金字塔池化，分别 个

征分辨率 化起来，生成固定 征向量(图3中生不同尺度的储罐图2飞机和储罐场景中物体的尺度变化成 征向量 为14Xn)。本文 层金字塔池化结不个卷积层特征 信息 ，在充分

卷积层有效信息的基础上，保留 部不同图像地物

维特征分别用SFi和SF2表示，然后两个特征分别乘以右

一的和入2，再将它们连接起来构成最终的特征融合向量输入到

信息。既针 ，又 小了网络参数规模。地

个卷积层 征 效 ，大大减全连接层FC。融合系数右和入2可以看作两个去除偏置的 神经元的权重，SFi和SF2作为输入，经过正向传播和反

征融合部分的方法如图4所示，这里省略其

它卷积层与全连接层。对卷积层convl和conv6进行融合,

向传 更强。断更新右和入2， 合 可 自 习经网络於

调节变得更加灵活，对卷

先将 层输 征向量 金字 化，将输 一第41卷第4期张军，解鹏！张敏！等：基于多尺度特征融合的土地利用分类算法卷积层输入 任意大小的 ・1101・由950张大小为600X600像素的图片组成，均匀分布在19 个场景类中。图5和图6为UCM与WHU19的一些示例图

维特征全连接层图3金字塔池化结构图4多尺度特征融合结构1.3 TL-MFF模型训练步骤训练TL-MFF模型分为两个步骤：预训练和调整。步骤1预训练。固定预训练AlexNet模型前五层卷积

层 &输入高分遥感图像 征融合部分和全连部分 充分 训练，保存

。步骤2调整。对训练集

（增强方法是将原图像分别旋转90度，180度& 270度&将训练集扩大至原 来的4倍），加载步骤1中保存的权重，将增强后的训练集

输入到网络中，利用随机梯

法对整个网络进行微调，得到最终完整的TL-MFF卷积神经网络。2实验和分析为了测试TL-MFF模型的土地利用分类性能，本文采

用UCM数据集和WHU19数据集分别测试该算法，同时 和较好的土地利用分类算法MS-CLBP5 , MS-CLBP-

FV5 , SICNN6 , GBRCN7 , CaffeNet + FV8 等进行 比较。2.1场景分类实验设置UCM是 型航空正射影像中人工采集的，包含21

个不同的土地类别，每类由100张大小为256X256像素的 图片组成，每一张图片的空间分辨率为1英尺。WHU19 数据集

Google Earth,它是一种全新的公开数据集，像。 UCM数据，每类数据随机选取80?作为训练样，其余作为测试 ； WHU19数据集，每类选取60?作为训练 & 作为测试 。

AlexNet对输入图像 定 寸 ，本文 双 法将所有图片的像素大小缩小为227X227。（g）密集型 （h）森林 （i）咼速公路（j）咼尔夫集型住宅（S）稀疏型 （t）储罐

（U）网球场住宅图5 UCM数据集@）机场 （b）沙滩 （c）桥梁 （d）商业区 （e）沙漠 （f）农田（g）足球场 （h）森林 （i）工业区 （j）草地 （艮）山区 （1）公园（m）停车场 （n）池塘 （o）港口 （p）火车站（q）住宅区 （r）河流图 6 WHU$9 数在实验中，两层金字塔池化层的池化网格均设置为1X

1、2X2、3X3,右和屁分别初始化为0.5和1。训练与微

调过程中，学习率设为0. 001, Dropout率设为0.5,优化WHU19随机梯 集 为法95，, 训练训练 UCM为 3\"\", 集设微调 为70为, 300。实验所用的硬件是两个型号为NVIDIA Tesla P40的

・1102・计算机工程与设计表1不同卷积层的融合结果2020 年GPU,处理器型号为 Intel Xeon E5-2680 v4 (2. 4 GHz),软

件环境为Ubuntu Server 16.04.1 LTS 64位操作系统、

Tensorflow 框架(方法6合后征35844928UCM精度/%WHU19 /%实验包括两个部分：特征融合实验；TL-MFF与现有 方法对比实验。2.2特征融合实验93.2396.6796.6596.5095.2010 620 630 695.4795.4795.9895.547168896089607168为了验证融合系数右和入2的有效性，本文做了有无融 合系数的对比实验，对比实验使用UCM数据集，特征融 合层为convl与conv6,其它参数保持不变。在无融合系数

40 650 696.6796.57的实验中，将convl与conv6生成的多尺度特征SFi与SF© 直接连接起来。在有融合系数的实验中，SFi和SF6分别 乘上自适应系数右和入6。实验发现，如果没有融合

95.98:,训练 行分类，

为12.80%,测试

SFi特征

为17.38%,几乎无法进分布范围大，SF6特征数&过 过 征值

农田飞机 棒球场密集型住宅

森林 高速公路 高尔夫球场

港口 十字路口 中等密集型住宅 拖车住房公园

立交桥 停车场 河流 跑道 稀疏型住宅

储罐 网球场分布范围力、，将两个

分类效果。有融合系数的实验，训练精度与测试精

度分别为99.81%和96. 67%。实验结果表明，自适应融合

可 除不同卷积层特征的分布 & 更 I融合分类，提高分类精度。为了验证多层特征融合的优势以及最优的融合方式&

本文做了 c6、1_ c6、c2_ c6、c3_ c6、c4_ c6 及 c5_ c6 的实

验， 方法实验5次，取平均值作为最终结果，见表1。其中为第-卷积层的多尺度特征，表示连接

(例如，c6代表单层多尺度池化，c 1_ c6代表第一层卷积的 多尺度特征与第六层卷积的多尺度特征融合方法)(从表1

可 , 单层 化 6 层 征合的方法，在多层特征融合的方法中(ci_ c6、c2_ c6、

c3_c6、c4_c6和c5_ c6),各方法精度差距较小，考虑到连

恤 囹卅(a) C6混淆矩阵接后特征 & TL-MFF模型 征融合方

度：用c1_c6。多层特征融合方法相对于单层多尺度池化方法的 势也可从图7的混淆

，图7 (a)为单层

池化方法，图7 (b)为ci_ c6多层特征融合方法。在

图7 (a)中建筑、密集型住宅和 图7 (b)

分类误 &在分类效果 明显提升。图8为c1_c6实验(即TL-MFF实验)的训练过程。从图8中可

，在调整过

达到收敛。200次后训练 和测试

2.3 TL-MFF与现有方法对比实验为进一步测试所提方法 效性&与已有方法进行比 较，这些方法在UCM数据和WHU19数据集上的平均精

度见表2。从表2中可以看岀，在UCM 集上，TL-

MFF 方法的准确率(96.67%)高于 M&CLBP5、MS-

CLBP-FV5、SICNN6，GBRCN7、CaffeNet+FV8 这些 囹 W ^3 M

(b) cl_c6混淆矩阵图7 UCM数据集混淆矩阵W方 法； WHU19 集， TL-MFF 方 法 比 MS-CLBP5、MS-CLBP-FV5、CaffeNet +FV8 获得了更高的 准 率 (95.47%)。第41卷第4期张军，解鹏！张敏！等：基于多尺度特征融合的土地利用分类算法・1103・预训练 调整间距离来进一步提高土地利用分类算法的性能。参考文献：[1* Zhou X, Wang K, Fu J. A method of SIFT simplifying and

matching algorithm improvement [C* //International Confe- renceonIndustrialInformatics-ComputingTechnology, Inteli­gent Technology, IndustrialInformation Integration\\IEEE,

2016： 73-77.[2* Konstantinidis D, Stathaki T, Argyriou V, et al. Building de­

tection using enhanced HOG-LBP features and region refinement

预训练 调整—train — test图8 TL-MFF训练过程表2不同土地利用分类方法的精度/?方法UCMWHU$9MS-CLBP[5*90. 6%±1. 493.4?±$.$MS-CLBP-FV[5*93. 0%±1. 294.32?±$.2GBRCN[7*94.53—SICNN[*96.00—CaffeNet+FV[*95.7$±0.6993.68±0.93TL-MFF96.6795.473结束语为了提取更准确、更全面的特征描述以及减小过拟合

风险，本文 一种基

征融合的土地 分类算法。多层

征融合充分

单个卷积层 征信息以及不同卷积层之间的互补信息。在两个 集上，通过实验验证了自

合卷积层 征更

合分类，并且验证

层特征融合征描述比单层

征描述更准确&实验结果表明本文方法

土地

分类方法然而，本文方法仍有不足之处，例如，对UCM数据

集内密集型 和中等密集型 分类不太理想，个 类别 是结构密度存在微

&类间&未 作将通过 深 征类内距离， 类

processes [J*. IEEE Journal of Selected Topics in Applied

Earth Observations and Remote Sensing& 2017, 10 (3)： 888-905\\[3* Zhu Q, Zhong Y, Zhao B, et al. Bag-of-visual-words scene

claDifierwithlocalandglobalfeatureDforhighDpatialreDolution

remote sensing imagery [J*. IEEE Geoscience and Remote SensingLeters, 2016, 13 (6)： 747-751\\[4* FENG Fajie, LI J unping & DING Yazhou, et al. High-resolu-

tionremotesensingimagetargetdetectionbasedon multi-scale

visual feature combination [J*. Journal of Applied Sciences&

2018, 36 (3)： 471-484 (in Chinese).[冯发杰，吏军平，丁

亚洲，等.基于多尺度视觉特征组合的高分遥感影像目标检测 [J*.应用科学学报，2018, 36 (3)： 471-484.][5* Huang L, Chen C, Li W, et al. Remote sensing image scene

classificationusing multi-scale completed local binary pat erns

and fiDher vectorD [J*\\Remote SenDing, 2016, 8 (6)： 483\\

[6* LiuY, ZhongY, ZhaoJ, etal\\SceneDemanticclaDDification

baDed onDcale invariance convolutional neural networkD [C* //

IEEEInternationalGeoDcienceandRemoteSenDingSympoDium\\Fort Worth： IEEE, 2017： 4754-4757.[7* ZhangF, DuB, Zhang L\\Scene classification via a gradient

boostingrandomconvolutionalnetworkframework [J*\\IEEE Transactionson Geoscience and Remote Sensing, 2016, 54 (3)\"1793-1802\\[8* LIU Yi, ZHUANG Ziqi, YAN Li, etal\\Combined Fisher

kernel coding framework with convolutional neural network for

remotesensingsceneclassification [J*\\RemoteSensingInfor- mation& 2018, 33 (4)： 815 (in Chinese).[刘异，庄姊琪,

闫利，等•联合Fisher核编码和卷积神经网络的影像场景分类 [J*.遥感信息，2018, 33 (4)： 815.][9* ChaibS, Liu H, Gu Y, etal\\DeepfeaturefusionforVHR

remotesensingsceneclassification [J*\\IEEE Transactionson

GeoscienceandRemoteSensing, 2017, 55 (8)： 4775-4784\\[10* Liu Y, Huang C\\Scene classification viatriplet networks

[J*\\IEEEJournalofSelectedTopicsinAppliedEarthObser-

vations and Remote Sensing, 2018, 11 (1)： 220237.[11* LiuL, Shen C, Van den Hengel A\\The treasure beneath

convolutional layers： Cross-convolutional-layer pooling for imageclassification [C* //Proceedings of the IEEE Confe-

・1104・计算机工程与设计2020 年rence on Computer Vision and Pattern Rccognition. Boston： IEEE, 2015： 4749-4757.[12* Yuc-Hri Ng J, Yang F, Davis LS. Exploiting local features

from deep networks for image retrieval [C* //Proceedings of theIEEEConferen eonComputerVisionandPaternRe ogni- tion Workshops.Boston： IEEE, 2015： 53-61.ar hite tureforfastfeatureembedding [C*//Pro eedingsof the22ndACMinternational onferen eon Multimedia, 2014\" 675-678.[17* SzegedyC, Liu W, JiaY, etal.Goingdeeperwith onvolu-

tions [C*//Pro eedingsoftheIEEEConferen eonComputer

VisionandPaternRe ognition.Boston\"IEEE, 2015\"1-9.)3* Liu Y, Liu Y, Ding L. Scene cl assiiication based on two-

stagc deep feature fusion [J*. IEEE Geoccicncc and Remote Sensing Letters, 2018, 15 (2)： 183-186.[18* SimonyanK, ZissermanA.Verydeep onvolutionalnetworks

forlarge-s aleimagere ognition [J*.arXivpreprintarXiv\" 1409.1556, 2014.[14* RussakovskyO, DengJ, Su H, etal.Imagenetlarges ale

[19* MarmanisD, Dat u M, Es h T, etal.Deeplearningearth

visualre ognition halenge [J *.International Journal of

ComputerVision, 2015, 115 (3)\"211-252.[15* KrizhevskyA, SutskeverI, HintonGE.Imagenet lassifi a-

tionwithdeep onvolutionalneuralnetworks [C*//Advan es

inNeuralInformationPro essingSystems.USA\"CurranAs- so iates, In , 2012\"1097-1105.[16* JiaY, ShelhamerE, DonahueJ, etal.Cafe\"Convolutional

observation lassifi ationusingImageNetpretrainednetworks

[J*.IEEEGeos ien eandRemoteSensingLeters, 2016, 13 1)\"105-109.[20* HeK, Zhang X, RenS, etal.Spatialpyramidpoolingin

deep onvolutionalnetworksforvisualre ognition [J*.IEEE

Transa tionson Patern Analysisand Ma hineInteligen e, 2015, 37 (9)\"1904-1916.