改进的YOLACT算法在垃圾实时分类检测的技术研究

2024年3月22日发(作者：)

2022年5月15日

第45卷第10期

现代电子技术

ModernElectronicsTechnique

May2022

Vol.45No.10

引用格式：沈钧诣，郭慧，周邵萍.改进的YOLACT算法在垃圾实时分类检测的技术研究[J].现代电子技术，2022，45（10）：115⁃118.

DOI：10.16652/.1004⁃373x.2022.10.022

115

改进的YOLACT算法在垃圾实时分类

检测的技术研究

沈钧诣

1

，郭

（1.华东理工大学机械与动力工程学院，上海

摘

2

慧

1，

，周邵萍

1

200237；2.山东省临沂市河东区工业和信息化局，山东临沂276000）

要：针对垃圾目标分类检测中物体重叠检测效果差的问题，文中设计一种改进YOLACT图像分割模型，并应用于

垃圾实时检测中。根据COCO数据集制作适用于垃圾分类的数据集，通过YOLACT图像分割模型进行训练和评估监测，改

进YOLACT的主干网络模块；使用Swish激活函数调整Resnet进入层模块和下采样模块以提升图像特征，同时改进YOLACT

结构的检测模块；再使用Pointrend方法对检测出的分割结果与特征图像进行多层感知机（MLP）迭代融合，渲染深化边缘点

特征，以融合得到的新掩码层取代原输出的掩码层。最后，进行改进YOLACT算法、SOLO算法、Mask⁃RCNN算法比较和消

融实验。结果表明，改进YOLACT算法可提升精度、速度及垃圾图像分割的边缘效果，能够解决一部分垃圾重叠检测问题，

在垃圾实时检测方面有较好的应用价值。

关键词：垃圾识别；分类检测；改进YOLACT；图像分割；多层感知机；数据融合；结果分析

中图分类号：TN911.73⁃34；X705文献标识码：A文章编号：1004⁃373X（2022）10⁃0115⁃04

TechnicalresearchonimprovedYOLACTalgorithmingarbage

SHENJunyi

1

，GUOHui

1，2

，ZHOUShaoping

1

classificationreal⁃timedetection

（ofMechanicalandPowerEngineering，EastChinaUniversityofScienceandTechnology，Shanghai200237，China；

IndustryandInformationTechnologyBureau，Linyi276000，China）

Abstract：Inallusiontotheproblemofpoorobjectoverlapdetectioningarbagetargetclassificationanddetection，an

improvedYOLACTimagesegmentationmodelisdesigned，whichisappliedtothegarbagereal⁃ingtothe

training，evaluationandmonitoringit，shactivationfunctionis

COCOdatasets，adatasetsuitableforgarbagesegmentationismade，andtheYOLACTimagesegmentationmodelisusedfor

usedtoadjusttheResnetentrylayermoduleanddown⁃samplingmoduletoimproveimagecharacteristics，whilethedetection

ntrendmethodisusedtoperformtheiterativefusionofMLP（multi⁃layer

perceptron）betweenthedetectedsegmentationresultsandthefeatureimage，renderdeepentheedgepointfeatures，and

Mask⁃RCNNalgorithmandultsshowthatthe

oodapplicationvalueingarbagereal⁃timedetection.

datafusion；resultsanalysis

repACTalgorithm，SOLOalgorithm，

improvedYOLACTalgorithmcanimprovetheaccuracy，detectionspeedandtheedgeeffectofgarbageimagesegmentation，and

Keywords：garbagerecognition；classificationdetection；improvedYOLACT；imagesegmentation；multilayerperceptron；

0引言

之一，也是造成环境污染、资源再利用的困难根源之

一，随着我国经济的高速发展，城市规模逐渐扩大，城

镇人口增多，城市生活垃圾的产量迅速增长

[1]

。目前，国

外在垃圾分类领域已经使用计算机视觉技术作为提升

垃圾分类效果的手段，例如加拿大的“奥斯卡”垃圾桶、

日本的“ZenRoboticsRecycler”垃圾分拣系统、FANUC

垃圾分类是当下制约着我国环保事业发展的瓶颈

收稿日期：2021⁃10⁃19修回日期：2021⁃11⁃29

基金项目：国家自然科学基金项目（51575185）

116

现代电子技术

实例如图1所示。

2022年第45卷

视觉分拣机器人

[2]

。我国垃圾分类也迫切需要引入计算

机视觉技术，让智能垃圾分类更加便利，逐渐普及。

目前，目标检测算法因为模型小，速度快，在垃圾分

类中已得到初步应用，但是它对重叠物体容易存在漏判

误判现象。马雯等基于改进FasterR⁃CNN方法研究了

垃圾检测与分类，检测对象都是单个物体，不涉及重叠

物体

[3]

；宁凯等在研究基于视觉感知的智能扫地机器人

的垃圾检测与分类中，使用YOLOv2为主网络，识别研

究不同环境下的物体

[4]

；白阳等基于SSD研究了可回收

垃圾检测，提高了小物体的识别效率

[5]

。在垃圾分类领

域，像素级的图像分割未得到很好的使用，究其原因主

要是由于实时检测的速度不够，分割的图像边缘模糊。

对象重叠情况下的检测一直是垃圾分类中的难点。

为了解决重叠物体实时检测和错判、漏判问题，本

文提出一种改进的YOLACT图像分割模型，使用

Pointrend进行多层感知机（MLP）迭代处理，通过深化边

缘点，在不降低原有速度和精度的基础上，使分割边缘

更加明显，同时满足实时检测速度要求，提升得到的图

像特征效果，为垃圾机器人的智能抓取奠定基础。

图1垃圾分类标注实例

1.2

原始数据集输入卷积神经网络之前，对数据集进行

数据增强

预处理可获得更多的图像数据和图像特征，扩大训练数

据能够得到更好的泛化能力。处理方法有旋转、移位、

裁剪、CutMix

[7]

以及Cutout

[8]

，增强效果如图2所示。

图2垃圾图像增强效果

2

2.1

垃圾实时分割算法

将图像分割算法用于垃圾实时分割检测，以

YOLACT图像分割模型

1

1.1

垃圾分割实验数据集

目前尚无垃圾分割数据集的公开发布，本文结合

垃圾分割数据集的制作

MSCOCO数据集

[6]

自制垃圾分类数据集，使用软件

数据集以9∶1的形式划分为训练集和验证集，供神经网

YOLACT

[9]

作为基础模型，使用Resnet50和FPN作为主

干网络和特征处理层，设计Protonet模块对FPN得到的

第一层特征层卷积后与预测头的掩码系数融合处理，最

后得到掩码层作为输出的结果层，输出检测到的垃圾分

割图像。YOLACT的结构如图3所示。

Labelme对所有图片进行标注得到原始数据集，将原始

络训练使用，原始数据集共有1020张，其中部分图像

图3YOLACT结构

第10期

沈钧诣，等：改进的YOLACT算法在垃圾实时分类检测的技术研究

117

2.2改进的YOLACT

[10]

本身通

垃圾实时分割算法

过Mask⁃RCNN

[11]

得到的候选框

层ROIAlign

Pointrend

进行迭代边缘渲染，但是Mask⁃RCNN作为

二阶段网络不能满足速度需求，所以本文提出以

YOLACT

进行调整，

模型结构作为框架，

将Resnet模块进入层的

将主干网络的

7×7卷积层部分替换

Resnet模块

成Resnet⁃C变体，将Resnet模块的下采样部分替换成

Resnet⁃D

后的输出层，

变体提升图像特征质量，

Resnet变体如图4所示。

以Pointrend重处理最

图4Resnet变体

2.2.1

一般的图像分割模型用于垃圾识别检测会产生边

垃圾实时分割检测模块

缘模糊，由此得到的分割图像不利于机械臂抓取，为此，

使用Pointrend模块进行改进，流程如图5所示。从特征

层得到的P4特征层在经历上采样和卷积后，与原

YOLACT

理，MLP的参数取

结构中得到的垃圾分割图像进行

k=3，β=0.75，通过P4的特征层来优化

MLP迭代处

垃圾分割图像。

图5Pointrend结构改进流程

2.2.2

在改进

激活函数

YOLACT的网络结构中，考虑到Swish激活

函数

[12]

具备无上界有下界、平滑、非单调的特性，因而应

用Swish激活函数替代原有的ReLU激活函数，使得负

数情况下不为0，对比ReLU和ReLU的变体，得到激活

函数在深层模型上的效果会更优，公式为：

F(x)=x⋅sigmoid(βx)

（1）

Swish激活函数的参数设置为10，其图像见图6。

图6Swish函数图像

3实验结果和分析

针对本文提出的改进YOLACT垃圾实时分类检测

模型，经过自制的垃圾分割数据集训练后，进行对比实

验来检测其性能，实验平台采用单张RTX2080TI的显

卡，进行batch_size为8的训练。一般来说，多类别图像

实例分割的评价指标主要有两类：一类是平均精度均值

MeanAveragePrecision，mAP），作为图像分割的精度

评价指标，是个体平均准确率的均值

[13]

；一类是帧率

FramePerSecond，FPS），作为图像分割的速度评价指

标。本文主要解决由于边缘模糊导致的实例分割错判、

漏判问题，故采用mAP和FPS作为垃圾实时分割的性能

评价指标，同时采用实例分割的边缘效果作为效果评价

指标。

函数前后实验的结果，

1）对比YOLACT在改进

如表1所示。由表

Resnet模块和

1可见，

Swish

使用

激活

Resnet

10.37

变体和Swish激活函数之后，平均识别率提高

32.92

%，由29.00%提升至39.37%，FPS从29.48提升到

深层网络下对于垃圾分割的精度和速度有很大的提升。

。由此可见，改进Resnet模块和使用Swish函数在

分割的不同结果，

2）实验对比YOLACT

由表1可见，

添加

使用

Pointrend

Pointrend

模块前后图像

模块之后，

对比YOLACT的mAP提升0.99%，FPS几乎保持不变，

表明Pointrend模块对图像分割有提升效果。

3）实验对比YOLACT以及改进YOLACT模型，由

（

（

118

现代电子技术

2022年第45卷

表1可知，改进的YOLACT模型比传统的YOLACT有较

大提升，mAP提升10.19%，FPS提升3.26，且在图像边缘

分割的结果上，改进后模型保证了单个物体的检测精

度，对重叠物体的边缘检测也有提升，表明改进的

YOLACT有着更优的检测性能，在垃圾实时检测中有较

判、漏判问题。

表1不同模型下的mAP和FPS

YOLACT

Model

29.00

39.37

32.49

32.73

29.99

39.19

mAP

29.48

32.92

39.17

29.40

32.74

8.12

FPS

验结果表明，改进的YOLACT模型在垃圾实时检测方面

有更优越的性能。下一步将在网络的改进基础上，针对

模型迁移到开发板的轻量化问题进行深度研究，以期进

一步提高垃圾实时检测在实际应用中的速度。

注：本文通讯作者为郭慧。

参考文献

高的识别精度和较快的速度，能够解决重叠对象的错

[1]魏潇潇，王小铭，李蕾，等.1979—2016年中国城市生活垃圾产

3843.

04.

生和处理时空特征[J].中国环境科学，2018，38（10）：3833⁃

YOLACT+Resnet变体+Swish

Mask⁃RCNN

SOLO

[2]耿焕学.生活垃圾分类机：辽宁，CN202097139U[P].2012⁃01⁃

[3]马雯，于炯，王潇，等.基于改进FasterR⁃CNN的垃圾检测与分

类方法[J].计算机工程，2021，47（8）：294⁃300.

[4]宁凯，张东波，印峰，等.基于视觉感知的智能扫地机器人的垃

圾检测与分类[J].中国图象图形学报，2019，24（8）：1358⁃1368.

科技大学学报，2020，38（6）：152⁃158.

[5]白阳，刘斌，李彦彤.基于SSD的可回收垃圾检测研究[J].陕西

[6]CHENX，FANGH，LINTY，oftcococaptions：

datacollectionandevaluationserver[J].Computerscience，

2015（12）：201⁃210.

YOLACT变体+Pointrend

YOLACT+Pointrend

改进YOLACT在垃圾识别方面的分割效果，如图7所

[14]

4）实验对比了其他的图像分割算法和本文提出的

示。使用同一个数据集进行训练，YOLACT变体比

SOLO

在mAP方面提高6.46%，比Mask⁃RCNN在mAP

提高6.7%，FPS提高24.62，改进YOLACT模型分割出的

图像边缘效果更为优秀。综合考量mAP、FPS和图像分

割效果，改进YOLACT在垃圾实时检测方面性能优良。

[7]YUNS，HAND，OHSJ，：regularization

strategytotrainstrongclassifierswithlocalizablefeatures[C]//

，SouthKorea：IEEE，2019：6023⁃6032.

ProceedingsoftheIEEEInternationalConferenceonComputer

[8]DEVRIEST，edregularizationof

14].https：///abs/1708.04552v1.

instancesegmentation[J].IEEE

convolutionalneuralnetworkswithcutout[EB/OL].[2022⁃01⁃

[9]BOLYAD，ZHOUC，XIAOFY，：real⁃time

analysisandmachineintelligence，2022，44（2）：1108⁃1121.

transactionsonpattern

图7不同模型下的图像分割效果

[10]KIRILLOVA，WUY，HEK，end：image

segmentationasrendering[C]//ProceedingsoftheIEEE/CVF

Seattle，WA，USA：IEEE，2020：9799⁃9808.

ConferenceonComputerVisionandPatternRecognition.

[11]HEKM，GKIOXARIG，DOLLÁRP，⁃CNN

Venice：IEEE，2017：386⁃397.

4结语

针对垃圾实时检测存在重叠物体检测困难、边缘检

测模糊的问题，本文基于深度卷积神经网络模型进行改

进，提出用图像分割方法处理垃圾实时检测问题，解决

了垃圾重叠边缘模糊的难题。探索了改进Resnet网络

结构和激活函数对垃圾实时检测性能的影响，通过优化

结构完成了垃圾实时检测；改进了YOLACT结构，深化

边缘点迭代处理改进的模型相比传统的YOLACT模型

mAP提高10.19%，相较于SOLO提高6.46%；FPS基本相

近，远优于Mask⁃RCNN，边缘分割效果得到了提高。实

[C]//IEEEInternationalConferenceonComputerVision.

[12]RAMACHANDRANP，ZOPHB，ingfor

abs/1710.05941.

activationfunctions[EB/OL].[2021⁃12⁃22].https：///

[13]黄继鹏，史颖欢，高阳.面向小目标的多尺度Faster⁃RCNN检

测算法[J].计算机研究与发展，2019，56（2）：319⁃327.

[14]WANGXL，KONGT，SHENCH，：segmenting

objectsbylocations[C]//EuropeanConferenceonComputer

：Springer，2020：649⁃665.

作者简介：沈钧诣（1997—），男，上海人，硕士研究生，主要研究方向为机器视觉及嵌入式应用。

郭慧（1964—），女，江西赣州人，博士，教授，主要研究方向为计算机图形学、逆向工程等。

周邵萍（1966—），女，安徽芜湖人，博士，教授，主要研究方向为流体机械及工程、状态监测与故障诊断等。