豌豆苗期田间杂草识别与变量喷洒控制系统

2024年5月26日发(作者：)

豌豆苗期田间杂草识别与变量喷洒控制系统

张小龙;谢正春;张念生;曹成茂

【摘 要】The application system of real-time image recognition and

variable spraying was designed based on the virtual image real-time

controller CVS - 1456. The original images, which contained pea seedlings,

soil background, weed of cephalanoplos segetum, etc, were collected in

normal sunlight. The color models of original images were analyzed and

real-time weed recognition was realized based on R — B color features by

using LabVIEW software and IMAQ Vision toolbox. The Canny algorithm

was employed to detect weed edges, and three characteristic parameters

of target weed, namely area, density, centroidal position, were extracted to

provide positioning evidences for variable spraying. The random tests

verified the accuracy and reliability of the purposed cephalanoplos

segetum recognition method from complex background images based on

R — B color features, in which the average right recognition rate was 83.

5% , mean square deviation 0. 066.%以图像实时控制器CVS-1456为核心设计

了图像实时识别与变量喷洒系统.在普通光照下分别采集包含豌豆苗、土壤背景、

杂草(刺儿菜)等的原始图像,分析其颜色模型,根据色差分量R-B颜色特征采用

LabVIEW和IMAQ Vision编程实现杂草实时识别.基于Canny算子对识别的杂草

进行边缘检测,并提取目标杂草的面积、密度和形心位置3个特征参数为变量喷洒

定位提供依据.随机试验表明:基于R-B色差分量对豌豆苗期复杂背景下刺儿菜杂草

平均正确识别率达到83.5％,均方差0.066,该方法准确可靠.

【期刊名称】《农业机械学报》

【年(卷),期】2012(043)011

【总页数】7页(P220-225,73)

【关键词】杂草识别;虚拟实时系统;颜色特征;边缘检测;变量喷洒

【作 者】张小龙;谢正春;张念生;曹成茂

【作者单位】安徽农业大学工学院,合肥230036;安徽农业大学工学院,合肥

230036;安徽农业大学工学院,合肥230036;安徽农业大学工学院,合肥230036

【正文语种】中 文

【中图分类】S126;TP391.4

引言

杂草对农作物苗期生长危害很大，及时清除尤为重要。传统除草方式以粗放式的大

面积喷洒化学药剂为主，不仅造成浪费，而且危害农田坏境。实现杂草区域选择和

农药变量喷洒的前提是准确识别杂草，并确定杂草的位置。

利用计算机视觉进行杂草识别是实现机械化变量喷洒、锄草机器人目标自行识别的

有效方法［1］。国外计算机视觉识别杂草技术主要基于叶片形状特征［2］、植

物纹理［3］、颜色特征［4］、不同波长(蓝、绿、红和近红外光)下的反射光

［5］、成像光谱仪［6］等，涉及的杂草包括禾本类和阔叶类杂草，作物包括大

豆、小麦、马铃薯、甜菜等。我国基于机器视觉识别杂草研究尚处于探索阶段，主

要基于作物不同颜色模型色度阈值，或神经网络模型(包括支持向量机SVM模型)

进行分割和识别［7～11］。神经网络模型方法识别精度依赖于样本和模型的复杂

程度，学习和识别速度慢;YCbCr颜色模型方法应用于单一背景分割，适应性差。

本文针对豌豆苗期杂草、土壤等复杂组成背景颜色下的杂草实时识别需要，基于虚

拟仪器构建图像采集与实时分析系统，分析颜色模型识别杂草的可行性，引入色差

特征识别杂草的方法，同时提取出分割后杂草目标的几何特征参数，为机器除草和

农药变量喷洒定位提供依据。

1 图像采集、识别与实时控制系统

研究豌豆苗期杂草实时识别是为了满足后续精确变量农药喷洒的需要，图1是基

于试验车(拖拉机)搭建的系统框图。主要由数字图像采集、识别与实时控制模块

(包括嵌入式图像采集与控制器CVS-1456、工业级摄像头及镜头、光源等)，GPS

精确位置姿态测量模块和农药变量喷洒驱动模块组成。GPS精确位置姿态测量模

块获取车体姿态位置信息并通过串口发送到图像采集与实时控制器，该控制器对同

步采集到的图像进行识别，并实时计算变量喷雾器的位置，通过I/O口发送控制

信号给变量喷洒驱动器，实现精确变量喷洒控制。主要选型传感器性能如表1所

示。

图1 图像实时识别与变量喷洒控制系统框图Fig.1 Scheme of images real-time

recognition and variable spraying control system

表1 主要传感器性能指标Tab.1 Main sensors'parameters传感器 生产厂商 精

度 数据输出物理接口/Hz摄像头 德国Basler SCA1390-17fc 彩色摄像头，1 390

像素×1 040像素数据更新速率1394b图像传感器光学镜头 美国EDMUND 25

mm定焦光源 美国AI AI环形红色RL1424-660光源和红外RL1424-880光源

20 GPS接收机车载接收机 美国Trimble SPS 852 RTK水平定位精度8 mm RMS，

速度精度0.1 km/h RMS，定向精度0.1°(天线距离2 m)SCIA(UART)地面基站接

收机 中国华测X60为车载接收机提供RTK CMR格式差分改正信息，主要信息1

帧/s惯性测量单元 自行研制美国VectorNav VN-100芯片加速度量程±2g，非线

性度±0.5%FS角速度量程±100(°)/s，非线性度±1%FS侧倾角、俯仰角、侧偏角

精度0.5°CAN UART SPI 200

图1中摄像头和喷雾器相对于试验车的位置是固定的。而试验车的运动轨迹和速

度、姿态等信息由GPS精确位置测量模块实时测量得到。系统中选用的GPS位置

精度优于2 cm。定义原点在试验车附近场地的东北天坐标系，由GPS精确位置

测量模块可测量得到对应GPS天线位置处试验车的位置信息，经过高斯投影可得

到试验车在东北天坐标系中的位置表示。通过计算可得到摄像头和喷雾器在东北天

坐标系中的位置表示。虽然一幅图像中的杂草位置分布只相对于图像本身，但通过

对摄像头的标定可以得到杂草分布在东北天坐标系中的位置表示。

假设在某时刻识别出杂草，并计算出杂草在东北天坐标系中的位置。根据实时测量

的试验车速度、姿态和位置信息，实时监测喷雾器的位置。当一段时间后，喷雾器

喷洒区域已经开始覆盖识别的杂草区域，即可根据杂草分布信息进行变量喷洒控制。

1.1 嵌入式图像采集与实时控制模块

图像采集与实时控制器选用了美国国家仪器公司的嵌入式系统CVS-1456，其处理

器处理速度快，每秒可处理1.585 G条指令，内存128 MB，通过Firewire

1394b可同时连接3个摄像头，帧处理速度为100 f/s。控制器上有VGA接口，

可以方便地与显示装置连接用于监控。计算机基于LabVIEW开发环境通过网线对

其调试和下载应用程序。

CVS-1456通过RS 232串行接口实时接收车身位置姿态信息，通过4路TTL数字

输出端口给变量喷洒驱动器发出控制指令。CVS-1456 TTL数字输出端口共有10

路，输入端口2路，可方便地与外围设备同步使用。

1.2 GPS精确位置测量模块

车身位置姿态模块由双天线差分GPS(简称DDGPS)、惯性测量单元、基于DSP

的数据融合和CAN转RS232板卡组成。

图1中左上侧虚线框内为DDGPS基准站，放置在试验场地地面。2套车载GPS

接收机及天线，选用美国Trimble公司的SPS 852接收机及GA 810 GPS双频天

线，1台作为移动基站，另1台作为定向机，布置时将GPS天线放在试验车车顶

纵向对称面内，且相互间距离越远越好。2台接收机均开通双频功能，内部集成电

池和数据接收电台。移动站可独立完成定向和速度测量，在地面基准站提供载波相

位差分信息时可同时实现高精度的位置测量。

选用美国VectorNav公司VN-100芯片设计9测量自由度惯性测量单元，完成试

验车坐标系中3个方向线加速度、角速度，以及姿态角和侧偏角的直接测量，提

高了可靠性和实时性。测量数据通过CAN接口实时输出。

基于TI公司DSP 28335设计了CAN转RS 232的板卡，实现GPS接收机和惯性

测量单元的CAN输出数据转换后由串口实时传输到图像采集与实时控制器。另外，

这张板卡也同时完成GPS数据与惯性测量单元数据预处理和校正融合功能。

2 嵌入式图像采集与实时识别编程

CVS-1456是嵌入式实时系统，能够独立快速采集处理图像。对其部署实时应用程

序步骤如下:

(1)用网线将 CVS-1456与计算机相连，在MAX程序中搜索添加终端设备CVS-

1456，并部署LabVIEW开发软件(特别是Real time模块)和硬件驱动等。

(2)在LabVIEW开发环境中，在线调试好应用程序，利用程序生成规范器将其编译

成实时应用程序，配置其属性，并将其设置为启动项，最后保存并部署到CVS-

1456中去。

(3)断开CVS-1456与计算机之间的网线连接，CVS-1456重启后即可独立运作。

2.1 图像帧数据的截取与杂草实时识别算法编程

图2是CVS-1456中运行的主程序图，包括3部分:图像实时获取与识别、特征参

数提取;TCP通信的配置和实时传输;外部I/O口控制程序的暂停与终止。GPS精确

位置测量模块数据接收、杂草和喷雾器位置计算与喷雾控制程序图中没有给出。

图2 图像实时采集与处理程序框图Fig.2 Program diagram of real-time image

acquisition

在图像采集编程中，首先调用 IMAQdx Open 打开与采集卡相连的摄

像头(系统中为Cam0)。然后调用 IMAQdx Configure 对图像采集进行初

始化，调用IMAQ 为图像数据创建一个数据缓冲区。最后在退出应用程

序之前调用IMAQdx 完成摄像头和图像缓冲内存区释放。在图像处理编

程中包括杂草识别、特征提取和TCP通信3个子函数。杂草识别子函数如图3所

示，包括色差提取、图像分割与滤波等。

通过CVS-1456硬件两路TTL I/O口高低电平状态控制应用程序运行暂停和结束，

如图2左下角所示。调用LabVIEW FPGA接口函数打开TTL输入端口(系统中端

口IP 地址配置为192.168.10.13)，引入TTL控制信号，一路用于控制图像采集与

识别暂停，一路用于控制程序退出。

2.2 杂草几何特征实时提取与LAN口输出编程

杂草特征提取子函数编程时调用IMAQ 计算目标杂草质心，调用

IMAQ Particle 计算目标杂草面积，其程序如图4所示。

图3 杂草识别程序框图Fig.3 Program diagram of image identification

TCP通信具有传输速度快、传输信息量大的优势。系统中将CVS-1456与便携式

计算机通过LAN口连接，实现对CVS-1456工作过程监控和数据记录。编程时将

CVS-1456配置为服务器端，PC机为客户端，服务器端向客户端发送数据。如图

2中左上为调用TCP 在指定端口(本系统中指定为1 054)监听是否有客户

端请求连接，当客户端发出连接请求后，进入主循环发送数据。

图4 特征提取程序框图Fig.4 Program diagram of geometry characteristic

extraction

在TCP协议通信子函数中，先将3个杂草几何特征参数打包转成ASCII码，然后

写入TCP发送缓冲区排队发送。

3 基于颜色模型杂草识别

3.1 图像的获取

基于图1中的图像采集与实时控制模块，采用LabVIEW和IMAQ Vision软件编

写应用程序并下载到CVS-1456控制器中实时运行。试验地为安徽农业大学农萃

园豌豆试验田，不同光照强度下采集100幅图像，图像大小为640像素×480像

素，jpg格式。图5a所示是正常光照下采集到的包含豌豆、土壤背景、杂草(刺儿

菜)等的原始图像。

3.2 颜色模型分析

图像处理中颜色空间包括RGB、HSI和HSV等。RGB颜色模型是由红、绿和蓝三

基色构成的表色系统，对光照变化具有较强的敏感性。HSI颜色模型定义以色调、

饱和度和亮度3种基本特征量来感知颜色，更接近于人眼对颜色的感知。HSV比

较直观，同样也比较符合人的视觉特性，H、S和V分别表示色调、饱和度和明度。

图5a中各分量灰度分布如图5b～5d所示。

图5a图像RGB颜色模型三基色分量灰度分布比较集中，区别不大。HSI、HSV

颜色模型下仅H分量的灰度曲线呈较明显的双峰特性。进一步分析可知，H灰度

曲线其中一个单峰是由土壤背景颜色构成，另一个单峰是由豌豆和杂草共同组成

(豌豆和杂草颜色相近)，所以对于土壤以及和豌豆颜色接近的杂草等，不能用H分

量颜色特征直接分割。

3.3 基于R-B色差特征的阈值分割及去噪

对RGB各颜色分量灰度信息统计分析发现，分量R和B减法运算得到的R-B色

差灰度图中杂草和混合背景(主要由豌豆和土壤构成)有较大区别。图5a图像R-B

分量色差图及其灰度分布如图6a和6b所示。R-B灰度图呈双峰型，左峰主要由

豌豆和土壤构成，右峰由杂草构成，可利用此特征进行图像分割。

图5 原始图像及其颜色空间各分量灰度图Fig.5 Original image and its color

weight histogram(a)原始图像 (b)RGB(c)HSI(d)HSV

图6 R-B分量色差处理与滤波Fig.6 R-B weight difference processing and

denoising(a)色差图 (b)直方图 (c)分割结果 (d)去噪结果

选择合适的阈值可以得到理想的只含杂草的二值图像。图6b中取阈值T=150，

可得到较好的分割效果。图5a分割后的图像如图6c所示，但仍含有较多的非杂

草目标噪声。采用3×3结构模板对二值图像先作3次腐蚀运算，再作3次膨胀运

算以消除噪声，去噪后结果如图6d所示。

3.4 杂草识别结果统计分析

表2是从不同光照强度下采集100幅图像中随机抽取的20幅图像进行杂草辨识

的结果，其中主要杂草是刺儿菜，部分图像中含有青草。一幅图像，首先通过人眼

根据经验判断豌豆苗和杂草分布，然后通过编程分别统计出是杂草已识别出杂草的

像素、不是杂草被识别成杂草的像素、是杂草而未被识别出杂草的像素，并将三者

相加得到总像素。定义正确识别率为是杂草已识别出杂草的像素与总像素的比值，

错误识别率为不是杂草识别成杂草的像素与总像素的比值，未识别率为是杂草未识

别出杂草的像素与总像素的比值。

从表中可以看出，平均正确识别率为83.5%，均方差为0.066;平均错误识别率为

11.7%，均方差为0.065。表中序号12和15对应的图像中出现是杂草未识别出

杂草的情况，主要原因是图像中含有青草部分，基于R-B色差不能进行分割，但

试验表明采用R-G色差模型可以有效地对其进行分割。正确识别率的波动和具体

图像质量和采用的滤波方法有关。由此可以认为基于R-B色差特征固定阈值分割

和去噪方法对豌豆苗期刺儿菜杂草识别是可靠有效的。

文中豌豆苗与刺儿菜 R-B色差阈值范围为80～220，对于识别豌豆苗和其他杂草，

此阈值需要根据实际需要选取，或由软件自适应调整。表2中选取的图像已考虑

到光照的影响，为了进一步提高系统对刺儿菜和其他与豌豆苗颜色特征接近的杂草

的识别正确率，构建应用系统时已考虑加入了红色和红外光源(表1)以提高区别程

度，必要时采用包含页面形状特征在内的神经网络融合方法。作者将对此展开深入

研究以提高系统对不同环境的适应性。

4 Canny算法边缘检测和几何特征提取

4.1 边缘检测

表2 杂草识别结果统计Tab.2 Statistic result of weeds recognition均方差6.6

6.5

杂草边缘检测为农药精确变量喷洒提供定位信息。Canny边缘检测算子是一种有

效算法，能够在噪声和边缘检测中取得较好的平衡。首先对灰度图像用高斯滤波器

进行平滑，然后对平滑后的图像像素计算梯度幅值和梯度方向，用于细化边缘。使

用两个幅值阈值检测边缘，高阈值检测梯度幅值大的强边缘，低阈值检测梯度幅值

较小的弱边缘。当强边缘和弱边缘连接成轮廓边缘时才输出。图7是Canny算子

对分割后的杂草图像(图6d)的边缘检测效果，可见边缘完整清晰。

图7 Canny算子边缘检测结果Fig.7 Canny algorithm based image edge

detection

4.2 几何特征提取

为便于为后续变量喷洒定位提供依据，一幅图像中识别出的杂草其分布信息还需要

提取。

图8是一幅多处含有刺儿菜杂草的图像，根据杂草分布情况将其分割为5块，对

每块杂草分别提取其杂草质心位置、面积和覆盖率等信息，结果如表3所示。其

中面积是当前杂草块所占的像素数;质心位置是当前杂草块的形心位置，以其在整

幅图像中的像素位置表示;杂草的覆盖率表示其密度，用杂草面积与整幅图像像素

数比值表示。

图8 多块杂草图像及杂草分块图Fig.8 Weeds mixed image and its block

diagram(a)原始图像 (b)杂草识别分块

表3 一幅图像多块杂草几何特征测量值Tab.3 Extracted weed geometry

characteristic value from an image with several weed blocks块质心位置 面

积/像素数 覆盖率/%左上 (48.5，71.1)7 609 3.29右上 (411.6，9.5) 2 066 0.89

右下 (502.2，268.2) 8 520 3.68左下 (42.4，377.7) 5 022 2.17中间 (309.6，

189.8)17 156 7.41

5 结论

(1)构建了以实时控制器CVS-1456为核心的图像实时识别与变量喷洒系统。给出

了图像采集与实时控制系统中实时应用程序部署、图像获取、识别、分割滤波、几

何特征参数提取与LAN口输出等编程方法。为快速算法验证和系统试验提供了有

效手段。

(2)对豌豆苗期田间常见杂草RGB、HSV、HSI颜色空间中各分量灰度分布进行对

比分析，提出了基于R-B色差特征的复杂背景中的杂草分割提取方法。试验表明

该方法能够准确分割出和背景颜色相近的杂草目标，且对普通太阳光照下的正确识

别率达到83.5%，且一致性好。

(3)基于Canny算子对分割滤波后的杂草进行边缘检测，并提取出杂草面积、覆盖

率和质心位置等几何特征参数，通过LAN口实时输出，便于对CVS-1456工作过

程监控和实时控制功能扩展。

参考文献

1 张春龙，黄小龙，刘卫东，等.苗间锄草机器人信息获取方法的研究［J］.农业工

程学报，2012，28(9):142～145.

Zhang Chunlong，Huang Xiaolong，Liu Weidong，et ation

acquisition method of mechanical intra-row weeding robot

［J］.Transactions of the CSAE，2012，28(9):142～145.(in Chinese)

2 Guyer D E，Miles G E，Gaultney L D，et ation of machine vision

to shape analysis in leaf and plant identification［J］.Transactions of the

ASAE，1993，36(1):163 ～171.

3 Woebbecke D M，Meyer G E，Bargen K V，et features for

identifying young weeds using image analysis［J］.Transactions of the

ASAE，1995，38(1):271～281.

4 EI-Faki M S，Zhang N，Peterson D s affecting color-based weed

detection［J］.Transactions of the ASAE，2000，43(4):1 001～1 009.

5 Biller R d input of herbicides by use of optoelectronic sensors

［J］.Journal of Agricultural Engineering Research，1998，41(4):357～362.

6 Borregaard T，Nielsen H，Norgaard L，et -weed discrimination

by line imaging spectroscopy ［J］.Journal of Agricultural Engineering

Research，2000，75(4):389～400.

7 吕朝辉，陈晓光，吴文福，等.机器视觉田间植物检测与识别技术［J］.吉林工业

大学:自然科学学报，2001，17(3):90～93.

Lü Zhaohui，Chen Xiaoguang，Wu Wenfu，et technique of

detecting and identifying field plants by machine vision［J］.Natural

Science Journal of Jilin University of Technology，2001，17(3):90～93.(in

Chinese)

8 李先锋，朱伟兴，孔令东，等.基于SVM和D-S证据理论的多特征融合杂草识

别方法［J］.农业机械学报，2011，42(11):164 ～168，163.

Li Xianfeng，Zhu Weixing，Kong Lingdong，et of multi-feature

fusion based on SVM and D-S evidence theory in weed recognition

［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，

42(11):164 ～ 168，163.(in Chinese)

9 吴兰兰，刘剑英，文友先，等.基于支持向量机的玉米田间杂草识别方法［J］.农

业机械学报，2009，40(1):162～166.

Wu Lanlan，Liu Jianying，Wen Youxian，et identification method

based on SVM in the corn field［J］.Transactions of the Chinese Society

for Agricultural Machinery，2009，40(1):162 ～166.(in Chinese)

10 刘洪臣，陈忠建，冯勇.结合颜色和形态特征的杂草识别方法［J］.光电工程，

2006，33(7):90～93.

Liu Hongchen，Chen Zhongjian，Feng -time weed recognition

method based on color and morphological features［J］.Opto-electronic

Engineering，2006，7(33):90～93.(in Chinese)

11 刘波，方俊永，刘学，等.基于成像光谱技术的作物杂草识别研究［J］.光谱学

与光谱分析，2010，30(7):1830～1833.

Liu Bo，Fang Junyong，Liu Xue，et ch on crop-weed

discrimination using a field imaging spectrometer［J］.Spectroscopy and

Spectral Analysis，2010，30(7):1 830～1 833.(in Chinese)