27090785_黄花菜采摘机器人视觉系统研究编程频道|福州电脑网

2024年5月30日发(作者：)

宁夏农林科技，.&Tech.2021，62（12）：60-64

·农业信息技术

黄花菜采摘机器人视觉系统研究

马聪，陈学东

宁夏

银川750002宁夏农林科学院农业经济与信息技术研究所，

摘

因此研发提升采摘效率的采摘

要：黄花菜采摘依靠人工，存在劳动强度大、成本高等制约产业发展的问题，

基于机器视觉技术搭建了黄花菜采摘机器人视觉系

机器人十分必要。本文针对采摘机器人视觉系统开展研究，

统；采用张正友标定法对双目相机进行标定，获取双目相机参数，在此基础上采用Bouguet算法对双目图像进

行校正，使双目图像实现严格的行对齐，通过HSV颜色模型完整地分割出黄花菜目标区域，采用的方法和算法

可作为黄花菜采摘机器人视觉系统研究的基础。

关键词：黄花菜；机器视觉；双目图像；HSV

中图分类号：S225.92；TP242文献标识码：A

doi:10.3969/.1002-204x.2021.12.017

文章编号：1002-204X（2021）12-0060-06

VisionSystemofDaylilyPickingRobot

MaCong,ChenXuedong

(InstituteofAgriculturalEconomyandInformationTechnology,NingxiaAcademyofAgricultureandForestry

Sciences,Yinchuan,Ningxia750002)

AbstractDaylilypickingreliesonmanuallabor,andthereareproblemsofhighlaborintensityandhighcost

cessarytodeveloppickingrobotsthatimprovepicking

paper,astudyonthevisionsystemofthepickingrobotiscarriedout,andthevisionsystem

ocularcameraiscalibratedby

ZhangZhengyou'basis,the

Bouguetalgorithmisusedtocorrectthebinocularimagesothatthebinocularimageisstrictlyaligned,andthe

ptedmethodandalgorithm

canbeusedasthebasisfortheresearchonthevisionsystemofthedaylilypickingrobot

KeywordsDaylily;Machinevision;Binocularimages;HSV

富含多种

黄花菜，又称忘忧草，因其具有口感好、

人体所需营养元素、产品易于存储运输等优点，市场

消费需求量不断增加。黄花菜一次栽培种植后可以多

年采收获益，投入成本不高、田间管理工作量小，因此

黄花菜产业也成为了很多地区增收致富的特色产业。

黄花菜

随着人们生活水平的提高和物流速度的加快，

黄花菜产业正在向规

的商品量流通量也在不断增加，

模化方向发展。黄花菜成熟采摘期基本集中在每年的

6月下旬至8月上旬，持续收获高峰期仅有40～50

需在黄花菜开花前

1～2h内d，为保证质量和产量，

影响

完成采收，避免花蕾绽放造成品质和产量下降，

收益

[1-3]

。但是由于黄花菜成熟花苞分布的随机性，目

前尚未实现黄花菜的机械化采收。

课题组在黄花菜采收期间对宁夏某黄花菜种植

由于黄花菜种植面积

基地进行了实地采摘情况调研，

大、劳动用工不足，为了完成每日采摘任务，黄花菜采

摘人员每天凌晨至午间开展采收工作，采摘方式是双

手掰断花梗后放入挂在腰间或脖子上的收集袋，当颈

部或腰部超出负重后，步行至路边倾倒花蕾至收集

强度大，清晨温度

筐。采摘过程重复性劳动时间长、

基金项目：宁夏自然科学基金项目“基于机器视觉技术的黄

花菜目标识别与定位方法研究”（2021AAC03257）、宁夏农

林科学院科技创新引导项目“基于机器视觉及深度学习的

（NKYQ-20-04）

枸杞智能精选算法研究”。

（

1987-）

工程师，研

作者简介：马聪，女，回族，宁夏吴忠人，

究方向：农业物联网，E-mail：303838703@。

收稿日期：2021-11-06修回日期：2021-11-10

62卷12期

马聪，等黄花菜采摘机器人视觉系统研究

低、露水多、

午间暴晒等工作环境对人体健康伤害较

劳动力

大。据调研，黄花菜采摘高峰期用工需求量大、

紧缺，人工采摘费用是黄花菜经营管理过程的重要成

本投入。随着黄花菜种植面积的逐年增加和规模化生

产的趋势，劳动强度大、成本高、效率低的采摘方式已

高效发展的瓶颈。

经成为制约产业优质、

规模化的采收，在提

采摘机器人可实现高效化、

高生产效率、降低成本、解放劳动力和优化资源配置

对推动产业发展具有

方面具有较大的社会经济价值，

十分重要的意义，因此研发黄花菜采摘机器人的需求

控制系

日益迫切。农业采摘机器人由机器视觉系统、

其中机器视觉系统是采摘

统和执行系统等部分构成，

机器人的关键组成部分，也是研究的焦点内容。机器

视觉系统主要用于获取采摘目标及外部环境等信息，

控制机械

解决采摘目标的正确识别和准确定位问题，

臂及末端执行器运行轨迹及动作

[4-7]

。机器视觉系统的

是采摘机

计算结果决定了采摘机器人动作的准确性，

器人实现快速、准确采摘果实的关键。国内外关于采

采用的理论

摘机器人视觉系统的相关研究非常广泛，

方法和技术也逐步趋向成熟和完善

[8-10]

器视觉系统常用方法之一。

采用专

图像处理部分分为图像分析和计算决策，

业图像处理算法和系统，实现对采摘图像目标区域的

坐标定位等。在图

背景分割、特征提取、目标点识别、

像处理基础上，依据视觉传感器标定参数、坐标系间

可进一步计算出目标的

转换运算及双目视差等参数，

三维空间坐标信息、采摘深度及优化末端执行器路径

等

[12-13]

。图像处理部分计算结果作为采摘机器人控制

控制采摘机器人按

系统的输入数据和决策数据基础，

采摘果蔬、剪枝除

照要求执行预期操作，如前进后退、

图像

草等。机器视觉系统的运行流程包括相机标定、

采集、目标提取、参数计算和三维重建等。

本文以田间成熟黄花菜为研究对象，搭建了黄花

菜机器视觉系统平台，开展相机标定、图像采集和目

标提取等研究。采用双目视觉相机作为数据采集设

备，双目相机参数见表1。搭建的黄花菜田间数据采

采集支

集系统如图1（封三图1）所示，包括双目相机、

架、图像采集软件和数据处理系统等。

表1双目相机参数

名称

图像传感器

传感器尺寸

感光谱段

数据接口

接口协议

数据输出格式

双目分辨率

基线（双目中心距）

温度要求

参数

AR0135

1/3"

380～1060nm(含近红外)

USB3.0（兼容USB2.0）

UVC协议免驱动

MJPG彩色

2560pixel×720pixel

3.0～25.8cm基线可调

-10～60℃（工作温度）

-20～75℃（存储温度）

。但是关于黄

关于黄花菜采摘机

花菜智能采摘机器人的研究较少，

器人视觉系统的相关研究也非常少。鉴于此，本文以

黄花菜图像为对象，研究了黄花菜采摘机器人的视觉

系统，旨在为研发黄花菜智能采摘机器人提供理论基

础和借鉴参考。

1机器视觉系统概述

机器视觉系统主要包括图像采集和图像处理两

部分。

图像采集部分是通过图像采集设备获取采摘目

标及背景整体数字图像，作为视觉系统的数据基础。

视觉传感器根据获取图像信息的维数分为二维和三

特征等，

维，二维图像信息主要包含平面图像的颜色、

三维图像信息主要包含空间三维数据。根据采用的视

双目

觉传感器类型的不同，图像采集分为单目视觉、

热成像、光谱成像等

视觉、多目视觉、激光主动视觉、

多种方式。与其他方式相比，双目视觉具有硬件要

[11]

2黄花菜图像采集

2.1双目相机标定

2.1.1标定方法

世界坐标系、图像坐标

视觉系统的相机坐标系、

如图

2所示

[14-15]

。系之间存在转换关系，视觉系统依据

坐标系之间的计算，通过获取的图像二维信息可以计

相机参数是建立二维图像

算出目标的三维空间信息。

因此视觉系统

与三维空间坐标转换关系的重要基础，

必须进行相机标定获得相机参数。

适用范围广等优点，是机

求低、结构简单、成本不高、

图2坐标系转换关系

等

马聪，黄花菜采摘机器人视觉系统研究62卷12期

本文采用高帧率USB3.0双目视觉相机，基线为

32mm，标配3.6mm镜头，可视清晰目标距离范围分

别为20～60cm。相机标定采用张正友标定方法。张正

友标定方法是采用单平面棋盘格计算相机参数的方

法，具有操作简单、不需要高精度标定器械、标定结果

精度高等优点，是机器视觉系统常用的标定法。

2.1.2标定步骤

方格尺寸

3cm×3cm。（1）选用标准棋盘格标定板，

采

（2）根据采集图像目标距离相机不同的位置，

集棋盘模板图像，左右相机各得到多幅图像。

（3）标定图像采集原则：标定板放在目标距离中

标定板垂

间，标定板占据图像面积的1/4以上面积，

直、左倾30毅、右倾30毅、前倾30毅、后倾30毅五个方向各

拍摄4张照片。

作为

（4）将双目图像分割为左目图像与右目图像，

标定输入。

根据标定误差调

（5）利用标定工具箱进行标定，

本文的相机标定误差为

整标定图像，直到满足要求，

0.17pixel。

本文中

32mm基线双目（6）提取相机标定参数，

相机标定结果包含如下内容。

单目分辨率：1280pixel×720pixel；

左目相机矩阵：

[916.493，0，669.014，0，916.712，369.678，0，0，1]；

左目畸变系数：

[0.0243988，-0.00440557，-0.000608845，-0.000522797，

-0.0830352]；

应该按

者傍晚夜间等光照强度较低的时间段。因此，

照实际环境情况采集黄花菜图像。但是光线不足的条

件下采集到的图像比较模糊，无法正确区分背景与目

在光照强

标，对机器视觉识别效果的影响较大。因此，

度低的时候进行人工补光，才能确保采集图像的质量。

根据黄花菜采摘时间的要求，本文采集了不同时

间段、多个角度、不同光照条件下的田间黄花菜图像，

采集时间为黄花菜整个采

包括单目图像和双目图像。

摘期，即6月中旬至7月末，每日采集的时间段为

上午、中

04：30—19：00。采集的环境条件涵盖了凌晨、

午、晴天、阴天、雨天等不同时段或天气的光照强度。

补光灯、图像采

采集设备包括32mm基线双目相机、

集器专用支架、室外光照强度、空气温度、空气湿度三

因子环境监测传感器、测距卡尺、双目图像采集软件

采集原则是目标距离

等。采集对象为田间成熟花蕾，

双目相机光心15～80cm范围，共采集田间成熟花蕾

图像700组。

图3（封三图2）所示为采集的黄花菜原始图像，

图中绿色横线是左目图像与右目图像的横向对比标

云朵、车辆、道路等。

识线，图像背景包括天空、

2.3黄花菜双目图像校正

由图3可以看出，左图与右图中同一目标点的位

置不在同一条标识线上，即不处于图像的同一行。在

理想状态下，双目相机的两个镜头成像面应该是共面

行对齐、极点在无限远，理论上双目相机的左图与右

图应该具有相同行号。但是实际图像采集设备不能达

到理想双目系统的条件，左目镜头和右目镜头的光心

采集到的图像中左图跟右

不能完全相互平行。因此，

且由

图中的相同点不能完全一致处于同一条直线上，

图像中还存在一

于镜头位置视角、光照、噪声等因素，

些不同时处于两张图中的无效点。

在机器视觉系统中，计算黄花菜同一目标点在左

右图像上的对应位置，需要在二维空间上寻找匹配信

为了提高计算效率，需要对

息，图像搜索计算量很大。

将实际双目系统变

采集到的双目图像进行图像校正，

换为理想双目系统，使左图与右图图像中的对应点都

大幅降

具有相同的行号，将二维搜索变成一维搜索，

低双目图像的匹配难度和计算量。通过图像校正处

左图与

理，双目图像中的像点能实现严格的行对齐，

图像校正是通过改

右图中的对应点具有相同的行号。

变左右相机的投影变换矩阵，使相机坐标系共面以实

现极线对齐。本文采用Bouguet校正算法

[16-18]

，基本原

右目相机矩阵：

[918.679，0，648.217，0，919.16，368.18，0，0，1]；

右目畸变系数：

[0.0159601，0.0284314，-0.，-0.000083074，

-0.146425]

；

平移向量：[-32.1，0，0]；

旋转矩阵：

[0.999995，-0.00309457，-0.000067387，0.00309462，

0.999995，0.000869796，0.000064695，-0.000870001，1]。

2.2黄花菜图像采集

过早采摘会导致

黄花菜的采摘时间有严格要求，

花蕾小、重量轻、质量低，过晚采摘则导致花蕾绽放、

品质不佳。因此，采摘时间一般控制在花朵开放前几

外形饱满。黄花菜

个小时，此时黄花菜花蕾呈金黄色、

人工采摘都是在清晨或

采摘只能采收未绽放的花蕾，

62卷12期

等

马聪，黄花菜采摘机器人视觉系统研究

理是通过像素平面透视变换，使左右图像重投影误差

最小，达到双目系统的理想效果。

图4（封三图3）所示为图3（封三图2）图像校正

后的结果图，可以看到校正后图像的左图右图对应点

处于同一条标识线上。

2.4黄花菜图像分割

通过对左目图

双目图像以左目图像为匹配标准，

像目标进行提取识别，作为双目图视差计算的基础，

黄

因此本文针对校正后的左目图像开展了图像处理。

花菜图像包括了背景图像与目标图像，背景图像包含

了行人、枝叶及未成熟花苞等干扰因素。为提高图像

利用计算机将目标与

处理效率、准确获取目标信息，

最大限度降

背景区分，对采集的图像进行背景区分，

提高识别效率，作为

低采集环境对图像处理的影响，

后续目标提取和识别的基础。

颜色信息是区分果实与复杂背景常用的特征之

一，其原理是按照目标像素阈值范围将图像中所有像

素分为目标和背景。成熟黄花菜颜色在自然光下呈现

金黄色，枝叶呈现绿色。因此，在同样的光照条件下，

成熟黄花菜与背景有比较明显的颜色差异，可以通过

对背景区域和目标区域的颜色特征进行提取和试验

分析，选择最佳色彩空间使背景和目标能有效地分

在一定

离。此种方法有利于减少图像处理的计算量，

提高处理速度。

程度上可以减少计算机内存的消耗、

本文采用HSV颜色模型进行黄花菜目标与背景

分割研究。HSV（Hue,Saturation,Value）也叫六角锥

体模型，是RGB色彩空间中的点在倒圆锥体中的表

示方法

[19-21]

，参数分别为色调（H）、饱和度（S）、明度

（V）。H参数表示光谱颜色信息，取值范围为0～

360毅，红、绿、蓝逆时针相隔120毅；S参数表示所选颜

色纯度，取值范围为0～1；V参数表示颜色明亮程度，

取值范围为0～1。V=0时，H、S无定义，表示黑色；

V=1，S=0，H无定义，表示白色。将采集到的黄花菜

如图

5RGB图像转换为HSV图像，（封三图4）所示。

成熟花苞颜

通过对采集的黄花菜图像进行分析，

色主要呈现金黄色，但是由于图像采集的角度和光线

条件不同，黄花菜图像呈现的颜色具有一定的差异

性，因此仅寻找金黄色范围目标会造成部分目标缺失

或遗漏。为了保证最大限度完整地分割出黄花菜区

包括青绿色、金黄色、

域，将颜色分割阈值范围扩大，

明黄色等范围内所有目标。

本文分别设置了H、S、V分量阈值，遍历图像所

有像素点，保留阈值范围内图像点，阈值范围外的图

像点均设置为黑色。图6（封三图5）所示为图像分割

由图

6可知，结果，通过颜色判断完整地去除了天空、

部分未

土壤、车辆等颜色差异很大的背景，绿色枝叶、

能够满

成熟花苞也被去除，成熟花苞边界完整清晰，

足后续目标进一步提取的要求。

3结论与讨论

本文基于机器视觉技术搭建了黄花菜采摘机器

人视觉系统，采用张正友标定法对双目相机进行标

在此基础上采用

Bouguet算定，获取了双目相机参数，

法对双目图像进行校正使双目图像严格行对齐，通过

采用的

HSV颜色模型完整地分割出黄花菜目标区域，

方法和算法可作为黄花菜采摘机器人视觉系统研究

由于光照和拍摄角度原

的基础。在图像分割过程中，

因，部分不成熟花苞、枝叶等颜色与成熟花苞颜色近

后

似，导致图像分割结果图像存在部分不连续图像，

图像质心计算等

续可通过面积计算判断、外形检测、

方法，进一步研究成熟黄花菜花苞轮廓提取及边界定

位方法。结合本文计算参数，根据已经标定出的双目

相机参数计算双目图像视差，开展黄花菜三维空间坐

标计算，为智能采摘机器人提供数据基础。

参考文献：

[1]陈东浩.盐池县惠安堡镇黄花产业发展研究[J].山西农

经，2019（9）：56．

[2]常二强.“七须”黄花菜的营养价值与种植前景[J].中国

果菜，2017，37（10）：42-44．

[3]卢芳俨.黄花菜在观光农业中的应用及其栽培技术[J].

福建农业科技，2014（1）：69-70．

朱银龙，等.

水果采摘机器人末端执行器的[4]陈昕，华超，

研究进展[J].林业机械与木工设备，2020，48（9）：4-10.

[5]ARADB,BALENDONCKJ,BARTHR,-

opmentofasweetpepperharvestingrobot[J].WILEY,

2020,37(6):1027-1039.

杨叶.

苹果采摘机械化发展研究[J].南方农机，[6]吕怡秋，

2020，51（14）：7-8.

[7]谭涛.蔬果采摘机器人的研究进展与展望[J].现代农业

研究，2020，26（5）：68-69．

[8]LIP,LEES,onfruitharvesting

methodforpotentialuseofautomaticfruitharvesting

systems[J].ProcediaEngineering,2011,23：351-366.

[9]马聪，陈学东.机器视觉技术在农业领域的应用及发展[J].

宁夏农林科技，2021，62（7）：65-70，2.

刘月云.

基于机器视觉的采摘机器人分拣控制[10]唐媛红，

等

马聪，黄花菜采摘机器人视觉系统研究62卷12期

研究[J].2021，43（11）：216-220.

农机化研究，

[11]赵源深.西红柿采摘机器人目标识别、定位与控制技

术研究[D].上海：上海交通大学，2018．

冯明驰.

基于视觉的采摘机器人目标[12]郑太雄，江明哲，

识别与定位方法研究综述[J].仪器仪表学报，2021，42

（9）：28-51.

[13]贾伟宽.基于智能优化的苹果采摘机器人目标识别研

究[D].镇江：江苏大学，2016.

[14]成禹.基于双目视觉的多目标识别与定位方法研究[D].

哈尔滨：哈尔滨理工大学，2021.

[15]许进.基于机器视觉的激光焊缝传感器标定系统研究

[D].哈尔滨：哈尔滨理工大学，2019.

[16]胡国良.基于视觉信息的空间非合作目标近距离位姿

（中国科学院西

测量技术研究[D].西安：中国科学院

，

安光学精密机械研究所）2020.

[17]秦文强.基于双目视觉的植物定位和测量算法研究与

实现[D].呼和浩特：内蒙古大学，2021.

[18]何嘉琦.基于双目视觉测量技术的三维数字图像相

关系统及其应用研究[J].科学技术创新，2021（33）：

7-8，9.

[19]汪杰，陈曼龙，李奎，等.基于HSV与形状特征融合的花

椒图像识别[J].中国农机化学报，2021，42（10）：180-185.

李炎炎，等.

基于HSV色彩空间的低照度[20]刘寿鑫，龙伟，

图像增强[J].计算机工程与设计，2021，42（9）：2552-2560.

丁要男.

基于HSV色彩空间S分量的轨面区域[21]曹义亲，

提取方法[J].南京理工大学学报，2021，45（4）：464-471.

周慧

责任编辑：

（上接第39页）

如要想多种粮，就要引导农村

服，引导农民进行调整。

劳动力外出就业，农户才能将有限的承包地流转出去

农户宁

用于种粮，否则，在劳动力没有出路的情况下，

也

可种植耗费劳动力多的蔬菜、经济作物增加收入，

要确保粮食

不愿意种植效益低但耗费劳力少的粮食。

面积，就要提高种粮的比较效益，使农户、经营主体种

就要通过水权交

粮有利可图。又如，要压减水稻面积，

不可强制命令。要

易改革，通过做“水”的文章来实现，

禁止硒砂瓜种植，就要解决好退出硒砂瓜种植后压砂

才能说服农民。

地的合理利用问题，

4.4

“以地定植”“以气候

因地制宜做好“以水定植”

定植”的全面落实工作

水、土、气候资源条件是农业特色优势产业优化

否则，就会导致调整失败。

调整必须遵守的约束条件，

农业生态良性循环是优化调整的前提和底线，要坚持

可持续利用的原则，不能为了短期利益，对土地进行

就是对土地

掠夺性利用。如中部干旱带压砂瓜产业，

的掠夺性利用，导致不得不全面禁止种植硒砂瓜。宁

夏供港菜基地、南部山区冷凉蔬菜基地也存在掠夺地

力或超采地下水的问题，具有不可持续的隐患。大幅

增加复种指

度压减水稻面积存在低洼盐碱地的限制，

农业结构调整要坚

数存在气候条件的制约等。因此，

土、气候资

持因地制宜的原则，既要充分挖掘利用水、

土、气候条件的约束，全

源的潜力，又要充分尊重水、

“以气候定植”的落实

面做好“以水定植”“以地定植”

工作，才能取得优化调整的成功。

4.5对农业特色优势产业进行优化调整

综合分析，引黄灌区应在确保粮食安全的前提

稳定蔬菜、枸杞

下，大力发展以奶牛为主的草畜产业，

加大外购饲草力度，

等高效经济作物；提高复种指数，

寻求解决人畜、粮草争地矛盾的突破口。中部干旱带

大力发展滩羊、肉牛

和南部山区在稳定粮食的同时，

为主的草畜产业，在满足灌溉条件的区域发展冷凉蔬

寻求保

菜；大力发展以张杂谷为主的杂粮优势产业，

障粮食安全、增加农民收入的新途径。

参考文献：

[1]赵万余.宁夏固原市肉牛生产现状及粪尿利用走势分

析[J].养殖与饲料，2019（7）：104-106.

李军建.

宁夏水资源开发利用对策探析[J].水[2]于慧黎，

利发展研究，2021（1）：50-53.

责任编辑：王银惠

27090785_黄花菜采摘机器人视觉系统研究

发布评论取消回复

最近发表

相关推荐

标签列表

27090785_黄花菜采摘机器人视觉系统研究

发布评论 取消回复

最近发表

相关推荐

标签列表

发布评论取消回复