一种基于深度视觉的智能除草机器人、系统论文和设计-李绍稳

全文摘要

本实用新型公开了一种基于深度视觉的智能除草机器人、系统，属于智能机器人技术领域，其包括工控机、动力模块、小车主体、履带行驶轮、液压爪和除草设备，所述小车主体上安装有受行驶轮驱动装置驱动的履带行驶轮，液压爪和除草设备通过用于调整二者姿态的除草机械臂装置安装在小车主体上，行驶轮驱动装置、液压爪和除草设备均由动力模块提供动力且均受工控机控制，还包括用于测量杂草、农作物和小车主体三者相对位置关系的深度相机模块，本实用新型的有益效果是：通过单机械臂的交互操作就可以实现双机械臂的交互功能，同时采用精准化除草的方式，在保证除草效率和精度的前提下，有效降低了对农作物的二次伤害，大大推进了智能除草机器人的应用与发展。

主设计要求

1.一种基于深度视觉的智能除草机器人，包括工控机、动力模块、小车主体（1）、履带行驶轮（2）、液压爪（18）和除草设备（20），所述小车主体（1）上安装有受行驶轮驱动装置驱动的履带行驶轮（2），液压爪（18）和除草设备（20）通过用于调整二者姿态的除草机械臂装置安装在小车主体（1）上，行驶轮驱动装置、液压爪（18）和除草设备（20）均由动力模块提供动力且均受工控机控制，其特征在于，还包括用于测量杂草、农作物和小车主体（1）三者相对位置关系的深度相机模块，深度相机模块与工控机电性连接，所述小车主体（1）上还通过LCD触控装置支架（4）安装有与工控机连接的LCD触控装置（5）。

设计方案

2.根据权利要求1所述的一种基于深度视觉的智能除草机器人，其特征在于，所述动力模块为可充电电源，可充电电源安装在小车主体（1）上开设的凹槽中，且凹槽处固定有电源罩（24），将可充电电源封装在内，小车主体（1）上设有对应可充电电源的充电接口（25）。

3.根据权利要求1所述的一种基于深度视觉的智能除草机器人，其特征在于，所述小车主体（1）采用钣金材料制成，小车主体（1）的后方设有急停按钮（22）和启动按钮（23），所述小车主体（1）还内置有标准配重块，所述小车主体（1）的前后两侧均安装有小车保险杠（3），小车保险杠（3）采用合金材料制成。

4.根据权利要求1-3任一所述的一种基于深度视觉的智能除草机器人，其特征在于，所述深度相机模块包括第一深度相机（8）和第二深度相机（21），第一深度相机（8）安装在可滑动调节支架杆（7）上，可滑动调节支架杆（7）通过相机支架框（6）安装在小车主体（1）上，可滑动调节支架杆（7）的两端与相机支架框（6）侧壁上开设的槽口相配合，第二深度相机（21）安装在小车主体（1）的前端。

5.根据权利要求4所述的一种基于深度视觉的智能除草机器人，其特征在于，所述第一深度相机（8）的型号为微软Kinect V2，第二深度相机（21）的型号为英特尔RealsenseD435。

6.根据权利要求1或2或3或5所述的一种基于深度视觉的智能除草机器人，其特征在于，所述除草机械臂装置包括底座（12）、第一横臂（13）、第一竖臂（14）、第二横臂（15）、第二竖臂（16）和第三横臂（17），所述第一横臂（13）转动安装在底座（12）上，且第一横臂（13）由其内置的伺服电机驱动可相对于底座（12）转动，第一竖臂（14）的两端分别与第一横臂（13）和第二横臂（15）固定连接，第二横臂（15）的端部转动连接有第二竖臂（16），且第二竖臂（16）由伺服电机驱动使其可相对于第二横臂（15）转动，第二竖臂（16）的端部与第三横臂（17）转动连接，且第三横臂（17）由伺服电机驱动使其可相对于第二竖臂（16）转动，第三横臂（17）上安装有位置对称的液压爪（18）和除草设备（20）。

7.根据权利要求6所述的一种基于深度视觉的智能除草机器人，其特征在于，所述除草设备（20）包括高速旋转电机以及安装在高速旋转电机输出轴上的刀片，且所述除草设备（20）的外围位置处固定有防尘罩（19），所述液压爪（18）为电动液压抓手。

8.根据权利要求6所述的一种基于深度视觉的智能除草机器人，其特征在于，所述底座（12）安装在底座固定座（11）上，且底座（12）由其内置的伺服电机驱动，使其可相对于底座固定座（11）转动，底座固定座（11）固定在滑动挡板（10）上，滑动挡板（10）配合安装在具有槽口的U型固定板（9）上，槽口开设在U型固定板（9）的侧壁上，U型固定板（9）固定在小车主体（1）的表面。

9.一种基于深度视觉的智能除草机器人系统，其特征在于，包括：

可充电电源，用于供电；

主控板一，用于控制小车主体内的行驶轮驱动装置和编码器，

主控板二，用于控制除草机械臂装置内的若干个伺服电机、液压爪以及除草设备；

深度相机模块，用于测量杂草、农作物和小车主体三者相对位置关系，并将结果输出给工控机；

工控机，所述工控机电性连接可充电电源、主控板一、主控板二和深度相机模块，所述工控机的控制端接口与LCD触控装置电气连接。

10.根据权利要求9所述的一种基于深度视觉的智能除草机器人系统，其特征在于，所述主控板一还与GPS定位与导航模块电气连接。

设计说明书

技术领域

本实用新型涉及一种智能机器人，具体是一种基于深度视觉的智能除草机器人、系统。

背景技术

田间杂草几乎存在于所有农田作物的生长环境中，很难通过绿色环保、低碳高效的除草方式杜绝其生长，因此如何有效的清除田间杂草在我国的农业生产过程中有着十分重要的意义。然而现有的智能除草机器人要么是通过定量控制化学农药的使用方式进行田间杂草清除，要么是通过机械臂和摄像头的组合利用传统的图像处理技术对田间杂草进行清除，很显然化学农药的使用危害最大，虽然定量控制其使用，但是其副作用不容小觑，机械臂和摄像头的组合显然智能化程度不高，还有机械臂一般固定在移动载体上无法调节，因此无法适用于更多不同杂草环境的田间，另外除草过程中产生的灰尘容易对摄像头的镜头造成污染影响除草的精度。

基于上述智能除草机器人中存在的技术问题，尚未有相关的解决方案；因此迫切需要寻求有效方案以解决上述问题。

实用新型内容

本实用新型的目的在于提供一种基于深度视觉的智能除草机器人、系统，以解决上述背景技术中提出的问题。

为实现上述目的，本实用新型提供如下技术方案：

一种基于深度视觉的智能除草机器人，包括工控机、动力模块、小车主体、履带行驶轮、液压爪和除草设备，所述小车主体上安装有受行驶轮驱动装置驱动的履带行驶轮，液压爪和除草设备通过用于调整二者姿态的除草机械臂装置安装在小车主体上，行驶轮驱动装置、液压爪和除草设备均由动力模块提供动力且均受工控机控制，还包括用于测量杂草、农作物和小车主体三者相对位置关系的深度相机模块，深度相机模块与工控机电性连接，所述小车主体上还通过LCD触控装置支架安装有与工控机连接的LCD触控装置。

作为本实用新型进一步的方案：所述动力模块为可充电电源，可充电电源安装在小车主体上开设的凹槽中，且凹槽处固定有电源罩，将可充电电源封装在内，小车主体上设有对应可充电电源的充电接口。

作为本实用新型再进一步的方案：所述小车主体采用钣金材料制成，小车主体的后方设有急停按钮和启动按钮，所述小车主体还内置有标准配重块，所述小车主体的前后两侧均安装有小车保险杠，小车保险杠采用合金材料制成。

作为本实用新型再进一步的方案：所述深度相机模块包括第一深度相机和第二深度相机，第一深度相机安装在可滑动调节支架杆上，可滑动调节支架杆通过相机支架框安装在小车主体上，可滑动调节支架杆的两端与相机支架框侧壁上开设的槽口相配合，第二深度相机安装在小车主体的前端。

作为本实用新型再进一步的方案：所述第一深度相机的型号为微软Kinect V2，第二深度相机的型号为英特尔Realsense D435。

作为本实用新型再进一步的方案：所述除草机械臂装置包括底座、第一横臂、第一竖臂、第二横臂、第二竖臂和第三横臂，所述第一横臂转动安装在底座上，且第一横臂由其内置的伺服电机驱动可相对于底座转动，第一竖臂的两端分别与第一横臂和第二横臂固定连接，第二横臂的端部转动连接有第二竖臂，且第二竖臂由伺服电机驱动使其可相对于第二横臂转动，第二竖臂的端部与第三横臂转动连接，且第三横臂由伺服电机驱动使其可相对于第二竖臂转动，第三横臂上安装有位置对称的液压爪和除草设备。

作为本实用新型再进一步的方案：所述除草设备包括高速旋转电机以及安装在高速旋转电机输出轴上的刀片，且所述除草设备的外围位置处固定有防尘罩，所述液压爪为电动液压抓手。

作为本实用新型再进一步的方案：所述底座安装在底座固定座上，且底座由其内置的伺服电机驱动，使其可相对于底座固定座转动，底座固定座固定在滑动挡板上，滑动挡板配合安装在具有槽口的U型固定板上，槽口开设在U型固定板的侧壁上，U型固定板固定在小车主体的表面。

一种基于深度视觉的智能除草机器人系统，其包括电性连接的工控机、可充电电源、深度相机模块、主控板一和主控板二，所述可充电电源用于供电，主控板一用于控制小车主体内的行驶轮驱动装置和编码器，行驶轮驱动装置用于驱动履带行驶轮的转动，编码器用于实时反馈履带行驶轮的轮速信息，实现对小车主体速度的闭环控制；主控板二用于控制除草机械臂装置内的若干个伺服电机、液压爪以及除草设备；深度相机模块用于测量杂草、农作物和小车主体三者相对位置关系，并将结果输出给工控机，工控机的控制端接口与LCD触控装置电气连接。

作为本实用新型进一步的方案：所述主控板一还与GPS定位与导航模块电气连接。

与现有技术相比，本实用新型的有益效果是：（1）通过使用同步驱动履带行驶轮以适用于不同的地形，在行驶过程中具有更大的抓地力，通过使用小车保险杠不仅美观的同时还可以对小车主体起到一定的保护作用，能够有效的降低小车碰撞的风险；

（2）除草机械臂装置中的除草设备的外侧加入防尘罩，能够有效的缓解除草过程中产生的灰尘对深度相机的镜头造成污染，通过机械臂末端第三横臂上带有的除草设备和液压爪可以实现田间杂草清除以及精准施肥工作，正真的实现了一物多用，一物多功能，一定程度上推动了智能除草设备的设计新方向；

（3）深度相机模块的使用，通过两种深度相机相互配合精准识别杂草的位置以及杂草的形态，一方面提高了杂草的识别和定位精度，另一方面也有利于除草机械臂装置的运动路径规划和除草操作，提高了农田除草的效率和精度，于此同时两种深度相机安装的不同位置和角度，在分析计算杂草和农作物距离的时候，能够进行均值计算，大大提高了分析计算杂草和农作物距离的准确率，减少了相对误差；

（4）结构简单、构造新颖，通过单机械臂的交互操作就可以实现双机械臂的交互功能，同时采用精准化除草的方式，在保证除草效率和精度的前提下，有效降低了对农作物的二次伤害，大大推进了智能除草机器人的应用与发展。

附图说明

图1 为本实用新型一种基于深度视觉的智能除草机器人的整体前方结构示意图；

图2 为本实用新型一种基于深度视觉的智能除草机器人的整体后方结构示意图；

图3 为本实用新型一种基于深度视觉的智能除草机器人的整体侧面结构示意图；

图4 为本实用新型一种基于深度视觉的智能除草机器人的除草工作方式示意意图；

图5 为本实用新型一种基于深度视觉的智能除草机器人的杂草回收与施肥示意图；

图6 为本实用新型一种基于深度视觉的智能除草机器人的可调节除草机械臂装置结构示意图；

图7 为本实用新型一种基于深度视觉的智能除草机器人的可调节相机支架结构示意图；

图8为本实用新型一种基于深度视觉的智能除草机器人的除草设备结构示意图；

图9为本实用新型一种基于深度视觉的智能除草机器人的LCD触控显示装置结构示意图；

图10为本实用新型一种基于深度视觉的智能除草机器人系统整体示意图；

图11为本实用新型一种基于深度视觉的智能除草机器人控制方法示意图；

图12为本实用新型一种基于深度视觉的智能除草机器人的工作原理图。

图中：1、小车主体；2、履带行驶轮；3、小车保险杠；4、LCD触控装置支架；5、LCD触控装置；6、相机支架框；7、可滑动调节支架杆；8、第一深度相机；9、U型固定板；10、滑动挡板；11、底座固定座；12、底座；13、第一横臂；14、第一竖臂；15、第二横臂；16、第二竖臂；17、第三横臂；18、液压爪；19、防尘罩；20、除草设备；21、第二深度相机；22、急停按钮；23、启动按钮；24、电源罩；25、充电接口。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的装置和方法的例子。

实施例1

请参阅图1～9，本实用新型实施例中，一种基于深度视觉的智能除草机器人，包括工控机、动力模块、小车主体1、履带行驶轮2、液压爪18和除草设备20，所述小车主体1上安装有受行驶轮驱动装置驱动的履带行驶轮2，履带行驶轮2由两个同步驱动轮与履带啮合组成，两个同步驱动轮分别与对应的行驶轮驱动装置的输出轴转动连接，并且履带行驶轮2对称安装在小车主体1的两侧，距离小车主体1底平面50mm，所述履带行驶轮2通过同步行驶的方式实现小车主体1的正常行驶，通过小车主体1两侧的履带行驶轮的正反转行驶实现小车主体1的左右转向，行驶轮驱动装置中的驱动器还与编码器电气连接，编码器用于实时反馈履带行驶轮2的轮速信息，实现对小车主体1速度的闭环控制，同时编码器内置的IMU能够对小车主体1运动姿态进行实时控制及反馈，采集速度、角度等信息，以保证行驶过程中维持姿态，防止倾倒，液压爪18和除草设备20通过用于调整二者姿态的除草机械臂装置安装在小车主体1上，很明显的，此处，除草设备20是用于除去杂草的，液压爪18可以根据需要进行农作物的施肥、杂草的回收等，行驶轮驱动装置、液压爪18和除草设备20均由动力模块提供动力且均受工控机控制，在本实施例中，还包括用于测量杂草、农作物和小车主体1三者相对位置关系的深度相机模块，深度相机模块与工控机电性连接，或者说，深度相机模块受工控机控制，此处，通过判定三者的相对位置关系，然后通过除草机械臂装置调整液压爪18和除草设备20的姿态，可以避免在除草过程中，对农作物造成的伤害，为了更好的判断三者的相对位置关系，小车主体1内还安装有GPS定位与导航模块，所述小车主体1上还通过LCD触控装置支架4安装有与工控机连接的LCD触控装置5，在本实施例中，通过LCD触控装置支架4是直径为30mm、长度为450mm的圆柱体，并且在圆柱体远离小车主体1上表面的一端平滑切割成椭圆面，用以实现LCD触控装置5的安装，所述LCD触控装置5采用高清LCD电阻式触摸屏，尺寸大小为10寸，通过LCD触控装置5能方便的实现人机交互，例如通过LCD触控装置5来设定小车主体1的行走状态，实现直行、倒行和转向等，也可以通过LCD触控装置5调节液压爪18和除草设备20的工作模式。

需要说明的是：此处的LCD触控装置5实质是一种高清工业控制一体机，其中的LCD触控装置5实质是高清电阻触摸显示器，类似平板电脑，其通过RS232接口与工控机连接。

实施例2

请参阅图1～9，本实用新型实施例中，一种基于深度视觉的智能除草机器人，在上述实施例的基础上：本实施例将动力模块优选为48V的可充电电源，可充电电源安装在小车主体1上开设的凹槽中，且凹槽处固定有电源罩24，将可充电电源封装在内，当然，小车主体1上设有对应可充电电源的充电接口25。

在本实施例中，所述小车主体1的长宽高分别为1000mm、600mm和300mm，小车主体1采用钣金材料制成，小车主体1的前方和后方分别对称平滑切割去边角，小车主体1的后方设有急停按钮22和启动按钮23，具体的，急停按钮22、启动按钮23和充电接口25的布置位置根据使用需求而定，本实施例不做具体的限定。而且为了保证小车主体1的重心稳定，所述小车主体1还内置有标准配重块。

同时，为了对小车主体1进行防护，所述小车主体1的前后两侧均安装有小车保险杠3，小车保险杠3距离移动小车1底面100mm,其长为600mm,宽为50mm,厚度为15mm，两端呈45度角伸展30mm,中间三等分点处向外延伸50mm,厚度也为15mm，小车保险杠3所选材料为合金。

实施例3

请参阅图1～9，本实用新型实施例中，一种基于深度视觉的智能除草机器人，在上述实施例的基础上：所述的深度相机模块包括第一深度相机8和第二深度相机21，其中，第一深度相机8安装在可滑动调节支架杆7上，且为了实现取景范围的扩大，第一深度相机8可以相对于可滑动调节支架杆7发生转动，可滑动调节支架杆7通过相机支架框6安装在小车主体1上，实际上，可滑动调节支架杆7的两端与相机支架框6侧壁上开设的槽口相配合，来实现可滑动调节支架杆7在竖直方向上的位置调节，相机支架框6长为600mm，宽为30mm，高为800mm，所采用材料为10mm厚的铝合金板材，靠近相机支架框6顶端的两侧支脚位置对称开有长为200mm，孔径为20mm,深度为10mm的槽口，可滑动调节支架杆7是直径为20mm,长为600mm的圆柱体，并且距离圆柱体两端各175mm处有两个长度为100mm的夹持架；对于第二深度相机21来说，第二深度相机21安装在小车主体1的前端。

本实施例中，所述第一深度相机8的型号优选为微软Kinect V2，第二深度相机21的型号优选为英特尔Realsense D435。

实际应用时，Kinect V2采用主动光探测方式，利用入射光信号与反射光的信号的变化进行目标距离的测量，在同一视野内通过区分杂草和农作物的位置关系然后记录二者相对于Kinect V2的角度信息，Realsense D435采用双目立体测量方式，利用点云配准方法确定目标的距离，同样在与Kinect V2深度相机同一视野内通过区分杂草和农作物的位置关系然后记录二者相对于Kinect V2的角度信息，最终由工控机对获得的信息进行进一步的分析处理。

实施例4

请参阅图1～2，本实用新型实施例中，一种基于深度视觉的智能除草机器人，在上述实施例的基础上：所述的除草机械臂装置包括底座12、第一横臂13、第一竖臂14、第二横臂15、第二竖臂16和第三横臂17，所述第一横臂13转动安装在底座12上，且第一横臂13由其内置的伺服电机驱动可相对于底座12转动，第一竖臂14的两端分别与第一横臂13和第二横臂15固定连接，第二横臂15的端部转动连接有第二竖臂16，且第二竖臂16由伺服电机驱动使其可相对于第二横臂15转动，第二竖臂16的端部与第三横臂17转动连接，且第三横臂17由伺服电机驱动使其可相对于第二竖臂16转动，第三横臂17上安装有位置对称的液压爪18和除草设备20，实际上，除草机械臂装置是一个机械手，能实现多自由度的转动，以便能调整液压爪18和除草设备20的运动路径和姿态。

具体的，所述除草设备20包括高速旋转电机以及安装在高速旋转电机输出轴上的刀片，除草设备20的切割直径优选为200mm，且所述除草设备20的外围位置处固定有防尘罩19，防尘罩的最大弧口直径为300mm，可有效防止除草时带起的灰尘对深度相机模块的视野造成干扰。所述液压爪18为电动液压抓手，能够实现抓取与释放，方便实现杂草的回收和对农作物的施肥等作业，抓手的数量优选为三个，在此不做具体的限定。

另外，在本实施例中，为了便于除草机械臂装置的安装，本实施例作出如下改进：

所述底座12安装在底座固定座11上，且底座12由其内置的伺服电机驱动，使其可相对于底座固定座11转动360度，底座固定座11固定在滑动挡板10上，滑动挡板为长宽厚分别为600mm、150mm和20mm的钢板，其两端呈椭圆形结构，滑动挡板10配合安装在具有槽口的U型固定板9上，槽口开设在U型固定板9的侧壁上，槽口长度为300mm，孔径为20mm，U型固定板9固定在小车主体1表面，此种方式能便于滑动挡板10的安装和拆卸，并且，为了防止小车主体1运动时产生的颠簸造成除草机械臂装置晃动的现象，此处，还可以加装螺栓螺母来实现滑动挡板10与U型固定板9的固定。

实施例5

请参阅图1～10，本实用新型实施例中，还公开了一种基于深度视觉的智能除草机器人系统，其包括电性连接的工控机、可充电电源、主控板一和主控板二，在本实施例中，所述可充电电源用于供电，主控板一用于控制小车主体1内的行驶轮驱动装置和编码器，行驶轮驱动装置用于驱动履带行驶轮2的转动，编码器用于实时反馈履带行驶轮2的轮速信息，实现对小车主体1速度的闭环控制，同时编码器内置的IMU能够对小车主体1运动姿态进行实时控制及反馈，采集速度、角度等信息，以保证行驶过程中维持姿态，防止倾倒；主控板二用于控制液压爪18、除草设备20以及除草机械臂装置内的若干个伺服电机；深度相机模块，用于测量杂草、农作物和小车主体1三者相对位置关系，并将结果输出给工控机，主控板一和主控板二的型号为STM32F103RCT6的低功耗芯片，主控板一和主控板二与工控机电气连接，集成与同一个操作管理平台，同时工控机的控制端接口与LCD触控装置5电气连接，进而将工控机中的操作管理平台界面可视化。

作为优选的，所述主控板一还与GPS定位与导航模块电气连接，GPS定位与导航模块和深度相机模块的相互配合，以便于能精准的定位杂草和农作物的位置信息。

结合上述实施例，易知本技术方案的工作原理：当用户选择精准除草工作模式时，首先用户可以启动智能除草机器人设备，系统开始自检准备进入工作状态，LCD触控装置中的高清LCD电阻式触摸屏会显示当前设备的状态和系统剩余的带电量以及理论可继续工作时间，然后智能除草机器人设备在GPS定位与导航模块和深度相机的配合下开始工作，在深度相机模块视野的安全区域，工控机在进行实时路径规划的同时控制除草机械臂装置中的除草设备进行高速率的除草操作，提高工作效率，在深度相机视野的非安全区域工控机在进行实时路径规划的同时控制除草机械臂装置中的除草设备进行低速率的除草操作，从而避免对农田作物的二次伤害，提高除草的精度；当用户选择环保除草工作模式时，深度相机视野不区分区域是否安全，只是将所见杂草清除，同时只需要除草设备旋转180度即可将所除杂草回收至相应的车载存储箱（车载存储箱可以根据实际需求固定在小车主体上）；当用户选择除草与施肥工作模式时，除草设备一端的除草设备用来除草，另一端通过除草设备旋转180度实现机械抓手精准定位施肥。

实施例6

请参阅图11，本实用新型实施例中，还公开了一种基于深度视觉的智能除草机器人的控制方法，具体的，其包括以下步骤：

S1，训练杂草与农作物分类与识别深度模型，并将所得杂草与农作物分类与识别深度模型部署到工控机的操作系统中，同时完成深度相机模块和除草机械臂装置的标定工作；具体为：根据深度学习的模型训练方法训练杂草与农作物分类与识别深度模型，然后将训练得到的杂草与农作物分类与识别深度模型部署到硬件设备满足运行深度学习模型的工控机操作系统中，同时深度相机模块和除草机械臂装置在室外环境按照现有的标定方法完成相应的标定工作。

S2，通过LCD触控装置选择智能除草机器人的工作模式，同时启动智能除草机器人，系统开始自检进入工作状态；具体为：在完成步骤S1的基础上，LCD触控装置可以通过高清LCD电阻式触摸屏选择智能除草机器人的工作模式，例如：精准除草工作模式、环保除草工作模式以及除草与施肥工作模式，其中精准除草工作模式只是对杂草进行精准除草，环保除草工作模式不仅对杂草进行精准除草，还要将所除杂草回收到车载的存储箱等设备，除草与施肥工作模式一方面是对杂草进行清除，另一方面还要对农作物进行定位施肥以减少化肥的流失和使用。

S3，第一深度相机采用主动光探测方式获取目标距离第一深度相机的位置，然后将杂草和农作物的位置信息以及角度信息传输至工控机；具体为：第一深度相机采用主动光探测方式，利用入射光信号与反射光的信号的变化进行目标距离的测量，在同一视野内通过区分杂草和农作物的位置关系然后记录二者相对与第一深度相机的角度信息。

S4，第二深度相机采用双目立体测量方式获取同样目标距离第二深度相机的位置，然后同样将杂草和农作物的位置信息以及角度信息传输至工控机；具体为：第二深度相机采用双目立体测量方式，利用点云配准方法确定目标的距离，同样在与第一深度相机同一视野内通过区分杂草和农作物的位置关系然后记录二者相对与第二深度相机的角度信息。

S5，工控机分别对应的分析处理来自步骤S3的第一深度相机和步骤S4的第二深度相机的传输信息，然后通过角度信息计算杂草和农作物的距离，并且进行均值运算确定相对精准距离；具体为：工控机分析处理后，可以将深度相机模块的视野范围之内分为安全区域和非安全区域，其中安全区域就是杂草距离农作物相对较远，无需考虑机械臂除草装置对农田作物造成二次伤害，非安全区域就是杂草距离农作物相对较近，需要考虑机械臂除草装置对农田作物造成二次伤害。

S6，经过步骤S5的处理之后，同时根据步骤S2中选择的智能除草机器人工作模式，进而可以指导除草机械臂装置完成精准的运动路径规划和精准除草操作，具体为：在安全区域，工控机在进行实时路径规划的同时控制除草机械臂装置中的除草设备进行高速率的除草操作，提高工作效率；在非安全区域，工控机在进行实时路径规划的同时控制除草机械臂装置中的除草设备进行低速率的除草操作，从而避免对农田作物的二次伤害，提高除草的精度。

实施例7

请参阅图12，第一深度相机（微软Kinect V2）利用自带的视觉系统（其实是深度相机的深度镜头），经过Intel D4视觉处理器的处理将实时获取的杂草和农作物深度图像信息通过对应的USB 3.0接口传输至工控机，同时根据实时获取的杂草和农作物深度图像信息估算杂草与农作物相对与第一深度相机的相对距离以及角度信息，然后搭载有RadeonRX Vega M GH 独立显卡的Intel core i7-8809G 处理器的工控机根据图像处理和计算机视觉算法利用获取的杂草和农作物深度图像信息将杂草目标三维表示确定杂草目标的位置坐标，同时根据三角形“两边夹一角”原理可以确定一个三角形，进而可以通过解三角形求得杂草与农作物的第一次绝对距离；与此同时，小车主体前方的第二深度相机（英特尔的Realsense D435）利用自带的视觉系统经过PS1080系统级芯片的处理将实时获取的杂草和农作物深度图像信息通过其对应的USB 3.0接口传输至工控机，同时根据实时获取的杂草和农作物深度图像信息估算杂草与农作物相对与第二深度相机的相对距离以及角度信息，然后搭载有 Radeon RX Vega MGH独立显卡的Intel core i7-8809G 处理器的工控机根据图像处理和计算机视觉算法利用获取的杂草和农作物深度图像信息将杂草目标三维表示进一步确定杂草目标的位置坐标，同时根据三角形“两边夹一角”原理可以确定一个三角形，进而可以通过解三角形求得杂草与农作物的第二次绝对距离，然后根据两次求得的绝对距离通过均值运算得到相对精准的杂草与农作物绝对距离，为精准除草奠定基础。

工控机根据两个深度相机（即第一深度相机和第二深度相机）传输过来的信息，分析与运算得到结果后，一方面通过对应的串口USART1经过串口通信电路（串口RS232转USART串口，利用MAX3232芯片将RS232电平转换成TTL电平）下发控运动制指令给主控板一STM32F103RCT6，主控板一接收到运动控制指令后通过对应的对应的I\/O口驱动电路发送给行驶轮驱动器电路驱动工作，同时与行驶轮驱动器电路连接的编码器电路实时反馈履带行驶轮的轮速信息，实现对小车主体速度的闭环控制，编码器内置的IMU能够对小车主体运动姿态进行实时控制及反馈，采集速度、角度等信息，并将采集的信息再反馈给主控板一STM32F103RCT6；另外主控板一通过对应的USART3串口与GPS定位与导航模块连接，用于提供野外的实时定位与导航。另一方面通过对应的串口USART2经过串口通信电路（串口RS232转USART串口，利用MAX3232芯片将RS232电平转换成TTL电平）下发控制指令给主控板二，主控板二接收到机械臂控制指令后通过对应的I\/O口驱动电路发送给伺服电机驱动电路驱动伺服电机控制电路工作，进而控制除草机械臂的精准运动规划靠近杂草目标；在得知杂草与农作物目标的精确绝对距离以及实际姿态，主控板二通过其I\/O口驱动电路发送高速旋转电机启动指令至高速旋转电机驱动电路，高速旋转电机驱动电路则会驱动高速旋转电机控制电路工作，进而控制可调节除草机械臂机构中的除草机设备进行精准除草操作；如果需要将杂草收回或者精准施肥，只需要第三横臂的伺服电机驱动旋转180度即可实现除草设备和液压爪的切换，具体操作是当除草完成时，主控板二通过其I\/O口驱动电路发送液压爪启动指令至电动液压爪驱动电路，然后电动液压爪驱动电路驱动电动液压爪控制电路工作，进而实现杂草的回收或者精准的施肥工作任务。另外，48V可充电电源带路通过开关稳压电路给整个工控机供电，进而给整个除草机器人供电；电阻式触控电路通过液晶驱动电路与工控机的串行通讯端口COM口电气连接，进而可以实现通过工业控制触摸显示器实现智能除草机器人的工作模式选择以及运行指令控制，用于实现人机交互。

需要特别说明的是，本技术方案，结构简单、构造新颖，通过单机械臂的交互操作就可以实现双机械臂的交互功能，同时采用精准化除草的方式，在保证除草效率和精度的前提下，有效降低了对农作物的二次伤害，大大推进了智能除草机器人的应用与发展。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

设计图

一种基于深度视觉的智能除草机器人、系统论文和设计

一种基于深度视觉的智能除草机器人、系统论文和设计-李绍稳

全文摘要

主设计要求

设计方案

设计说明书

设计图

相关信息详情

猜你喜欢