突破机器视觉关键技术助机器人占领果园、农田

  机器视觉作为智能农业机器人的外部传感器，是机器人作业装备的眼睛，是最大的信息源，具有感知信息丰富、采集信息完整等优势。目前以机器视觉为主的作业信息感知技术已成为农业机器人智能化的关键技术和研究热点。

张春龙

中国农业大学副教授

近日，我国智能科学技术重要奖项“吴文俊人工智能科学技术奖”颁发。其中“非结构环境下农业机器人机器视觉关键技术与应用”项目获得2020年度吴文俊人工智能技术发明奖。

什么是机器视觉？什么是非结构环境？目前我国农业机器人视觉技术达到了怎样的水平？应用领域有哪些？5月14日“非结构环境下农业机器人机器视觉关键技术与应用”项目主要完成人，中国农业大学副教授张春龙、袁挺在接受科技日报记者采访时对以上问题进行了解答。

农业机器人对视觉系统要求很高

什么是机器视觉？袁挺解释，机器视觉是人工智能正在快速发展的一个重要分支，简单来说，机器视觉就是用传感器代替人眼来做检测和判断。

“作为智能农业机器人的外部传感器，机器视觉是机器人作业装备的眼睛，是最大的信息源，具有感知信息丰富、采集信息完整等优势。”张春龙说。

袁挺介绍，机器视觉是通过视觉产品（即图像采集装置）将被拍摄的目标转换成图像信号，并传送给专用的图像处理系统，系统得到目标的形态信息，再将像素分布和亮度、颜色等信息转变成数字信号。随后图像处理系统对这些信号进行各种运算来提取目标特征，进而根据判别的结果来控制现场装备的动作。

“机器视觉最基本的特点就是可以提高生产的灵活性和智能化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，机器视觉技术可以大大提高生产的效率和自动化程度。”袁挺说。

“对于农业机器人来说，非结构环境主要指农田自然环境。非结构环境对于农业机器人作业来说存在诸多不确定因素，如自然光照多变、待作业空间复杂多变、作业对象千姿百态、枝叶果实相互遮挡等，这都成为机器人作业中信息视觉感知的技术难题。”张春龙说。

由于农业机器人的作业目标是离散个体，其个体特征具有随机性和多样性，这种非标准化的目标信息增大了农业机器人机器视觉系统感知与判断的难度。张春龙表示，机器视觉系统只有具备对作业对象的准确识别和对目标位置的精确感知，才能降低对作业对象的损伤，提高作业成功率和效率。

“目前，以机器视觉为主的作业信息感知技术已成为农业机器人智能化的关键技术和研究热点。”张春龙说。

多项技术打破国外垄断、填补空白

田间的非结构环境为农业机器人研发带来了挑战，制约着农业机器人技术的推广与应用。张春龙介绍：“非结构环境下农业机器人机器视觉关键技术与应用”项目通过对农业机器人机器视觉技术的深入研究，在非结构环境下信息获取、复杂光机电协同控制、“激光+视觉”多元信息感知等方面取得了技术突破，多项技术打破国外技术垄断，填补国内空白。项目扩展了人工智能技术在农业场景的落地应用，实现了农业机器人从实验室走向田间生产的创新实践，引领了传统农机的智能化转型。

农田环境中的自然光照、阴影、风速等因素复杂多变，使得机器视觉作物信息动态稳定获取成为难点。“项目从自然光照补偿和抑制机理、机器学习与立体视觉算法匹配等方面进行了技术创新，提出了农业非结构环境下自然光照补偿和抑制机理的机器视觉处理技术，通过分析视觉信息对自然光照变化的敏感程度，构建光照波动控制模型，突破自然光照变化对作物信息动态稳定获取的技术局限，打破了传统机器视觉缺乏对自然光照适应性的技术瓶颈。”袁挺说。

此外，农田环境作物信息叠加多义、作业空间复杂多变，枝叶交错、果实重叠、苗草簇生，使得机器视觉难以准确识别作物信息。“项目从作物光谱特性、物理性状与视觉图像智能算法匹配等方面进行了技术创新，研究了近红外、可见光视觉技术和深度学习方法交叉融合的农业非结构环境下作物信息智能获取技术，突破了自然环境下农作物信息精准获取难点问题。”张春龙介绍。

针对农业机器人工作在田间非结构环境中，地形起伏、沟渠纵横，其视觉系统与执行机构协同控制的问题，“项目从机器人手眼协同控制等方面进行了技术创新，研究了非结构环境下农业机器人末端执行机构视觉伺服控制技术，破解了农业机器人精度与速度、效率与损伤间辩证关系的协同控制难点问题。”袁挺指出。

新技术可用于多项农业领域

“非结构环境下农业机器人机器视觉关键技术与应用”项目成果集成了非结构环境下自然光照补偿的双目视觉处理器、机器人柔性作业末端视觉伺服控制等技术，实现了农业植株狭窄作业空间中的机器人精准采收，目前已在多种农业机器人中实现应用。

比如，黄瓜采摘机器人有一双“大眼睛”和一支灵活的机械手臂，它不仅能自主完成黄瓜的采摘作业，还能自己辨别黄瓜的成熟度，只采摘那些个头大饱满的黄瓜；智能施药机器人，能利用自己的“眼睛”获取田间病虫草害信息，及时对重点部位或区域喷洒农药，实现精准喷洒，降低化学农药使用量，更加符合农业绿色生产的要求；农田锄草机器人，基于非结构环境下机器人作业目标视觉感知与机器人末端执行机构自适应伺服控制技术，实现了锄草机器人自动对行和作物株间锄草作业。

这些智能机器人现在已经在北京、新疆、江苏等农业示范区得到了推广应用。

“我们经过调研发现，在规模农业较发达地区，智能农机有着可观的潜在需求，不但可以降低高昂的人工费用，还可以进行精准作业，减少农药、化肥等施用量，为农业可持续发展提供技术支撑。随着我国农业机械化规模化发展，中国农业向智能化升级已经成为可能。”张春龙说。

同时，农业机器人机器视觉关键技术也可应用于农业植保无人机，它集成了作业目标双目视觉信息智能感知方法、自主仿地飞行自适应控制方法、实时地块边界识别与避障飞行控制方法等技术，实现了植保无人机仿地飞行、高速避障、精准喷洒作业。