ABB机器人

  炎炎夏日眼看就要来了，还有什么比小龙虾更适合夏天的美食吗？话说回来，你有没有想过，有一天，也许机器人能帮你……剥虾？这不是在做美梦，ABB机器人真的能抓虾！不瞎抓，也不抓瞎！绕晕了没？哈哈，快和小编一起来看看！
                                                       机器人抓虾？
到底有多难？

在食品加工领域，ABB机器人对食品的抓取、拣选是实现自动化中的一个常见问题，需要实时、**的图像识别技术，但食品通常形状不规则、特征多变，导致快速、稳定的视觉分析与定位较为困难。

 

以食物中常见的虾为例——目前在工厂的自动剥虾生产线上，有一个关键环节未能实现自动化——对于虾身的抓取与**放置，目前仍然完全由人工操作，极大地限制了生产线的速度、精度、稳定性与生产效率，而且工作本身枯燥无味，浪费人力与时间。

 

在自动化方案中，核心是视觉系统与机器人的配合动作。视觉系统单元对流水线上移动的虾身进行实时拍摄，同时内置算法识别出目标点位置，并引导机器人进行抓取与放置，从而替代人工操作，实现整条生产线的全自动化。

 

 

 

▲自动化拣选方案示意图

 

而在实际应用中，由于虾的形态各异，对人来说十分简单的识别任务，对于传统的图像特征提取算法就变得非常困难。面对形态各异、尺寸不一，纹理颜色等特征也不同的虾，单一的图像处理方法只能准确识别部分样本的关节点，很难达到工业应用的高精度要求，而一个好的解决方案不仅要能满足工业应用的精度要求，还需要将识别失败样本的误差控制在稳定范围内，便于工厂的后续处理。

 

自动化方案

▲待识别的目标关节点

 

人工智能及图像处理领域的科研发展，例如用于图像识别的深度学习算法，为解决这一问题提供了新的思路。但是，深度学习算法在较复杂的图像数据、精度要求较高的识别任务上往往性能不够高，如果直接使用，很难同时满足工业上的实时性要求与通常超过95%的精度要求。

 

 



视觉定位难题怎么破？

 

ABB的研究人员提出结合深度学习与生物特征识别的目标点定位方法，并在实际数据上进行了模型训练与性能验证。首先将虾的图像进行预处理后输入深度学习模型得到粗定位点，之后对虾的位姿进行归一化并提取轮廓线，基于对搜索域内的轮廓拟合与特征点检测以**定位目标点。

目标识别关节点

 

▲基于深度学习与生物特征的目标点识别方法

 

通过在虾的实测数据上进行建模与测试，发现深度学习模型较难直接给出**的目标点位置，但可以提供与目标点较接近的粗定位点，从而得到能涵盖目标点的搜索域。之后利用生物特征识别，基于轮廓线提取与拟合，可以在此搜索域内精准地定位目标点。

 

 

实验结果证明了该方法的有效性：在包含1000张实测样本的测试集上，整体方案的识别率达到97.2%，可初步满足实际工业应用的要求。