麻省理工的机器人将视觉和触觉结合起来，学习Jenga的游戏

在麻省理工3号楼的地下室里，一个机器人正在仔细考虑下一步的行动。它轻轻地戳向一个木塔，寻找最好的木塔提取而不倾覆的塔，在一个孤独，缓慢，但惊人的灵活的积木游戏。

该机器人由麻省理工学院的工程师开发，配备有一个软尖头的抓手、一个测力腕带和一个外部摄像头，所有这些都是用来观察和感受塔及其各个模块的。

当机器人小心地推着一个木块时，计算机从它的相机和袖口接收视觉和触觉反馈，并将这些测量值与机器人先前所做的移动进行比较。它还考虑了这些移动的结果——具体来说，是否成功地提取了某个配置中的块，并以一定的力推动。然后机器人实时“学习”是继续推还是移动到一个新的街区，以防止塔楼倒塌。

有关Jenga游戏机器人的详细信息今天发表在《科学机器人》杂志上。麻省理工学院机械工程系的沃尔特·亨利·盖尔职业发展助理教授阿尔贝托·罗德里格斯说，机器人证明了在以前的系统中很难实现的东西：快速学习执行任务的最佳方式的能力，而不仅仅是从视觉线索，就像今天人们通常研究的那样，但是也来自触觉和身体的相互作用。

“与单纯的认知任务或象棋或围棋等游戏不同，玩Jenga游戏还需要掌握身体技能，如探测、推、拉、放置和对齐棋子。它需要互动的感知和操作，你必须去哪里触摸塔，以了解如何和何时移动街区，”罗德里格斯说。“这是很难模拟的，因此机器人必须在现实世界中通过与真实的Jenga塔交互来学习。关键的挑战是通过利用对物体和物理的常识，从相对较少的实验中学习。”

他说，研究人员开发的触觉学习系统可以用于除Jenga以外的应用，特别是在需要仔细的物理交互的任务中，包括从垃圾填埋场垃圾中分离可回收物体和组装消费品。

罗德里格斯说：“在手机装配线上，几乎每走一步，都会感觉到卡扣或丝扣的感觉来自于用力和触摸，而不是视觉。”“这些行动的学习模式是这种技术的主要房地产。”

论文的主要作者是麻省理工学院的研究生尼玛·法泽利。该团队还包括Miquel Oller、Jiajun Wu、郑武和麻省理工学院脑和认知科学教授Joshua Tennbaum。

推拉

在Jenga-Swahili的“构建”游戏中，54个矩形块被堆叠成18层，每层三个块，每个块的方向与下面的块垂直。游戏的目的是仔细地提取一个街区，并把它放在塔顶，从而建立一个新的水平，而不倾覆整个结构。

为了编程一个机器人来玩Jenga，传统的机器学习方案可能需要捕获一个块、机器人和塔之间可能发生的所有事情——这是一项昂贵的计算任务，需要数千个（如果不是数万个）块提取尝试的数据。

相反，罗德里格斯和他的同事们在人类认知的启发下，以及我们自己对游戏的处理方式下，寻找一种更具数据效率的机器人学习Jenga的方法。

该团队定制了一个行业标准的abb irb 120机械臂，然后在机器人可及范围内建立了一个Jenga塔，并开始了一个培训期，在这个期间，机器人首先选择一个随机块和一个推压块上的位置。然后，它施加了少量的力，试图将木块推出塔架。

对于每个试块，计算机记录相关的视觉和力测量，并标记每个尝试是否成功。

机器人没有进行几万次这样的尝试（这将涉及重建塔几乎多次），只训练了大约300次，尝试类似的测量和结果分组代表特定的块行为。例如，一组数据可能代表一个难以移动的块上的尝试，而另一组数据更容易移动，或者在移动时使塔架倾覆。对于每个数据集群，机器人开发了一个简单的模型，根据当前的视觉和触觉测量来预测一个块的行为。

法泽利说，这种聚类技术极大地提高了机器人学习游戏的效率，并受到人类聚类相似行为的自然方式的启发：“机器人构建聚类，然后为每个聚类学习模型，而不是学习一个完全捕获所有事物的模型。”不会发生的。”