给机器人触觉

八年前，Ted Adelson的研究小组在麻省理工学院的计算机科学和人工智能实验室（CSAIL）推出了一个新的传感器技术，称为gelsight，使用一个对象提供一个非常详细的三维表面图的物理接触。一个gelsight传感器连接到一个机器人的夹持器使机器人准确地确定了一个小螺丝刀，把它插到一个插槽，即使抓屏幕的螺丝刀从机器人的摄像头。图片：机器人运动组在麻省理工学院，在机械臂的夹子安装gelsight传感器，两麻省理工队给机器人更大的灵敏度和灵活性。研究人员上周在国际机器人与自动化国际会议上发表了两篇论文。在一篇论文里，阿德尔森的小组使用从gelsight传感器采集到的数据，使机器人判断表面接触的硬度至关重要的能力，如果家庭机器人处理日常事物。在另一方面，Russ Tedrake的机器人运动组在CSAIL使用gelsight传感器使机器人操纵的对象比以前更小。的gelsight传感器，在某些方面，低技术解决一个难题。它由一块透明的橡胶-它的名字的“凝胶”-其中一个表面涂有金属漆。当涂油漆的面压在物体上时，它符合物体的形状。金属漆使物体的表面反射，因此它的几何形状变得更容易为计算机视觉算法推断。安装在传感器对面的橡胶块的涂漆面是三个彩色灯和一个摄像头。“[系统]有彩色的灯光在不同的角度，并有反光材料，并通过看颜色，电脑…能猜出那是什么东西的三维形状，”阿德尔森解释说，约翰和视觉科学教授Dorothy Wilson在脑与认知科学系。在这两组实验中，一个gelsight传感器被安装在一个机器人手爪的一侧，有点像一个钳头装置，但平夹持表面而不是尖头。接触点的自主机器人，测量对象的柔软性或硬度是必不可少的决定不仅在哪里以及如何难以把握他们，但他们将如何行为时，移动，堆叠，或铺设在不同的表面。触觉感知也可以帮助机器人区分类似的物体。在以前的工作中，机器人试图评估对象的硬度放在一个平面上，轻轻地戳他们看看他们给多少。但这并不是人类测量硬度的主要方法。相反，我们的判断似乎是基于在何种程度上的对象和我们的手指之间的接触面积的变化，因为我们按它。较软的物体趋于扁平化，增加接触面积。麻省理工学院的研究人员采用了同样的方法。文振元，从阿德尔森集团提出在机械工程和第一作者的研究生，用糖果模具创造400组硅对象，每组16的对象。在每个组中，对象具有相同的形状，但不同程度的硬度，这元测量使用标准的工业规模。然后她把一对每个对象gelsight传感器手动记录的接触模式如何随时间变化的，基本上每个对象的一个简短的电影生产。为了规范数据格式和保持数据管理的大小，她从每个电影中提取了五帧，平均间隔时间，描述了被按下的对象的变形。最后，她将数据反馈给神经网络，它自动寻找接触模式和硬度测量之间的相关性。由此产生的系统作为输入的视频帧，并产生具有非常高的精度的硬度分数。元也进行了一系列非正式的实验中，人体触及的水果和蔬菜和排名他们根据硬度。在每一个实例，该gelsight配备机器人到达了相同的排名。元是加入了对她的两个导师的论文，阿德尔森和Mandayam Srinivasan &nbsp；在机械工程系高级研究科学家；陈卓竹，清华大学谁访问了阿德尔森集团去年夏天本科；和Andrew Owens，谁做他的电气工程博士学位，并在麻省理工学院计算机科学和现在加州大学伯克利分校博士后。阻碍从机器人运动组进行出生与美国国防高级研究计划局的机器人挑战赛（DRC）集团的经验，在学术界和工业界的团队竞相开发控制系统，能够引导机器人通过一系列的假设一个急救相关的任务。通常情况下，自主机器人将使用某种计算机视觉系统，以指导其操纵对象在其环境中。这样的系统可以提供非常可靠的信息，一个对象的位置-直到机器人拿起对象。特别是，如果对象是小的，其中的许多将被遮挡的机器人的夹持器，使得位置估计更难。因此，在精确点，机器人需要准确地知道对象的位置，其估计变得不可靠。这是麻省理工学院团队在DRC面临的问题，当时他们的机器人不得不拿起一个电钻。“你可以看到我们在视频的DRC，我们花了两个或三分钟开钻，”Greg Izatt说，在新的纸在电气工程和计算机科学的研究生，第一作者。“这将是好得多，如果我们有一个实时更新的，那是我们的双手和钻头相对于它准确的估计。”这就是为什么机器人运动组转向GelSight。Izatt和他的合作者Tedrake，电气工程和计算机科学的教授丰田、航空航天、机械工程；阿德尔森；和Geronimo Mirano，另一个研究生在特德雷克组设计的控制算法，利用计算机视觉系统引导机器人手爪的工具，然后定位到一个gelsight传感器一旦机器人工具在手。在一般情况下，这种方法的挑战是协调由触觉传感器所产生的数据由一个视觉系统产生的数据。但GelSight本身是基于摄像头的，所以其数据输出和可视化数据比从其他触觉传感器数据集成更加容易。在美国的实验中，一个gelsight装备夹具机器人必须把握一个小螺丝刀，将它从一个皮套，并返回它。当然，从gelsight传感器数据不描述整个螺丝刀，只是它的一个小补丁。但Izatt发现，只要螺丝刀的初始位置的视觉系统的估计是在几厘米的准确，他的算法可以得到的螺丝刀gelsight传感器很感人，从而确定螺丝的位置在机器人的手部。“我认为gelsight技术，以及其他高带宽的触觉传感器，使机器人有很大的影响，”Sergey Levine说，一个在加州大学伯克利分校电气工程与计算机科学系助理教授。“对于人类来说，我们的触觉是我们惊人的手工灵巧的关键因素之一。目前的机器人缺乏这种类型的灵巧，是有限的，他们的反应能力，表面特征时，操纵对象。如果你想在黑暗中摸索电灯开关，从你的口袋中提取对象，或任何其他许多事情可以做，甚至没有思考–这些都靠触摸感应。”软件终于赶上了我们的传感器的能力，”Levine说。“启发算法在深度学习和计算机视觉可以处理从传感器如gelsight演绎对象属性的丰富的感官数据的创新机器学习。在未来，我们将看到这些种类的学习纳入了端到端的训练操作技能的方法，这将使我们的机器人更灵巧能干，也许有助于我们了解我们自己的触摸和运动控制感。”原文：Larry Hardesty，麻省理工学院