强化学习促进机器人假肢的“调整”

来自北卡罗莱纳州立大学、北卡罗莱纳州立大学和亚利桑那州立大学的研究人员已经开发出一种智能系统，用于“调节”动力假肢膝盖，使患者在几分钟内就可以舒适地行走，而不是在经过训练的临床PRA调节假肢时所需的时间。组织者。该系统是第一个完全依靠强化学习来调整机器人假肢的系统。

WPA6021602IMG

当病人接受人工膝关节时，需要调整装置以适应特定病人。新的调节系统调整了12个不同的控制参数，解决了整个步态周期假肢动力学，如关节刚度。

通常情况下，一个人体医生会与患者一起修改一些参数。这可能需要几个小时。新系统依赖于一个利用强化学习来修改所有12个参数的计算机程序。它允许病人在大约10分钟内使用电动假肢膝盖在水平面上行走。

“我们首先给病人一个随机选择参数的电动假肢膝盖，”Helen Huang说，他是一篇关于这项工作的论文的合著者，也是北卡罗来纳州和北卡罗来纳州生物医学工程联合系的教授。“然后我们让患者在可控的情况下开始行走。

“设备上的数据和患者的步态是通过设备中的一组传感器收集的，”黄说。“计算机模型适应设备上的参数，并实时比较患者的步态与正常步行步态的轮廓。模型可以判断哪些参数设置会提高性能，哪些设置会降低性能。使用强化学习，计算模型可以快速识别一组参数，使患者能够正常行走。现有的方法，依靠训练有素的临床医生，可能需要半天时间。”

虽然目前这项工作是在一个受控的临床环境中完成的，但一个目标是开发一个无线版本的系统，允许用户在现实环境中使用时继续微调电动假肢参数。

该论文的合著者、华硕电气、计算机和能源工程教授Jennie Si说：“这项工作是针对患者在水平面上行走的场景而进行的，但原则上，我们也可以开发用于诸如上下楼梯等情况的强化学习控制器。”

“我已经从动态系统控制的角度进行了强化学习，考虑到传感器噪声、环境干扰以及系统安全和稳定性的要求，”Si说。“我认识到了学习实时控制一个同时受到人类用户影响的假肢装置的前所未有的挑战。这是一个共适应问题，无论是古典控制设计还是当前最先进的强化学习控制机器人，都没有现成的解决方案。我们很高兴地发现，我们的强化学习控制算法确实学会了使假肢作为人体的一部分在如此令人兴奋的应用环境中工作。”

黄说，研究人员希望使这个过程更加有效。“例如，我们认为我们可以通过识别或多或少可能成功的参数组合来改进流程，并训练模型首先关注最有希望的参数设置。”

研究人员注意到，虽然这项工作是有希望的，但在它被广泛使用之前，需要解决许多问题。

“例如，这项研究中的假体调整目标是在行走时满足膝关节的正常运动，”黄说。“我们没有考虑其他步态性能（如步态对称性）或用户偏好。另一个例子是，我们的调整方法可以用于在诊所和实验室之外对设备进行微调，使系统随着时间的推移而适应用户的需要。然而，我们需要确保在现实世界中使用的安全，因为控制错误可能会导致绊倒和跌倒。为了证明安全，需要进行额外的测试。”

研究人员还注意到，如果该系统确实被证明是有效的并被广泛使用，它可能会通过限制患者与医生进行临床访问的需要来降低患者的成本。