MIT发明10美元AI触觉手套：既能识别物体，又能称重

大数据文摘出品

编译：橡树_hiangsug、曹培信

对人类的感知觉能力（如视觉、听觉和触觉）的研究和复制往往取决于相关数据的可用性，数据集越大越丰富，模型的性能越高。

人工视觉和语音系统的进步依赖于深度学习模型，并且由无处不在的数字图像和语音音频数据库推动。

相比之下，由于将电子设备集成到柔性材料中的难度较大，触觉传感器（将物理接触刺激转换为可测量信号的设备）的发展受限。MIT人工智能实验室(CSAIL)的Subramanian Sundaram等研究人员，开发了一种低成本的触觉手套，为这一问题提供了一条可能的解决方案。

论文地址：

https://www.nature.com/articles/s41586-019-1234-z

该手套由一个手形传感套管组成，连接在针织手套的手掌侧（图1）。套筒包含力敏膜，膜上缝制了64个导电线网络（沿手套的一个方向32个，沿其垂直方向32个）。这些螺纹重叠的548个点中配置了压力传感器，当按压这些点时，交错膜的电阻便会减小。手套的输出可以作为32×32灰度像素阵列处理，其中每个像素的颜色表示从低（黑色）到高（白色）的施加压力，以每秒约七帧的速度记录压力图。

图1 | 低成本的触觉采集手套。Sundaram 等人描述了一种手套，由附接到针织手套（黄色）的手形感测套筒（黑色）组成。套筒包含力敏膜，在该膜上缝制导电线（银）网络。这些螺纹重叠的点形成压力传感器。作者表明，在对象操作期间由这些传感器收集的压力图使机器学习模型能够学习识别单个对象，估计对象的权重并区分不同的手部姿势。

Sundaram及其同事在研究中使用手套记录了几个压力图的视频，采集了3-5个单独操作26个日常物品的过程。通过这个程序产生了一个精密压力图数据库（据我所知，这已经是最大的数据集之一）。作者发现，尽管制造成本仅为10美元左右，但手套具有柔韧性，坚固性和对小压力变化的敏感性。

为了证明手套捕获手与每个物体的不同相互作用，Sundaram 等人使用记录的数据进行自动物体识别。他们将采集的数据训练用于大规模图像分类的深度学习模型，以便在盲操作期间重新识别26个物体。结果证明，图数据的量及其空间分辨率对于成功识别物体至关重要。

使用可伸缩的触觉手套学习人类抓握的特征

接下来，作者使用手套拾取物体，并表明类似的深度学习模型可以估计未知物体的重量。即便在不同的手部姿势下佩戴手套，传感器读取的信号都足以详细地区分每个姿势。最后，Sundaram及其同事通过观察信号相关性分析了在物体抓取过程中不同手区域之间的协作关系。

除了提供人类掌握的充分研究原理的实验证据之外，这种数据驱动的探索可以提高我们对物体操纵过程中触摸功能的理解。深度学习模型极大地提高了我们对视觉对象识别的神经机制的认识。从这一角度来讲，类似的方法可以应用于解释大脑中的触觉信息处理。

触觉手套抓起一个咖啡杯产生的交互

Sundaram及其同事在物体操纵过程中同时产生压力图和相应的手部照片，产生大量同步的视觉和触觉信息。多种形式的感官知觉的数据集是不常见的，蕴含了多感觉整合系统发展的基本步骤以及大脑对环境的连贯感知的理解。

这种柔性传感装置可具有各种应用场景，例如，在医疗诊断，个人健康护理和运动中，甚至可能影响活动（外部动力）假肢和机器人手的发展。触觉反馈在控制手部运动和施加力道起到了至关重要的作用，这些信息的缺乏使得人类和机器人无法实现稳定的抓握。此外，触觉直接实现了针对物体识别和定位的触觉探索。众所周知，提供具有触觉反馈的活动假体可以有助于减轻幻肢痛（从肢体缺失的感觉），增加对假体的融入性，减少控制装置所涉及的认知压力，实现更自然的操作。

重量估计的示例和性能。

触觉传感器可以被并入包围假肢的手套或直接固定到机械部件。在这方面，Sundaram及其同事的设备技术可以适应各种形状，以便整合到机器人或假肢中。目前，手套所需的密集传感器覆盖是其最大的局限性。

一方面尽管作者使用行和列的设计来保持这种布线合理的约束，但仍需要广泛的布线排列。另一方面是记录压力图的速率，根据应用场景可能需要更大的提升（例如，通过触觉反馈控制机器人手）。尽管如此，我认为目前形式的手套或其改进版本为机器人应用提供了令人兴奋的前景。

在过去的几年里，研究人员在物体操纵过程中使用了特殊的手套来记录手部姿势数据，并将这些记录的经验输入到一个模型中，该模型从这些数据中学习并产生产生成功的操作。这种将人类经验转化为机器人的方法可以从使用Sundaram及其同事的数据采集手套中受益。

最后，目前的研究为几种计算机视觉模型重新用于触觉信号处理铺平了道路，拓展了数十年的计算机视觉研究方向。这种方法带来了许多效益，可以消除了涉及模型选择等(在早期阶段减缓了深度学习的发展)的各种问题。

因此，Sundaram及其同事的手套可以促进触觉传感的快速发展。我相信手套的低成本将有助于复制和共享用于制造设备和数据采集设置的方法，促进在触觉传感研究中使用大型和标准数据集，而这也是目前是计算机视觉的主要限制因素。

相关报道：

https://www.nature.com/articles/d41586-019-01593-w