DIGIT触觉传感器

Meta和Gelsight合作商业化的Digit机器人视触觉传感器


通过欣佰特进入中国市场

欣佰特科技（北京）有限公司--DIGIT开源视触觉传感器市场合作伙伴

Tel:18001131966      Email:sales@cnbytec.com

产品介绍

在 Facebook Connect 2021 线上大会中，Facebook 更名Meta元宇宙。此处的元宇宙本质上是一个虚拟现实平台，人们可以在这个平台上的数字环境中聚集、交流。实现这一愿景，当然离不开技术的加持。就像改名一样始料未及，几年前扎克伯格曾认为 Facebook 没有理由要进行机器人方面的研究，但现在机器手上的触觉感知已经是 Meta 一个重要的新兴研究方向。Meta 概述了其在开发硬件、模拟器、库、基准测试和数据集方面的进展。触觉感知生态系统对于构建 AI 系统至关重要，通过触觉感知，AI 系统才具有理解和交互的功能。‍



触觉感知旨在理解和复制物理世界中人类的触摸技能，使机器人更有效地与周围世界互动。触觉感知的进步将导致 AI 可以学习和使用自己的触觉以及与其他感知方式（如视觉和音频）结合使用，就像人类一样。此外，提高机器人的触觉将使它们更有能力，也更温和、更安全。



作为 Meta AI 的合作伙伴，MIT 的衍生公司 GelSight 拥有独特的数字触觉传感技术和产品，现在将商业化制造 DIGIT视触觉传感器。



相比于其他同类传感器，DIGIT具有如下优点：1）体积小巧且模块化，可做到即插即用。2）低成本并开源。3）稳定可靠，寿命长。4）高分辨率触觉-可以测量有关被触摸对象的丰富信息，例如表面特征、接触力以及通过接触可识别的其他对象属性 。


Digit采用RGB LED模组以及相机模块，由于手指在不同压力下会影响形变，而也会直接影响相机拍摄到颜色的变化，通过这个变化来判断触觉。


不同物体的测试图像


将Digit结合机器人手掌进行试验，将Digit放置于指尖，它可以轻松地识别到抓握、捏合等等动作。例如：通过两个手指来拟合玻璃球的动作，而这个似乎还需要更多的训练，来让整套操作变得体验更优秀，尤其是面对这种复杂、变化的场景。


使用DIGIT操纵弹珠


DIGIT设计与Allegrohand灵巧手兼容，也可通过转换法兰用于各种机器人夹爪末端如Robotiq，Onrobot等二指夹爪。


                                                             DIGIT应用在机器手和夹爪上


                                                                   DIGIT的多种安装方式

Meta 触觉AI系统平台

DIGIT高分辨率触觉传感器+ TACTO模拟器+PyTouch模型和功能库


 Meta 开发并开源了 TACTO，这是一种基于视觉的高分辨率触觉传感器模拟器，即使在没有硬件的情况下，也可实现更快的实验平台并支持机器学习研究。模拟器在机器人技术的原型设计、调试和基准测试中发挥着重要作用，因为模拟器使我们能够测试和验证假设，而无需在现实世界中进行耗时的实验。

参考TACTO模拟器 https://github.com/facebookresearch/tacto  

模拟器1-rendering 4 DIGIT sensors on an Allegro Hand


                                                      模拟器2--rolling a marble with two DIGIT sensors


TACTO 能够以每秒数百帧的速度呈现逼真的高分辨率触摸读数，通过简单设置来模拟基于视觉的触觉传感器，其中包括 DIGIT、OmniTact。TACTO 使研究人员能够模拟基于视觉的触觉传感器，这些传感器具有不同的形状，可以安装在不同的机器人上。TACTO 和 DIGIT 通过提供低成本的参考实施，使研究者能够快速原型化多模态机器人操作策略，从而实现基于视觉的触觉感知。‍


DIGIT触觉传感器可以处理高维和触觉感知数据，这是传统分析方法难以处理的。机器学习 (ML) 模型可以简化模型的设计和实现，这些模型可以将原始传感器读数转换为高级属性（例如，检测滑动和识别材料）。但是，如果没有 ML 背景，训练一个模型来处理触觉数据是极具挑战性的。为了提高代码的复用率并减少部署时间，Meta 创建了一个名为 PyTouch 的触觉感应ML模型和功能库。

参考PyTouch https://github.com/facebookresearch/digit-interface

PyTouch模型库

研究人员通过 PyTouch 可以跨不同传感器训练和部署模型。它目前提供了一些诸如检测触摸、滑动（slip）、估计物体姿态等基本功能。最终，PyTouch 将与现实世界的传感器和触觉传感模拟器集成，以实现模型的快速验证以及 Sim2Real 功能（能够将在模拟中训练的概念转化为实际应用。）