OpenAI最先进的机器视觉AI被手写笔记所迷惑

机器学习实验室OpenAI的研究人员发现，其最先进的计算机视觉系统可以被比钢笔和记事本更复杂的工具所欺骗。如上图所示，简单地写下一个对象的名称并将其粘贴在另一个对象上就足以使软件误识别其所见。

OpenAI的研究人员在博客文章中写道：“我们将这些攻击称为印刷 攻击。” “通过充分利用模型强大的读取文本的能力，我们发现，即使手写文字的照片也常常会欺骗模型。” 他们指出，此类攻击类似于“攻击性图像”，可以使商业机器视觉系统蒙骗，但制作起来却简单得多。

对抗图像对依赖机器视觉的系统构成了真正的危险。例如，研究人员已经表明，他们可以在特斯拉自动驾驶汽车中欺骗该软件，而无需在道路上贴上某些贴纸就可以在不发出警告的情况下改变车道。这种攻击对于从医学到军事的各种AI应用都是严重的威胁。

但是，至少从目前来看，这种特定攻击所构成的危险没有什么可担心的。有问题的OpenAI软件是一个名为CLIP的实验系统，尚未在任何商业产品中部署。确实，CLIP不寻常的机器学习架构的本质造就了使攻击成功的弱点。

CLIP旨在通过在庞大的图像和文本对数据库上进行培训，探索AI系统如何在没有密切监督的情况下学会识别物体。在这种情况下，OpenAI使用了从互联网上刮取的约4亿个图文对来训练CLIP，该技术于1月发布。

本月，OpenAI研究人员发表了一篇新论文，描述了他们如何打开CLIP来查看其性能。他们发现了所谓的“多模态神经元”，即机器学习网络中的各个组件，它们不仅对对象的图像做出响应，而且对草图，卡通和相关文本也做出响应。令人兴奋的原因之一是它似乎反映了人脑对刺激的反应，其中观察到单个脑细胞对抽象概念而不是具体示例做出了响应。OpenAI的研究表明，人工智能系统可能会像人类一样将这些知识内部化。

将来，这可能会导致更复杂的视觉系统，但是现在，这种方法还处于起步阶段。尽管任何人都可以告诉您一个苹果和一张纸上写着“苹果”一词的区别，但是CLIP之类的软件却无法。允许程序在抽象级别链接单词和图像的相同功能也造成了这一独特的弱点，OpenAI将其称为“抽象的谬误”。

实验室给出的另一个例子是CLIP中的神经元，可以识别存钱罐。该组件不仅响应存钱罐的图片，而且还响应一连串的美元符号。如上面的示例所示，这意味着如果在电锯上覆盖“ $$$”字符串，就可以使CLIP愚蠢地将电锯标识为存钱罐，就好像它在本地硬件商店中是半价的一样。

研究人员还发现，CLIP的多模态神经元编码的正是您从互联网上获取数据时可能期望找到的那种偏见。他们指出，“中东”的神经元也与恐怖主义有关，并发现“一种神经元既可激发深色皮肤的人，也可激发大猩猩。” 这复制了Google图像识别系统中的一个臭名昭著的错误，该错误将黑人标记为大猩猩。这是另一个例子，说明了人类的机器智能与人类有多么不同-以及为什么在我们将生命寄托于AI之前，有必要拆开前者来了解它是如何工作的。