威斯康辛大学安全研究人员表明,谷歌的 AI 工具视频搜索可以轻易上当受骗

华盛顿大学的研究人员表明,谷歌的新工具,利用机器学习的自动分析和欺骗的标签视频内容可以通过插入一张照片视频定期及在率很低。他们的一辆汽车图像插入一个关于动物的视频后,例如,系统返回结果似乎表明视频是关于奥迪。

威斯康辛大学安全研究人员表明,谷歌的 AI 工具视频搜索可以轻易上当受骗

谷歌最近公布了其云视频情报 API 来帮助开发人员构建的应用程序可以自动识别对象和搜索内的视频内容。自动视频注释将是突破性的技术,帮助法律执法有效搜索监控视频,体育球迷立即找到进球的时刻或视频托管网站淘汰不合适的内容。

谷歌推出了一个示范网站,允许任何人选择视频注释。API 快速识别视频中的关键对象,检测场景变化并随着时间的推移提供镜头的标签的视频事件。API 网站说,该系统可用于”单独信号从噪声,通过检索相关的信息,在视频中,镜头或每帧”水平。

在一个新的研究纸、 威斯康辛大学电气工程师和安全研究人员,其中包括博士生侯赛因 · 侯赛尼和 Baicen 肖教授茹 Poovendran,表明 API 可以蒙蔽略有操作视频。他们表现出一个可以巧妙地修改视频通过将图像插入到它,使系统返回只与插入的图像相关的标签。

同一个研究小组最近发现谷歌的基于机器学习的平台旨在确定并剔除评论从互联网的冒犯性词语的拼写错误或添加不必要的标点,错别字,可以很容易欺骗巨魔。

“机器学习系统一般都被为产生最佳的性能,在良性的设置。但在实际应用中,这些系统很容易受到智能颠覆或攻击,”高级作者茹 Poovendran,椅子的威斯康星大学电子工程系和网络安全实验室主任说:”设计系统的鲁棒性和弹性的敌人是关键,因为我们前进中采用 AI 产品在日常应用中的”。

作为一个例子,截图 API 的输出如下所示为一个样本视频命名为”animals.mp4″,这由 API 网站提供。谷歌的工具确实准确地识别视频标签。

研究人员然后插入下面的图像的一辆奥迪轿车视频每两秒一次。修改是几乎不可见,因为图像添加一次每 50 的视频帧,25 帧速率。

下图显示了 API 的输出被操纵的视频截图。如下图所示,谷歌工具认为操纵的视频是所有关于车的高信任度。

“视频注释系统这种脆弱性严重损害了其在实际应用中,可用性”说作者、 华盛顿大学电气工程博士班学生侯赛因 · 侯赛尼。”它很重要,这样,它的作品同样也在对抗情况下的系统设计”。

“我们网络安全实验室研究通常工作的基础和科学的网络安全,”说 Poovendran,铅首席研究员最近获奖的穆里补助金、 对抗机器学习在哪里的一个重要组成部分。”但我们的重点还包括发展为机器学习和推理需要对抗为广泛的应用环境中运行的系统的鲁棒性和弹性系统”。

这项研究是由美国国家科学基金会、 海军研究办公室和陆军研究办公室资助的。

相关新闻