谷歌推出AVA数据库:让机器识别视频中人类行为

计算机视觉正在成为科技公司的一大福音,能够让机器加速运转,并完成迄今为止只能由人类完成的任务。

几个月前,eBay公布将要添加新的搜索功能,可以让用户使用现有照片来寻找类似商品,同时线上服装零售商ASOS则在时尚领域涉足此项。Shutterstock上周公布了一项全新的测试功能,用户可以根据自己的布局来搜索股票照片。过了几天,谷歌照片应用发布了新的宠物图像识别功能。

简而言之,在计算机视觉领域,发展越来越激动人心,同时也可以看到人们对人工智能领域的大量投资卓有成效。

目前,大多数计算机视觉技术的进步主要发生在静态图像领域,但我们也开始在视频中看到计算机视觉技术的成果。例如,俄罗斯当局在全国的实时监控网络中应用了面部识别技术。Pornhub也在做类似的事情,自动对“成人娱乐”视频进行分类,包括训练系统识别特定的性姿势。此外,还有蓬勃发展的自动驾驶汽车行业,在很大程度上依赖于机器对现实世界行为理解的能力。

在这样的背景下,谷歌推出了一个新的视频数据库,希望能够推动计算机视觉识别影像中行为的研究。“原子视觉行为”的英文缩写“AVA”是一个由多个标签组成的数据库,用户可以在视频序列中进行操作。

视频中动作识别的困难主要在于视频中各种复杂的场景交织在一起,多个动作也在同一时间由不同的人发出。

谷歌推出AVA数据库:让机器识别视频中人类行为

谷歌软件工程师顾春晖和大卫罗斯在一篇博客文章中解释道:“教会机器去识别影像中的人类行为是发展计算机视觉的一大基本难题,但是对于个人视频搜索和发现、体育分析和手势界面等应用至关重要。”“尽管过去几年在图像分类和寻找物体方面取得了激动人心的突破,但识别人类行为仍然是一个巨大的挑战。”

谷歌推出AVA数据库:让机器识别视频中人类行为

本质上,AVA就是一堆被80个原子动作标注的YouTube网址,并延伸到了近5.8万个视频片段,涉及到很多日常活动,比如握手、踢腿、拥抱、接吻、喝酒、玩乐器、散步等等。

通过对外开放数据库,谷歌希望可以改进机器的“社交视觉智能”,这样他们就能理解人类在做什么,并预测他们下一步会做什么。

该公司表示:“我们希望,AVA的发布将有助于改进人类行为识别系统的开发,并有机会基于时空间隔标签对复杂的活动进行建模。”