Facebook机器学习旨在修改面孔,手和...衣服

Facebook的最新研究将机器学习模型设置为对我们来说似乎很普通的任务,但是对于计算机而言,仍然非常困难。这些项目旨在匿名化面孔,简化手部动作,并且(也许是最困难的)提供可靠的时尚建议。

最近在国际计算机视觉会议上介绍了该研究,此外该公司还发表其他数十篇论文,这些论文对AI研究(尤其是计算机视觉)进行了大量投资。

修改运动中的面孔是我们与“ deepfake”和其他恶意应用程序相关联的东西。但是,Facebook团队认为该技术实际上存在潜在的人道主义应用。

Deepfake使用精心培养的对面部特征和地标的理解,将一个人的表情和动作映射到一张完全不同的面部上。Facebook团队使用了相同的功能和地标,但是使用它们来对面部进行微调,以至于面部识别引擎无法再识别

这样,无论出于何种原因,想要出现在视频中但未被公众认可的人都不会像面具或笨拙的面部那样笨拙。取而代之的是,它们看上去有点像自己,但眼睛略宽一些,嘴巴较细,额头较高,等等。

128227efdd00d1717d2ac84229c374e4.jpg

他们创建的系统看起来运行良好,但是在将其部署为产品之前当然需要进行一些优化。但是人们可以想象,对于那些可能遭受政治压迫者报复的风险或更多的花园品种隐私偏好的人们来说,这样的事情可能有用。

在虚拟空间中,可能根本很难识别某人-部分是由于缺乏我们在现实生活中不断感知的非语言暗示。接下来的研究试图捕获,分类和重现这些动作,或者至少是我们用手做出的动作。

考虑一下有点有趣,但实际上,关于人们说话时如何精确地移动手并没有很多数据。因此,研究人员记录了50个完整小时的成对人们进行的普通对话-或尽可能地适应高端运动捕捉设备。

272814cb35f4b71dc9e81fbf41e049f7.png

然后,这些(相对)自然的对话以及随之而来的身体和手部动作被机器学习模型吸收;例如,它学会了联想到,当人们说“回到那时”时,他们会指向他们身后;或者当他们说“到处都是”时,他们会做出清扫手势。

这可能用来做什么?也许是在虚拟环境中进行更自然的对话,但动画师可能希望将角色的动作建立在现实生活中,而不进行自己的动作捕捉。事实证明,Facebook所建立的数据库在规模或细节上实在无与伦比,这本身就很有价值。

eb9bcb07955eba5e1eeb0bb7c9057a1b.jpg

同样独特但可以轻描淡写的是,该系统旨在帮助您改善服装。如果我们要使用智能后视镜,他们应该能够提出建议,对不对?

Facebook选择零售计算机视觉公司GrokStyle

Fashion ++是一个系统,可以摄取大量标有磨损件(例如帽子,围巾,裙子)和整体时尚性(显然是主观衡量指标)的图像库,然后可以查看给定的衣服并提出更改建议。没什么大不了的-它不是那么复杂-而是很小的事情,例如去除一层或塞进衬衫。



发表评论 / Comment

用心评论~