庆祝人类表情编码逾40年
在SIGGRAPH 2019“ FACS at 40”期间,来自计算机图形学不同领域的四位面部动作编码系统(FACS)专家讨论了该系统及其自1978年作为研究项目以来的进展。由Mike Seymour(悉尼大学,fxguide)主持,小组成员包括Erika Rosenberg(斯坦福大学,Erika Rosenberg Consulting),Mark Sagar(Soul Machines),J.P。Lewis(Google AI)和VladimirMastilović(3Lateral)。每个人在日常工作中都分享了他们在FACS方面的经验。继续阅读我们对本次必修课程的回顾。
FACS的起源
庆祝FACS已有40多年的历史了,它最初并不打算用于当今的主要用途之一-动画-但是对于帮助创作者理解动画并使之更加逼真至关重要。与FACS联合创始人Paul Ekman一起工作的Rosenberg解释说,FACS是为检测面部动作和感觉人的面部表情而开发的。基于解剖学原理,FACS编码的是肌肉运动的可观察效果,而不是肌肉本身,并由行动单位(AUs)进行编码,Rosenberg将其定义为基础肌肉群独特,可观察的动作的相应作用,或者在表面上可以看到什么。将面部表情标记为AU对使用FACS至关重要。
罗森伯格说:“我们在FACS中不使用’微笑’之类的词。
FACS与动画之间的关系
尽管FACS不是为动画而创建的,但它为创作者提供了增强角色和故事的机会。根据Rosenberg的说法,FACS是标准化,客观,解剖和全面的。使用FACS时,创作者正在寻找面部的基本信息并直接测量肌肉活动,然后使用该活动来驱动动画角色。 Sagar已将FACS用于诸如《金刚》和《阿凡达》之类的主要电影。在《金刚》里,FACS的使用非常详细,因此,不说话、动画、动物角色可以表现出微妙的,类似于人的表情。
同样,Sagar和Soul Machines通过使它们变得更人性化来构建未来人类与智能机交互的基础,Baby X(观众在2015年看到的SIGGRAPH Real-Time Live!)正是在那里发挥作用的。 Baby X(一种虚拟的AI婴儿模拟)不是动画。它可以立即看到,听到和做出反应,就好像它是一个生物一样,因为通过给这个模拟婴儿一个“大脑”,它变得栩栩如生。
当被问及FACS是否最适合动画时,与会嘉宾指出,他们认为这是对角色进行动画处理的一种非常合适的方法,并且同意将其视为归一化变量。乐观的一面是,罗森伯格表示,埃克曼似乎被FACS的动画应用“逗乐”。
FACS事实
在讨论中,与会嘉宾讨论了有关FACS的几个兴趣点。首先,FACS在各个人群之间有着共同的基础:例如,欢乐和悲伤是一种普遍理解的情感,这种理解使系统的用户能够通过计算机图形学将情感运用到全球范围内的电影和游戏中。
其次,小组讨论者思考模型的自愿性,自发性肌肉运动与肌肉收缩在这些类型的运动之间的区别之间的区别。当创作者寻求模型的真实反应时,这可能是一个挑战。但是,自发表达是它自己的反应类型,在编码时会很有用。
库列肖夫效应(Kuleshov effect)是一种现象,它描述了观看者在屏幕上观看某人的方式,从而建立了角色感觉的心理模型,并将其投射到主题上,这也是讨论的重点。这种效果与FACS相关,因为如果故事足够有说服力,则不一定总是在电影中表现出明显的情感。与夸张的情绪反应相反,简单的微笑或皱眉可能足以对观看者产生影响。
主持人Mark Sagar的照片 作者Dina Douglass©2019 ACM SIGGRAPH
FACS的未来
目前和未来的FACS(例如Sagar团队的智能机器)的发展就是未来。 Mastilović指出,基于学习和AI的先进技术使人们能够与栩栩如生的数字人进行实时交互,他还建议通过光度测量改进FACS将提供人体的更多细节,包括皮肤状态和更好的理解血流。
当被问及他们认为FACS的发展方向时,Rosenberg提供了她的心理学家观点,并指出她希望看到FACS带来更多的完整性。她最大的担忧是创作者使用的是基于不完美测量的较差算法。关于为FACS寻找更通用的模型以结合计算机图形学和心理学领域的话题,Sagar,Lewis和Mastilović都提出了使用机器学习的可能性,这种强大的选择可以产生令人难以置信的结果并理解复杂的事物。这些讨论提出了一个问题:再过40年,FACS会在哪里?
FACS是一种所有人都可以感觉和理解的通用语言,但并非每个人都受过编码的培训。它不限制计算机图形和动画。但是,在使用FACS时会遇到限制,例如培训不足和缺乏质量控制。仍然有小组成员得出结论,在计算机图形学和交互式技术中使用FACS可以使电影,游戏和其他领域的影响力比以往任何时候都大。
来源:Siggraph
编辑:Sophia