最近大家有没有被农夫虎年贺岁大片刷屏?

片子中两只老虎在夕阳下奔跑:

在山顶驻足,望向远处的万家灯火:

抬头看夜空中最闪亮的飞船:

虽然是“动画片”,但整支视频却是用全新的虚拟制作流程拍摄完成。

两只老虎的动作全部由实时动作捕捉获得,而它们背后的演员……

没错,就是两只猫!

用猫来动捕老虎,这在整个行业都算开创性的尝试,因为有太多困难要克服……

首先就是猫咪的不可控性。

其次,猫咪与老虎在骨骼、体型、运动模式等各方面都存在差异。

虽然老虎被叫做”大猫“,但毕竟是不同量级的生物,两者的骨骼结构以及运动时的肢体形态都存在相应区别。

用猫的动捕数据驱动老虎的骨骼,可能会出现骨骼错位,需要有一整套完整的技术解决方案和成熟的制作流程才能应对。

虽然挑战很大,但最终我们“照猫画虎”的执行结果很不错!

先祭出一支制作花絮,点击链接:

https://www.bilibili.com/video/BV1mY411V7BL

接下来,就来看看我们究竟是如何“照猫画虎”吧。

准备工作

此次拍摄在我们1000㎡的Previz高速光捕棚进行,这里装备有完善的软硬件设施。

(嗯,1000㎡……快赶上一个电影摄影棚大了)

万事俱备,只欠猫咪。

猫咪演员casting的重任,落在动捕组小伙伴的肩膀上。

他们也是极尽所能,把各种压箱底的本事都使了出来。

这件有点可爱的粉色动捕服,就是他们为猫主子亲手缝制。

为减轻猫咪的排斥感,动捕服特地做的比较宽松,但marker点就会随着猫咪移动而偏移,影响数据的准确性。

动捕组也试过紧身动捕衣,或直接在猫皮肤上贴点,但大部分喵都接受无能。

sterilization disinfection

除了动捕服,猫毛也是一个问题。

这只试镜的布偶猫,虎气十足,动作完美!可是一身飘逸长毛实在太遮点了……

在casting了17只猫咪后,我们终于找到了两只愿意配合的猫主子。

在选角过程中,动捕贴点方案以及老虎的数字资产也在同步迭代。

动捕师也会参照老虎的骨骼模型,完善贴点方案。

照猫画虎

动物和小孩是现场拍摄公认最难搞的两个拍摄对象。我行我素的猫或许又是动物中最难搞的。不管是拍过千人大场面的导演,还是管过两岸三地明星的制片,统统入不了猫的法眼。

(你说什么我听不见!)

导演只能先给定一个大的动作框架,训猫师在这个框架内引导猫咪自由行动,完成一个动作段落。

(德文猫跑跳段落)

这就导致动捕过程中产生大量数据,导演及数据师后续挑选时会非常耗时。

因此,现场侧拍是必须的。

侧拍,顾名思义,就是摄影师在侧边拍摄记录猫咪的动作。

(拿着摄影机追着猫跑的就是侧拍摄影师)

导演通过电视机监看侧拍机器的画面,后续可以直接在侧拍素材中挑选有用的片段,不需要面对抽象的数据,效率就大幅提升。

在更换演员的间隙,导演会与剪辑一起进行挑选。

剪辑导出带时码的视频文件,给到动捕数据组。
这里要特别提一下我们光捕棚的一个重要功能:时码同步。这个功能保证了不同机位的侧拍素材与动捕数据时码一致,数据组成员可以通过时码快速找到对应数据。

(每个侧拍视频上都有时间码烧录)

定位了数据,就可以在动捕软件里进行数据修复与骨骼匹配,把猫咪动作转化成老虎动作,并最终在UE里配合场景实时呈现。

这次动捕拍摄选择125fps,是导演考虑到大老虎动作会更加沉缓,这样可以为后面做慢速提供空间。

(现场看动作放慢速的效果)

当导演判断已经捕捉到全部动作后,我们的两只猫咪演员就杀青了!

(竟然不想走了是怎么回事)

数据剪接

接下来是数据剪接,这是我们虚拟制作的重要一环。这个环节将前面一个个独立的动作拼合成一整段完整的表演。我们也是在这个环节,终于能看到老虎完整的行动线了。为让数据人员更高效地执行导演想法,导演与剪辑先用侧拍素材拼接出大小老虎的表演。

导演需要讲清楚每个镜头的意图,包括很多细节,比如:镜头是否要做镜像、为什么要这么衔接、大小老虎如何互动……
这些细节都会在后续的数据剪接中对应呈现。

数据剪接在UE中进行

(数据人员正在剪接第一场戏小老虎的动作)

剪接人员需要在动作拼接点尽可能准确地进行pose对位,让接续处的动作尽可能平滑。

这里的用心与费时可以大大节约后续环节的时间。

两只老虎的表演基本确定后,就到了场景资产师上场的时刻。

资产调整

资产师需要根据老虎表演相应修改资产。比如,老虎有跳上一块石头的动作,就需要修改地形在一个具体的位置把石块加上去。

这个过程在团队中有一个更形象的叫法——“刷地形”

hmmm……很到位。

(资产师调整地形,使其与老虎脚掌正常交互)

资产师还需要根据导演对场景的光线要求调整太阳位置和场景。

这是虚拟拍摄的优势,灯光、场景可以随时根据导演的需求进行快速调整,效果即时可见。

演员、场景都准备完毕,导演和摄影师就可以进行拍摄了,只是我们的拍摄手法有点特别。

虚拟拍摄

嗯,没错,虚拟拍摄,给个画面感受下。

空无一人的场地中,导演手拿iPad虚拟相机寻找机位、确定画面。

这个iPad是导演与虚拟世界的唯一桥梁,也是集结了我们众多研发成果的重要生产力工具。

这里插句嘴,UE软件的虚拟制片工具本身有虚拟相机连接外设的功能,很多小伙伴或许都有所了解。

这个功能可以把iPad、iPhone或其他外部设备变成摄影机,操作者可以用更灵活的方式来拍摄。

(这或许是许多人熟悉的插件界面)

但用过的人都知道,这个功能更像个玩具,体验下尝鲜可以,真正应用到项目时,就会发现问题不少。

因此,从最初我们打造自主虚拟制片流程,我们的研发天团就通过编码、蓝图和硬件设计等方式,把虚拟相机外化成一个经过改装和加工的iPad。

研发团队开发了一款插件:Versatile_iPadCamera,在UE中将插件勾选打开,iPad就可以远程控制UE中的虚拟相机。

摄影师可以把iPad作为寻像器,实时看到虚拟相机拍到的画面,也可以在iPad上直接更换不同型号、焦段的镜头,调整光圈、ISO、色温,更改拍摄帧率等。

iPad上的交互界面参考Red摄影机,尽量贴近摄影师熟悉的操作环境。

(目前已有的镜头型号,还在不断扩充中)

Menu菜单中,可以进行一些相机功能设置,比如Tilt、Pan、Dutch三个轴向的运动可以根据拍摄需要锁住,前后、上下、左右的移动也可以更改移动倍率等。

虽然这三个功能界面继承了UE官方,但其底层逻辑是研发团队根据实际拍摄需要重新梳理的。

嗯……用过就知道不一样。

研发的根本宗旨就是让经验丰富的实拍摄影师能够继续以他们熟悉的方式来进行摄影创作,不必担心自己面对虚拟拍摄会一头雾水。

甚至……还能惊喜地发现一些更快捷好用的功能,能让导演轻松拍出更具真实感的画面。

我们的虚拟相机也并非只有iPad一种控制模式,游戏手柄也可以与相机联动,拍摄一些大运镜的镜头效果。

通过在UE里切换用摇臂模式的虚拟相机蓝图,可以使用伸缩炮功能拍摄。

现场剪辑

现场剪辑与虚拟拍摄同步进行。

一场戏拍摄完成后,拍摄素材通过UE渲染出来上传到服务器。

剪辑师拿到拍摄素材以及我们自己创作的音乐素材后进行初剪,导演在现场审核。

根据音乐节奏,剪辑师会对素材做变速。比如这个大老虎跃起的特写镜头,剪辑师为了突出动作做了慢速。

现场剪辑完成的动画预演可以说已经非常接近成片了。

写在后面

通过动捕完成的动画预演,完全取代了传统动画制作流程中Layout和Blocking环节。它将实拍的诸多技术、手法以及便利性引入动画,给整体制作效率带来指数级提升。

整个预演制作过程仅用了3天,就完成了传统流程至少需要2周时间才能实现的效果。未来随着虚拟拍摄工具继续优化,这个时间还会变得更短。

正因为拥有这样一套完备的工作流,我们才能想出这样绝妙的点子,也才能收获非常不错的制作成果!

虚拟制片正以势不可挡的力量改变着行业生态,真人实拍与CG动画的区别也在这个趋势中变得越来越模糊。

未来,虚拟制片的发展还会带来更多让人耳目一新的创作方式。

我们也希望在这个过程中可以始终保持创新、保持敏锐,在技术的最前沿为行业持续贡献优质作品!