一文看懂《跨次元新星》背后的技术流程和商业图景

《跨次元新星》用综艺形式将虚拟偶像及其实时表演带到大众面前,有趣的是,在选秀内核之外,它还将大量镜头给了节目背后的虚拟技术工程师。

文丨娱乐资本论,作者丨宁飞虹

作为女团安菟的一员,留歌以个人名义参加了《跨次元新星》的选拔,一曲劲舞后,留歌讲述自己出道后遇到的挫折与坚持,此时镜头切换,留歌的妈妈抹着眼泪说终于看到自己女儿站在舞台上。

这是选秀节目中常见又不起眼的一幕,小娱在此提及,是因为其还有这样的特殊性:留歌不是真人,是一个虚拟数字人;留歌的妈妈是一名工程师,它是留歌能与观众见面的关键人物。

《跨次元新星》用综艺形式将虚拟偶像及其实时表演带到大众面前,有趣的是,在选秀内核之外,它还将大量镜头给了节目背后的虚拟技术工程师。

这些工程师在幕后工作时,会直接吐槽类似人物穿模这样的技术瑕疵,比如Angelababy与自己的战队在休息室互动时,其中一位工程师直接说寐鱼的“衣服破了”,还让导演组减少复杂的互动环节。

一个完整的技术流程

一个完整的技术流程

这是由于实时表演捕捉技术(肢体,手指,面部)、虚拟制片技术(AR/XR)技术以及实时引擎框架下的3D动画制作技术等是虚拟偶像进行才艺展现的关键,这些工程师在节目录制时发挥着举足轻重的作用。

达瓦未来科技首席技术官朱子威告诉小娱,节目在开拍前进行了三次技术测试,第一次测试动捕,第二次测试AR。要实现实时虚拟舞台表演,大致经过下图呈现的技术流程,其中IP方提供资产,建模和材质是基本;达瓦未来科技提供动捕技术和全流程虚拟制片技术,蜜枝科技提供AR舞台秀制作技术。

蜜枝科技在各方的合作中起到的最大作用是构建一个技术pipeline(流程标准)。在刘勇看来,“不同技术进行系统整合需要一定的磨合期,《跨次元新星》作为先行者,一定会暴露出还不够成熟的地方。但这个节目相当于抛砖引玉,它将虚拟和真人之间的隔阂膜给捅破了,让人们关注并投入到一个全新的世界,这个过程的意义才比较重大”。

在快速扩张的虚拟市场,在节目内和节目外,小娱好奇这些核心技术是如何将虚拟演出展现给大众的。

如何保证角色不穿模?

“选手太照骗了!”《跨次元新星》刚播出时,慕容浅、二娘等角色出场后,由于实际建模与海报相差太多,引来了一波吐槽。

一个虚拟角色的建模好坏,直接影响到后续技术环节的实现程度。比如顾城这个角色,被节目组戏称为“铁金刚头”,是因为他的头发没有骨骼动不了。“如果骨骼少,做物理的时候就很难完成得好。”朱子威说。

“骨骼技术难度并不高,目前业内肢体技术标准化了,但所有的配饰没有标准化。电影行业的解法是后期渲染,无法实时,这就必须要有方案去解决实时的问题,就需要用骨骼来模拟出一个马尾辫的效果。如果骨骼多,它动起来是可以很流畅的;如果只有三根,那么效果必然不好”。

他认为节目中物理效果最好的是苏芷羽的裙摆,整体的服饰及形态很流畅地在滑动。戍心渊是一只狐狸形象,它的五条尾巴“一根尾巴上有二十根骨头”,走起路来的摆动就能非常顺滑。

IP资产建模还会给物理后的动捕造成困扰。“一个角色匹配动捕是有一个过程的,这个过程如果只是1-2天的时间就可能导致穿模。”这与动捕技术实现的原理有关,只有当角色发生动作的时候,才能发现问题出在哪里,如果要进行实时修改则需要较为富余的时间。

技术方面临的一个基本难点是,综艺的工作模式与动画流程完全不同,很难有一个完全确定的分镜台本提供给技术制作团队,在实际拍摄时考验的是临场反应和超短时间的问题解决能力。

“很多拍摄决策是现场就决定的,基本定下方案后就马上执行,从动作捕捉的离线动画快速制作流程到实时表演出片,二十几个选手要10天内全部做完,而且还是直接给到模型后适配到系统里让它可以实时表演。”朱子威表示。

表演时怎么不卡顿,角色不飘走?

节目技术方还面临另一个难点是虚拟⼈物和真实场景融合度,以及舞台秀舞美氛围的呈现。这主要依靠AR系统去解决,做好3D虚拟灯光和真实灯光的匹配等。

“节目现场有多台AR摄像机,都必须同步,如果不同步,就会导致内部数据包括高度、深度和左右、前后全都出差错,”刘勇说道。Vizrt和Zero Density是节目的AR渲染引擎,蜜枝科技要做的是把UE4引擎跟演出、灯光加上AR摄像机,保证其能与AR渲染引擎系统连接顺畅。“这一套流程和解决方案的开发和经验积累才是最复杂的。”

“我们在现场精确计算了各联路之间的延时(毫秒级),包括硬件的延时和软件的延时,并通过技术手段对延时进行补偿处理,才能让画面同步呈现给观众。” 另外一个难点是九个AR机位的跟踪校准,需要九台渲染主机对真实世界的理解都是一样的。定位不准人就飘走了;跟踪一坏,虚拟人物与特效的叠加合成就会出现偏差,这都会影响观看体验。

这其中系统的数据源非常之多,通常每次要检查几十个终端数据源是否畅通,才能开始进行拍摄。哪怕是一道小小灯光的处理也不简单,“在AR里面有一个虚拟的灯光,打下去之后再反到摄像机里,为了跟现场的灯光做结合,提前录好现场的灯光编排,再将那套灯光全部还原到AR里面,之后再实时地配合现场音乐。”

“舞台的控台对接、AR系统的对接等这些技术及软件都不是现成的,需要去自主进行适配和研发。”刘勇提到。

在节目外,虚拟演出场景已经有不少案例,比如说唱歌手Travis Scott在游戏《堡垒之夜》里开的虚拟演唱会。从技术维度而言,除了服务器端荷载压力外,虚拟演唱会最需要解决的是实时渲染技术。

朱子威表示,“全世界虚拟技术产业上,现在需要最大限度突破的还是计算性能,尤其是渲染性能,其实很多问题最后还是卡在性能上面”。比如最近S10 KDA女团表演时的“翻车”事件,即使是大家公认的前列公司拳头,也会在AR播出时遇到性能上的问题。

“现在的瓶颈是,有更好的硬件使得实时播出效果越来越好,但这肯定需要动用更多的计算能力或采用更加激进、巧妙的优化办法,这要通过历史数据的经验总结,得到一个不需要去计算、通过查表就可以得到的结果。”

在国内,还没有大声量的线上虚拟演出示范,但不少技术公司早早就已参与到大型舞台的技术服务中。要在国内举办大型虚拟演唱会,在时间及预算充足的情况下,技术实现不是难点。

不过当下虚拟偶像市场,娱乐公司、技术公司以及娱乐内容制作方,对虚拟角色打造、虚拟数字人的应用场景理解都不尽相同,对于演出这一面向C端的商业化形式,看法也不一。

虚拟数字技术的商业化,C端演出是大方向吗?

前几年,虚拟偶像市场刚起步,不少公司在孵化虚拟IP时基于日本的成功经验,二次元形象是常见的选择,不过这些IP总是会面临用户“抄袭日本”的指责,三四年过去很多IP都销声匿迹了。

“去你的二次元,咱们短时间内做不出能打败日本的东西。”一位业内人士对此市场状况评价道。

在二次元虚拟市场,存在一个隐形鄙视链。第一级是初音未来,第二级是日本《偶像大师》等形象,第三级是国内以洛天依为代表的vsinger系列。“在中国现在要想再做二次元虚拟偶像,是要从审美鄙视链的底端走上来,需要的时间更长,起码要保证3-5年的养成期。”刘勇说道。

刘勇专注于虚拟偶像赛道,他对于虚拟偶像的理解,是要用真人偶像培养的方式去做虚拟偶像,“当下大家都忘了偶像的初心了,偶像的造星逻辑是靠发歌拍MV、线下演出,不停地跑通告慢慢做出来的,我觉得对于做偶像来说这是一条正道。”

不过,刘勇意识到一个二次元虚拟偶像的养成在日本需要五到六年的时间,初音未来用了6年时间才火起来,洛天依在有初音未来的前提下,也花了4年时间才爆火。“所以我们转变为更大众化娱乐的逻辑,从做内容的角度拉回到做演出,做演出这件事情是做偶像的一个不二之选。”

蜜枝科技现在主要提供虚拟演出技术服务,“AR、全息,纯CG,包括游戏、动画中的演出部分,其实都有整套技术方案去解决,在虚拟演出技术服务上我们自己就能做到千万级别。”刘勇说道。

刘勇认为当下大众市场远没有到一个完全接受的程度,在5年后或许才能迎来一个爆发期,“但这需要一个触发性的事件,类似于90年代末初音未来演出禁止引发的‘初音未来消失事件’,使得初音未来真正成为大众二次元代表,让社会意识到虚拟偶像的需求及价值”。

不同于技术公司,娱乐公司重在内容输出和IP运营上。次世文化创始人陈燕认为,“我们一直希望行业跳出虚拟偶像这4个字,不管是主观意识对虚拟偶像的定义局限还是技术应用场景,我们放大到一个虚拟数字人的整体赛道上去看,你会发现更多待开发领域。”

陈燕认为虚拟数字人是虚拟娱乐产品的一种品类,而现阶段,他不会刻意入场相对泛二次元领域的虚拟歌姬、VTuber及传统大众传统认知的“虚拟偶像”赛道,而是在其他细分领域打造了超写实KOL 翎LING,虚拟DJ purple以及韬斯曼、冷巴等明星虚拟形象。

“当初设计LING,是因为我们发现在国风国潮这个赛道中,即便是真人领域,从16岁到30岁这个年龄,也极少能看到能担起文化传承级别的爱豆或KOL,这也就意味着这个赛道存在机会。”

在与魔珐科技合作开发LING的过程中,次世文化把控住角色及世界观设定、人物属性,包括首发物料、分发平台、人物延展方式、商业化路径等。“LING身上有国潮的文化底子,这是泛大众文化领域期待看到的虚拟人产品;LING身上的时尚感也很强,这是我想让包括特斯拉等时尚类型品牌看到的。”

“我们的每个虚拟人产品都会相对精准的变现场景和用户人群,所以我们在进行LING的宣传投放时,布局了娱乐、时尚、美妆类等不同类别的媒体渠道,尽量让不同领域用户都去关注到这个事情。”

陈燕认为未来1-2年内,to B还是虚拟人行业的核心变现及应用路径,“短期内,我们还是想把’人’先做好,但我们也在尝试搭建的虚拟娱乐场景,希望在未来3-5年内给虚拟人更多to C的机会,完成更多用户虚拟身份认知的可能”。

由此看来,虚拟数字人的应用场景与商业化变现,在技术成熟的前提下,当下该做B端的生意还是直接走向C端,还需要更长时间的观察和检测。

本文系作者 娱乐资本论 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

扫描下载App