Intel|英特尔用英伟达显卡 给GTA5打了个超强画质补丁( 二 )
文章图片
这样,相比于GTA5中的动画场景,生成的图像车子会反光、植被更丰富、路面也更平坦了,看起来更接近真实世界 。
然后,就是鉴别部分了 。
这部分包括感知鉴别器、和一个名为LPIPS(Learned Perceptual Image Patch Similarity)的指标,分别评估生成图像的真实性、以及与输入图像之间的相似性 。
鉴别器包含分割网络和VGG-16两部分,用来对生成图像和现实场景中的图像进行对比,并给生成图像进行打分,越真实分数越高 。
文章图片
至于LPIPS,则是一个指标,用来评估生成图像与最初输入的图像之间的“感知相似度” 。
与其他模型相比,效果如何?
论文将Intel的模型,与ColorTransfer、SPADE、WCT2、CUT、TSIT等模型进行了对比 。
从视频中来看,Intel的模型生成的结果,基本都能保持与GTA5原始图像一致的结构 。
但其他模型却暴露了一些不足,其中效果最糟糕的是SPADE,根本无法生成相应的场景布局 。
再比如,ColorTransfer无法修改纹理,因此欠缺了一些真实感:
文章图片
WCT2在很大程度上,要受到参考图像质量的限制,生成效果不稳定:
文章图片
在TSIT和MUNIT中,模型生成了额外的树木,甚至还有无法去除的伪影:
文章图片
比起使用感知损失的其他方法,Cycada使用了更明确的语义信息,效果更好 。
但是类似地,在CUT和Cycada中,也出现了车标伪影的情况,CUT中的一些整体场景不堪忍睹:
文章图片
这些树木、车标等伪影,在一定程度上是由于统一采样和较大的图块导致的 。
而Intel研究团队以较小的图块进行采样,减少了源数据集和目标数据集之间的不匹配 。
从感知效果上来看,这些模型生成的图像,都比GTA要更“真实” 。
文章图片
从各项指标来看,Intel的模型综合表现也是最优的(数值越低,效果越好) 。
文章图片
不过,新模型也有不太完美的地方,进行增强后的路人效果还是一般,看起来不太真实 。
文章图片
当然,这也和采用的训练数据集有关,Intel模型所用的数据集,并不过多地涉及行人,主要还是用于增强天空、沥青路、汽车光泽等真实感 。
网友:比路径追踪便宜多了!
对于这次模型展现的效果,网友们的评价也是褒贬不一 。
有网友迫不及待地想要用上了:搞起!
文章图片
还有网友表示,这将是未来GTA-5这类游戏的发展方向——更接近真实世界 。
文章图片
而且,这项技术相比于路径追踪,不知道要便宜多少 。
最重要的是,技术所用的神经网络,还修复了物体上那些不真实的纹理 。
文章图片
当然,也有网友调侃:
视频是用便宜的行车记录仪来拍的?(这个视频只有720p)
文章图片
嗯,所以这就是《黑客帝国》色调呈绿色的原因 。
推荐阅读
- AMD|AMD Yes降温!Intel重新夺回x86处理器市场:12代酷睿太猛
- Intel|Intel Evo规范进化第三版:100多款笔记本、首次折叠屏
- Intel|Intel 12代酷睿低功耗P/U系列正式发布:轻薄本超过250款
- AMD|Intel 12代酷睿单核性能霸榜前十 AMD跌出25名:只能靠Zen4挽回了
- Intel|Intel 15代酷睿核显爆发:台积电3nm+320单元、目标直指苹果
- Intel|Intel 15代酷睿核显爆发:台积电3nm+320单元、重夺苹果芳心
- Intel|Intel Arc锐炫显卡全部亮相:能效超高!
- Intel|Intel全新阿特拉斯峡谷NUC迷你机上架:10nm 10W奔腾、2999元
- Intel|Intel Arc锐炫显卡全部亮相:性能一言难尽!
- 苹果|曝苹果M2芯片今年见!要彻底摆脱英特尔了
