原文标题：手游要用AI超分、帧生成，最后一块拼图也补上了…
Arm去年就宣布要推基于AI的超分、帧生成特性，并在前不久宣布与游戏工作室Sumo Digital联合打造手游《光影新生》——其中就融入了“Arm神经技术（Arm Neural Technology）”。电子工程专辑当时评论，手游画质分水岭因此将至。
Arm对于构建围绕Mali GPU的图形生态，似乎比我们想象得更为积极。最近在Unity中国（Unity China）的团结引擎2.0发布会上，Arm与Unity中国签署了一项战略合作谅解备忘录，宣布“双方将围绕Arm神经技术展开深度合作”，“双方将共同打造面向游戏的超分与插帧功能，在移动端带来更清晰的画面与更流畅的帧率”。
简单来说，Arm神经技术——包括神经超级采样 (NSS)、神经帧率提升 (NFRU) 及神经超级采样与降噪 (NSSD)，将集成到团结引擎中，使用团结引擎的游戏开发者能直接在游戏中加入包括NSS、NFRU、NSSD在内的特性。这项合作并不让人感到意外，游戏引擎本身就是标准图形API之上、图形生态构建的重要一环——实际在《光影新生》游戏媒体会上，Arm就提到面向开发者通过插件形式将AI神经技术整合到虚幻引擎中。
↑ Arm边缘AI智能终端计算副总裁James McNiven 与 Unity中国首席执行官张俊波
芯片没来，图形特性先行
和DLSS思路相似，Arm准备在未来的Mali GPU之中集成神经加速器，去年Arm曾提过该加速器就像是“每个着色核心（shader core）之中的mini-NPU”。在团结引擎2.0发布会后的媒体采访环节，Arm边缘AI智能终端计算副总裁James McNiven也再度提到即将到来的新一代GPU IP中会内置神经加速器，用以加速Arm神经技术。
“Arm神经技术”可以视作几项技术的集合，包括NSS，也就是AI超分特性，借助AI模型将低分辨率的画面超分为高分辨率（如540p→1080p）；NSSD部分类似于DLSS 3.5引入的光线重建，特别对于光线追踪，通过投射更少的光线来降低开销，并借助denoiser（降噪器）在降噪；
NFSR就是常说的AI帧生成，比如将原生渲染30fps画面通过帧生成提升到60fps。Arm在媒体会上提过，NFSR的基本原理是“提取两组连续帧并生成中间帧，直接提升帧率”，“我们在GPU中增加了运动矢量（motion vectors）生成加速的硬件，追踪像素在场景中的移动”——听起来Mali GPU之中新增的加速模块可能不只是“mini-NPU”。
虽说这类型的技术在桌面游戏平台应用时间不短，但在手机为代表的移动平台上的应用还是首次，是“行业首个在Arm移动端GPU底层集成专属AI图形加速硬件的创新方案”。NSS、NSSD、NFSR三板斧整体能够降低GPU渲染开销——Arm宣称“最高可降低手游50% GPU计算负载”。
所以Arm是在芯片尚未问世（但基于芯片设计周期，现阶段理应接近上市）的情况下，就在为新技术造势，或者更准确地说是在为Mali GPU做生态构建。无论是率先面向媒体宣布Arm神经技术的存在、协同游戏开发者宣布基于Arm神经技术的游戏即将问世，还是将这些技术集成进游戏引擎之中。
Unity中国首席执行官张俊波在采访中说，使用团结引擎为游戏加入超分、帧生成等特性时，开发者并不需要关心更底层的软件及芯片实现方式——换句话说，基于游戏引擎加入这几项特性对游戏开发而言是经过了中间抽象的。对于不同的移动设备，会基于最大兼容性来实施同类upscale特性——James补充说，如此一来，“无论是基于shader（如ASR），还是基于神经技术的upscale，不同设备都能获得更高效的支持”。
当然，开发者也可以选择基于Arm开发工具（“神经图形开发套件”）和标准图形API（Vulkan API的Arm ML扩展）来开发游戏和其他图形应用。值得一提的是，Arm也选择了开放Arm神经技术。到目前为止，除了SDK集成，NSS和NFSR的AI模型也已经可以从Hugging Face下载获得。
所以James说，与Unity中国的合作是生态拼图的其中一块，从API到算法，为开发者提供不同的选择。“Unity和团结引擎的主战场是移动端。”张俊波则谈到，“Arm面向移动端推出这样的先进技术，团结引擎自然要支持。将新技术带给游戏开发者，让他们能够以最低的成本、最快的速度将新特性做起来。这对Unity生态而言也是重要的加分项。”
对游戏行业与Arm的价值
Arm自己总结Arm神经技术以及与Unity中国的合作对于手游开发痛点的价值在3个方向上，缓解（1）画质与性能失衡问题；（2）开发成本高、周期长的问题；同时尝试（3）弥合游戏“跨端体验割裂”的缺口。
实际上，对桌面和主机游戏而言，包括FSR/DLSS/XeSS等在内的超分、帧生成特性几乎已经成为当代游戏的必选项：即便是桌面平台最高规格的显卡，也必须借助基于AI的upscale技术确保采用最前沿图形特性的3A游戏得以流畅运行。
对移动端而言，以Arm神经技术为代表的特性在手游中铺开自然也成为趋势。因为单靠传统光栅化渲染管线已经满足不了当代游戏的画质成长需求。所以基于AI模型来缓解手游的画质与性能失衡问题是Arm神经技术首要职责之一——开发者针对节省的资源，可以选择降低游戏功耗，也可以选择提升帧率或增强画质。
其次，针对“开发成本高、周期长”的问题，除了Unity中国团结引擎这类图形引擎本身就旨在加速游戏开发进程，“Arm神经技术还具备开放兼容、易接入适配、真机深度性能调校等特点”，“开发者无需单独做接口适配，无需从零学习底层技术逻辑，可开箱即用，直接调用Arm AI图形加速能力，从源头大幅降低技术学习成本、适配接入成本与二次开发成本”，也就能“降低整体开发门槛”、“快速落地部署高阶AI图形能力”。
至于“跨端体验割裂”问题，主要是指手游在向桌面、主机延伸时，图形技术跨平台适配复杂，很难实现多端画质、帧率表现一致。与此同时，为桌面、主机、移动平台玩家提供更一致的游戏体验，似乎也越来越成为整个产业链的共识。
针对这一点，除了Arm强调Arm神经技术适配“全品类Arm架构终端”，更重要的恐怕还在于Unity中国在发布会上强调团结引擎2.0是个“跨平台”引擎，“同一套高画质内容，能在PC、主机和移动端都跑得顺”：比如此次宣布的团结引擎2.0预览版将HDRP带到了移动平台，“一条渲染管线就适配各种硬件能力”…
加上团结引擎2.0刚刚新增对PlayStation®5, XBOX Series X|S、Nintendo Switch™ 2 和 Nintendo Switch 主机平台的开发支持，进一步完善跨平台开发能力。
有关多平台和多端覆盖，值得一提的是，团结引擎作为Unity中国推出的本土化游戏引擎，还强调依托本土生态覆盖小游戏、OpenHarmony、智能车机特色场景。故而团结引擎具备“覆盖主流中端与本土特色场景的完整跨平台能力”。Arm也谈到本次合作也“将助力国产游戏在手机、桌面、主机等多终端，实现更高画质表现与更流畅的运行体验”。
所以对Arm而言，不仅在手游中引入并普及Arm神经技术特性是加强其图形生态开发这与用户粘性的方式；而且与Unity中国合作，在团结引擎中集成Arm神经技术，也是Arm图形生态有机会在更大范围扩充，实现“跨端”、跨平台的途径之一。
所以Arm与Unity联合新闻稿中也进而提到，“双方还将把合作成果推向全球 Unity 生态，同时还将联动游戏、汽车、工业生态伙伴，一起掘金AI时代下的创作新机遇。”尤其未来计划将“此次合作扩展至汽车智能座舱及工业边缘等场景落地”。
AI对游戏有更大的潜力
Arm神经技术之外，最后尤为值得一提的，是AI技术在游戏领域的应用并不仅限于AI超分、帧生成等着眼在渲染管线后端的效率强化。张俊波在采访中总结了AI于游戏引擎的价值：（1）提升渲染效率，不仅是AI超分、帧生成等特性，而且AI会深入到图形渲染管线的更多流程中（比如NVIDIA的Neural Shading），起到提升画质与帧率、降低功耗的作用——这也是以Arm为代表的企业目前在做的事；
（2）“将游戏逻辑训练成基础模型”，通过训练得到的“世界模型”“来直接生成玩家在游戏中看到的画面和内容”，为游戏带来更多可能性，“比如NPC行为、对话，乃至动画表现，都能在端侧根据玩家的实时行为动态生成”——这实际上也是个现在进行时，比如NVIDIA ACE就是张俊波形容的这一方向的代表。
有关游戏内容，他还提到未来AI可能会“替玩家玩游戏”，玩家可以“雇佣AI智能体去对战”——虽说这个方向的智能体发展还存在争议，但至少市面上的AI游戏助手已经部分具备了指导玩家对战、实时给出游戏建议的能力，虽然整体形态还相对初级。
（3）对于游戏内容创作而言，由于AI会写代码、做美术设计、3D建模等，未来“只要有好的创意、足够的token，就能做出好的游戏”，令“游戏制作效率急剧提升”，“没有庞大工程团队，也能借助AI做出有创意的游戏”，“游戏的质量也会更好”。
此次Unity中国发布的团结引擎2.0就引入了名为Tuanjie Codely的游戏开发agent（智能体），强调让开发者“用AI做游戏”——包括性能优化、自动实现Figma设计、自动游戏内挂、云服务自动配置、单机游戏转联机、天气系统等，“每个环节都有AI提效”；甚至还可以用Tuanjie Generator来做多模态的游戏资产内容生成，“完成闭环的游戏生产任务”...
基于AI的游戏制作就是个更大的话题了，并非本文探讨重点，此处不再展开。不过AI在游戏及图形应用领域的价值，近些年是有目共睹的。而如Arm神经技术这样的AI特性就是游戏领域诸多AI应用的一环。
至少在手游领域，Arm的确快人一步，不仅产出了包括NSS、NFRU、NSSD在内的技术本身，及很快就要发布支持这些技术的Mali GPU IP，而且在标准与生态相关的图形API、游戏引擎上皆准备就绪，甚至连打样的游戏《光影新生》都已经要上市了，Arm对拿下移动游戏生态显然是志在必得了——这大概也是其加速器生态构建过程的一个典型案例。
关注“电子工程专辑”加小编微信
现已开放地区群，请发送消息【深圳】【上海】【北京】【成都】【西安】到公众号
