全球首款AI实时游戏Oasis问世:每帧都是扩散模型实时预测,20FPS零延迟
谷歌GameNGen两个月前刚证明AI能生成实时可玩游戏,如今新的里程碑来了——Etched和Decart AI联手带来世界上第一个可直接上手体验的实时AI游戏Oasis。你在其中体验到的每一帧都来自扩散模型的实时预测,游戏画面持续以20帧每秒的速度实时渲染,零延迟。
技术原理:Transformer中的宇宙
模型由两部分组成:一个空间自编码器(基于ViT)和一个潜在扩散模型(基于DiT)。与Sora这样的双向模型不同,Oasis是自回归地生成帧的,能够根据游戏输入调节每一帧。研究团队选择了Transformer来确保稳定、可扩展的架构。
该模型采用Diffusion Forcing训练方法,能独立对每个token进行去噪。通过在空间注意力层之间加入额外的时间注意力层,利用前几帧的上下文。为解决长上下文生成中的错误积累问题,团队创新了动态调整噪声策略——初期通过扩散前向传播注入噪声减少错误积累,后期逐渐去除噪声保持高频细节。
速度:比Sora快100倍
目前最先进的文本转视频模型可能需要10-20秒才能创建一秒钟的视频。而Oasis必须最多花0.04秒生成一个新帧,速度快了100倍以上。借助Decart推理堆栈的优化和Etched的Transformer专用芯片Sohu,该模型首次解锁了实时交互性。
AI游戏的意义
Oasis标志着AI从「生成内容」迈向「实时交互」的关键一步。传统游戏依赖预编程的规则和资产,而Oasis让每一帧都是AI根据玩家操作实时生成的。这意味着游戏内容可以无限生成、永不重复。FlashAttention作者、普林斯顿助理教授Tri Dao评价:「很快模型推理就会变得非常便宜,我们的许多娱乐内容都将由人工智能生成。」
背后的公司
Etched是硅谷AI芯片新贵,两位00后创始人从哈佛退学创业,专门开发Transformer专用芯片Sohu,A轮融资1.2亿美元。Decart是一家以色列AI公司,获得红杉资本2100万美元融资,专注于提升大模型推理速度。两家公司的合作证明了「专用硬件+高效推理」路线的可行性。