欢迎访问这里是kaiyun开云官网!

kaiyun开云

News新闻动态

您当前所在位置: kaiyun开云 > 新闻动态 > 企业新闻

李飞飞空间智能上新一张图就可以生成3D世界能像玩游戏一样互动kaiyun开云官网

发布日期:2024-12-12  浏览次数:

  智东西12月3日消息,今日凌晨,由“AI教母”李飞飞联合创立并担任CEO的AI初创公司World Labs对外公布了他们的首个成果,3D世界生成模型,一个可以让用户从单张图片生成3D世界的AI系统。

  World Labs的3D世界生成模型通过预测3D场景,实现了更高的可控性和一致性。

  和市面上大多数将图片转化为3D的产品不同,使用该模型生成的3D场景,用户可以与之互动。kaiyun开云平台比如,用户可以模拟相机进行对焦或滑动变焦,还可以在浏览器中与之实时交互,并能为场景添加交互效果和动画。

  根据World Labs博客介绍,用户只需要提交一张图片,不论是由AI生成的图像,还是日常生活中拍摄的照片,3D世界生成模型都能根据该图片生成一个3D场景,且风格和原始图片保持一致。

李飞飞空间智能上新一张图就可以生成3D世界能像玩游戏一样互动kaiyun开云官网(图1)

  同时,和市面上将图片转化为3D建模或环境的产品不同,World Labs的3D世界生成模型生成的3D场景更像是开放世界游戏里的画面,它允许用户通过操作键盘、kaiyun开云平台鼠标和场景交互,比如摁下“D”键向右移动,点击并划动鼠标转换视角。

  生成3D场景后,模型会使用虚拟相机在浏览器中实时渲染。用户在使用时通过拖动滑块精准控制虚拟相机,可实现艺术摄影效果。

  比如,用户可以通过拖动滑块来模拟拍照时候的对焦,从而渲染出更清晰或模糊的画面。

  另外,在World Labs生成的3D场景中,用户还可以使用滑动变焦来调整虚拟相机的视野范围,从而获得不一样的视觉效果。

  World Labs在博客中介绍,与大多数模型预测像素不同,他们预测3D场景,这么做有三个明显的优势:

  连续性(Persistent Reality):模型生成的3D场景将一直存在,转换视角和移动都不会对已生成的场景产生影响;

  实时控制(Real-Time Control):用户可以在场景中自由、实时移动,能凑近去看花的经络,也能抬头远望太空星云;

  正确的几何结构(Correct Geometry):模型生成的3D场景遵循3D几何的基本物理规律,有立体感和纵深感。

  正因为这些优势,用户可以在生成的3D场景中构建交互式效果。如选择声纳(Sonar)效果后再点击场景中的任一区域,该区域会出现对应效果。

  还可以为场景制作动画效果,比如选择波纹动态效果,整个画面就会像波纹一样动起来。

  World Labs团队认为,3D世界生成模型将改变电影、游戏、模拟器和其它数字媒体的制作方式。他们展示了两个应用案例。

  World Labs的模型可以根据梵高等世界知名画家的画作生成一个画中世界,让用户以全新的方式感受艺术作品。

  该3D世界生成模型可以与现有的其它AI工具结合使用,为内容创作者提供便利。比如,用户可以先使用文生图模型生成图像,再从生成的图像创建3D世界。虽然不同的文生图模型有不同的风格,生成的3D场景依然可以适配这些风格。

  World Labs给出了一个示例。他们给四个不同的文生图模型输入了同一组提示词,再根据生成的不同风格的图像创建了对应风格的3D场景。

  ▲创作者Eric Solorio通过3D世界生成模型给画面加入角色并精确地调度虚拟相机完成“拍摄”。

  当然,目前该模型还存在一些不足,例如生成的3D场景可探索区域有限,在移动一小段距离后,它就会提示已达到边界;某些场景会出现渲染错误,不同的物体以不自然的方式融合,成为了一团色块。

  World Labs表示,以上成果还偏早期,他们正在努力提高生成世界的大小和拟真度,也正在试验用户与它们交互的新方式。

  World Labs于今年9月13日正式宣布成立,是一家空间智能AI公司,试图构建大型世界模型(LWM)来感知、生成3D世界并与之交互。前谷歌云AI负责人、斯坦福大学教授李飞飞是该公司的联合创始人兼CEO。

  World Labs在博客中写道:“我们的目标是将AI模型从像素的2D平面提升到完整的3D世界,赋予它们与我们一样丰富的空间智能。”

  据《福布斯》9月19日报道,成立不到一个星期,World Labs的估值就已经超过10亿美元。

  该公司预计到2025年发布首批产品,应用范围包括游戏、机器人以及其他潜在行业。

  从自然语言到图片、视频、3D建模,再到如今的空间计算,两年时间,生成式AI正在以极快的速度认知、理解、模拟、生成人类所存在的物理世界。

  在即将到来的2025年,由World Labs开启的空间智能AI竞争或将重现今年各大AI视频生成应用厂商的盛况,生成式AI也有可能由此迈入下一阶段。

标签:VR眼镜
在线客服
服务热线

服务热线

+86 4391 20112

微信咨询
返回顶部
X

截屏,微信识别二维码

微信号:weixin88888

(点击微信号复制,添加好友)

打开微信

微信号已复制,请打开微信添加咨询详情!