11月30日，OpenAI发布聊天机器人ChatGPT，并免费向公众开放进行测试以来，在国内已经被玩出了花。kaiyun开云注册

　　和机器人对话，就是让机器人去执行某个指令，比如说输入关键字让AI生成相应的画面。

　　这好像也不是什么稀奇的事了，OpenAI在4月不是还更新了DALL-E的新版本吗？

　　要是文摘菌说生成的是3D画面，还是HDR全景图那种，或者是基于VR的图像内容呢？

　　最近，新加坡南洋理工大学的研究团队就提出了这么一个AI，只要用户用文字输入一个描述得很清晰的场景，系统就能生成逼线D场景。

　　先来看看效果如何，比如输入“白天湖上的棕色木码头被绿树环绕”时，系统就给出了这样的答案，这光线和细节效果直接拉满。

　　高质量的HDRI（高动态范围图像），也就是HDR全景图，是目前创建逼线D场景的热门方法。

　　考虑到捕捉HDRIs的难度，虽然现在有不少可利用AI生成3D场景的技术，kaiyun开云注册但基本都需要进行一连串的参数设定，或是通过大量数据进行深度学习。

　　于是，研究人员提出了一个零拍摄文本驱动框架，即Text2Light，以生成4K+分辨率的HDRIs，并且整个过程不需要相应的训练数据。

　　第一步，基于双代码本的离散表示法将输入文本翻译成LDR全景图。kaiyun开云注册输入文本首先被预训练的CLIP模型映射到文本嵌入；其次，一个文本条件的全局采样器学习根据输入文本从全局编码簿中采样整体语义；然后，一个结构感知的局部采样器合成局部补丁，并进行合成。

　　第二步，根据结构化的潜伏编码作为连续表示，对第一阶段的LDR结果进行升级。研究人员提出的超级分辨率反色调映射运算器（SR-iTMO）能够同时提高全景图的空间分辨率和动态范围。

　　如此一来，在无需进行训练之下就能生成具有4K分辨率的HDRIs，这也是迄今为止最先进的图像生成模型，清除了从LDR到HDR转换的不稳定性，并创建了一对全景图和文本供学习。

　　不过，目前此项技术仍处于早期研究阶段，仅能产生低解析度的360度环景图像内容，但研究团队计划在未来，对现阶段技术所产生环景图像进行升级，同时加入HDR影像强化效果，让生成的3D图像或VR场景的观看度更加流畅和有吸引力。

　　为了便于批处理，例如使用多个hdri进行渲染，在命令行中也可以提供渲染3D的脚本。

　　这个项目也得到了不少网友的好评。有网友就感叹到，“人类的想象力是没有边界的”，照这个趋势来看我们距离“输入文字就能3D打印出一个真实物体”的时代也不远了。

　　也有网友表示，当试图输入“一个四层半的榻榻米房间，房间内有推拉门、拉门、餐桌、14寸黑白电视、黑色电话机”，仍然会担心AI能否比较准确地再现这种场景。毕竟在想象中，“这应该是一个有异国情调的房间”。

　　对这个速成HDR全景图的AI，大家有什么看法呢？也欢迎小伙伴们在评论区分享自己的使用心得~

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。