Stability AI利用StableFast3D加速3D图像生成

发布时间:2024-08-05 10:23:07 栏目:科技

    导读 不久前,生成3D 图像非常困难。这个过程需要复杂的线框、复杂的软件和强大的硬件。如今,情况已不再如此。Stability AI今天宣布了一项名...

    不久前,生成3D 图像非常困难。这个过程需要复杂的线框、复杂的软件和强大的硬件。如今,情况已不再如此。

    Stability AI今天宣布了一项名为 Stable Fast 3D 的新型生成式 AI 技术,可从单幅图像快速生成 3D 图像。哦,速度也很快。据 Stability AI 称,新模型可以在半秒内生成 3D 图像。

    利用生成式人工智能的力量:人工智能如何改变工作及其他领域

    这代表着处理时间的重大飞跃,大大超过了以前需要几分钟才能实现类似结果的模型。早在 3 月份,Stability AI 就发布了Stable Video 3D (SV3D ),它最多需要 10 分钟才能生成 3D 资产 - Stable Fast 3D 完成相同任务的速度提高了 1200 倍。

    Stability AI 预计,新模型将在设计、建筑、零售、虚拟现实和游戏开发等多个行业中发挥巨大作用。该模型可通过 Stability AI 的Stable Assistant 聊天机器人和 Stability AI API 使用。该模型也可通过社区许可Hugging Face使用。

    Stable Fast 3D 如何以比以往更快的速度生成图像

    Stable Fast 3D 并非从零开始构建,而是从 Stability AI 之前对 TripoSR 模型的研究发展而来。Stability AI 于 3 月首次宣布与 3D 建模供应商 Trip AI 建立合作伙伴关系,旨在构建快速 3D 资产生成技术。

    在一篇研究论文中,Stability AI 研究人员详细介绍了新模型用于从单个图像快速重建高质量 3D 网格的创新方法。该系统通过结合多种新技术来解决快速 3D 重建中的常见问题,同时保持速度并提高输出质量。

    其核心是,Stable Fast 3D 使用增强型变换器网络从输入图像生成高分辨率三平面,即 3D 体积表示。该网络旨在高效处理更大的分辨率,而不会大幅增加计算复杂度,从而实现更精细的细节捕捉并减少混叠伪影。

    研究人员还详细介绍了一种创新的材料和照明估计方法。材料估计网络使用一种新颖的概率方法预测全局金属和粗糙度值,从而提高图像质量和一致性。

    另外特别值得注意的是,稳定快速 3D 模型可以将 3D 图像所需的多个元素(包括网格、纹理和材质属性)组合成一个紧凑、可立即使用的 3D 资产。

    从 2D 到 4D,稳定性人工智能推动了新一代人工智能的发展

    Stability AI 也许最为人所知的是其稳定扩散文本到图像生成技术。

    虽然 Stable Diffusion 是一种 2D 图像生成技术,但 Stability AI 至少从 2023 年 11 月开始就一直在研究 3D 技术,并发布了Stable 3D。今年 3 月推出的 Stable Video 3D 带来了进行基本摄像机平移以查看图像的功能,同时提高了 3D 图像生成质量。

    Stability AI 并不局限于 3D。就在上周,该公司宣布推出Stable Video 4D,为短 3D 视频生成添加了时间维度。

免责声明:本文由用户上传,如有侵权请联系删除!