LangSplat:比LERF快199倍的3D语言搜索模型

LangSplat:比LERF快199倍的3D语言搜索模型

1 月 2 日消息,清华大学携手哈佛大学,共同开发了名为 LangSplat 的全新 AI 系统,能够在三维空间内高效、准确地搜索开放式词汇。

LangSplat 是第一个基于 3DGS 的 3D 语言场方法,特别引入了 SAM 和 CLIP,在开放词汇 3D 对象定位和语义分割任务上优于最先进的方法,同时比 LERF 快 199 倍。

加州大学伯克利分校的研究人员于 2023 年 3 月展示了语言嵌入式辐射场(LERF),将语言嵌入从现成模型(如 CLIP)嵌入到 NeRF 中,从而在不需要专门培训的情况下,在三维环境中准确识别物体。

例如在书店的 NeRF 环境中,用户可以用自然语言搜索特定的书名。这项技术还可用于机器人技术、模拟机器人的视觉训练以及人类与三维世界的互动。

不过 LERF 的短板在于不适合实时搜索,且搜索结果准确率低。

LangSplat 为了解决这个短板,使用 3D Gaussians 构建 3D 语言场,避免了 NeRFs 所需的复杂渲染过程,在 1440 x 1080 像素的分辨率下,LangSplat 比 LERF 快 199 倍。

团队展示了泡有茶叶的茶杯,LERF 标记的是两个杯子,而 LangSplat 标记的是杯子中的液体。在另一个例子中,它可以标记一碗拉面汤中的单个配料。

LangSplat 为了形成 3D 语言场,使用 Meta 的“分段任意模型”(Segment Anything Model)从场景的多幅图像中学习分层语义。

具体来说,图像会被分解成边界清晰的不同物体掩码,而物体又会被进一步分解成整体、部分和子部分。

然后,CLIP 对学习到的遮罩进行处理,其嵌入会训练一个自动编码器,然后用于训练 LangSplat 的 3D Gaussian Splatting。

研究人员使用 LERF 和 3D OVS 两个数据集对 LangSplat 进行测试,结果显示总体准确率分别达到了 84.3% 和 93.4%,而 LERF 分别为 73.6% 和 86.8%。

附上论文参考地址:https://arxiv.org/pdf/2312.16084.pdf

IT之家 IT之家
0
0
发布评论
后可评论
0/1000
全部评论

暂无评论,来抢沙发

猜你喜欢 换一批
数据加载中,请稍候...