地平线机器人实验室新推出的 LoFT 原生视频几何基础模型,核心能力就是只用普通 RGB 视频,同步输出相机内参、相机位姿、逐帧深度图,重建场景三维结构,并且在 SpatialBench 等评测集上多项深度估计指标冲到业界最优 SoTA 水平,专门补齐具身智能、机器人、自动驾驶里空间几何感知的短板。现在很多深度模型是拿单张图片做估计,对时序连续的视频处理能力偏弱,容易出现帧之间深度跳变、相机轨迹漂移,LoFT 专门针对连续视频做原生设计,采用双循环 Transformer 架构,一轮聚合跨帧时序特征,另一轮迭代更新相机状态并回传给特征计算,形成闭环优化;训练上地平线准备了规模很大的数据集,一共 297 万条序列、9.62 亿帧图像,覆盖仿真、真实场景、静态和动态物体,保障模型在复杂环境下稳定输出。大家在做空间感知方案选型的时候,单图深度方案适合抓拍快照,LoFT 这类原生视频几何模型更适合机器人移动、车载连续拍摄这类动态场景,整体来看,LoFT 是地平线面向具身智能推出的底层基础模型,把视频深度和相机位姿联合解算做成一套基础能力,后续可以给上层导航、避障、三维重建任务调用。
一、LoFT 模型基础信息
- 全称:Looped Foundation Transformer for Video Geometry
- 发布主体:地平线机器人实验室
- 发布时间:11 月 18 日
- 核心定位:原生视频几何基础大模型
- 输入:普通 RGB 视频流
- 输出:逐帧深度图 + 深度置信度、相机内参、相机位姿
- 核心架构:双循环 Transformer
二、双循环 Transformer 工作逻辑清单
- 第一循环:时序注意力模块,聚合前后多帧视觉特征,扩大时间感受野,挖掘相邻帧之间的几何关联,提取通用几何特征;
- 第二循环:几何迭代模块,基于前面提取的特征,估算并且更新相机内参、相机位姿;
- 反馈闭环:更新后的相机状态重新送回特征计算环节,反复迭代优化深度和轨迹,减少漂移;
- 输出结果:得到带置信度的逐帧深度,还原场景三维结构。
三、训练数据集概况
| 项目 | 参数 |
|---|---|
| 有效序列数量 | 297 万条 |
| 总图像帧数 | 9.62 亿帧 |
| 场景覆盖 | 仿真场景、真实场景、静态环境、含移动物体动态场景 |
| 配套工具 | 自研三维重建数据清洗、标注、训练平台 |
四、评测与性能情况
- 核心评测基准:SpatialBench 等三套评测体系
- 成绩:多项深度估计指标达到 SoTA(State-of-the-Art,业界最优)
- 对比优势:相比单图深度模型,视频连续输出时深度一致性更好、相机轨迹漂移更小;
- 适用约束:依赖连续视频时序信息,静态单帧图片输入效果不如专门的单图深度模型。
五、落地适配场景
- 人形机器人、移动机器人:SLAM 建图、自主导航、障碍物感知;
- 自动驾驶与车载感知:辅助三维空间感知、占用网络前置几何输入;
- 室内三维重建、数字孪生:手持设备拍摄视频快速重建环境;
- 具身智能 Agent:给机器人提供空间几何底层感知输入。
六、技术选型参考步骤
步骤 1:确认业务输入是连续视频流还是独立单张图片,连续视频优先考虑 LoFT 这类视频几何模型;
步骤 2:评估是否需要同时输出相机位姿、内参,很多深度模型只输出深度,不做相机状态解算;
步骤 3:评估场景动态程度,移动物体多的场景优先看视频时序模型;
步骤 4:确认部署硬件,地平线自有 BPU 芯片可以做适配加速;
步骤 5:结合评测指标和实测漂移量,对比其他开源视频深度方案。
【相关 FAQ】
问题 1:地平线发布的 LoFT 原生视频几何基础模型,SoTA 代表什么意思?
回答 1:地平线 LoFT 原生视频几何基础模型标注的 SoTA 是 State-of-the-Art 缩写,意思是在对应评测数据集上,这项深度估计指标达到当前公开方案里业界最优水平。
问题 2:地平线 LoFT 原生视频几何基础模型,能不能只用一张图片来做深度估计?
回答 2:可以输出深度结果,但 LoFT 是原生面向连续视频设计的,核心优势靠多帧时序闭环迭代,单独输入单张图片时,没法发挥双循环架构的时序优化能力,效果不如专门的单图深度模型。
问题 3:地平线 LoFT 原生视频几何基础模型,主要和传统单图深度模型差别在哪?
回答 3:传统单图深度模型一帧一帧独立预测,帧与帧之间容易出现深度跳变、相机轨迹漂移;LoFT 原生视频几何基础模型用双循环 Transformer 跨帧聚合信息,联合优化深度、相机位姿、内参,视频连续运行时稳定性更强。
【参考资料】
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家
[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)新浪科技
[2026-11-19](地平线 LoFT 视频几何模型发布,面向具身智能空间感知)腾讯新闻
【免责声明】
地平线 LoFT 原生视频几何基础模型的评测结果、能力边界、后续开源与商用授权方案以地平线官方后续公告为准;本文内容仅为行业技术资讯,不构成项目选型、量产落地的确定性建议,实际部署需要在目标场景完成实测验证。
本文来自作者[静频探针师]投稿,不代表品途网立场,如若转载,请注明出处:https://bbs.pintu360.com/kjxx/202611/1487327.html
评论列表(4条)
我是品途网的签约作者“静频探针师”!
希望本篇文章《地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA》能对你有所帮助!
本站[品途网]内容主要涵盖:范文、经验、百科
本文概览:地平线机器人实验室新推出的 LoFT 原生视频几何基础模型,核心能力就是只用普通 RGB 视频,同步输出相机内参、相机位姿、逐帧深度图,重建场景三维结构,并且在 SpatialBench 等评测集上多项深度估计指标冲到业界最优 SoTA 水平,专门补齐具身智能、机器人、自动驾驶里空间几何感知的短板。现在很多深度模型是拿单张图片做估计,对时序连续的视频处理能力偏弱,容易出现帧之间深度跳变、相机轨迹漂移,LoFT 专门针对连续视频做原生设计,采用双循环 Transformer 架构,一轮聚合跨帧时序特征,另一轮迭代更新相机状态并回传给特征计算,形成闭环优化;训练上地平线准备了规模很大的数据集,一共 297 万条序列、9.62 亿帧图像,覆盖仿真、真实场景、静态和动态物体,保障模型在复杂环境下稳定输出。大家在做空间感知方案选型的时候,单图深度方案适合抓拍快照,LoFT 这类原生视频几何模型更适合机器人移动、车载连续拍摄这类动态场景,整体来看,LoFT 是地平线面向具身智能推出的底层基础模型,把视频深度和相机位姿联合解算做成一套基础能力,后续可以给上层导航、避障、三维重建任务调用。