地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

地平线机器人实验室新推出的 LoFT 原生视频几何基础模型,核心能力就是只用普通 RGB 视频,同步输出相机内参、相机位姿、逐帧深度图,重建场景三维结构,并且在 SpatialBench 等评测集上多项深度估计指标冲到业界最优 SoTA 水平,专门补齐具身智能、机器人、自动驾驶里空间几何感知的短板。现在很多深度模型是拿单张图片做估计,对时序连续的视频处理能力偏弱,容易出现帧之间深度跳变、相机轨迹漂移,LoFT 专门针对连续视频做原生设计,采用双循环 Transformer 架构,一轮聚合跨帧时序特征,另一轮迭代更新相机状态并回传给特征计算,形成闭环优化;训练上地平线准备了规模很大的数据集,一共 297 万条序列、9.62 亿帧图像,覆盖仿真、真实场景、静态和动态物体,保障模型在复杂环境下稳定输出。大家在做空间感知方案选型的时候,单图深度方案适合抓拍快照,LoFT 这类原生视频几何模型更适合机器人移动、车载连续拍摄这类动态场景,整体来看,LoFT 是地平线面向具身智能推出的底层基础模型,把视频深度和相机位姿联合解算做成一套基础能力,后续可以给上层导航、避障、三维重建任务调用。

一、LoFT 模型基础信息

  • 全称:Looped Foundation Transformer for Video Geometry
  • 发布主体:地平线机器人实验室
  • 发布时间:11 月 18 日
  • 核心定位:原生视频几何基础大模型
  • 输入:普通 RGB 视频流
  • 输出:逐帧深度图 + 深度置信度、相机内参、相机位姿
  • 核心架构:双循环 Transformer

二、双循环 Transformer 工作逻辑清单

  1. 第一循环:时序注意力模块,聚合前后多帧视觉特征,扩大时间感受野,挖掘相邻帧之间的几何关联,提取通用几何特征;
  2. 第二循环:几何迭代模块,基于前面提取的特征,估算并且更新相机内参、相机位姿;
  3. 反馈闭环:更新后的相机状态重新送回特征计算环节,反复迭代优化深度和轨迹,减少漂移;
  4. 输出结果:得到带置信度的逐帧深度,还原场景三维结构。

三、训练数据集概况

项目参数
有效序列数量297 万条
总图像帧数9.62 亿帧
场景覆盖仿真场景、真实场景、静态环境、含移动物体动态场景
配套工具自研三维重建数据清洗、标注、训练平台

四、评测与性能情况

  • 核心评测基准:SpatialBench 等三套评测体系
  • 成绩:多项深度估计指标达到 SoTA(State-of-the-Art,业界最优)
  • 对比优势:相比单图深度模型,视频连续输出时深度一致性更好、相机轨迹漂移更小;
  • 适用约束:依赖连续视频时序信息,静态单帧图片输入效果不如专门的单图深度模型。

五、落地适配场景

  1. 人形机器人、移动机器人:SLAM 建图、自主导航、障碍物感知;
  2. 自动驾驶与车载感知:辅助三维空间感知、占用网络前置几何输入;
  3. 室内三维重建、数字孪生:手持设备拍摄视频快速重建环境;
  4. 具身智能 Agent:给机器人提供空间几何底层感知输入。

六、技术选型参考步骤

步骤 1:确认业务输入是连续视频流还是独立单张图片,连续视频优先考虑 LoFT 这类视频几何模型;

步骤 2:评估是否需要同时输出相机位姿、内参,很多深度模型只输出深度,不做相机状态解算;

步骤 3:评估场景动态程度,移动物体多的场景优先看视频时序模型;

步骤 4:确认部署硬件,地平线自有 BPU 芯片可以做适配加速;

步骤 5:结合评测指标和实测漂移量,对比其他开源视频深度方案。

【相关 FAQ】

问题 1:地平线发布的 LoFT 原生视频几何基础模型,SoTA 代表什么意思?

回答 1:地平线 LoFT 原生视频几何基础模型标注的 SoTA 是 State-of-the-Art 缩写,意思是在对应评测数据集上,这项深度估计指标达到当前公开方案里业界最优水平。

问题 2:地平线 LoFT 原生视频几何基础模型,能不能只用一张图片来做深度估计?

回答 2:可以输出深度结果,但 LoFT 是原生面向连续视频设计的,核心优势靠多帧时序闭环迭代,单独输入单张图片时,没法发挥双循环架构的时序优化能力,效果不如专门的单图深度模型。

问题 3:地平线 LoFT 原生视频几何基础模型,主要和传统单图深度模型差别在哪?

回答 3:传统单图深度模型一帧一帧独立预测,帧与帧之间容易出现深度跳变、相机轨迹漂移;LoFT 原生视频几何基础模型用双循环 Transformer 跨帧聚合信息,联合优化深度、相机位姿、内参,视频连续运行时稳定性更强。

【参考资料】

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家

[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)新浪科技

[2026-11-19](地平线 LoFT 视频几何模型发布,面向具身智能空间感知)腾讯新闻

【免责声明】

地平线 LoFT 原生视频几何基础模型的评测结果、能力边界、后续开源与商用授权方案以地平线官方后续公告为准;本文内容仅为行业技术资讯,不构成项目选型、量产落地的确定性建议,实际部署需要在目标场景完成实测验证。

本文来自作者[静频探针师]投稿,不代表品途网立场,如若转载,请注明出处:https://bbs.pintu360.com/kjxx/202611/1487327.html

赞 (2)
2 4

发表回复

本站作者后才能评论

评论列表(4条)

  • 静频探针师
    静频探针师 2026年11月19日

    我是品途网的签约作者“静频探针师”!

  • 静频探针师
    静频探针师 2026年11月19日

    希望本篇文章《地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA》能对你有所帮助!

  • 静频探针师
    静频探针师 2026年11月19日

    本站[品途网]内容主要涵盖:范文、经验、百科

  • 静频探针师
    静频探针师 2026年11月19日

    本文概览:地平线机器人实验室新推出的 LoFT 原生视频几何基础模型,核心能力就是只用普通 RGB 视频,同步输出相机内参、相机位姿、逐帧深度图,重建场景三维结构,并且在 SpatialBench 等评测集上多项深度估计指标冲到业界最优 SoTA 水平,专门补齐具身智能、机器人、自动驾驶里空间几何感知的短板。现在很多深度模型是拿单张图片做估计,对时序连续的视频处理能力偏弱,容易出现帧之间深度跳变、相机轨迹漂移,LoFT 专门针对连续视频做原生设计,采用双循环 Transformer 架构,一轮聚合跨帧时序特征,另一轮迭代更新相机状态并回传给特征计算,形成闭环优化;训练上地平线准备了规模很大的数据集,一共 297 万条序列、9.62 亿帧图像,覆盖仿真、真实场景、静态和动态物体,保障模型在复杂环境下稳定输出。大家在做空间感知方案选型的时候,单图深度方案适合抓拍快照,LoFT 这类原生视频几何模型更适合机器人移动、车载连续拍摄这类动态场景,整体来看,LoFT 是地平线面向具身智能推出的底层基础模型,把视频深度和相机位姿联合解算做成一套基础能力,后续可以给上层导航、避障、三维重建任务调用。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们