没有标定包,第一视角双目人类演示数据就不完整。双目 RGB、IMU 与位姿看起来或许已可训练,但立体深度、三角测量与多传感器融合,都依赖描述传感器如何被测量的矩阵与外参。若这些产物缺失、版本管理混乱,或以含糊的「标定可按需提供」交付,买方无法复现几何,审计无法闭环验收,模型团队则要耗费周期反推采集设备。
本文回答一个务实的采购问题:第一视角双目数据必须随货交付哪些标定文件,交付才算完整? 面向需要可粘贴 SOW 表述——而非营销形容词——的机器人学习、模仿学习与基础模型买方。下列数字与产物均来自可自行核验的公开样片:两条 episode、4,914 帧、合计 163.47 秒,以 LeRobot v3 发布在 Hugging Face,schema 有文档,并旨在通过 Physical-Intelligence/pi-data-sharing 检查。该样片的光学包络为双目彩色每目 1920×1200、硬件同步双目,时间戳为设备侧记录,连续 IMU 约 300.48 Hz。
为什么「完整标定」是交付要求,而不是脚注
立体管线假定已知基线、已知内参,以及双眼之间已知的相对位姿。第一视角管线再加一层:IMU 与相机必须配准,使头部运动与像素共享同一几何模型。若不把这些参数与 episode 一并交付,买方拿到的像素与运动轨迹无法在单一一致的相机模型下融合。
第一视角双目采购中反复出现三种失效模式:
- 仅视频交付。 有帧,却没有 K、畸变模型、校正矩阵,或用于视差转深度的 Q 矩阵。下游无法跑确定性立体管线。
- 有标定却无版本。 参数存在于某个共享盘,但没有绑定到该批次的标定版本。数月后无人知道哪套矩阵属于哪段录制窗口。
- 仅相机标定。 立体产物在,但缺少 IMU↔相机外参。视觉—惯性融合与头部位姿对齐于是变成猜测。
完整意味着:标定包与 episode 数据一并交付、在 SOW 中点名,并带版本标识,使跨量产月份的漂移可审计。
最小立体产物集:K、KB4、R1/R2、P1/P2、Q
对第一视角双目而言,「内参与外参」过于含糊。请点名产物。完整的立体标定交付至少应包括:
| 产物 | 在管线中的角色 |
|---|---|
| K | 每目相机内参矩阵(焦距、主点) |
| KB4 | 畸变模型参数(KB4 约定),用于去畸变或建模镜头 |
| R1 / R2 | 校正旋转矩阵,将双目对齐到共同极线几何 |
| P1 / P2 | 校正坐标系下的投影矩阵 |
| Q | 视差到深度映射矩阵,用于将立体视差转为度量深度 |
为什么必须是这些?立体深度与三角测量不是「大致对齐」问题。它们依赖从原始像素 → 去畸变 → 校正 → 视差 → 深度的一致链条。省略 Q,会迫使每个消费者从不完整元数据重新推导视差—深度关系。省略 R1/R2 与 P1/P2,校正未定义。只交 K 而不交畸变模型(此处为 KB4),会破坏任何期望与标定时相同镜头模型的管线。
买方提示: 把 K、KB4、R1、R2、P1、P2、Q 各自写成命名交付物,而不是塞进「适用时提供标定文件」一条底下。
IMU↔相机外参与标定版本
第一视角采集是头戴式。公开样片语境下,IMU 以约 300.48 Hz 测量运动,相机则交付硬件同步双目帧,且时间戳为设备侧记录,而非按标称 FPS 回填。这条时间故事要变成几何故事,必须随批次交付 IMU↔相机外参。
没有 IMU↔相机外参时:
- 6-DoF 头部位姿与双目像素落在两条永不相交的平行时间线上,缺少同一刚体变换。
- 视觉—惯性里程计与融合实验无法复现采集几何。
- 验收无法核验位姿与 RGB 是否属于同一传感器包。
同样重要的是 标定版本标识。量产采集跨越数周或数月。镜头沉降、支架重拧、重新标定都会发生。与每批交付绑定的版本字符串(或等价包 ID),让 QA 能回答:「这些 episode 录制时用的是哪套标定?」没有版本管理,两批在 schema 上看起来相同的数据,可能静默使用不同几何模型。
建议 SOW 表述
- 每一验收批次随货交付 IMU↔相机外参。
- 交付可唯一标识该批次所用参数集的 标定版本(或包 ID)。
- 不接受以「共享盘上的最新标定」替代放在 episode 文件旁的版本化产物。
应与文件并列的几何质量门
交付矩阵必要但不充分。买方还需要残差证据,证明标定可用。公开样片报告的几何检查中,有三个数字具体到可直接写进 SOW,而无需发明新阈值:
- 双目基线约 60.7 mm
- Sampson 中位数 0.166 px
- 立体重投影 0.800 px
- 15,811 内点(公开样片标定检查规模下)
这些不是普适行业定律;它们是可核验样片(2 episodes / 4,914 帧 / 163.47 s)的文档化结果。当供应商采集包络与该样片光学等级一致——每目 1920×1200、硬件同步双目——时,把它们当作参照门;不要当作无关设备或混搭片库的发明通过/失败数字。
建议 SOW 表述
- 标定包报告双目基线(参照等级:约 60.7 mm)。
- 标定检查报告 Sampson 中位数、立体重投影残差与内点数(参照样片:0.166 px Sampson 中位数、0.800 px 立体重投影、15,811 内点)。
- 残差报告绑定到与 episode 一并交付的同一 标定版本。
不要声称混搭媒体库里每一条 clip 都在同一台设备上录制。此处的完整意味着:就这一批第一视角双目交付而言,标定产物与残差报告与数据同行。
标定完整性如何嵌入其余交付包络
标定文件不是孤立存在的。它们只有在连贯的采集与 schema 包络内才有意义。对本系列通篇引用的公开样片:
- 视频: 双目彩色 RGB,每目 1920×1200,硬件同步双目。
- 时间: 时间戳为设备侧记录(非 FPS 回填)。
- IMU: 实测约 300.48 Hz,与视觉流连续。
- Schema: LeRobot v3,旨在干净加载,并与 Physical-Intelligence/pi-data-sharing 期望对齐。
- 可核验性: Hugging Face 公开样片 2 episodes / 4,914 帧 / 163.47 s(
tatezhou/ego-stereo-cn-v1),工具见 ego-stereo-cn-v1-tools。
缺少标定产物时,即便 LeRobot 布局完美,几何消费者仍会失败。Schema 错了,完美矩阵也难挂到正确帧上。把两者写进同一验收块。
可粘贴交付清单
将下列区块复制进 SOW、RFP 或供应商问卷。商业条款可按需调整;请保留点名产物。
第一视角双目 — 标定交付清单
批次 / PO ID: ____________________ 交付日期: __________
A. 立体相机产物(须全部与 episode 数据一并交付)
[ ] 每目 K(内参)
[ ] KB4 畸变参数
[ ] R1 / R2 校正旋转
[ ] P1 / P2 校正投影矩阵
[ ] Q(视差到深度)矩阵
B. 多传感器配准
[ ] IMU ↔ 相机外参
[ ] 批次清单上记录的标定版本 / 包 ID
C. 几何质量报告(绑定同一标定版本)
[ ] 报告双目基线(参照等级 ~60.7 mm)
[ ] 报告 Sampson 中位数残差(参照样片 0.166 px)
[ ] 报告立体重投影残差(参照样片 0.800 px)
[ ] 报告内点数(参照样片 15,811 内点)
D. 采集包络一致性(同一次交付)
[ ] 双目 RGB 每目 1920×1200
[ ] 硬件同步双目
[ ] 时间戳为记录(设备侧;非 FPS 回填)
[ ] IMU 约 300.48 Hz,并有连续流文档
E. 数据集 schema
[ ] LeRobot v3 布局
[ ] 兼容 Physical-Intelligence/pi-data-sharing 检查
[ ] 数据集清单 / README 链接到标定产物
F. 签收
供应商: __________________ 日期: ______
买方 QA: ________________ 日期: ______
通过 / 失败 / 有条件: ______________
备注: _________________________________
若 A–B 任一项未勾选,即使视频与 IMU 文件在场,也按不完整处理。C–E 是让标定在训练与审计中可用的质量与 schema 包络。
「不完整」在实践中长什么样
拒绝或暂扣这些模式:
- 仅左右 MP4 的 ZIP,README 写「离线用 OpenCV 做立体标定。」
- 只有内参(K),没有 KB4、校正或 Q。
- 单个
calib.yaml,无标定版本,且 LeRobot 数据集卡片无链接。 - 有立体产物,但 SOW 含 IMU 与头部位姿时缺少 IMU↔相机外参。
- 残差指标来自不同设备等级,或阈值超出文档化样片而发明。
仅当点名产物与数据一并交付、版本已记录、残差报告与你正在验收的标定包一致时,才予接受。
软性下一步
若你正在为第一视角双目人类演示起草 SOW,并希望有参照包可对照,请自行核验 Hugging Face 公开样片(2 episodes / 4,914 帧 / 163.47 s):tatezhou/ego-stereo-cn-v1,配套工具见 github.com/TateZhouSiu/ego-stereo-cn-v1-tools,或浏览采集说明:10khoursdata.com。商用交付范围——标定打包、LeRobot v3 布局与验收表述——请发邮件至 tate@10khoursdata.com。无强推:无论是否向 10K HoursData 采购,上列清单均可使用。
10K HoursData — 第一视角双目人类演示数据,含记录时间戳、硬件同步双目采集,以及旨在随每一完整批次交付的版本化标定产物。