EVALUATION SETTINGS
APE / RPE 评估配置
适用于 exp1 中存在 Ground Truth 的数据单元。以下参数由当前实际评估代码生成;GT.tum 表示参考轨迹,EST.tum 表示待测轨迹。
评估前坐标系统一
T_W_I = T_W_O · T_O_I → dataset IMU body
实际 APE 命令
evo_ape tum GT.tum EST.tum --align --correct_scale --pose_relation trans_part --t_max_diff 0.03 --no_warnings
实际 RPE 命令
evo_rpe tum GT.tum EST.tum --align --correct_scale --pose_relation trans_part --delta 10 --delta_unit m --all_pairs --t_max_diff 0.03 --no_warnings
- 统一参考刚体
- 运行 evo 前,把算法输出位姿从各自 output/body frame 通过右乘固定 SE(3) 外参转换到该数据单元的统一 IMU body;原始 TUM 只读且不覆盖,派生 TUM 只写网页缓存。
- 变换公式
T_W_I = T_W_O · T_O_I。其中 O 是算法输出刚体,I 是统一 IMU body;右乘处理 child/body frame,不能用 --align 的世界系左乘替代。
- ALL_DAY / MIMOSA
T_M_I = T_M_L · inverse(T_I_L) = Rz(180°),右乘矩阵 [-1 0 0 0; 0 -1 0 0; 0 0 1 0; 0 0 0 1];变换指纹 7dabb49b02ef79bc90876927e47e23a0fc25bc16d91ed500a6eda457bba33562。
- rooftop / MIMOSA
- 由 MIMOSA 与 Ours/FAST-LIO 的 LiDAR→IMU 外参桥接;右乘平移 xyz=
(0.000283131602, 0.000112366896, 6.88713e-06)、四元数 xyzw=(-0.000242600548, 0.000484551103, 0.002067679631, 0.999997715525);变换指纹 1381d10f0fb5e3eb704d5f5517e106369689e06489ca9363c1e7c7a7b23118e3。
- 其余算法/数据
- Ours、DaLiTI、FAST-LIO Ground Truth 以及外参一致的数据使用单位变换;单位变换指纹
4d5eefde898113404a30e9a8ffec691876eecad541881d409e309b0789790f13。
- NovAtel 例外
- rooftop 的
/novatel/oem7/odom Ground Truth 保留驱动发布的参考点;仓库没有 NovAtel→IMU lever-arm 标定,因此不虚构物理参考点转换。
- 输入格式与顺序
tum;先传 Ground Truth,再传待测轨迹。TUM 列为 timestamp、tx ty tz、qx qy qz qw。
- 对齐方式
--align + --correct_scale(-s):使用旋转、平移和一个全局尺度进行 Sim(3) 对齐。当前整页的 APE、RPE、complete/FAILED、最佳轨迹和组合图均使用该模式。
- 误差关系
--pose_relation trans_part:逐位姿只计算平移部分误差,最终读取 RMSE,单位为米。
- RPE 距离口径
--delta 10 --delta_unit m --all_pairs:按 10 m 路径间隔生成全部可用位姿对,计算平移相对位姿误差 RMSE。
- 时间关联
--t_max_diff 0.03:GT 与待测位姿的最大时间戳差为 0.03 s;不设置时间偏移。
- 输出与执行
--no_warnings 仅抑制 evo 警告;单条评估执行超时为 60 s,evo 非零退出或无有效 RMSE 均判失败。
- 覆盖率窗口与门限
- 起点为同一方法内所有轨迹起始时间的中位数,终点为 GT 结束时间;待测轨迹须覆盖至少 80%。
- 明显发散门限
- 在 evo 前检查三维路径长度:待测长度不得超过
max(GT × 5, GT + 100 m)。
- 精度失败门限
- 对齐后的 APE RMSE 不得超过
max(GT × 20%, 5 m)。
- 网页百分比
APE RMSE / 待测三维轨迹长度 × 100%;它是展示指标,不参与失败门限计算。
- 完整判定
- 覆盖率达标、轨迹未明显发散、evo 成功且 APE 精度达标时,才标记为 complete;文件名中的显式
.failed-* 审计标记始终强制判为 FAILED。显式 FAILED 即使明显发散也继续计算并展示 APE/RPE,并与 complete 轨迹一样默认进入对齐总览,详情页仍保留其指标和独立轨迹图。
- 分组页筛选与排名
- APE/RPE 榜单只使用当前尺度模式下每种方法 APE RMSE 最小的 complete 轨迹;对齐总览为每种方法保留一个代表轨迹,默认全部显示(含 FAILED),可用图下开关手动隐藏,坐标轴始终只由 GT 决定,详情页列出全部轨迹及失败原因。
- RPE 判定作用
- RPE 是展示与横向比较指标,不参与 complete / FAILED 判定;无法计算时显示“不可用”,并排在榜单末尾。
- 缓存绑定
- APE / RPE 缓存版本为 v8,frame normalization 版本为 v1;缓存同时绑定 GT 与待测 TUM 的文件指纹以及坐标变换指纹,任一项变化都会重新评估。
说明:没有 GT 的数据单元不计算 APE / RPE,也不会基于上述 APE 门限筛选轨迹。
COMBINED / XY
对齐总览 · Sim(3) 尺度修正
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
TUM / XY
DaLiTI_main_001f923_five_20260808_02
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- 采样点
- 2,908
- XY 路程
- 114.73 m
- 起终位移
- 0.28 m
- 时长
- 290.70 s
DaLiTI_main_001f923_five_20260808_02.tum
TUM / XY
GroundTruth_DaLiTI
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- 采样点
- 2,908
- XY 路程
- 114.73 m
- 起终位移
- 0.28 m
- 时长
- 290.70 s
GroundTruth_DaLiTI.tum
TUM / XY
DaLiTI_20260812_181831_1086256
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.1524 m
- RPE RMSE · -s
- 4.2333 m
- 采样点
- 2,908
- XY 路程
- 117.79 m
- 起终位移
- 3.02 m
- 时长
- 290.70 s
DaLiTI_20260812_181831_1086256.tum
TUM / XY
DaLiTI_20260812_182448_1160348
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.7037 m
- RPE RMSE · -s
- 4.0486 m
- 采样点
- 2,908
- XY 路程
- 116.56 m
- 起终位移
- 1.59 m
- 时长
- 290.70 s
DaLiTI_20260812_182448_1160348.tum
TUM / XY
DaLiTI_20260812_190459_1549795
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.9127 m
- RPE RMSE · -s
- 4.0995 m
- 采样点
- 2,908
- XY 路程
- 116.80 m
- 起终位移
- 0.41 m
- 时长
- 290.70 s
DaLiTI_20260812_190459_1549795.tum
TUM / XY
DaLiTI_20260812_191119_1619385
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 10.0585 m
- RPE RMSE · -s
- 7.3001 m
- 采样点
- 2,908
- XY 路程
- 162.57 m
- 起终位移
- 46.85 m
- 时长
- 290.70 s
DaLiTI_20260812_191119_1619385.tum
TUM / XY
DaLiTI_20260812_191628_1682419
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.8918 m
- RPE RMSE · -s
- 3.9951 m
- 采样点
- 2,908
- XY 路程
- 113.66 m
- 起终位移
- 2.02 m
- 时长
- 290.70 s
DaLiTI_20260812_191628_1682419.tum
TUM / XY
DaLiTI_20260812_192137_1745837
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 2.4592 m
- RPE RMSE · -s
- 4.4750 m
- 采样点
- 2,908
- XY 路程
- 119.87 m
- 起终位移
- 14.23 m
- 时长
- 290.70 s
DaLiTI_20260812_192137_1745837.tum
TUM / XY
DaLiTI_20260812_192646_1808964
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.7227 m
- RPE RMSE · -s
- 4.0555 m
- 采样点
- 2,908
- XY 路程
- 111.69 m
- 起终位移
- 1.74 m
- 时长
- 290.70 s
DaLiTI_20260812_192646_1808964.tum
TUM / XY
DaLiTI_20260812_221925_3290808
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.7971 m
- RPE RMSE · -s
- 4.1508 m
- 采样点
- 2,908
- XY 路程
- 111.86 m
- 起终位移
- 1.96 m
- 时长
- 290.70 s
DaLiTI_20260812_221925_3290808.tum
TUM / XY
DaLiTI_20260812_232100_3900724
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.9186 m
- RPE RMSE · -s
- 3.8284 m
- 采样点
- 2,907
- XY 路程
- 114.72 m
- 起终位移
- 0.33 m
- 时长
- 290.60 s
DaLiTI_20260812_232100_3900724.tum
TUM / XY
DaLiTI_20260812_232750_3971835
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.1370 m
- RPE RMSE · -s
- 4.3477 m
- 采样点
- 2,908
- XY 路程
- 116.57 m
- 起终位移
- 3.43 m
- 时长
- 290.70 s
DaLiTI_20260812_232750_3971835.tum
TUM / XY
DaLiTI_20260813_103538_53011
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 5.3239 m
- RPE RMSE · -s
- 4.2603 m
- 采样点
- 2,907
- XY 路程
- 118.15 m
- 起终位移
- 12.43 m
- 时长
- 290.60 s
DaLiTI_20260813_103538_53011.tum
TUM / XY
DaLiTI_20260813_104158_121912
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.5585 m
- RPE RMSE · -s
- 4.3035 m
- 采样点
- 2,908
- XY 路程
- 113.32 m
- 起终位移
- 5.13 m
- 时长
- 290.70 s
DaLiTI_20260813_104158_121912.tum
TUM / XY
DaLiTI_20260813_104740_186857
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.9056 m
- RPE RMSE · -s
- 4.3482 m
- 采样点
- 2,908
- XY 路程
- 120.85 m
- 起终位移
- 0.38 m
- 时长
- 290.70 s
DaLiTI_20260813_104740_186857.tum
TUM / XY
DaLiTI_20260824_144027_2513004
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.9728 m
- RPE RMSE · -s
- 3.9224 m
- 采样点
- 2,907
- XY 路程
- 113.45 m
- 起终位移
- 0.41 m
- 时长
- 290.60 s
DaLiTI_20260824_144027_2513004.tum
TUM / XY
DaLiTI_20260824_145621_2681127
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 6.9004 m
- RPE RMSE · -s
- 6.4092 m
- 采样点
- 2,908
- XY 路程
- 153.27 m
- 起终位移
- 5.71 m
- 时长
- 290.70 s
DaLiTI_20260824_145621_2681127.tum
TUM / XY
DaLiTI_20260824_150205_2756518
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.5051 m
- RPE RMSE · -s
- 4.4425 m
- 采样点
- 2,908
- XY 路程
- 118.29 m
- 起终位移
- 5.28 m
- 时长
- 290.70 s
DaLiTI_20260824_150205_2756518.tum
TUM / XY
DaLiTI_20260824_150751_2833229
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 0.8366 m
- RPE RMSE · -s
- 4.1957 m
- 采样点
- 2,908
- XY 路程
- 121.27 m
- 起终位移
- 0.39 m
- 时长
- 290.70 s
DaLiTI_20260824_150751_2833229.tum
TUM / XY
DaLiTI_20260824_151336_2912334
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 5.0219 m
- RPE RMSE · -s
- 4.2081 m
- 采样点
- 2,908
- XY 路程
- 123.07 m
- 起终位移
- 20.01 m
- 时长
- 290.70 s
DaLiTI_20260824_151336_2912334.tum
TUM / XY
MIMOSA_20260814_170715
FAILED
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
轨迹判定失败:轨迹长度 4018.49 m,超过参考轨迹 116.18 m 的明显发散门限 580.92 m
- APE RMSE · -s
- 不可用
- RPE RMSE · -s
- 不可用
- 采样点
- 2,910
- XY 路程
- 4,005.12 m
- 起终位移
- 3,844.44 m
- 时长
- 290.90 s
MIMOSA_20260814_170715.tum
TUM / XY
Ours_20260810_184155_2086205
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.1926 m
- RPE RMSE · -s
- 4.1731 m
- 采样点
- 2,767
- XY 路程
- 103.30 m
- 起终位移
- 1.41 m
- 时长
- 271.02 s
Ours_20260810_184155_2086205.tum
TUM / XY
Ours_20260811_214715_103692
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.3556 m
- RPE RMSE · -s
- 4.2652 m
- 采样点
- 2,767
- XY 路程
- 103.40 m
- 起终位移
- 3.06 m
- 时长
- 271.00 s
Ours_20260811_214715_103692.tum
TUM / XY
Ours_20260811_222413_362340
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.5253 m
- RPE RMSE · -s
- 4.1658 m
- 采样点
- 2,767
- XY 路程
- 104.51 m
- 起终位移
- 4.37 m
- 时长
- 271.00 s
Ours_20260811_222413_362340.tum
TUM / XY
Ours_20260811_222909_409941
⌗ 拖动框选放大细节;可连续框选,双击图片或按 Esc 恢复全图
- APE RMSE · -s
- 1.5379 m
- RPE RMSE · -s
- 4.1413 m
- 采样点
- 2,767
- XY 路程
- 104.01 m
- 起终位移
- 3.80 m
- 时长
- 271.01 s
Ours_20260811_222909_409941.tum