传感器融合（1）（TODO）

这次计划做成一个 AR Sensor Fusion 系列，从底层传感器一直写到空间计算。

这样每篇都有实验、有代码、有图，阅读量也更高。

这次的内容主要是IMU为什么需要融合。

标题

《AR眼镜中的第一块基石：为什么单个传感器不可靠？》

---

1 传感器基本介绍

这次主要看三个传感器，Accel，Gyro，Mag。下面是MPU9250的datasheet。

1.1 Accel

Accel → 重力方向，这个主要是测量加速度，比较特别的是它还会测试到重力，也就是G。下面就是我几乎尽量放平，可以看到X，Y都是趋向0，Z差不多是0.87g，也就是重力加速度。

这个主要作用第一是求Pitch，也就是前后倾角。第二是求Roll，也就是左右倾角。总的来说主要是用来判断方向。

缺点是动态的时候误差巨大。

1.2 Gyro

Gyro → 旋转运动。Gyroscope陀螺仪，这个主要是测量角速度，单位是°/s或者rad/s，可以用来得到速度，也可以得到方向。

优点是响应快，但是会累计误差，产生漂移。

1.3 Mag

Mag → 地球磁场方向，这里的设备是Magnetometer，磁力计。它主要是测量地球磁场，单位是μT，MicroTesla。

这个主要是输出Mx My Mz，也就是地球磁场的向量。这个也可以用来取得朝向，好像是有绝对参考北极。

缺点是很容易被干扰。

传感器	测量对象	优点	缺点
Accel	重力+加速度	长期稳定	运动时噪声大
Gyro	角速度	响应快	漂移
Mag	地磁场	有绝对方向	易受干扰

介绍：

Accel
Gyro
Mag

各自的问题：

传感器	优点	缺点
Acc	不漂移	震动大
Gyro	响应快	会漂
Mag	绝对方向	易受干扰

对于AR来说，Accel=头有没有低下，Gyro=头正在怎么转，Mag=头最终朝向哪里。

总的来说，Accel、Gyro、Mag 解决的是“姿态（Orientation）”问题。

---

实验1：加速度计

静态：

Pitch
Roll

很稳定。

然后摇晃眼镜：

Pitch
Roll

疯狂跳。

---

实验2：陀螺仪漂移

放桌上：

Yaw

记录30分钟。

画图：

0°
1°
3°
5°
...

这是非常震撼的实验。

---

实验3：磁力计干扰

磁铁靠近：

Yaw

瞬间偏转。

---

收获

得出结论：

没有任何单个传感器可信

---

第二篇：从9轴融合到电子罗盘

标题

《实现第一个AR姿态系统：MPU9250九轴融合》

---

内容

介绍：

Pitch
Roll
Yaw

---

实验1

画：

Mx
My

散点图

旋转一圈。

---

实验2

磁力计校准

校准前：

椭圆

校准后：

圆

效果特别明显。

---

实验3

互补滤波

同时显示：

Accel
Gyro
Fusion

三条曲线。

---

实验4

3D立方体姿态显示

Pico输出：

Quaternion

PC显示：

3D Cube

---

第三篇：AR眼镜为什么不能只靠IMU

标题

《Yaw漂移：AR眼镜虚拟画面飘走的根源》

---

这是AR和无人机的分水岭。

---

实验

头部运动：

左转90°
右转90°

持续10分钟。

记录：

真实位置
计算位置

误差。

---

展示：

虚拟箭头

逐渐偏离。

---

收获

引出：

VIO

---

第四篇：Camera + IMU = VIO

标题

《AR定位核心：Visual-Inertial Odometry》

---

内容

介绍：

Camera
+
IMU

融合。

---

实验1

仅IMU：

轨迹漂移

---

实验2

Camera+IMU：

轨迹闭环

---

推荐：

• OpenVINS

• VINS-Fusion

---

实验3

手机录制视频

提取ORB特征点。

显示：

Feature Tracking

---

第五篇：AR里的时间同步

标题

《Sensor Fusion最大的坑：时间戳》

---

很多新人完全没意识到。

---

实验1

Camera：

30fps

IMU：

1000Hz

---

故意制造：

10ms

延迟。

观察：

姿态抖动

---

实验2

50ms

观察：

AR漂移

---

这是高通平台非常实际的问题。

---

第六篇：AR眼镜里的其它传感器

标题

《除了IMU，AR眼镜还有哪些传感器？》

---

内容：

ALS

环境光

实验：

手电照射

自动调亮度。

---

Proximity

佩戴检测

实验：

摘下眼镜

自动灭屏。

---

Hall

实验：

折叠镜腿

进入待机。

---

ToF

实验：

手势距离

测量。

---

第七篇：功耗与Always-On Sensor

标题

《AR眼镜一天续航的秘密》

---

内容：

IMU Always On
Camera On Demand

---

实验1

测电流：

模式	电流
Sleep	xx
IMU	xx
Camera	xx

---

实验2

Motion Trigger

静止：

Camera关闭

运动：

Camera启动

---

第八篇：从Sensor Fusion到Spatial AI

标题

《未来AR：从传感器融合到空间智能》

---

介绍：

IMU
Camera
Mic
ToF
GPS

统一融合。

---

实验

例如：

头部方向

IMU

---

注视方向

Eye Tracking

---

空间位置

VIO

---

语音

Mic

---

融合成：

用户意图

---

整个系列最吸引人的实验

我认为阅读量最高的不是滤波公式，而是下面几个：

TOP1

陀螺仪漂移

---

TOP2

磁力计校准前后散点图

---

TOP3

3D立方体姿态显示

---

TOP4

Camera+IMU轨迹对比

---

TOP5

时间同步误差实验

---

尤其是第五篇《时间戳为什么比滤波器更重要》，这类内容网上非常少，但在 Qualcomm、AR、Camera 实际项目里价值极高，很容易形成你的个人特色，而不是又一篇 MPU9250 入门教程。