LSM-2:直接从不完整的可穿戴传感器数据中学习

TL;DR:现实中的可穿戴数据几乎没有完整的 ——160 万个 "日窗口" 里,0% 是完整的。Google 提出 AIM,用一个可学习的 mask token 同时表示 "真实缺失" 和 "人工遮挡",并通过 "固定去除 + 注意力掩码" 的混合方式高效处理,不插补、不丢数据,直接从不完整数据做自监督预训练,下游任务更准、缺失场景下明显更鲁棒。

论文信息

表格

项目

内容

原标题

LSM-2: Learning from Incomplete Wearable Sensor Data

机构

Google Research / Google DeepMind

时间

2025 年 6 月(arXiv: 2506.05321)

前身

LSM-1(ICLR 2025),本文为第二代

关键词

自监督学习、掩码自编码器、可穿戴传感器、缺失数据、基础模型

链接

https://arxiv.org/abs/2506.05321

一、要解决什么问题

可穿戴设备因传感器故障、设备摘除、充电、运动伪影、省电模式等原因,数据缺失是常态。而自监督模型(如 MAE)通常假设输入是完整的。过去只有两条路,都不理想:

  1. 插补(Imputation):硬填缺失段,容易引入偏差,且偏差会传导到下游模型;

  2. 激进过滤:直接丢弃不完整样本,浪费大量宝贵数据。

论文的目标是:把缺失当作真实数据的自然属性,直接在不完整数据上学习表征。

二、核心方法:AIM(Adaptive and Inherited Masking)

AIM 建立在 MAE 的编码器 - 解码器架构上,用同一个共享的可学习 mask token 表示两类掩码:

  • 继承掩码(Inherited Mask):来自原始数据中真实存在的缺失,直接 "继承" 下来,因此无需插补;

  • 人工掩码(Artificial Mask):在已观测的 token 上随机遮挡,为重建目标提供正确答案。

最终掩码是两者的并集:M = 继承掩码 ∪ 人工掩码,即一个位置只要被任意一类掩码覆盖,就视为被掩码。

用一个例子看懂完整流程

为了方便理解,把一整天的数据简化成 10 个时间块(真实模型有 3744 个块,原理相同),规定 D = 5,即先固定移除 5 个 token。

第一步:确定两类掩码。 假设今天设备摘得比较久:

  • 真实缺失(继承掩码):第 3、4、8、9 块,共 4 个;

  • 随机人工掩码:第 1、7 块,共 2 个;

  • 两者并集一共 6 个块被掩码,超过固定值 D=5。

表格

块

1

2

3

4

5

6

7

8

9

10

状态

■人

有

■继

■继

有

有

■人

■继

■继

有

第二步:Dropout Removal,先固定移除 5 个。 把第 1、3、4、8、9 块直接从编码器输入里拿掉(继承、人工的都可以),它们不进编码器,编码器输入从 10 个变成 5 个,这一步最省计算。但还剩第 7 块没处理。

第三步:Attention Mask,处理剩余的可变部分。 第 7 块仍留在序列里,但编码器在计算注意力时直接忽略它。于是编码器真正只对 2、5、6、10 这 4 个有效块做编码。

第四步:Re-insert,把 token 插回原位。 编码完成后,把第二步移除的 5 个 token 重新插回原来的位置,恢复成完整的 10 个位置,再送解码器重建。

第五步:算损失。 重建误差只在人工掩码(第 1、7 块)上计算,因为只有它们有正确答案;继承掩码本来就没数据,不打分。

为什么要分两步,而不是直接删

  • 只用 Dropout Removal:要求每个样本掩码数量固定才能批量处理,但真实缺失数量可变,凑不出固定的 D,单独用它处理不了;

  • 只用 Attention Mask:虽然灵活,但所有 token 都得过编码器,面对 3744 个 token 的长序列计算太慢;

  • AIM 的混合做法:固定的大头用 Dropout Removal 拿走(省约 4 倍计算),多出来的可变零头用 Attention Mask 屏蔽(保证灵活)。这就是 "自适应" 的真正含义。

模型规模与训练方式

  • 输入:分钟级多模态数据,26 个传感器特征、1440 分钟(一整天),用 10 分钟的 patch 切成 3744 个 token;

  • 结构:25M 参数,384 维隐藏层,12 层编码器 + 4 层解码器;

  • 人工掩码组合:等概率随机使用三种策略 ——80% 随机掩码(模拟噪声)、50% 时间切片(模拟设备摘除)、50% 信号切片(模拟传感器关闭);

  • 训练:在 8×16 块 Google v5e TPU 上,batch size 512,训练 10 万步。

预训练与推理是统一的:实际使用时,新来的数据某一块缺失,模型直接用继承掩码标记它,只看剩下的有效块就能给出判断,全程不需要先把缺失块补上。

三、实验结果(量化)

  • 预训练规模:4000 万小时(40M hours)的全天多模态传感器数据;

  • 下游任务:共 10 项(3 个分类、4 个生成、3 个回归),覆盖临床、心理健康、人口统计等,整体达到 SOTA;

  • 鲁棒性:在全部 12 个缺失消融设置中,性能下降幅度比 LSM-1 小 73%,退化状态下的绝对性能高 15%;

  • 时间窗口消融:平均 F1 为 0.43,而 LSM-1 仅 0.26,相对提升 +65%。

符合医学领域知识的两个洞察:

  1. 夜间信号更关键:移除夜间信号后,高血压和焦虑的 F1 各下降约 5%,而移除白天窗口仅下降 0.4% 和 0.01%—— 印证夜间生物信号受日常活动干扰小、诊断价值高;

  2. 加速度计对焦虑有独特价值:移除加速度计后焦虑预测骤降 11%,移除其他传感器平均仅降 0.5%。

四、我的思考

  1. 范式转变:"缺失" 从噪声变成了可学习的信号。 模型不再回避缺失,而是用专门的 token 表征它,这比 "先修补再学习" 更干净,也避免了插补偏差。

  2. 对 EEG / 生理信号研究很有借鉴意义。 跨被试里的坏电极、运动伪迹、信号截断,本质都是 "继承缺失"。AIM 提供了一条不依赖插值、直接训练的思路,尤其适合做跨被试泛化。

  3. 工程细节值得学。 用 "固定 Dropout Removal + 可变 Attention Mask" 的混合方案兼顾效率与灵活性,是大规模训练里很实用的折中。

  4. 可进一步追问的点:实验集中在可穿戴模态,这种 "缺失感知" 表征对 EEG、fNIRS 等其他时序模态的泛化效果,还需要自己动手验证。

#论文笔记 #自监督学习 #可穿戴传感器 #基础模型 #缺失数据