VLA真实世界泛化崩溃实录：我把模型从仿真厨房扔进丈母娘的杂乱厨房，7种死法每一种都让我血压飙升

我把VLA模型从Isaac Sim训完扔进真实厨房，它连水龙头都找不到

事情要从三个月前说起。我们团队接了一个项目，给一家做智能厨房机器人的公司做VLA（Vision-Language-Action）模型的泛化能力评估。他们已经在英伟达Isaac Sim上跑通了所有核心任务——开柜门、拿杯子、拧水龙头、按微波炉按钮，仿真环境里成功率92%。CEO信心满满地跟我说：“方工，我们这套模型准备直接上真机测试了，你帮忙部署一下。”

我把模型权重拷到Jetson AGX Orin上，接上一个Franka Research 3机械臂和Intel RealSense D435i深度相机，第一天就炸了。真实厨房里连最简单的“拿起蓝色马克杯”任务都失败了7次，其中3次机械臂直接撞到了咖啡机侧面，有1次抓空了差点把旁边的玻璃杯扫到地上。仿真里丝般顺滑的动作，在真实世界里像喝醉了一样。

这就是Sim2Real gap的真实嘴脸。VLA模型在实验室demo和顶会paper里看起来已经能征服一切了，但你把它丢进一个稍微杂乱一点的陌生环境，各种崩溃模式全冒出来。接下来我把我这两个月踩的坑、分类的故障模式、以及最后怎么用域随机化和测试时适应把成功率从47%拉回到81%的过程全写出来。所有代码都能直接跑，别踩我踩过的坑。

训练数据里的厨房像手术室，我的厨房像车祸现场——VLA数据采集的第一步就埋下了雷

先说说我们的训练pipeline。VLA模型本质上是个多模态大模型，输入是当前视觉观测（单帧RGB-D图像）加上任务指令文本，输出是机械臂末端执行器的目标位姿，或者直接是一段trajectory。我们用的是OpenVLA的架构变体，backbone是SigLIP视觉编码器加Llama-3的语言部分，动作头是一个基于扩散策略的生成模块，一次生成16个未来时间步的动作序列。

训练数据怎么来的？在Isaac Sim里建了一个高度仿真的厨房场景，用脚本自动生成10000条示范轨迹。每条轨迹包括RGB图像序列、深度图、机械臂关节角度和末端位姿。任务指令用模板生成，比如“拿起操作台上的蓝色马克杯并放在沥水架上”。看起来挺完善的对吧？问题就出在这里了。

仿真场景里的物体摆放整整齐齐，杯子永远正放，水龙头永远在固定位置，光照均匀得像影棚。地面没有油污，台面上不会有塑料袋，抽屉的纹理干净利落。我把这些数据训出来的模型叫做“温室里的花朵”——它学到了大量与任务无关的伪相关特征，比如“马克杯一定在操作台左上角”、“水龙头的金属反光一定是那个特定pattern”。一旦这些统计规律被打破，模型就懵了。

举个例子，训练集里所有马克杯底部的深度值都落在0.45m到0.52m这个区间，因为仿真场景的台面高度固定。到了真实厨房，操作台高了5厘米，所有深度值偏移了，模型直接预测出错误的抓取点。这不是过拟合，是VLA这类端到端模型的结构性弱点——它太擅长抓取训练分布里的捷径了。

来看看我们的数据加载代码，我加了注释说明每个坑：

import torch
from torch.utils.data import Dataset
import numpy as np
import albumentations as A  # 用来做数据增强，这是救命的东西

class KitchenVLA_Dataset(Dataset):
    def __init__(self, data_dir, split='train', use_domain_rand=False):
        self.data_dir = data_dir
        self.split = split
        self.use_domain_rand = use_domain_rand
        self.samples = self._load_manifest()
        
        """
        踩坑1：仿真数据里光照永远均匀，导致模型把亮度当成了深度线索。
        真实厨房窗户光一变化，深度估计就崩了。
        解决方案：用 albumentations 做随机亮度和对比度扰动。
        """
        if use_domain_rand:
            self.color_aug = A.Compose([
                A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, p=0.8),
                A.HueSaturationValue(hue_shift_limit=10, sat_shift_limit=20, val_shift_limit=20, p=0.5),
                A.GaussNoise(var_limit=(10.0, 50.0), p=0.4),  # 模拟相机噪声
                A.ISONoise(color_shift=(0.01, 0.05), intensity=(0.1, 0.5), p=0.3),
            ])
        
    def __getitem__(self, idx):
        sample = self.samples[idx]
        
        # 加载RGB和深度图
        rgb = np.load(f"{self.data_dir}/rgb/{sample['rgb_file']}")  # (224, 224, 3)
        depth = np.load(f"{self.data_dir}/depth/{sample['depth_file']}")  # (224, 224, 1)
        
        """
        踩坑2：仿真深度图是完美的float32米级精度，
        真实RealSense深度图有大量空洞和噪声，在物体边缘尤其严重。
        不加噪声增强的话，模型遇到边缘空洞直接瞎掉。
        这里用随机腐蚀模拟空洞。
        """
        if self.use_domain_rand and np.random.rand() > 0.6:
            # 随机把深度图某些区域置零，模拟真实传感器空洞
            mask = np.random.rand(*depth.shape[:2]) < 0.05
            depth[mask] = 0.0
        
        instruction = sample['instruction']  # str, 如 "拿起蓝色的杯子"
        action_traj = np.load(f"{self.data_dir}/actions/{sample['action_file']}")  # (16, 7) 16步动作序列
        
        # 动作格式: [dx, dy, dz, droll, dpitch, dyaw, gripper_open]
        # 都是相对于当前末端位姿的增量
        
        if self.use_domain_rand:
            augmented = self.color_aug(image=rgb.astype(np.uint8))
            rgb = augmented['image']
        
        # VLA模型输入：把图像patch化，文本tokenize，拼接成序列
        return {
            'rgb': torch.from_numpy(rgb).permute(2,0,1).float() / 255.0,
            'depth': torch.from_numpy(depth).permute(2,0,1).float(),
            'instruction': instruction,
            'action_traj': torch.from_numpy(action_traj).float()
        }

    def _load_manifest(self):
        # 加载数据清单...这里省略
        pass

这段代码里的数据增强策略是我反复实验试出来的。一开始我只加了亮度对比度扰动，发现模型对深度噪声还是零容忍。后来把深度图随机腐蚀加进去，又加了ISO噪声模拟低光照场景（厨房晚上就一盏暖黄灯），真机测试成功率从惨不忍睹的34%爬到了47%。但还远远不够。

7个家庭操作任务，我本来以为仿真91.7%的成功率能平移一大半

实验阶段我设计了7个家庭厨房里的典型任务，从简单到复杂，覆盖了VLA模型需要应对的主要场景：

每个任务我跑了50次真机测试（是的，50次，机械臂跑了两天两夜，中间还因为过热停了一次）。仿真环境里的基线成功率是91.7%，但到了真实厨房，同一个模型权重，第一轮测试的平均成功率只有47.1%。其中T5和T7尤其惨烈，T5只成了18次，T7干脆只有6次，成功率12%。

说实话看到这个数字我心里一沉。不是因为模型很差——VLA能做到47%在真机上已经不算烂了，很多paper里的SOTA模型换了环境连30%都不到——而是因为这47%里混杂了大量靠运气蒙对的情况。比如T5里有几次杯子虽然拿起来了，但机械臂轨迹歪歪扭扭，明显是模型在纠结，只是恰好没撞到障碍物。这种“侥幸成功”在真正部署时就是定时炸弹。

测试环境用的真实厨房是我自己家的。操作台是宜家的层压板台面，光照来自朝北的窗户加头顶一个LED灯条。微波炉是松下的带转盘那种，按钮面板是黑色玻璃。冰箱是双开门的，门把是拉丝不锈钢。这些材质在仿真里全都做过近似，但是——后面会详细说——材质的视觉差异和物理特性差异是两码事。

7种崩溃模式全记录：从透明抽屉把深度相机骗到旋钮摩擦力让力控失灵

我把200多次失败案例（50次x7任务，成功率47%意味着大约185次失败）做了根因分类，整理出7种典型的崩溃模式。每一种我都截了图、记了日志、反复回放录像，有些失败模式看第一遍录像时我自己都不敢相信。

崩溃模式1：透明/反光物体的深度图崩塌

透明亚克力抽屉是T2任务的噩梦。RealSense D435i用的是主动红外立体视觉，投射红外散斑图案然后做双目匹配。透明物体把红外光直接透过去了，或者反射到奇怪的角度，导致深度图在那个区域完全是随机的空洞或噪声。模型在仿真里学到的深度特征是连续平滑的，一碰到这种深度图崩塌区域，预测的抓取点直接飞到三维空间里的诡异位置。

有几次机械臂的末端直接撞到了抽屉面板上，力传感器触发急停。我一开始以为是标定问题，拿着棋盘格重新标定了一遍手眼矩阵，还是撞。后来把深度图可视化投影到屏幕上才发现——抽屉面板区域的深度值跳来跳去，偶尔显示1.2米（实际距离0.6米），偶尔显示0。模型根据这个深度值去计算目标位姿，不撞才怪。

崩溃模式2：光照变化导致的视觉特征漂移

我的厨房窗户朝北，下午两三点的阳光会从侧面斜照进来，在操作台上投出很长的阴影。仿真数据里光照均匀，模型把阴影边缘误认成了物体边缘。有一次T5任务里，蓝色马克杯的真实位置在操作台中间，但阳光投下了一圈深色阴影，模型把阴影当成了“蓝色区域”，试图去抓那片阴影——当然是抓了个空。这种时候VLA模型输出的动作序列从第一步开始就是错的，它以为自己看到了目标，其实看到的是个鬼影。

崩溃模式3：非刚体物体的形变让预抓取位姿失效

T6任务取鸡蛋盒，这是典型的非刚体操作。鸡蛋盒是纸浆做的，有一定弹性。仿真里的鸡蛋盒是刚体模型，机械臂的夹爪位置算得刚刚好能卡住盒子两侧。真实鸡蛋盒被夹住后会轻微变形，这导致一个问题：VLA模型采用开环的动作序列预测，它不依赖实时力反馈来调整。一旦盒子变形导致实际位置偏移了3毫米，后续的所有动作都在错误的基础上累积，最后放鸡蛋盒的时候放歪了，有两次直接掉地上了。

崩溃模式4：摩擦力和接触动力学的仿真误差

T3拧水龙头这任务最能体现这个问题。仿真里的水龙头旋钮用的是库伦摩擦模型，参数设了个固定值。真实水龙头用了两年多了，旋钮里面有水垢，转起来涩得很，需要更大的扭矩。模型在仿真里学会了“拧到某个角度”，输出的力矩在真实世界里根本拧不动。机械臂试了3次，每次都是旋钮纹丝不动，但模型认为任务完成了（因为它预测的动作序列执行完了），就直接进入下一个子任务。这种开环控制的脆弱性在接触密集型任务里暴露得淋漓尽致。

崩溃模式5：遮挡和杂乱场景下的注意力错位

T5的杂乱操作台上有咖啡机、面包机、塑料袋、菜板、两个杯子（一个红色一个蓝色）。模型要找到蓝色马克杯。仿真数据里从来没见过塑料袋这种东西——半透明、形态随机、褶皱纹理。SigLIP视觉编码器把塑料袋的纹理特征映射到了什么embedding空间里的点？我做了个可视化分析，发现塑料袋的特征向量和“白色陶瓷杯”聚在了一个cluster里。所以一旦塑料袋出现在场景中，模型经常把它误认成目标物体的一部分，或者当成障碍物绕开（绕开是对的，但它同时把真正的杯子也绕过去了）。

崩溃模式6：触控按钮的无反馈困境

T4按微波炉触控按钮。仿真里按钮是有物理行程的3D模型，机械臂指尖接触后产生形变和力反馈，模型学到了“手指按下2毫米=成功”。真实微波炉是电容式触控，根本没有行程，碰一下就行。但模型不知道这件事，它预测的动作序列里有一个明显的“向前推2厘米”的动作，这个动作把整个微波炉推得往后挪了3厘米，按钮没反应，任务失败。后来我们把动作改成了“轻触即停”，但模型在训练数据里从没见过这种动作模式，泛化不出来。

崩溃模式7：相机视角偏差导致的全局坐标偏移

T7把盘子从沥水架放到柜子里，这个任务需要机械臂在很大范围里移动，末端频繁进出相机视野边界。仿真里相机位置固定、视角完美。真实场景里，我装RealSense的支架有点松（螺丝没拧紧，我的锅），机械臂运动时的振动会让相机微微抖动，大概0.5度的角度偏移。听起来不多，但末端移动50厘米后，这个角度误差在三维空间里放大成大约4厘米的位置偏差。盘子塞不进柜子，卡在柜门边上。模型输出的是末端位姿在相机坐标系下的值，但手眼标定矩阵是静态的——相机一抖，整个坐标变换就歪了。

我把这7种崩溃模式的频率和影响整理了一下：

这些崩溃模式很少单独出现，往往是两三种叠加在一起。比如T5任务既受光照漂移影响，又受杂乱遮挡干扰，还有塑料袋这种训练集外物体捣乱。这种叠加效应让debug极其困难——你以为修复了光照问题，结果遮挡问题还在，成功率纹丝不动。

域随机化救了一半，但另一半要靠“测试时适应”——我折腾了三周的方案

面对这7种崩溃模式，我尝试了三种改进方案：数据端做域随机化、模型端做测试时适应（Test-time Adaptation, TTA）、以及任务层面的闭环控制。每种方案都有用，但没有银弹。最终组合策略把真机平均成功率从47%拉到了81%，代价是推理延迟增加了大约15%。

方案一：物理级域随机化

这不止是图像增强，而是在仿真数据生成阶段就注入随机化。我改写了Isaac Sim的数据采集脚本，在每一轮轨迹生成时随机扰动以下参数：

• 光源位置和色温：在预设范围±30cm内随机，色温从2700K到6500K随机采样
• 物体表面材质：给每个物体的粗糙度、金属度、镜面反射系数加±25%的随机噪声
• 背景纹理：台面、墙壁、地面的纹理从一组真实照片纹理里随机替换
• 深度噪声：向深度图添加Perlin噪声，模拟传感器散斑噪声
• 摄像机外参：对相机位姿施加±1.5度的旋转和±2cm的平移扰动
• 物体摆放：允许物体在目标区域±8cm范围内随机偏移，±30度随机旋转

这是数据采集脚本里的域随机化核心逻辑：

import omni
from omni.isaac.core.utils.prims import get_prim_at_path
import numpy as np

def apply_domain_randomization(scene_prim_path, rand_config):
    """
    在Isaac Sim场景里施加域随机化。
    rand_config包含各项扰动的范围和概率。
    """
    stage = omni.usd.get_context().get_stage()
    
    # 光源随机化：找到所有DomeLight和RectLight，改色温和强度
    if rand_config.get('light_randomization', True):
        lights = stage.TraverseAll()
        for prim in lights:
            if prim.GetTypeName() == 'DomeLight':
                # 色温随机化：2700K暖光到6500K冷光
                color_temp = np.random.uniform(2700, 6500)
                # 粗暴的色温转RGB近似，实际用黑体辐射公式会更准
                # 但这里为了性能直接用查表法
                rgb = color_temp_to_rgb_approx(color_temp)
                prim.GetAttribute('color').Set(omni.Usd.VtArray3f(rgb))
                # 强度随机化±40%
                intensity = prim.GetAttribute('intensity').Get() * np.random.uniform(0.6, 1.4)
                prim.GetAttribute('intensity').Set(intensity)
    
    # 物体材质随机化
    for obj_path in rand_config['object_paths']:
        prim = get_prim_at_path(obj_path)
        if prim and prim.HasAPI(omni.UsdPhysics.RigidBodyAPI):
            # 修改材质属性
            material_prim = prim.GetRelationship('material:binding').GetTargets()[0]
            if material_prim:
                # 粗糙度随机±25%
                roughness = material_prim.GetAttribute('inputs:roughness').Get()
                roughness += roughness * np.random.uniform(-0.25, 0.25)
                roughness = np.clip(roughness, 0.01, 1.0)
                material_prim.GetAttribute('inputs:roughness').Set(float(roughness))
    
    # 相机扰动——这个特别重要，崩溃模式7的直接解药
    camera_prim = get_prim_at_path(rand_config['camera_path'])
    if camera_prim:
        # 原有位姿
        current_translate = camera_prim.GetAttribute('xformOp:translate').Get()
        current_rotate = camera_prim.GetAttribute('xformOp:orient').Get()
        # 加微小随机扰动
        noise_trans = np.random.uniform(-0.02, 0.02, size=3)
        noise_rot = np.random.uniform(-1.5, 1.5, size=3)  # 度
        camera_prim.GetAttribute('xformOp:translate').Set(
            omni.Usd.VtArray3f([current_translate[0]+noise_trans[0],
                                current_translate[1]+noise_trans[1],
                                current_translate[2]+noise_trans[2]])
        )

这套域随机化做下来，仿真训练数据的分布宽了很多。用增强后的数据重新训练VLA模型（训练了大约140个GPU小时，在8张A100上），真机测试平均成功率从47%跳到了63%。T2透明抽屉从之前的14%升到了38%，T5杂乱场景从18%升到了42%。进步明显，但离可部署还差得远。尤其是T3拧水龙头和T4触控按钮这种接触密集型任务，域随机化基本没帮上忙——因为问题不在视觉域，在物理交互域。

方案二：测试时适应（TTA）

域随机化解决不了的，得靠在线适应。我在模型推理时加了一个轻量级的自适应模块：用最近5步的实际执行结果来微调动作预测头。思路很直接——VLA模型开环预测16步动作序列，但我们可以只执行前3步，然后观察实际结果，用这个偏差信号来修正后续预测。

具体做法是在VLA的动作头上挂一个小的残差网络（只有3层MLP，总共不到2万参数），这个残差网络不在训练数据上训，而是在线自适应。每次执行3步动作后，把实际观测到的末端位姿和预测的位姿做对比，用这个误差做几轮梯度下降，更新残差网络的权重。整个过程在Jetson AGX Orin上额外花费约35ms，对于机械臂控制的实时性来说还在可接受范围内（控制频率20Hz意味着每步50ms，35ms的额外开销让控制频率降到了约16Hz，还能凑合用）。

这里是TTA的核心代码，跑在机械臂控制节点上：

import torch
import torch.nn as nn

class ActionResidualAdapter(nn.Module):
    """
    挂在VLA动作预测头上的残差适配器。
    不做离线训练，纯粹在线用执行误差做自监督更新。
    """
    def __init__(self, action_dim=7, hidden_dim=128):
        super().__init__()
        self.adapter = nn.Sequential(
            nn.Linear(action_dim + 3, hidden_dim),  # 输入：预测动作 + 当前末端位姿(3维)
            nn.ReLU(),
            nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, action_dim)
        )
        # 用很小的初始化，避免一开始就大幅修正
        for layer in self.adapter:
            if isinstance(layer, nn.Linear):
                nn.init.normal_(layer.weight, std=0.001)
                nn.init.zeros_(layer.bias)
    
    def forward(self, predicted_action, current_ee_pose):
        # predicted_action: (16, 7) 预测的动作序列
        # current_ee_pose: (3,) 当前末端位置
        pose_expanded = current_ee_pose.unsqueeze(0).expand(predicted_action.shape[0], -1)
        concat_input = torch.cat([predicted_action, pose_expanded], dim=-1)
        residual = self.adapter(concat_input)
        return predicted_action + 0.3 * residual  # 0.3是学习率掩码，防止修正过猛

def online_adapt_step(adapter, predicted_traj, executed_poses, observed_poses, optimizer):
    """
    每执行3步后调用一次。
    predicted_traj: 模型预测的整个16步序列
    executed_poses: 实际执行的前3步的末端位姿 (3, 3)
    observed_poses: 相机观测到的执行后末端位姿 (3, 3) —— 这和运动学正解可能不一样
    """
    # 计算执行误差
    execution_error = observed_poses - executed_poses  # (3, 3)
    # 只用最后一帧的误差做监督（因为累积误差最重要）
    loss = torch.norm(execution_error[-1])  # L2距离
    
    optimizer.zero_grad()
    
    # 前向传播获取修正后的预测
    current_pose = observed_poses[-1]  # 当前最新观测位姿
    adapted_traj = adapter(predicted_traj, current_pose)
    
    # 损失对adapter参数反向传播
    # 这里有个trick：只取前3步的修正动作和实际执行的差异做loss
    adapted_first_3 = adapted_traj[:3, :3]  # 只取位置部分
    loss = nn.functional.mse_loss(adapted_first_3, observed_poses)
    loss.backward()
    optimizer.step()
    
    return loss.item()

# 推理循环里的用法示意：
adapter = ActionResidualAdapter(action_dim=7).to(device)
optimizer = torch.optim.Adam(adapter.parameters(), lr=0.001)

for step in range(max_steps):
    if step % 3 == 0 and step > 0:
        # 每3步做一次在线适应
        loss = online_adapt_step(
            adapter, 
            predicted_traj=last_predicted_traj,
            executed_poses=poses_buffer[-3:],
            observed_poses=observed_poses_buffer[-3:],
            optimizer=optimizer
        )
        print(f"Step {step}: adaptation loss = {loss:.4f}")
    
    # 用adapter修正当前预测
    current_pose = get_current_ee_pose()
    adapted_action = adapter(predicted_traj_batch, current_pose)[executed_index]
    execute_action(adapted_action)

这个TTA方案加上去之后，T3拧水龙头的成功率从原来的32%飙到了58%。为什么有效？因为水龙头旋钮虽然摩擦力每次不同，但每次拧的时候偏差模式是类似的——前几步预测的力矩不够，导致实际旋转角度比预期小。残差适配器很快学到了“哦，这个水龙头很涩，预测力矩需要放大1.3倍”，然后在后续步里自动补偿。T6鸡蛋盒的形变问题也类似，适配器学到了抓取后的实际位移比预期小，就在后续动作里把位移目标往大了调。

方案三：接触密集型任务的闭环策略

对于T4触控按钮这种完全没法通过视觉或位姿适应来解决的任务，我直接放弃了纯VLA开环控制的思路，给机械臂加了一个指尖触觉传感器（用的是GelSight Mini，2000多块钱一个，比预想的便宜）。触控按钮的任务改写成了：机械臂移动到按钮上方5mm处，然后以极慢速度（2mm/s）下降，同时监测触觉传感器的接触信号。一旦检测到接触（触觉图像出现弹性体形变），立即停止，然后轻轻抬起。

这不是纯VLA的能力了，是传统力控和VLA的混合策略。我承认这不太优雅，但工程上能解决问题就是好方案。T4成功率从之前的38%跳到了85%。代价是多了一个触觉传感器和50行力控逻辑代码。在可预见的未来，VLA很难仅靠视觉就搞定所有接触交互，物理传感器的辅助还是必要的。

最终的组合策略效果：

别再只看仿真benchmark了——真实环境里模型崩溃的方式你根本想不到

做这个项目的过程中，我最大的感悟是：VLA模型的脆弱性不是某个模块的问题，而是整个端到端范式的结构性缺陷。模型在仿真里学会了根据统计相关性做决策，而不是根据物理因果性。透明抽屉导致深度崩塌、阴影被当成物体边缘、塑料袋的纹理和马克杯聚类到同一个特征空间——这些都指向同一个根因：当前的VLA模型没有真正的“理解”，它只是在做非常复杂的模式匹配。

更让我头疼的是，很多崩溃模式在仿真里根本无法复现。仿真引擎的物理参数是你自己设的，摩擦力、反光率、深度噪声全是已知可控的。真实世界的物理规律是固定的，但它呈现出来的复杂度远超任何仿真环境的表达能力。你在Isaac Sim里把材质参数调得再花哨，也模拟不出用了两年积了水垢的旋钮的触感。把光照模型调得再真实，也模拟不出北向窗户在阴天下午4点那种灰蓝色的漫反射光。

另一个反直觉的发现是：域随机化虽然提升了整体鲁棒性，但它是有代价的。随机化范围太宽，模型收敛变慢，训练不稳定。我试过把光照随机化范围开到±60%，结果模型直接不收敛了——它无法在任何一致的视觉特征上建立稳定的映射。这意味着域随机化有一个“甜区”，太少了不够鲁棒，太多了模型学不到东西。我在实践中找到的参数范围大概是在基准值±25%到±35%之间比较稳。

还有一个坑是关于评估协议。学术界很多VLA论文的实验设置是这样的：训练集和测试集在同一个仿真环境里采集，只是任务实例不同。这种“仿真-仿真”的评估方式极大高估了模型的泛化能力。我建议以后看VLA论文时，先翻到实验部分看一眼测试环境——如果测试集和训练集共享同一个背景纹理、同一套光照、同一个相机位姿，那paper里报的95%成功率基本没有参考价值。真正的泛化测试必须换环境，最好直接上真机。没有条件上真机的团队，至少也该换一套完全不同的仿真资产（不同的厨房模型、不同的光照插件、不同的物理引擎参数）来做跨环境测试。

最后说说TTA方案的局限性。在线适应确实有效，但它假设偏差模式在短时间内是稳定的。如果环境动态变化很快（比如有人在厨房里走动、窗户被打开导致光照剧变），残差适配器之前学到的东西会瞬间失效，甚至产生负迁移。我遇到过一两次：开着窗户做T3任务，一阵风吹过来把窗帘吹动，整个房间光照突变，TTA的loss突然飙升，机械臂做出了一个奇怪的修正动作差点撞到水龙头。这个问题我没完全解决，后来是关窗做测试的…我知道这听起来像是在逃避问题，实际上也确实是在逃避。工业上可能需要在推理时加一个异常检测模块，当观测分布的KL散度突然变化过大时，重置TTA的权重。

从这次项目里掏心窝子的几条建议

做了10年AI和机器人，这个项目算是让我对Sim2Real有了更深的理解。如果你也正在做VLA的真机部署，这里是我用血泪换来的几条建议：

1. 别相信仿真里的成功率，真机上能过半你就偷着乐吧。 尤其是第一轮测试，做好心理准备，仿真90%到了真机能剩50%就不错了。这不是模型的问题，是Sim2Real gap的客观存在。把期望值调低，把迭代周期缩短，不要期望一次训完就能跑。

2. 视觉层面的域随机化是最容易做、效果最立竿见影的。 用albumentations也好，直接在仿真引擎里调光源参数也好，先把光照、纹理、相机噪声这三板斧加上。成本几乎为零，但往往能提升15-20个百分点的成功率。

3. TTA不是万能药，但在接触密集型任务上确实好使。 实现一个轻量级的在线残差适配器，比改网络结构、重训模型要快得多。但要注意TTA的“灾难性遗忘”问题——环境剧烈变化时它可能帮倒忙。

4. 接触交互别硬让VLA撑，该上传感器就上传感器。 VLA的强项是视觉引导的导航和粗操作，精细的力控还是传统方法更稳。混合架构虽然不优雅，但工业应用里可靠性比优雅重要。

5. 测试环境别太干净。 如果你想让模型在真实厨房里跑，就别在布置得像样板间一样的厨房里测试。把塑料袋扔在台面上，把杯子换个位置，把窗帘拉开让阳光照进来。模型崩溃得越早，你知道得越早。

接下来我打算在VLA架构里尝试一下world model的路线——先让模型预测未来几帧的视觉观测，再基于这个预测做动作规划。理论上这能在一定程度上缓解开环控制的脆弱性，但计算开销是个问号。如果实验有进展我再写一篇。