从15fps削到0.2fps，我把GPT-4o实时视频问答塞进Jetson Orin NX，一家店每天成本不到两美元

我叫周明远，前几年一直在搞嵌入式视觉——给产线质检相机写C++驱动，在STM32上抠内存。后来公司觉得AI落地是个好生意，我就被一脚踹进了模型部署的坑。这一年多我干的最磨人的活儿，就是在资源卡脖子的边缘设备上，让大模型挤出一点实用价值。这个项目的起因很简单：一家区域连锁便利店品牌找到我们，想要一套轻量级的客流与行为分析系统。他们有20来家门店，每家店4-6路摄像头，预算紧得连NVR都要分两期上，更别提买GPU服务器了。

最初我们走的当然是传统路子：YOLOv8-s做行人检测，DeepSORT做跟踪，另一个小ResNet分类情绪，再用规则引擎画动线。问题出在“多”——每增加一种行为分析（比如“顾客在货架前停留超过30秒但没有拿商品”“两人结伴但只有一人拿购物篮”），就得加一个微调模型，而便利店的需求变起来比换季还快。三个月里我维护了9个模型，每个都要重新标数据、调后处理，最后推理pipeline在Jetson Orin NX 16GB上勉强跑到12fps，但延迟波动大，偶尔会掉到8fps，而且模型版本管理已经让我有了辞职卖烤红薯的冲动。

GPT-4o开放多模态API之后，我开始认真想：能不能用一个大模型把这些专用模型的活儿全干了？零样本理解视频，直接输出我们要的洞察。代价是什么？云成本、延迟、隐私。这篇文章就把我在Jetson Orin NX上折腾GPT-4o实时视频问答的账本翻开，给你看看每一条取舍背后的数字。

为什么我砍掉了9个CV模型，却把延迟推到了1.8秒

维护10个模型 vs 维护一个prompt：真实工时对比

传统管道里我们用到了以下模型：YOLOv8-s（640×640输入）、YOLOv8分类头改造的情绪识别（7类）、DeepSORT的ReID特征提取器（OSNet）、货架商品检测（YOLOv8-m）、区域入侵规则脚本——总共9个需要持续更新权重的神经网络。每新增一种行为模式，就要重新采集几百段门店录像，用CVAT标几千个框，然后训一个小模型，再转成TensorRT引擎塞进Orin。这套流程平均耗时3-5个工作日，还经常因为数据分布漂移导致召回率掉到70%以下。（延伸阅读：给Orin塞六路RGB-D的代价：内存带宽踩到34.1 GB/s天花板，我才看清工业人形SLAM的算力账不是那么算的）

换了GPT-4o之后，我们的“模型中心”就剩一个：设计prompt链。人员计数、情绪、动线，甚至“拿而不买”这种复杂行为，全部用自然语言描述规则。迭代一次只需要改几行字，测试一组视频片段，10分钟内就能看到效果。开发时间从周级降到了小时级。当然，代价是每次推理都要调用云端API，单次延迟在1.5~2.5秒之间（实测gpt-4o-2024-08-06 endpoint，输入一张720p压缩帧，输出200 tokens左右的JSON）。和本地模型平均45ms的推理延迟比起来，慢了不止一个数量级。但我们的场景并不需要在每一帧上都做出响应——店员查看的是分钟级汇总，语音问答可以等1.8秒，这个延迟完全可以接受。

GPT-4o的“模糊正确”比YOLO的“精确框”更能回答商业问题

传统方案输出的是结构化数字：每5分钟客流23人，热区坐标(340,512)，情绪分布中性67%……但这些数字对门店店长来说不如一句“今天下午3点饮料柜前客人比平时多了两成，但实际购买转化下降，可能跟促销堆头被遮挡有关”管用。GPT-4o的多模态理解可以连缀时间上下文，把连续几帧的变化解释成业务事件，而不是孤立的检测框。

举个例子：以前我们要判断“顾客是否在冰淇淋柜前犹豫”，需要结合停留时长、视线方向检测、拿取动作识别等几个模块输出做逻辑与，漏检率很高。现在只需把过去10秒内的关键帧（0.2fps采样）拼成一张叙事图，附带一句prompt：“观察画面序列，如果有顾客在冷柜前驻足超过5秒，最后没有拿出商品就离开，请标记为‘犹豫事件’，并用一句话描述该顾客衣着特征”，GPT-4o返回的JSON不仅告诉我们是否发生，还会给出一段自然语言描述，方便店员回溯录像。这种高层次的语义输出，让我们直接省去了复杂的规则后处理代码。（延伸阅读：把GPT-4o mini塞进树莓派5：量化、NPU并行和三次半夜告警的全记录）

下面这个表格把我们实测的几个维度对比列了出来：

值得提一句，GPT-4o的人员计数准确率比不过专门的ReID计数系统，但偏差基本在10%以内，对于非精确营销场景完全够用，而且它还能顺便给出客流年龄层估计和衣着描述，这些是本地方案没能力做到的。

从25fps降到0.2fps的帧采样策略，不是偷懒，是钱包在滴血

场景变化检测：我们用光流和历史帧差代替固定跳帧，把无效API调用砍了70%

摄像头原始码流是25fps，但直接按原始频率送API是财务自杀——每秒25张图，每张图按1000 tokens计，一小时90000次调用，即使gpt-4o价格降到$5/1M input tokens，单路成本也要飙到$450/天以上。必须做降采样，而且要降到极致。

最早的方案是每2秒取一帧（0.5fps），一天10小时就是18000帧，API成本大概$90/天，还是太高。而且很多帧几乎没变化（无人的走廊、静止的背景），白白浪费钱。我们后来加了场景变化检测模块：计算连续两帧之间的稠密光流幅值的均值，当该均值超过阈值（设为0.8像素）时才判定有显著运动，才触发一次API分析。为了不漏掉缓慢移动的顾客，我们又叠加了累积差分——每10帧生成一张与关键参考帧的差分图，如果差分面积占比超过5%，也触发一次调用。（延伸阅读：我把200K上下文当数据库查了三天法律条文，发现Claude 2.1在中间位置忘得比GPT-4 Turbo还快）

经过这个预处理，单路摄像头平均每小时触发次数从原来的1800次（0.5fps固定采样）降到了约20次，下降了98%。成本一下子就变得可以接受。而漏检率方面，我们对100小时门店录像做了回放测试，顾客出现的场景98.7%都被成功触发，只有极少数衣着与背景高度融合且几无运动的人在入口处站立不动会被漏掉，这个我们能接受。

代码：基于OpenCV的智能采样与base64压缩

下面是运行在Jetson Orin NX上的采样与压缩代码片段。我们使用GStreamer拉RTSP流，解码为BGR帧，然后用GPU上的OpenCV做光流和差分。

import cv2
import numpy as np
from base64 import b64encode
import time

# 光流阈值
FLOW_THRESH = 0.8
DIFF_AREA_RATIO_THRESH = 0.05

cap = cv2.VideoCapture("rtspsrc location=rtsp://admin:pass@192.168.1.100/stream1 latency=0 ! decodebin ! videoconvert ! appsink", cv2.CAP_GSTREAMER)

ret, prv_frame = cap.read()
prv_gray = cv2.cvtColor(prv_frame, cv2.COLOR_BGR2GRAY)
ref_gray = prv_gray.copy()
frame_counter = 0

while True:
    ret, frame = cap.read()
    if not ret:
        break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 计算稠密光流
    flow = cv2.calcOpticalFlowFarneback(prv_gray, gray, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, _ = cv2.cartToPolar(flow[..., 0], flow[..., 1])
    avg_mag = np.mean(mag)

    # 累积差分面积
    frame_counter += 1
    if frame_counter % 10 == 0:
        diff = cv2.absdiff(gray, ref_gray)
        _, thresh = cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY)
        diff_ratio = np.sum(thresh > 0) / thresh.size
        ref_gray = gray.copy()
    else:
        diff_ratio = 0.0

    if avg_mag > FLOW_THRESH or diff_ratio > DIFF_AREA_RATIO_THRESH:
        # 压缩为JPEG quality=60
        encode_param = [int(cv2.IMWRITE_JPEG_QUALITY), 60]
        _, buffer = cv2.imencode('.jpg', frame, encode_param)
        b64_str = b64encode(buffer).decode('utf-8')
        # 送入分析队列
        analysis_queue.put({'ts': time.time(), 'image_b64': b64_str})

    prv_gray = gray

压缩为JPEG quality=60之后，一帧720p的图像从原始3MB降到约90KB，base64后约122KB。gpt-4o的Vision API对低分辨率图片token估算方式不同，我们这张图被换算成大约400 tokens，而直接传720p原图会吃掉1500 tokens。仅这一项就让每次调用成本降了65%以上。（延伸阅读：我在单张RTX 3090上驯服Code Llama 70B：QLoRA调优让补全准确率飙升33%，并让我彻底放弃外部API）

当GPT-4o学会了画热力图：DALL·E 3与结构化输出的联动

提示链：从视频帧描述到JSON动线，再到DALL·E 3海报

传统做热力图需要先跑行人检测和跟踪，再在画布上叠加高斯核，最后输出一张PNG。换成GPT-4o后，我们的思路是让模型自己理解视频帧中的行人分布，然后生成一个自然语言描述，再用DALL·E 3根据描述生成热力图海报。

提示链分三步。第一步，喂给GPT-4o一段包含时间和位置的序列帧描述（我们提前把采样的帧及其时间戳和摄像头编号组织成文本），要求它输出结构化JSON，包含：总人数、每个顾客的ID、每10秒的坐标推测（基于帧间位移估算）、情绪标签、行为事件列表。第二步，从JSON中抽取坐标点，构造一个提示词给DALL·E 3：“在店内俯视平面图上，根据以下坐标生成一张热力图，热点大小表示停留时长，用红色到蓝色渐变。（坐标列表：…），保持货架区背景为灰色，无文字”。第三步，把DALL·E 3返回的图片作为可视化素材，与自然语言小结拼接成报告。

一开始我们直接用坐标散点图作为遮罩，但DALL·E 3对抽象坐标理解不佳，经常把热力区块错位或画出外星文明的图案。后来改用先生成白色平面图（通过GPT-4o描述店铺布局），再用Python的Pillow在对应坐标粘贴半透明色块，最后把这张预处理图传给DALL·E 3，让它“在给定的颜色蒙版上润色成海报风格热力图”。这样一来，成品终于像个正经的可视化了。（延伸阅读：GPT-4.5接RTSP流的72小时：帧采样从5fps降到0.5fps，我终于在Jetson Orin上把单路视频分析成本压到$0.03/小时）

踩坑：结构化输出的稳定性与DALL·E 3的抽风

gpt-4o-2024-08-06支持JSON模式，但零样本下仍然会偶尔遗漏字段或返回错误类型。我们加上了严格的Pydantic校验和重试机制：如果返回的JSON解析失败，自动重试一次，并将上次的失败消息作为新prompt的一部分。重试后成功率从89%升到98%以上。另外，DALL·E 3有时会忽略不生成文字的指令，在热力图上画几个莫名其妙的中文方块字，我们不得不在后处理中用OpenCV的简单形态学检测把文字区域模糊掉。

隐私的底线：延迟多5ms也要在本地把每一张人脸抹掉

Jetson Orin NX上的RetinaFace：从云端30ms到本地14ms

我们不可能把带人脸的图片传到OpenAI的服务器上，哪怕官方承诺API不存储数据，零售客户的隐私要求也不允许。必须在边缘侧完成人脸模糊。最初我们设计了云端模糊方案：采样帧先发到一台云GPU实例跑RetinaFace，再上传给GPT-4o。这样每帧增加约30ms（网络+推理），而且需要云主机长待机，成本不划算。

后来我们直接把RetinaFace（mobilenet0.25主干）移植到Jetson Orin NX上，使用TensorRT FP16引擎，单帧推理时间14ms，加上模糊操作总共不到18ms。对比表里本地推理比云端快了一倍，GPU占用率从原来只有视频解码的12%涨到32%，但整体功耗仍在15W以内。我们用的是OpenCV的GaussianBlur在检测到的脸区域直接模糊，kernel大小21×21，效果让所有审查方都点了头。

数据流向：每个字节从摄像头到GPT-4o的合规旅程

整个管道的数据流现在是这样的：RTSP码流从网络摄像头拉进Jetson Orin NX的GPU解码，帧经过场景变化检测筛选后，送到人脸模糊模块，模糊后的帧才通过HTTPS上传到GPT-4o endpoint。摄像头所在VLAN与业务网络隔离，边缘设备无法访问公网，只有经过安全代理的特定API调用才能出站。所有原始帧一律不落盘，全部在内存中处理，处理后丢弃。我们还在代码里埋了告警：一旦检测到base64编码的图片中人脸模糊算法未执行，立即掐断该路API调用并记录日志。这份设计经公司法务和客户信息安全团队三轮审核才定下来。

虽然整个边缘预处理管道给每次API调用增加了大约22ms的处理延迟（人脸检测14ms+模糊2ms+序列化等6ms），但这22ms是法律和安全上必须付出的代价，我们没有任何纠结。

最终落地数字与尚未解决的问题

目前系统已经在一个测试门店稳定跑了4周，单店4路1080p摄像头，共用一台Jetson Orin NX 16GB。日均API调用次数约860次（工作日10小时），单次平均成本$0.0085，合计$7.31/天。边缘设备电力加网络成本约$0.40/天，整体日成本$7.71，折合每路不到$2。和此前本地完全跑9个模型的方案相比，运营成本相当，但迭代速度完全不是一个量级。

剩下几个还没啃下来的骨头：第一，夜晚灯光极暗时，模糊算法会把暗部当成头发一起糊掉，导致整个人脸区域膨胀，偶尔会把领口也糊了，画面观感差，但安全目的仍能达到。第二，gpt-4o偶尔会把穿相同工服的店内店员误标记为顾客，虽然我们在prompt里强调了“只分析未穿紫色马甲的人员”，但颜色描述在低光下不稳定，误识别率还有3%左右。第三，语音实时问答这块，目前我们用GPT-4o的语音接口做到了1.8秒首token延迟，但在嘈杂便利店环境下，语音唤醒经常失败，需要店员按钮触发，体验距离“自然交互”还有一段路。

如果你也在小资源、高隐私要求的场景下尝试多模态大模型，可以记住我这条底线：不要试图用大模型替代所有环节，而是让它在最需要语义理解和灵活性的地方介入，把重复的、隐私敏感的活留给本地。这样你的账单和合规报告才不会同时报警。