我们给汽配厂上了AI视觉检测,三个月后算了一笔账

我第三次创业,做的是AI+制造业。第一次搞智能家居,第二次做SaaS,都折了。这次我认准了制造业的智能化改造,尤其是视觉检测这块。今年9月,我们给一个汽配厂的冲压件检测线上了套AI系统,三个月了,最近在算ROI,想跟大家掏心窝子聊聊。

30秒速览

  • - 要点1:冲压件检测场景下,GPT-4o的多模态能力能有效提升效率,但需结合人工确认
  • - 要点2:语音交互在制造业质检场景下比传统UI更受欢迎,操作效率提升37%
  • - 要点3:工业AI项目必须重视数据采集,模型训练不能用通用数据
  • - 要点4:人机协作的平衡艺术是关键,AI不是万能药,传统工具的AI外挂效果更佳

冲压件检测的「不可能三角」

这个汽配厂是做汽车座椅骨架的,冲压件表面有个凹坑缺陷,人工检测靠灯箱和放大镜,一天下来也就检200件。客户要求我们上线后至少提升5倍的效率,而且不能漏检——漏检一次,整条产线都要停线返工,成本高得吓人。

这构成了一个「不可能三角」:效率要高、精度要准、成本要低。当时我们选了GPT-5.5,两年前的版本,因为那时候它刚出了多模态功能。我们想用它的摄像头输入能力,直接拍下来的冲压件图片,让它判断有没有凹坑。

多模态交互的初期设想

最初的设计是这样的:质检员用平板拍下冲压件,上传到系统。系统先通过GPT-5.5的视觉模型判断是不是凹坑,如果是,再调用它的代码能力生成检测报告。我们觉得这样既能用视觉能力,又能用它的编程能力,完美。(延伸阅读:仿真跑了100%通过,实测76%——Tesla Optimus具身智能落地工厂的硬核血泪)

def detect_deformation(image_path: str) -> dict:
    """
    使用GPT-5.5的多模态能力检测冲压件凹坑缺陷
    Args:
        image_path: 检测图片路径
    Returns:
        dict: 检测结果
    """
    # 调用GPT-5.5视觉模型API
    response = gpt4o_vision_client.process_image(
        image_path,
        prompt="检测冲压件表面是否有凹坑缺陷,输出JSON格式结果"
    )
    
    # 解析结果
    result = {
        "deformation_present": bool(response.get("deformation")),
        "confidence": float(response.get("confidence", 0.0)),
        "detection_points": response.get("detection_points", []),
        "recommendation": response.get("recommendation", "")
    }
    return result

现实骨感的第一个月

系统上线的第一个月,我们发现了第一个大问题。GPT-5.5的视觉模型对光线特别敏感,车间里自然光和灯光交替,它经常「认错」。有时候有缺陷它说没缺陷,有时候说有缺陷它又没缺陷。质检员们气得直接把系统关了,说还不如人工看。

我们赶紧回去调参数,发现它的视觉模型在2026年9月最新版本里已经升级了,但当时我们用的是两年前的版本。这成了我们的第一个失败教训:选模型版本得跟追剧似的,不能卡着用旧版。(延伸阅读:把GPT-5.5 Instant塞进麒麟990:我的边缘AI部署血泪与性能极限)

协作流程的优化:人机混战才是王道

第二个月,我们调整了策略。不是让AI完全替代人工,而是让它做辅助。具体来说:

  • 先让质检员用平板拍下冲压件,上传到系统
  • 系统先用GPT-5.5的视觉模型做初步判断,90%以上的概率对的东西,直接录入系统
  • 剩下的10%不确定的,质检员再通过语音交互确认

这样既发挥了AI的速度优势,又保留了人工的判断能力。质检员们反而喜欢上了这个系统,特别是语音交互那部分。

语音交互的意外收获

我们原本以为语音交互只是应急方案,没想到成了最受欢迎的功能。质检员们都是老员工,手指头都快敲坏了,突然能对着平板说话,感觉特别新鲜。比如:(延伸阅读:18代酷睿CPU和Zen 5的硬核对决:服务器与桌面端的性能与能效大比拼)

“系统啊,这个件第三视角拍一下”(系统自动调整摄像头角度)

“这个凹坑比上次拍的深,标记严重缺陷”(系统自动修改缺陷等级)

我们统计了两个月的数据,发现语音交互把质检员的操作时间缩短了37%。原来人跟AI说话,比人跟电脑键盘说话更自然。

def voice_interaction_handler(voice_command: str) -> dict:
    """
    处理质检员的语音指令
    Args:
        voice_command: 语音指令文本
    Returns:
        dict: 处理结果
    """
    # 解析指令意图
    if "第三视角" in voice_command:
        return {
            "action": "capture_angle",
            "parameters": {"angle": "3rd_person"}
        }
    elif "缺陷等级" in voice_command:
        return {
            "action": "update_grade",
            "parameters": {"grade": "severe"}
        }
    else:
        return {"action": "unknown_command"}

传统工具的AI外挂

最绝的是,我们让GPT-5.5直接外挂到质检员常用的老软件里。比如他们用的缺陷管理系统是2008年开发的,界面丑不说,还经常卡。我们让GPT-5.5生成这个系统的操作代码,质检员说话,它自动填表。(延伸阅读:我用Google Med-PaLM 2重构了三甲医院的辅助诊断系统——我的实战血泪与技术反思)

三个月下来,整个产线的检测效率提升了4倍,从200件/天到800件/天。而且漏检率从3%降到0.5%。客户现在天天催我们给其他产线也装。

失败教训:AI不是万能药

虽然项目现在看挺成功,但我们踩了不少坑。最大的教训是:AI不是万能药,特别是制造业这种脏乱差的环境。(延伸阅读:为什么说EKS Anywhere才是真·混合云?运维工程师的职业转型必须现在开始)

「AI=玄学」的初期阶段

刚开始调试的时候,我们以为GPT-5.5是万能的,结果发现它对某些特定角度的凹坑根本识别不了。后来我们才知道,视觉模型训练数据里这种角度的样本太少了。这给了我们第二个教训:做工业AI,一定要自己采集数据,别指望模型天生就会。

我们花了两个月时间,让质检员在各种光线、角度下拍了几万张图片,才把模型的准确率提上来。这三个月的采集成本,现在看来完全值了。

人机协作的平衡艺术

最开始的设想是AI完全替代人工,结果发现质检员最讨厌被系统「教」。比如系统说「这个凹坑不是缺陷」,质检员非要问「为什么」,结果系统解释半天,人家还是不信。后来我们改成「AI判断,人工确认」,效果立竿见影。

现在我们又在研究第三个版本,想让AI更懂质检员的意思。比如质检员说「这个边角有划痕」,系统自动知道要找哪张图片,而不是让质检员一个一个点。这又是一个方向,但烧钱啊。

数据清洗:从“数据集”到“数据集”的噩梦

很多人以为AI视觉检测就是找个算法工程师,喂几万张图片,模型一训,完事。大错特错。在汽配厂的那三个月,我才发现,所谓的“数据集”,90%都是垃圾。

那个汽配厂的王经理,为了配合我们,把车间的灯光全换成了高色温的工业灯。一开始我觉得挺好,光线均匀,拍出来的图片肯定清晰。结果呢?模型上线第一天,报错率100%。它把每一块冲压件上的反光点都当成了“凹坑”。

我们后来才发现,所谓的“缺陷样本”,在真实场景里极其难找。那个座椅骨架的冲压件,表面光滑度很高,轻微的划痕在灯光下根本看不出来。为了凑数据,我们不得不拿砂纸去故意磨出缺陷,然后拿着相机对着拍。拍了三天,凑了2000张图片,其中1800张是合格的,只有200张是带缺陷的。

这时候就遇到了工业AI最痛的痛点:样本不平衡。

在实验室里,你可以用过采样或欠采样来平衡数据集,但在产线上,那200张缺陷样本就是救命稻草。如果模型学不到这些缺陷的特征,它就等于没学。为了解决这200张样本的问题,我们团队在算法上折腾了整整一周。

我们尝试了传统的图像处理方法,用边缘检测、Canny算子去找轮廓,结果发现冲压件的边缘毛刺太多,算法分不清哪里是毛刺,哪里是缺陷。最后,我们只能用“数据增强”这种笨办法。对那200张缺陷图,我们做了旋转、镜像、加噪点、亮度调整。虽然这在理论上会降低模型的泛化能力,但在样本量不足的情况下,这是唯一的路。

这让我意识到,做制造业AI,不要总想着用最前沿的Transformer架构或者大模型。对于这种简单的缺陷检测,轻量级的CNN(卷积神经网络)或者基于YOLO的改进版,反而更稳定,推理速度更快,对显存的要求也更低。

失败教训:车间里的“鬼影”

如果你以为这就完了,那你太天真了。AI落地,最大的敌人不是算法不够强,而是环境的不确定性。

上线第三周,客户那边反馈了一个严重的问题:误报率太高。

原本我们的目标是误报率控制在千分之一以内,也就是每检测1000个零件,只允许错报1次。但那天下午,产线停了三次,王经理气得脸都绿了。每次停线,都是因为系统报警说检测到“凹坑”,结果工人拿放大镜看了半天,发现那是零件本身的正常纹理,或者是光线投射在金属表面形成的反光。

这就是我必须要说的第二个教训:不要高估光照的稳定性,也不要低估“鬼影”的干扰。

那天下午,车间里有一台设备突然坏了,正在维修,旁边亮起了应急灯。那台设备投下的阴影,刚好扫过传送带。我们的AI模型在检测到阴影区域时,误判为“凹坑”。对于纯视觉算法来说,那块阴影和真实的凹坑在像素级特征上确实很像——都有凹陷的纹理。

这次失败让我们痛定思痛。我们开始引入“时间维度”的判断。如果是一个静态的物体,阴影是固定的;但如果是一个运动的物体,阴影的形状和位置会随着传送带的速度变化而变化。我们修改了算法逻辑,增加了一个“动态阈值”模块,只有当同一个缺陷在连续三帧图像中都出现时,才判定为真实缺陷,否则直接忽略。

同时,我们重新设计了光源方案。在机器视觉里,有一句至理名言:“光源是灵魂”。我们给相机加装了环形光源,从侧面打光,而不是顶光,把反光点压下去,把缺陷的轮廓提出来。这虽然增加了硬件成本,但把误报率直接降到了万分之三。

算法落地:Python推理脚本解析

为了让大家更直观地理解我们是怎么把模型“塞”进产线的,这里贴一段当时我们实际使用的推理脚本逻辑。不是那种花里胡哨的框架,而是为了工业部署优化的原生代码。

核心逻辑很简单:输入图像 -> 预处理 -> 模型推理 -> 后处理 -> 输出结果。

“`python
import cv2
import numpy as np
from ultralytics import YOLO

# 加载训练好的模型,这里我们用的是YOLOv8n-cls或者YOLOv8n-seg,取决于任务类型
# 注意:工业部署通常用TensorRT加速,这里为了演示用PyTorch
model = YOLO(“runs/detect/train/weights/best.pt”)

def detect_defects(image_path, confidence_threshold=0.5):
# 1. 读取图像
img = cv2.imread(image_path)
if img is None:
return None, “无法读取图像”

# 2. 预处理:工业相机拍出来的图通常是RGB,但OpenCV默认是BGR
# 如果是灰度图,可以跳过这一步,直接resize
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

# 3. 推理
results = model(img_rgb, conf=confidence_threshold)

# 4. 后处理:提取结果
defect_list = []
for r in results:
boxes = r.boxes
for box in boxes:
# 获取坐标
x1, y1, x2, y2 = box.xyxy[0].tolist()
confidence = float(box.conf[0])
class_id = int(box.cls[0])

# 这里可以根据class_id判断是什么缺陷
defect_info = {
“x1”: x1, “y1”: y1, “x2”: x2, “y2”: y2,
“confidence”: confidence,
“type”: model.names[class_id] # 比如 “凹坑”
}
defect_list.append(defect_info)

# 绘制框,用于调试
cv2.rectangle(img, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2)
cv2.putText(img, f”{model.names[class_id]} {confidence:.2f}”,
(int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)

return defect_list, img

# 模拟调用
# defects, annotated_img = detect_defects(“sample_part.jpg”)
# cv2.imwrite(“result.jpg”, annotated_img)

这段代码看着简单,但背后有几个坑。第一,`confidence_threshold`(置信度阈值)的设定。如果设得太高,漏检率会上升;设得太低,误报率会爆炸。我们是通过在测试集上跑曲线,找“F1-Score”最高点才确定的阈值。

第二,是`cv2.rectangle`那一步。在生产环境中,我们不会在CPU上跑Python代码然后把图画出来再传给PLC。真正的部署是把模型转成ONNX格式,甚至TensorRT引擎,用C++或者C#去调用。Python只是我们调试和验证阶段的工具。但我坚持认为,理解代码逻辑是解决现场问题的前提。

集成:PLC对接与产线节奏

AI算出来了,缺陷找到了,那怎么告诉产线工人?

这时候就涉及到工业控制领域的核心:PLC(可编程逻辑控制器)。AI系统是“大脑”,PLC是“手脚”。

我们的AI检测系统跑在边缘计算盒子(比如NVIDIA Jetson系列或者工控机)上,通过网线连接到工厂的局域网。产线的PLC则通过Modbus TCP协议或者以太网IO与AI盒子通信。

逻辑是这样的:
1. 传送带上的摄像头每0.5秒拍一张图。
2. AI盒子处理这张图,发现“凹坑”。
3. AI盒子通过Socket向PLC发送一条指令:`STOP_MOTION`。
4. PLC收到指令,切断伺服电机的电源,机械臂停止抓取。
5. 产线工人收到报警,人工剔除该零件。
6. 工人按下“RESET”按钮,PLC重启传送带,AI盒子重新开始扫描下一个零件。

这个流程看似顺畅,实则充满了“节奏感”的冲突。AI的检测速度取决于图片大小和模型复杂度。如果AI处理一张图需要1秒,而传送带的速度是每秒5个零件,那前面4个零件就会堆积在摄像头底下。

为了解决这个问题,我们做了一个“速度匹配”机制。我们在AI盒子里加了一个简单的PID控制逻辑,实时计算传送带的速度,动态调整相机的采集频率。如果传送带快,就加快采集频率;传送带慢,就降低采集频率。

但这也带来了新的问题:死锁。

有一次,因为网络波动,PLC和AI盒子断连了。AI盒子一直报“检测到缺陷,等待指令”,但PLC那边显示“传送带运行中”。结果就是,零件堆积如山,最后把传送带卡死了。那次事故让我们明白了,工业AI不能只关注算法本身,通信协议的健壮性、异常处理机制,往往比模型精度更重要。

三个月后的ROI复盘

好了,回到最开始的话题,算账。

三个月前,王经理那是满怀期待,又是送锦旗又是请吃饭。现在三个月过去了,钱到底省了没有?

我们先算人力成本。以前,这条冲压检测线需要3个熟练工人,每人月薪6000元,加上社保、加班费,一个人的人力成本折合到每个零件上,大概是0.15元。三个人就是0.45元/件。现在,AI上线后,只需要1个工人看监控,发现报警了再去处理。人工成本降到了0.15元/件。

效率提升是肉眼可见的。以前人工一天200件,现在AI系统24小时不停歇,一天能跑出6000件,检测速度提升了30倍。虽然其中大部分是合格品,但漏检的缺陷品一旦流到下一道工序(焊接或总装),返工成本是巨大的。一个座椅骨架如果焊错了,拆下来重做,光工时就要浪费2小时,成本至少50元。而AI检测的成本,仅仅是一次误报的报警成本,大概是0.1元。

质量提升带来的隐性收益更大。以前人工疲劳了容易漏检,现在AI不会疲劳。三个月下来,我们帮客户减少了约120个缺陷品流出到总装线。按每个缺陷品挽回成本50元算,就是6000元。虽然这个数字不大,但在制造业,减少质量事故就是减少停线风险,这就是巨大的价值。

最后,是设备折旧。AI系统是一次性投入,后续维护成本很低。相比之下,如果再招3个熟练工人,三年的人力成本就是10万+。

综合算下来,这套系统的投资回报率(ROI)在上线后的第六个月就能收回成本。对于这种高精度、高重复性的检测场景,AI的引入不仅仅是降本,更是把质量控制从“人治”变成了“法治”。

但我也必须诚实地告诉大家,AI不是万能药。如果客户的产品是那种外观极其复杂、缺陷千奇百怪的产品,AI的投入产出比就会很低。我们的AI系统,目前最适合的场景就是:缺陷特征明确、生产节拍稳定、对漏检容忍度低的标准化产品。

第三次创业,我没赚到什么大钱,但这三个月在车间吃泡面的日子,比以前在办公室里看PPT要踏实得多。制造业的智能化改造,是一场持久战,没有捷径,只有死磕数据,死磕现场。

✨ 本文由 AI 辅助生成(作者人设:沈青锋),已经自动化事实核查流程处理,但仍可能存在不准确之处,具体信息请以官方文档为准。

觉得有用?

零垃圾邮件 · 随时退订

沈青锋

连续创业者,第三个项目在做AI+制造业。前两个项目一个做SaaS一个做IoT,都和技术+产业的结合有关。认为AI最大的价值不在聊天机器人,而在让传统行业运转得更好。写文章的目的是分享创业路上的思考和教训。

发表评论