大家好，我是沈青锋。第三个创业项目做AI+制造业，踩过的坑比家珍。今天不聊虚的，只说实在的——我们怎么把一个Chatbot改造成能自主跑完整个质检流程的AI Agent，以及在这个过程中踩的几个大坑。
30秒速览
- - AI Agent不是加个Function Calling就行的，需要完整感知-规划-执行架构
- - 制造业环境恶劣，必须考虑边缘计算、自校准、断网重连等场景
- - 上下文管理是Agent的阿喀琉斯之踵，需要用知识图谱+Redis解决
- - 直接对接老系统烧钱，先从MQTT等标准化接口入手
- - ROI计算要精确：我们试点项目9个月回本，每年节省200万工程师工资
从「会说话」到「能干活」：为什么制造业需要AI Agent
去年我们接了江浙一家汽车零件厂的活。那厂子有500条产线，每天产出10万件零件，靠50个质检员肉眼盯着X光片挑瑕疵。单件零件质检要3秒，一天就是45万小时——你算算，一个人干到80岁也检不完。
我们最初想用Chatbot接单。质检员对着平板喊「查零件号A123」，Chatbot回「正在扫描，请稍等」。实际用起来呢？质检员喊「那个黑点」Chatbot懵了，喊「上次那个次品」Chatbot更懵。因为零件缺陷描述五花八门，而且要关联BOM表、工艺参数、历史数据，光靠对话根本没法干活。
旧系统架构
import requests
from datetime import datetime
def check_defect(image_url):
# 模拟OCR识别缺陷描述
defect_desc = requests.get("http://chatbot:5000/describe", json={"url": image_url}).json()
return defect_desc
def log_defect(part_id, defect_desc):
# 简单的数据库记录
print(f"{datetime.now()}: Part {part_id} logged defect: {defect_desc}")
后来我们意识到，制造业的AI不能只会「说话」，得能「干活」。一个真正的Agent需要：
– 自主决定下一步该做什么
– 根据实时数据调整策略
– 把多个工具串联起来完成任务（延伸阅读：这个制造业AI Agent差点把我们项目炸了：从Chatbot到自主工作流的血泪教训）
ReAct架构：让AI从「被动响应」变「主动规划」
我们选了OpenAI的ReAct框架（Reflection、Action、Observation）。不是随便找个LLM搭个壳，而是把AI分成三个核心组件：
感知层：把混乱数据变成行动指令
工厂数据是典型的「垃圾进垃圾出」。我们花了3个月建感知层：
– 用GPT-5.5处理自然语言质检指令（最新版比GPT-4o在实体识别上快15%）
– 用Milvus向量数据库索引BOM和工艺参数（300万条记录秒级查询）
– 开发实时监控模块，用YOLOv8跟踪产线上的零件流转（延伸阅读：仿真跑了100%通过，实测Lunar Lake仅80%——我的轻薄本异构计算踩坑记）
感知层架构
class PerceptionEngine:
def __init__(self, llm_client, vector_db, camera_stream):
self.llm = llm_client
self.db = vector_db
self.camera = camera_stream
async def process_query(self, natural_language_query):
# 1. LLM解析指令
parsed_query = self.llm.complete(
prompt=f"Parse query: {natural_language_query}",
max_tokens=256
)
# 2. 向量数据库关联知识
part_id = parsed_query.get('part_id')
if part_id:
related_defects = await self.db.search(
f"part:{part_id}",
top_k=5,
distance_threshold=0.3
)
return {
"action": parsed_query.get('action'),
"context": {
"part_id": part_id,
"related_defects": related_defects
}
}
return {"action": "scan", "context": {}}
规划层：用思维链解决复杂工作流
传统Chatbot只做一步决策。Agent需要「思维链」：
– 用GPT-5.5的思维链能力（最新版支持链式推理）
– 设计状态机管理质检流程（检查-分析-分类-记录）
– 开发动态任务分解算法，把「检查零件A」拆成「取图像-OCR-对比缺陷库-记录」
思维链架构
class PlanningEngine:
def __init__(self, llm_client):
self.llm = llm_client
def generate_plan(self, context):
# 生成多步骤行动计划
prompt = f"""Generate inspection plan:
Current context: {context}
Required actions: {context.get('action')}
"""
plan = self.llm.complete(
prompt=prompt,
stop_sequences=["END_OF_PLAN"],
max_tokens=1024
)
return self.parse_plan(plan)
def parse_plan(self, raw_plan):
# 解析成可执行步骤
steps = []
for line in raw_plan.split("n"):
if line.startswith("Step"):
steps.append(line[4:].strip())
return steps
实战案例：把代码审查Agent搬进产线
我们用这个架构做了个试点：把代码审查Agent搬进零件厂的CNC编程车间。具体过程：
客户场景：CNC编程的「人肉校对」之痛
那家零件厂让3个工程师用FANUC G代码编程，每天产线问题有40%来自语法错误或逻辑缺陷。老工程师靠经验检查，新人全靠猜。我们用Agent替代人工校对。（延伸阅读：GPT-5.5 推理模型吃掉我的显存：从写代码到画架构的代价）
技术实现与ROI
Agent能自动：
– 用LLM分析代码结构（GPT-5.5在FANUC G代码理解上比GPT-4o快30%）
– 调用ROS包检测运动冲突
– 通过Function Calling对接制造执行系统（MES）
– 用向量数据库关联历史错误案例
试点结果：
– 校对效率提升3倍
– 产线问题率从40%降到8%
– 工程师从校对中解放出60%时间
– ROI：9个月回本，每年节省工程师工资200万（延伸阅读：仿真跑通了Lunar Lake的NPU，实测延迟却比M3 Pro慢了40ms——我的轻薄本异构计算踩坑记）
对比表格：传统校对 vs AI Agent
| 指标 | 传统校对 | AI Agent |
|---|---|---|
| 效率 | 每小时处理5行代码 | 每小时处理200行代码 |
| 准确率 | 92% | 99% |
| 误报率 | 18% | 2% |
| 人力成本 | 工程师工资 | 服务器+AI订阅 |
企业落地：踩过的三个「深坑」
从实验室到产线，我们踩了三个大坑：
第一坑：上下文管理比想象中复杂100倍
试想零件A和零件B工艺相似但代码不同。Agent需要记住：「上次零件A发现黑点，关联工艺参数X」，但「零件B的缺陷库要查另一组数据」。我们花了2个月开发上下文管理模块，核心是：
– 用Redis缓存短期状态（每条产线一个DB）
– 开发知识图谱记录缺陷关联（零件-缺陷-工艺-解决方案）
– 添加遗忘机制，防止旧数据污染新判断
第二坑：制造业环境比实验室苛刻100倍
工厂车间温度波动大，网络时延不稳定，摄像头被油污糊。我们做了四件事：
– 用边缘计算模块（NVIDIA Jetson Orin NX）离线处理图像
– 开发自校准算法，摄像头每30分钟自检分辨率
– 设计断网重连机制，数据自动补录
– 把Agent拆成微服务，单个模块故障不影响整体（延伸阅读：AWS Lambda 新计费模式：我帮工厂把云账单砍了40%，但差点把生产环境炸了）
第三坑：安全顾虑比技术本身更难突破
那家零件厂CEO盯着我们问：「万一Agent改了零件程序怎么办？」我们做了三件事：
– 开发权限沙箱，Agent无写入权限
– 记录所有决策日志，可一键回滚
– 设计「双人确认」机制，复杂变更需人工批准
失败教训：我们试过直接用OpenAI Function Calling对接MES系统，烧了半年钱发现不行。因为制造业系统接口都是定制开发的，标准API少得可怜。后来我们转而用MQTT协议做消息中转，这才搞定。
未来方向：从单Agent到多智能体协作
目前Agent还比较单薄。下一步：
– 用OpenAI最新版本的多智能体协作API（Multi-Agent API）
– 开发智能体市场，让不同厂子共享Agent
– 设计动态资源分配算法，按订单分配算力
但记住，我从不画饼。现阶段AI Agent的价值在于解决明确问题，而不是「未来可能怎样」。制造业的AI落地，每一步都要踩在实地上。
从「会说话」到「能干活」：为什么制造业需要AI Agent
大家好，我是沈青锋。第三个创业项目做AI+制造业，踩过的坑比家珍。今天不聊虚的，只说实在的——我们怎么把一个Chatbot改造成能自主跑完整个质检流程的AI Agent，以及在这个过程中踩的几个大坑。
从「会说话」到「能干活」：为什么制造业需要AI Agent
去年我们接了江浙一家汽车零件厂的活。那厂子有500条产线，每天产出10万件零件，靠50个质检员肉眼盯着X光片挑瑕疵。单件零件质检要3秒，一天就是45万秒，合1200小时。质检员干到30岁，眼睛基本废了，厂子每年光这人工成本就烧掉800万，还不算工伤赔偿和人员流动性带来的培训费。我们去看现场时，那50个质检员排成两行，像检阅仪仗队，每个人面前是个老式电脑显示器，上面堆满了闪烁的X光片，旁边贴着“合格”“不合格”的按钮。一个质检员平均每天要按8000次按钮，手都快抽筋了。
当时我们团队里有个AI老兵，叫李明，他当时就说：“这活儿，AI干不了？” 我们一开始也觉得，这太复杂了，零件形状各异，瑕疵形态更是千变万化。但李明坚持说：“别看复杂，本质就是个模式识别问题。我们先把Chatbot框架拆解，重新设计成自主决策流程。”
我们遇到的第一个坑是数据。制造业的数据往往很“脏”，零件厂的X光片数据更是杂乱无章。有些片子拍得模糊，有些有噪声干扰，还有些是质检员随手乱放，命名全靠缘分。李明带着团队花了三个月时间，才整理出5万张高质量标注数据。他们甚至专门开发了个数据清洗工具，用Python写的脚本自动识别并剔除那些“狗屁不通”的片子。李明后来跟我说：“你知道最惨的是什么吗？有些质检员为了省事，直接把同一张片子标成两种结果，美其名曰‘测试系统’。这导致我们的模型训练时，CPU直接烧了。”
第二个坑是算法。我们最初想用深度学习，但试了半天，效果总不对。后来李明建议试试迁移学习，直接用在外部数据集上训练好的模型做微调。果然，效果立竿见影。我们甚至用上了OpenCV库里的图像处理技术，比如SIFT特征点匹配，来增强模型的鲁棒性。这里有个具体的例子：有个零件有个小裂纹，但裂纹的角度每次都不一样，深度学习模型根本学不会。我们用SIFT特征点匹配后，效果好了很多。李明给我看了张截图，模型能准确识别出裂纹的位置，甚至能判断裂纹的深度。当时我们都惊呆了，李明却说：“这只是个开始。”
第三个坑是集成。制造业的IT环境通常很复杂，有的厂子还在用上世纪90年代的主机系统。我们开发的AI Agent必须能无缝接入这些系统，否则就是一纸空文。为此，我们专门开发了中间件，用RESTful API与工厂的MES（制造执行系统）对接。李明说：“我们就像个翻译官，把AI的语言翻译成工厂能懂的语言。” 举个例子，当AI Agent发现一个零件不合格时，它需要自动把零件编号、缺陷类型、缺陷位置等信息，通过API发送到MES系统，然后MES系统再触发后续的打磨、报废等流程。这个过程比我们想象的要复杂得多，各种协议、时序、异常处理，简直能写本书。
最后，也是最关键的一点，是用户体验。我们不是做实验室玩具的，是做能落地的产品。为此，我们专门为质检员设计了简洁的界面，用大图标、语音交互，甚至支持手势操作。李明说：“他们不是程序员，不是科学家，他们是流水线上的工人。你要让他们觉得，这个AI不是来管他们的，是来帮他们的。” 现在，那个AI Agent已经跑了快一年了，每天能处理15万件零件，准确率99.2%，比质检员高出整整10个百分点。更重要的是，质检员的数量从50人减到了20人，每年省下600万人工成本不说，工人的眼睛也舒服多了。
失败教训：数据质量比算法更重要
要说失败教训，那绝对是数据质量。我们一开始太迷信算法了，总觉得有了深度学习就能解决一切问题。结果发现，数据质量差得离谱，模型根本学不会。后来我们花了三个月时间才整理出5万张高质量标注数据，才有了后来的成功。李明后来总结说：“在制造业做AI，数据是基础中的基础，没有数据，再好的算法也是空中楼阁。”
有个具体的例子：我们最初用的模型在识别一个零件上的小黑点时，总是出错。后来才发现，那根本不是缺陷，是X光片拍摄时，零件旁边的一个螺丝刚好挡住了光线。我们花了整整两周时间，才把这个问题解决。李明后来跟我说：“这让我深刻认识到，制造业的数据收集比算法研究要难得多，也重要得多。” 现在，我们团队里专门有个数据工程师，负责和工厂一起收集、清洗、标注数据。李明说：“数据质量好了，模型训练的时间能缩短一半，效果还能提升10%。”
另一个教训是，不能脱离实际场景做AI。我们最初想做一个能自动识别所有缺陷的AI Agent，结果发现，有些缺陷需要结合零件的上下文才能判断。比如，一个零件上的小凹痕，如果是在受力部位，就是缺陷；如果是在非受力部位，可能就是正常现象。这需要AI Agent具备一定的“常识”，而不仅仅是模式识别能力。为此，我们专门请了几个机械工程师加入团队，专门负责定义这些规则。李明说：“AI不是万能的，在某些情况下，人类的经验和知识还是不可替代的。”
最后，也是最关键的一点，是要和工厂密切合作。我们最初想“空降”一个AI系统到工厂，结果发现根本行不通。工厂的产线、设备、流程都是我们事先不知道的。后来我们改为和工厂一起开发，每周去现场一次，和工人一起讨论，一起改进。李明说：“AI不是用来管人的，是来帮人的。你要先理解他们的需求，才能开发出真正能帮到他们的AI系统。” 现在，我们的AI Agent已经成了工厂的“质检员”，每天都能发现一些以前质检员没注意到的缺陷，真正做到了降本增效。
技术细节：用Python和OpenCV重构AI Agent
我们的AI Agent主要用Python开发的，核心是深度学习框架TensorFlow和OpenCV库。这里给大家分享几个关键技术点。
首先是数据预处理。制造业的数据通常很“脏”，需要进行大量的预处理。我们用Python的Pandas库读取数据，然后用OpenCV进行图像处理。比如，有些X光片曝光过度，我们就用直方图均衡化来改善；有些片子有噪声，我们就用高斯滤波来去除。这里有个具体的例子：有个零件上的小裂纹，但裂纹的角度每次都不一样，深度学习模型根本学不会。我们用SIFT特征点匹配后，效果好了很多。李明给我看了张截图，模型能准确识别出裂纹的位置，甚至能判断裂纹的深度。当时我们都惊呆了，李明却说：“这只是个开始。”
其次是模型训练。我们最初想用深度学习，但试了半天，效果总不对。后来李明建议试试迁移学习，直接用在外部数据集上训练好的模型做微调。果然，效果立竿见影。我们甚至用上了OpenCV库里的图像处理技术，比如SIFT特征点匹配，来增强模型的鲁棒性。这里有个具体的代码示例：
“`python
import cv2
import numpy as np
def detect_defect(image_path):
# 读取图像
image = cv2.imread(image_path)
# 转换为灰度图像
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 使用SIFT算法检测关键点
sift = cv2.SIFT_create()
keypoints, descriptors = sift.detectAndCompute(gray, None)
# 绘制关键点
image_with_keypoints = cv2.drawKeypoints(image, keypoints, None, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
# 显示图像
cv2.imshow(“SIFT Keypoints”, image_with_keypoints)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 返回关键点描述符
return descriptors
# 示例调用
descriptors = detect_defect(“path/to/image.jpg”)
最后是模型部署。我们开发的AI Agent必须能无缝接入工厂的MES系统。为此，我们专门开发了中间件，用RESTful API与工厂的MES系统对接。这里有个具体的代码示例：
“`python
from flask import Flask, request, jsonify
app = Flask(__name__)
@app.route(‘/detect_defect’, methods=[‘POST’])
def detect_defect():
# 获取图像数据
file = request.files[‘image’]
image = cv2.imdecode(np.frombuffer(file.read(), np.uint8), cv2.IMREAD_COLOR)
# 转换为灰度图像
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 使用SIFT算法检测关键点
sift = cv2.SIFT_create()
keypoints, descriptors = sift.detectAndCompute(gray, None)
# 构建结果
result = {
‘keypoints’: len(keypoints),
‘descriptors’: descriptors.tolist()
}
# 返回结果
return jsonify(result)
if __name__ == ‘__main__’:
app.run(port=5000)
现在，我们的AI Agent已经成了工厂的“质检员”，每天都能发现一些以前质检员没注意到的缺陷，真正做到了降本增效。
