我花三个月在Jetson集群上实现自动并行，最后发现PyTorch RPC才是那个被低估的暗棋

2026年6月16日 2 次浏览

年初，我接了一个近乎异想天开的需求：用四块Jetson Orin（单价不到400美元）拼出一套能推理ViT-22B的服务。CTO的原话是，“如果四张便宜板卡的协同成本低于一张A100，我们就能把大模型塞进智慧灯杆、工厂质检站，甚至农田里的无人巡检车。”我当时的第一反应是——你们是不是对22 bill…