🏷️ 端侧AI

我盯着任务管理器里那个叫“Hexagon NPU”的小方块，它在摄像头预览流跑起来的一瞬间，稳稳地吃下了4.3W的功耗，而旁边的CPU和GPU几乎纹丝不动。同场景下，我用OpenVINO在酷睿Ultra 7上跑同一个YOLOv8n模型，cpu瞬时功耗飙到18W，Iris Xe核显介入后降到11W，但…

在医疗行业严格的合规要求下，我被迫放弃了所有云方案，转而用Windows Copilot Runtime搭建了一套完全离线的文档问答系统。本文从开发者角度复盘了整个流程：环境配置的隐藏坑、四种矢量搜索方案的实测对比、Phi-3模型的本地推理优化，以及文档预处理的非技术瓶颈。最终系统在3.8GB内存占用下实现了800毫秒的端到端响应，证明了端侧AI已经具备真正的实用价值。

我在一个十年历史的WPF病历系统中，用Windows Copilot Runtime把文本理解、OCR和向量搜索全部本地化，再封装成微服务。从API堆栈拆解、ONNX模型量化部署，到NPU与CPU的自动切换调度，踩了无数异步死锁和内存泄漏的坑，最终实现了全离线的语义搜索，延迟压到200毫秒以内。