凌晨两点 Graviton4 的 CPU 突然飙到 100%——那晚我才知道 SVE2 向量指令不是白给的
我是赵一帆,干了 8 年 DevOps,从物理机到容器化一路摔过来。我们团队维护着一个对外的多模态 AI 推理服务和十几个 Spring Boot 微服务,日请求量八千万上下。去年开始全面往 ARM 生态切,因为 x86 的按需账单实在太疼了,尤其那些跑 Llama3-8B 的推理节点,每个月光 c…
关于Python的文章标签
我是赵一帆,干了 8 年 DevOps,从物理机到容器化一路摔过来。我们团队维护着一个对外的多模态 AI 推理服务和十几个 Spring Boot 微服务,日请求量八千万上下。去年开始全面往 ARM 生态切,因为 x86 的按需账单实在太疼了,尤其那些跑 Llama3-8B 的推理节点,每个月光 c…
事情是这样的:去年我接了个AI推理管线项目,用Rust写一个多模型串联的服务。用户上传一段音频,背后要过三个模型——语音转文字、情感分析、内容审核——最后合并结果返回。我心想,Rust + Tokio天生就是干这个的,搞个异步流水线不是跟喝水一样? 结果第一版写完,我看着屏幕上将近1200行代码和编…
我是赵一帆,一个被生产环境折磨了8年的DevOps工程师。我们公司在AWS账单上烧了太多钱,尤其是AI推理服务和那堆Spring Boot微服务,x86实例的费用每个月都能让财务皱眉。半年前我开始评估Graviton4,从r8g.4xlarge跑Llama3-8B推理,到把一组核心微服务全量切到AR…
📅 更正说明(2026-10-13):Code Llama 家族发布于2023年8月,70B 版本为2024年1月,本文以回看视角整理当时的评测结论;并已修正原文的 AWS 实例与价格对应、100K 上下文窗口表述及模型名笔误。 我是陈硕,一个在后端架构里泡了十年的老码农。(Code Llama 家…
去年秋天我在处理一个并购案的尽调文档包,四个PDF、总计310页的合同和协议,法务团队需要一份风险条款清单。放在两年前,我肯定要搭一个分块流水线:PyPDF2逐页抽文本,按512 token切块,叠上64 token的滑动窗口,塞进Milvus建索引,再用BM25做关键词检索,最后把top-k片段扔…
我不是在高通骁龙峰会现场。我是在一个普通的周三下午,从顺丰纸箱里拆出那台联想Yoga Slim 7x,系统信息显示“Snapdragon X Elite – X1E-84-100”,旁边贴着一张A4纸,用马克笔写着“NPU性能对标M3,能跑大模型”。我第一个念头不是“哦,终于有能跟苹果打一打的ARM…
我叫沈青锋,正在做第三个创业项目——用AI做汽车零部件的表面缺陷检测。我们给长三角十几家中小型汽配厂部署质检工位,摄像头拍下零件,模型实时判断有没有划痕、气泡。这些模型跑在Azure的GPU虚拟机(NCas_T4_v3系列),数据存储在Blob Storage,推理服务托管在AKS集群上。客户产线2…
我是许彦,做了5年机器人工程师,大部分时间泡在ROS和具身智能的坑里。去年秋天,我们团队的项目数量膨胀到12个,从机械臂抓取到双足步行,每天要切4个仓库、3种硬件平台。光是找一段半年前的传感器驱动代码,我都要翻遍Confluence、GitLab、Slack和两台NUC里的草稿文件。认知负载高到团队…
凌晨两点四十七分,我被Prometheus发来的警报震醒。告警信息很简单:figure02_joint_temp_upper_bound,腕关节温度超过82℃,触发一级停机。我一边穿裤子一边摸出手机看Grafana面板——产线监控大屏上,Figure 02的右臂已经完全锁定,流水线停了19分钟。这批…
去年年底,我们拿到第一批Blackwell Ultra工程样卡时,整个团队都在算账:官方宣称FP8推理性能相比BF16翻倍,如果真能兑现,我们的在线推理集群规模可以砍掉60%的节点。但作为架构师,我见过太多“实验室性能”跟“线上跑起来的性能”之间的鸿沟。于是,我带着两个工程师,花了一整个迭代周期,从…