Llama 3 零运维成本部署:Serverless AI 推理实战与成本博弈
说实话,每次看到 Llama 3 的参数量、上下文长度,我都得先摸摸我的 AWS 账单。这模型太香了,但香到直接把我逼成了 Serverless AI 的狂热信徒。最近帮团队把一个高并发问答服务从 EC2 集群搬到 Lambda 上,省下来的成本够买两台 H100 了。今天就来跟你们唠唠,怎么用 S…
说实话,每次看到 Llama 3 的参数量、上下文长度,我都得先摸摸我的 AWS 账单。这模型太香了,但香到直接把我逼成了 Serverless AI 的狂热信徒。最近帮团队把一个高并发问答服务从 EC2 集群搬到 Lambda 上,省下来的成本够买两台 H100 了。今天就来跟你们唠唠,怎么用 S…
大家好,我是韩知行。今天想跟大家聊聊一个有点意思的话题——AI算力这波爆发,到底对我们云架构师意味着什么。我最近在复现一篇DeepMind上个月发的那篇论文,里面提到了Blackwell架构的能效比提升,结果实际用起来发现…咳咳,别提了,后面细说。但确实,从GPT-5.5o到现在的各种AI大模型,再…