AI请求怎么选实例
算力路由听起来抽象,拆成一次请求的旅程就直观了。第一步,同一个服务的多个实例把算力指标随服务通告进网络——vCPU 数、内存水位,这些过去只活在监控看板里的数字,第一次进了路由域。
第二步,两组度量并行分发:链路侧还是熟悉的时延、丢包、带宽;算力侧是实例负载和可用资源。
第三步是关键变化:路径计算不再只挑「最快的路」,而是挑「最快的路去最闲的实例」——链路最优但拥挤的目的地会被降权。
第四步对 AI 业务最要命:推理会话有上下文,切换实例意味着上下文重建。所以长会话要有亲和性机制,把会话钉在一个实例上,迁移成本被显式折算进选路代价。
这就是 RFC 10053 定义的完整闭环。对你的影响:多实例部署的业务(多云、云边协同)未来招标,选路能力要按这四步验收。
出处:IETF RFC 10053(2026 年 10 月)。
#SDWAN# #算力路由#