AI中台选型擂台 · 第01期 五套私有化 AI 中台方案,全景摆开 不评谁第一,只告诉你每套方案在什么条件下最合适 |
这两年做私有化 AI 中台的项目,客户最爱问一句:「Dify 怎么配?」问多了我发现,真正要选的从来不是 Dify,而是 Dify 后面接谁。同样是 Dify 打头,后面挂 new-api、挂 LiteLLM、挂 K8s 全家桶,做出来的东西成本、人力、能扛多大事完全不是一回事。所以这个系列我准备开一个新擂台:AI中台选型擂台,第一期限把五套主流组合摆开给你看,后面 5 期一台一台拆。 |
数据来源说明 本文技术事实(组件版本、开源协议、性能量级、资源占用)综合自各项目官方仓库文档与公开评测;预算区间为行业内私有化项目的常见量级参考,非厂商报价。实际数据请以厂商最新官方口径为准,本文仅供选型参考。 |
先给个统一坐标:这五套本质都是「应用层 → 网关层 → 模型层」三段式,差别只在每一段用谁、要不要自己拼。链路看清了,成本和人力差在哪,你心里就有数了。
方案一 · Dify + new-api 轻量自带计费 |
链路:Dify → new-api → 模型源 定位:轻量开源组合,网关层自带 UI 计费面板和密钥管理,适合中小企业、内部 AI 中台,运维人手不多、要快速落地。 |
方案二 · Dify + LiteLLM 开源标准方案 |
链路:Dify → LiteLLM → 模型源 定位:开源标准路线,生态强、可观测好、性能开销极低,但网关层不自带账单 UI。适合技术团队较强、重视稳定性、不想用 AGPL 项目的客户。 |
方案三 · Flowise + LiteLLM 重 Agent 工作流 |
链路:Flowise → LiteLLM → 模型源 定位:侧重复杂 Agent 工作流编排,可视化拖拽搭多智能体。适合算法/开发团队主导、业务 RAG 需求不重的场景。 |
方案四 · 一体化商用平台 一站式信创 |
链路:平台内置调度 + RAG(千帆 / 星火 / 通义私有化等) 定位:一站式交付,信创、等保、售后由厂商兜住,不用自己运维组件。适合政企客户、预算充足、不想自己搭。 |
方案五 · K8s 重型栈 生产级高可用 |
链路:Dify → APISIX → LiteLLM → KServe → 推理后端 定位:高可用、弹性、灰度发布、生产级,组件最多、门槛最高。适合有 K8s 底座的大型集团、异构 GPU/NPU 混合集群。 |
一句话定位:方案一图快、方案二图稳、方案三图灵活、方案四图省心、方案五图能扛。链路不同,不是简单的「谁好谁差」。
方案一 主打「开箱就有账单面板」 · new-api 网关自带 UI:令牌分组、按量计费、额度管理、密钥管理,不用另外开发 · 多供应商聚合 + 协议转换(OpenAI / Claude / Gemini 互转),加权随机路由、失败重试 · Go 写的,单二进制部署,组件数最少,一个人能扛 |
方案二 主打「生态最全 + 性能最狠」 · 支持 100+ 供应商、1800+ 模型,虚拟密钥、多级预算、RPM/TPM 限流、guardrails 一应俱全 · 底层 Rust 内核,单请求开销约 0.05ms,实测 6800 req/s 量级、p99 仅增加约 0.66ms · MIT 核心开源,避开 AGPL 闭源集成的法务风险 |
方案三 主打「把 Agent 工作流拖出来」 · Agentflow(多智能体)+ Chatflow(单智能体 / tool calling / RAG),可视化拖拽编排 · 支持人在回路(HITL)、执行链路追踪(Execution Traces)、消息队列横向扩展 · 资源占用轻,单容器约 512MB 内存,5 分钟能起 |
方案四 主打「信创等保售后一条龙」 · 厂商一体化交付:模型调度、RAG、知识库、应用编排全部内置,不用自己拼组件 · 信创适配(麒麟 / 统信 + 达梦 / 金仓)、等保三级、国密由厂商兜底,能进政企采购名单 · 售后有对口支持团队,出问题有人接,这是开源组合给不了的 |
方案五 主打「生产级能扛」 · APISIX 做流量入口,单核约 18 万 RPS、P99 约 8.2ms,灰度、限流、鉴权都在这一层 · KServe 管推理后端,支持 HPA / KEDA 弹性扩缩、金丝雀 / A-B 发布、V2 + OpenAI 兼容协议 · 异构 GPU/NPU 混合调度,机构大了、要上生产集群,这套才顶得住 |
五个方案横着放手机根本看不完,这里每个维度竖着列,谁强谁弱一眼见。带 ★ 的是选型时最容易被拍板影响的三项——实现方式、预算、人员投入,也是本期重点。
维度① 架构链路
方案一:Dify → new-api → 模型源,两段组件,最短路径 |
方案二:Dify → LiteLLM → 模型源,网关层换成 LiteLLM |
方案三:Flowise → LiteLLM → 模型源,应用层换成 Flowise |
方案四:平台内置调度 + RAG,链路被厂商封装,你只看得到"平台" |
方案五:Dify → APISIX → LiteLLM → KServe → 推理,五段最长 |
维度② 实现方式 ★
装机即用,还是要自己拼组件、写 K8s YAML?这一条直接决定你几个月能上线。
方案一:docker compose 起两个服务,Dify 一个配置文件,new-api 一个 yaml,改配置为主 |
方案二:Dify + LiteLLM(Docker + Postgres),LiteLLM 配置靠一个 config.yaml 写模型和策略 |
方案三:Flowise 单容器起,LiteLLM 同方案二,工作流在画布上拖,不写代码 |
方案四:厂商上门部署 + 交付培训,你基本不动手,但定制需求要提给厂商排期 |
方案五:全部 K8s YAML + Helm,得自己写 Operator、Ingress、自动扩缩规则,重开发 |
维度③ 许可与合规
开源协议能不能商用、能不能闭源集成,这块踩坑要法务出面,别等交付了才发现。
方案一:Dify 是 Apache 2.0 + 附加条款(禁多租户托管、禁去 logo);new-api 是 AGPL-3.0,必须独立部署、不能闭源嵌入 |
方案二:Dify 同左;LiteLLM 核心是 MIT,但 enterprise 目录为专有代码需付费授权,用企业功能要看清 |
方案三:Flowise 是 Apache 2.0(已被 Workday 收购,社区版协议不变);LiteLLM 同方案二 |
方案四:商业授权,无开源协议约束,但按点授权/按规模收费,需谈合同 |
方案五:Dify + LiteLLM 协议同前;APISIX 是 Apache 2.0、KServe 是 Apache 2.0,整体可控 |
维度④ 自带能力
UI、计费面板、密钥管理、RAG,是自带还是要外挂?外挂的每一块都是工作量。
方案一:计费 + 密钥 + 额度的 UI 全部自带,RAG 由 Dify 提供,最省事 |
方案二:虚拟密钥、预算、限流、guardrails 自带,但没有现成账单面板,要自己接 Grafana 或自研 |
方案三:Agent 编排能力强,Chatflow 有 RAG 和 tool calling;RAG 深度不如 Dify |
方案四:全内置,知识库、RAG、应用编排、管理后台、计费都成套 |
方案五:能力最全但都散在各组件,要自己把可观测、计费、网关策略串成一套 |
维度⑤ 可观测与运维
日志、指标、链路追踪、告警,出问题时能不能定位,就看这一层。
方案一:Dify 有应用日志,new-api 有调用日志和额度统计,够用但不精细 |
方案二:LiteLLM 可观测是三套里最强的,原生 Prometheus 指标、成本追踪、请求日志齐全 |
方案三:Flowise 有 Execution Traces 可以看工作流每一步,但指标层偏弱 |
方案四:平台自带监控大盘,厂商能远程协助排障,但你看不到底层细节 |
方案五:APISIX 日志 + LiteLLM 指标 + KServe 推理指标 + OTel 链路,最全但最要人维护 |
维度⑥ 性能与扩展
并发、吞吐、扩缩容、高可用,人多了、量大了这套还顶不顶得住。
方案一:new-api 是 Go,单机就能扛,但高可用要自己加多实例 |
方案二:LiteLLM 性能开销极低,水平扩展靠多副本 + Postgres,很线性 |
方案三:Flowise 支持消息队列横向扩展,但整体偏轻量场景 |
方案四:厂商按你的并发规格出配置,扩不扩先谈商务,弹性靠加机器 |
方案五:唯一真生产级,APISIX 扛入口、KServe 自动扩缩、灰度无感 |
维度⑦ 信创与等保
能不能进政企采购名单、等保三级、国密支持,政企项目的硬门槛。
方案一:信创要自己整,得在麒麟/统信上跑通、自己出等保材料 |
方案二:同上,LiteLLM 已有麒麟/统信适配实践,但资质要靠集成商补 |
方案三:同为开源,信创适配资料更少,政企项目谨慎 |
方案四:天然强项,信创适配、等保三级、国密全套,政企直接可用 |
方案五:靠底座做信创,K8s 层可跑在麒麟 + 鲲鹏/飞腾上,但要自己调 |
维度⑧ 预算 ★
软件是 0 成本还是有授权费;硬件、带宽、运维年费加起来是多少。这维度第四节单独展开。
方案一:软件 0 授权费,总成本最低,主要花在算力和人力 |
方案二:软件 0 授权费,但企业版功能要另算,总成本略高于方案一 |
方案三:软件 0 授权费,总成本与方案二相近,看业务需求定 |
方案四:授权费是大头,几十万到几百万不等,但人力和运维省下来了 |
方案五:软件 0 授权费,但隐性成本最高——K8s 底座、人力、长期维护 |
维度⑨ 人员投入 ★
要几个人、什么级别、一个人能不能扛住。这条最容易被低估,也是第四节重点。
方案一:1 个会 Docker 的运维,兼职就能维护,门槛最低 |
方案二:1–2 人,得懂 LiteLLM 的 config 和 Postgres,比方案一高一档 |
方案三:算法/开发团队主导,运维只要保证容器活着,分工不同 |
方案四:0.5 个人管日常,厂商兜底,人力投入最少 |
方案五:至少要 3 人小团队——K8s、网关、模型运维各一人,人力投入最高 |
维度⑩ 风险点
每套方案最容易翻车的地方,提前知道比事后复盘便宜。
方案一:AGPL 协议别闭源嵌入;new-api 版本迭代快,升级要留退路 |
方案二:企业版是付费闭源,别把 enterprise 功能当免费的用;供应链安全要盯(历史上出现过投毒版本) |
方案三:RAG 能力偏弱,业务要知识库问答,可能要再补一层 |
方案四:被厂商绑定,定制慢、迁移贵;预算高,小规模用不划算 |
方案五:组件多、链路长,一个环节挂全链路抖;人力一撤就没人维护 |
这三项是真正拍板时决定生死的。五列手机放不下,我拆成两张表:开源三兄弟(方案一/二/三)一张,商用与重型栈(方案四/五)一张。
表一:开源三套(方案一 / 方案二 / 方案三)
维度 | 方案一Dify+new-api | 方案二Dify+LiteLLM | 方案三Flowise+LiteLLM |
软件成本 | 0 | 0(企业版另计) | 0 |
硬件/算力 | 看模型自建 80 万起 | 同左 | 同左 |
运维年费 | ≈人力 | ≈人力 | ≈人力 |
实现方式 | compose 起两个服务 | Docker+Postgresconfig.yaml | 单容器+画布拖拽 |
人员投入 | 1 人兼职 | 1–2 人 | 开发主导运维轻 |
上线周期 | 2–4 周 | 3–6 周 | 2–5 周 |
表二:商用平台与重型栈(方案四 / 方案五)
维度 | 方案四一体化商用平台 | 方案五K8s 重型栈 |
软件成本 | 授权费几十万–几百万 | 0(全开源) |
硬件/算力 | 按规格配,含信创机型 | 异构 GPU/NPU 集群,最贵 |
运维年费 | 含在服务合同里 | ≈3 人年薪,量级最高 |
实现方式 | 厂商上门部署交付 | 全 K8s YAML + Helm |
人员投入 | 0.5 人管日常 | ≥3 人小团队 |
上线周期 | 1–3 个月(含商务) | 2–4 个月 |
算账提醒:别只盯软件授权费。私有化部署 DeepSeek-V3 级模型,自建硬件 80 万起,加上运维人力实际年支出可达 150 万量级;而如果走 API(按 2 亿 token/月算)大概 3–5 万/月。自建还是调 API,是第一道要算的账,不是第二道。 |
运维同学 「你这些方案里,new-api 和 LiteLLM 不都是网关吗?那直接用 LiteLLM 不就完了,生态还强,为什么还提 new-api?」 |
尴尬的女运维 有道理,但不能一概而论。这俩确实都是网关,但定位不一样。要不要自带计费面板,就是分水岭。 |
LiteLLM 强在生态和性能,这是真的
100+ 供应商、1800+ 模型、虚拟密钥、多级预算、guardrails、Prometheus 指标,Rust 内核把开销压到 0.05ms 量级。技术团队想少踩坑、要可观测,LiteLLM 确实是首选。这一段我不否认。
但「没有账单面板」这件事,在中小企业是硬伤
1. 你要给人看账单,LiteLLM 不直接给你。 LiteLLM 的成本追踪是给运维看的指标,不是给业务/财务看的账单。要出「部门 A 这个月花了多少钱」,得自己接 Grafana 或自研一层。new-api 是开箱就有额度面板、令牌分组、按量计费,业务方自助充值都能配。 2. AGPL 也不全是坏事。 new-api 是 AGPL-3.0,代价是必须独立部署、不能闭源嵌入。但很多企业本来就是把它当独立服务跑,不改造源码,这条约束实际上不痛。而 LiteLLM 核心 MIT 更宽松,可 enterprise 目录是专有的,用到企业功能照样要付费——没有绝对的自由。 3. 人力账要一起算。 new-api 是 Go 单二进制,一个人能扛维护全流程;LiteLLM 要懂 config.yaml、Postgres、指标接入,1–2 人才稳。人少的团队,省下的那点生态优势,不够补上人力缺口。 所以结论是:要计费面板、人少、图快,选 new-api;要生态、要可观测、团队有底子,选 LiteLLM。不是谁替代谁,是场景不同。 |
不同客户的优先级排序 场景一:中小企业 / 内部 AI 中台 / 运维人少 ① Dify+new-api > ② Dify+LiteLLM > ③ Flowise+LiteLLM 场景二:技术团队强 / 重稳定与可观测 ① Dify+LiteLLM > ② K8s 重型栈 > ③ Flowise+LiteLLM 场景三:政企 / 预算充足 / 要信创等保 ① 一体化商用平台 > ② Dify+new-api > ③ K8s 重型栈 场景四:大型集团 / 有 K8s 底座 / 异构集群 ① K8s 重型栈 > ② Dify+LiteLLM > ③ 一体化商用平台 |
总结一句:这五套方案没有绝对优劣,差别在——链路越长能力越全、人力越重;链路越短上线越快、天花板越低。先问自己三个问题:预算多少、有几个人、业务要 RAG 还是 Agent,答案基本就出来了。
一句话总结:中小企业要快、要计费面板,Dify+new-api;技术团队要稳、要可观测,Dify+LiteLLM;重 Agent 工作流,Flowise+LiteLLM;政企要信创等保省心,一体化商用平台;大型集团要生产级高可用,K8s 重型栈。别追最全的,追最合你人力和预算的。 |
5 套方案 · 10 个维度 · 预算/人力单独算账 链路越长能力越全、人力越重;链路越短上线越快、天花板越低 选型不追最全,只追最合你的人力和预算 — 尴尬的女运维 · AI中台选型擂台 第01期 —聊技术也聊踩坑,下期见 |
下期预告 第02期:Dify + new-api 实战拆解 配置怎么写、计费面板怎么配、AGPL 独立部署怎么做、一个人怎么维护——第一期说它轻,第二期告诉你怎么轻。 |
本文所有对比数据,我整理成了表格 关注公众号,回复「AI中台选型」获取完整 PDF 速查表(含五方案架构、预算、人力、信创全维度对比) |
你们项目用的什么?评论区聊聊 你们 AI 中台是怎么搭的?网关用的 new-api 还是 LiteLLM?踩了什么坑?评论区说一句,我下期挑几个聊。 |
AI中台选型擂台 第01期 五方案全景 第02期 Dify+new-api 第03期 Dify+LiteLLM 第04期 Flowise+LiteLLM 第05期 一体化商用平台横评 第06期 K8s重型栈 已更新 1 期 / 持续连载中 |
关注我,AI 中台选型不踩坑 我是尴尬的女运维,十五年踩坑选手信创选型 · 国产化落地 · 运维实战每篇都讲人话,不讲官话 关注后回复关键词,获取本期完整对比速查表 |