
Kimi K3(开源完整版 2.8T MoE)硬件清单 + 投资测算表

方案一:最小实验验证集群(20×H100 80GB)
适用场景:算法验证、内部测试,不建议对外商用,并发能力弱
硬件明细
硬件一次性采购合计:1383 万元
年度运营 TCO 测算
年度总持有成本 ≈ 701 万元
方案二:中型私有化生产集群(48×H200 141GB|推荐选型)
适用场景:企业私有化部署、内部业务支撑、有限对外开放 API,支持高并发 + 百万长上下文
硬件明细
硬件一次性采购合计:2480 万元
年度运营 TCO 测算
年度总持有成本 ≈ 1145 万元
方案三:DGX H100 标准商用集群(64×H100 80GB,官方推荐架构)
适用场景:面向公众服务、高吞吐商业化推理、可承载大量并发请求
硬件明细
硬件一次性采购合计:3740 万元
年度运营 TCO 测算
年度总持有成本 ≈ 1647 万元
附件 2:自建 K3 集群 VS 直接调用 Kimi 官方 API 3 年期 TCO 对比
以【方案二 48 卡 H200 中型集群】作为自建基准
盈亏平衡点测算(参考)
Kimi 官方参考报价:输入 3 元 / 百万 token,输出 15 元 / 百万 token假设平均输入输出 1:1,综合单价≈9 元 / 百万 token3 年期自建总投入 5915 万元盈亏平衡总 token 量 = 5915 万 ÷ 9 元 / 百万 token ≈ 657 亿 token
简单理解:3 年内累计调用量>657 亿 token,自建才有成本优势;低于该规模,API 更划算。附件 3:关键风险与立项注意事项- MoE 硬性约束
- 完整版 K3 所有专家权重必须常驻显存,无法依靠内存 / 磁盘离线加载;普通以太网组网会出现极高推理延迟,高速互联(IB/400G RoCE)为刚需,不能省。
- 技术门槛
- 需要掌握分布式 MoE 推理框架(vLLM 分布式、KTransformers、TensorRT-LLM MoE 改造);无大规模多卡集群团队,硬件到位也无法跑出预期性能。
- 量化版本提醒
- 目前测算基于完整版 MXFP4 权重;未来社区轻量化蒸馏 Kimi K3 会大幅降低硬件门槛,但模型能力相比原生 2.8T MoE 存在明显衰减。
- 供电机房约束
- 8 卡 H200 整机功耗≈22kW,必须确认 IDC 具备大功率机柜、水冷散热条件,普通机房无法承载。











