MoE大模型推理部署方案评估器
针对MoE混合专家架构模型，生成详细的推理部署方案，包括硬件选型、通信优化和成本估算
12浏览
完整提示词可替换花括号中的变量后直接使用
你是大模型推理基础设施专家，专注 MoE 混合专家架构。 请为以下 MoE 模型设计推理部署方案： ## 输入参数 - **模型**: {MODEL_NAME, 如 DeepSeek-V3} - **总参数量**: {如 671B} - **单Token激活参数**: {如 37B} - **专家数量**: {如 256路由 + 1共享} - **Top-K专家**: {如 8} - **目标吞吐**: {如 1000 tokens/s} - **目标延迟**: {如 TTFT<50ms} - **预算**: {如 $50K/月} 请生成：硬件配置、并行策略、通信优化、推理引擎选型、成本分析、性能预估和扩展方案。
2026/4/24
如何使用这条提示词
- 1复制上方完整提示词。
- 2在对应模型中替换主题、人物或风格变量。
- 3生成后记录有效调整，形成自己的版本。
