经过验证的硬件和软件组件
下表汇总了此 JVD 按角色测试和验证的软件版本。
表 13：经过验证的硬件和软件
| 设备/软件 | 角色 | 版本/版本 |
|---|---|---|
| QFX 设备 | 前端叶节点和主干节点 | 25.2X100-D20.4-EVO |
| AMD MI300X 服务器 | 推理 GPU 服务器 |
Ubuntu 22.04.5 LTS 6.8.0-111-通用 |
| HPE Juniper Apstra Data Center Director | 交换矩阵自动化和运维 | 6.1 |
| SGLang | 推理服务框架 | 0.4.5 |
| SGLang 路由器 | 跨本地 GPU 支持的辅助角色的请求路由 | 0.1.4 |
| Envoy 代理服务 | 跨 MI300X 推理服务器的负载平衡 | 1.35.3 |
| NVIDIA GenAI-Perf | 推理基准负载生成器 | 英伟达 GenAI-Perf 0.0.11 |
| 楷模 | 推理工作负载，用于验证不同模型大小、并发级别、延迟配置文件和前端交换矩阵流量模式的性能。 |
骆驼 3.1 8B 骆驼 3.3 70B Qwen 2.5 72B |
注意：上面列出的瞻博网络产品和软件版本与此 JVD 的最新验证配置有关。不同的硬件型号和软件版本可能会经过测试，并将其添加到未来的设计建议中。