AMD EPYC 9455P48 核 · 128 GB DDR5 ECC · 2 × 1.92 TB NVMe
48 个 Zen 5 核心,支持全宽 AVX-512,配备 12 个 DDR5 通道:CPU 推理与 CI 的高性价比之选。
并非所有 AI 或计算任务都需要 GPU。量化语言模型、向量嵌入、CI 流水线、编译和渲染,都能在拥有宽向量单元的多核现代 CPU 上良好运行——价格仅为 GPU 方案的一小部分,而且无需排队。
这类工作负载需要什么工作负载特征
由每周都在为这类工作负载做选型的工程师挑选,全部有现货。
48 个 Zen 5 核心,支持全宽 AVX-512,配备 12 个 DDR5 通道:CPU 推理与 CI 的高性价比之选。
64 个带 AMX 的 Granite Rapids 核心:对于支持 AMX 的 BF16/INT8 推理框架,这是最佳的 CPU 方案。
64 个 Zen 5 核心和 256 GB 内存,应对最庞大的渲染和构建队列。
新服务器上线后的第一个小时,决定了接下来一整年的运行状况。
客户可在客户中心提交工单,直接向运维服务器的工程师提问——首次回复时间中位数不到 15 分钟,7×24 小时在线。
了解技术支持目前没有——我们的产品线以 CPU 为主。对许多推理和批处理工作负载来说,48 到 64 个现代核心是更具性价比的选择。
有 256 GB 内存,数百亿参数的量化模型都能轻松装下;此时生成速度取决于内存带宽。
可以。在容器或虚拟机中运行 Runner,并为每个 Runner 设定 CPU 限制,一台服务器就能让数十条流水线同时运转。