芯元一科技
XINYUANYI

每个数字都带报告编号

AI 推理存储加速与算力中心工程服务商

芯元一科技做两件事:用 FX 系列全闪存储给大模型推理做 KV Cache 分层加速;交付 AMD MI308X 八卡整机,以及配套的适配、联测和算力中心建设。

更新于 · 芯元一(天津)半导体设备有限公司

实测到底快了多少?

在 8 卡 MI308X 上跑 480B 模型的长上下文负载,把 KV 缓存放到 FX100 上,相比放在本地 NVMe 单盘,吞吐提升 29% 到 40%,首 token 延迟降低 26% 到 32%。

+29–40%推理吞吐480B 模型、八卡单实例、长上下文冷恢复,对照本地 NVMe 单盘出处 R2/R3
−26–32%首 token 延迟同一负载三档并发,p50 从 10.17–35.73 秒降到 7.53–26.35 秒出处 R2
8.6–20×对现场重算并发 16 档,重算首 token 149.48 秒,FX100 为 11.85 秒出处 R2
6.2–9.3×模型加载(对 NFS)昇腾 910B 平台,DeepSeek-32B 与 70B 服务加载出处 R9
4.1×并行读补丁冷读场景首 token 37.97 秒降到 9.30 秒出处 R1
1.9×检查点保存8 卡 32B LoRA,每份 65.6GB,178 秒降到 94 秒出处 R1
并发 856.643.9并发 1674.953.6并发 3271.653.9
■ FX100 ■ 本地 NVMe 单盘 · 480B 模型推理吞吐(tok/s)· 出处 R2

上面每一格右下角的编号对应一份测试报告。条件、平台和逐档读数在 实测报告 里逐份列出,报告原件可以索取。

为什么大模型推理的瓶颈会落在存储上?

长对话和 Agent 的上下文越来越长,算过的 KV 缓存显存放不下就被丢掉。用户回来时要么整段重算,要么从外部存储读回,读得快慢决定首字等多久。

R2 把这件事量出来了:并发 16 档,不用外存、现场重算的首 token 延迟中位数是 149.48 秒;从 FX100 读回缓存是 11.85 秒。差出来的时间里,GPU 在重复做已经做过的计算。

本地 NVMe 盘也能存 KV 缓存,但它只属于一台机器,容量有限,别的节点读不到。FX 系列是网络上的全闪阵列,一台服务多个 GPU 节点,缓存可以跨实例共享(R3 验证)。原理见 KV Cache 分层是什么。

芯元一提供哪些产品和服务?

产品是 FX 系列全闪 NVMe-oF 存储平台和 AMD MI308X 八卡整机;服务是围绕它们的适配、联测、算力中心建设和存量集群提效,五条线都以实测报告为依据。

怎么合作:先联测,再决定

合作从一次约 10 周的联测开始,分四道门禁逐级验收。每道门禁都有事先写明的通过标准,任何一道不达标就停,客户不为没验证过的承诺付费。

G1 · 第 2 周到货验收物料到齐并点验合格;每台阵列上电自检通过,24 块盘全部识别
G2 · 第 4 周单机基线单节点 8 卡推理基线复现,与 R1 口径相差不超过 10%;单阵列本地压测达到实测锚点的 83% 线
G3 · 第 7 周联测主门禁首 token 延迟降幅不低于 25%,吞吐提升落在实测的 29% 到 40% 区间内;8 个节点共用一台阵列时回读接近网卡上限
G4 · 第 10 周稳定性验收72 小时连续压测不中断;单盘、单链路故障注入时业务无感;出具签字版联测报告
想用自己的模型和负载验证这些数字?从一次联测开始,不达标就停。
联系我们看联测流程

这些数字怎么核对?

本站的性能数字都来自 R1 到 R9 九份测试报告,并标明是实测、厂商口径、公开资料还是我方口径。R8 是带补丁和原始数据的复现包,第三方可以重跑。

报告原件的下载入口在芯元一的另一个站点 lvsuan.top;R8 和 R9 需要联系获取。FX100 在早期测试报告的文件名里叫 AISSD5000,更早也写作 WS5000 或 GP5000,个别报告署名为「铭信」(公司原名)。这些指的是同一款产品,本站统一用 FX 命名。

常见问题

芯元一科技是做什么的?

全称是芯元一(天津)半导体设备有限公司,原名铭信。业务是 AI 推理的存储加速、AMD MI308X 等算力整机的供货与适配,以及算力中心的建设和提效。

FX100 能让大模型推理快多少?

在 8 卡 MI308X、480B 模型、长上下文冷恢复这一负载下,FX100 相比本地 NVMe 单盘,吞吐提升 29% 到 40%,首 token 延迟降低 26% 到 32%,出处是 R2 和 R3。

这些提升在我的业务上也成立吗?

不一定。提升幅度取决于上下文长度、并发和会话恢复的比例。我们不建议把报告数字直接写进采购承诺,建议先用自己的负载做一次联测再决定。

怎么联系芯元一?

电话 13161818898(王利民),邮箱 mingxin@agentmail.to。邮件由 AI 助手全天自动接收后转给人工,询价、索取报告和预约看货都可以从这两个入口进来。