杂技浅尝

DeepSeek-V4-Flash 实测:八卡 RTX 3090 与双卡 RTX PRO 6000 差多少?

上一篇我把 DeepSeek-V4-Flash 塞进了八张 RTX 3090,结尾留下两件事:给 3090 测 DSpark 投机解码,再找两张 RTX PRO 6000 跑官方权重。 现在两个坑都填上了。 结果比我预想得更夸张: 八卡 RTX 3090 把 DSpark 参数调对后,固定长输出的单路 Decode 从约 36 tok/s 提升到 61.26 tok/s。 双卡 RTX PRO 6000 的最快方案跑到了约 204 tok/s,长输入 Prefill 也稳定在约 3K tok/s。 不过先说清楚:这不是一场严格控制变量的 GPU 跑分。两边使用的权重、推理引擎、DSpark 配置和虚拟化环境都不同。本文比较的是我实际能部署出来的两套方案,不是单纯比较 RTX 3090 和 RTX PRO 6000 的理论算力。 ...

2026-08-08 · 10 分钟 · 4736 字 · 
杂技浅尝

八张 RTX 3090 本地部署 DeepSeek-V4-Flash:32K、64K、128K 实测

前两天还在纸面上计算 DeepSeek-V4-Flash 本地部署需要多少硬件,这次不继续算账了,直接上机器。 我最快能调动的本地算力就是八张 RTX 3090。为了腾显存,还把其中四张卡上常驻的 Qwen3.6-27B 服务停了。模型前一天晚上就开始下载,结果中途网络断掉,第二天又重新来了一遍。百兆网拉一百多 GB 的模型,确实很磨人。 ...

2026-08-05 · 7 分钟 · 3449 字 ·