Qwen3-8B 稀疏模型联合验证

SparseMind 与新华三围绕 Qwen3-8B 开展结构化稀疏训练和硬件适配。新华三提供工程支持与八张 H20 测试环境。

模型质量

2:4 半结构化稀疏在选定权重矩阵中每四个位置保留两个。训练后的稀疏模型在留出集上的困惑度为 11.00，原始 Qwen3-8B 参考值为 14.21。评估包含 1,047,552 个预测目标，模型经过 6,000 次更新。困惑度越低，文本预测表现越好；这一变化包含适配、稀疏化和训练的共同影响。

权重存储与部署

在报告采用的 FP16/BF16 合格权重矩阵口径下，包含位置元数据的 2:4 压缩格式占稠密存储的 56.25%，计算得到的节约为 43.75%。完整模型、缓存、算子、批量和工作负载的资源占用需要另行测量。

量化可与稀疏化结合，但具体方案仍需依据模型质量和目标硬件支持进行验证。团队计划继续评估显存、吞吐、时延、能耗和部署条件。

后续工作

团队将继续验证可复用的模型和部署配置，并研究向 27B 级模型扩展。27B 扩展及系统级速度和能耗收益均属于后续验证工作。