原生稀疏训练
从稀疏网络开始训练，同时调整连接和权重。
原创技术
学习网络连接
CHT 利用网络结构信息，在训练中调整连接。
神经连接
已有结构共同激活
01
连接增强
共同激活的神经元之间，连接可能增强。
已有模型的稀疏适配
对现有模型进行稀疏训练和适配。公开的 Qwen 模型采用这一方式。
脑启发学习
神经连接与
稀疏学习
CHT 将脑网络中的连接规律应用于神经网络训练。
Cannistraci–Hebb Training（CHT）由清华大学 Carlo Vittorio Cannistraci 教授及团队提出。训练过程中，CHT 利用网络结构信息指导连接再生。
CHT 在训练中更新网络连接，并针对具体模型和任务进行评估。
研究论文
研究涵盖网络结构、动态稀疏训练与硬件效率。
NeurIPS 2026NeurIPS 2026ICLR 2024NeurIPS 2025NeurIPS 2025PMLR 2026
面向卷积神经网络的通道级动态稀疏训练
Cannistraci-Hebb Channel-wise Dynamic Sparse Training of Convolutional Neural Networks with Contextual Modulation，海报论文。
面向硬件高效深度学习的半结构化动态稀疏训练
SCHTs: A Semi-Structured Dynamic Sparse Training Framework for Hardware-Efficient Deep Learning，海报论文。
超稀疏网络中的结构智能
Yingtao Zhang 等 · 探索连接组织和学习能力的关系。
从脑网络科学到 Transformer 与 LLM
Yingtao Zhang 等 · 通过柔性连接采样和渐进密度变化，扩展动态稀疏训练。
自适应 Cannistraci–Hebb 网络自动机
Jialin Zhao 等 · 自适应拓扑规则与复杂网络连接预测。
连接 CHT 与 N:M 半结构化稀疏
Jiaqing Lyu 等 · CHTs24 与稀疏重训练，推进硬件友好的 2:4 格式。
研究与应用
稀疏模型与芯片的联合评估
1B 模型、1:4 稀疏：同平台编译估算输入吞吐达 2.67 倍。
编译级验证阅读
Qwen3-8B 稀疏模型联合验证
指定 Qwen3-8B 训练实验达到 11.00 PPL；结果体现适配、稀疏化与训练的共同影响。
模型级验证阅读
GaN 器件的物理约束与稀疏建模
把物理约束与稀疏学习结合，探索 GaN 器件智能仿真的新路径。
研发与验证目标阅读
联系我们
了解研究或探讨合作，请联系我们。
联系 SparseMind