Tag: #mHC
All the articles with the tag "#mHC" (1 post).
-
DeepSeek-V4 技术架构与高效百万上下文推理工程评估报告
Posted on: · 10 min read深入剖析 DeepSeek-V4 (1.6T MoE / 49B 激活) 的底层系统架构：CSA/HCA/SWA 三阶混合注意力、流形约束超连接 (mHC)、Birkhoff 多面体双随机残差与 Muon 优化器在 1M 上下文下的工程实现。
All the articles with the tag "#mHC" (1 post).
深入剖析 DeepSeek-V4 (1.6T MoE / 49B 激活) 的底层系统架构：CSA/HCA/SWA 三阶混合注意力、流形约束超连接 (mHC)、Birkhoff 多面体双随机残差与 Muon 优化器在 1M 上下文下的工程实现。