Tag: #Mathematics
All the articles with the tag "#Mathematics" (1 post).
-
大模型注意力机制与上下文压缩的数学基础
Posted on: · 2 min read从线性代数与信息论视角,严格推导 Scaled Dot-Product Attention 以及上下文窗口压缩的数学理论与算法实现。
All the articles with the tag "#Mathematics" (1 post).
从线性代数与信息论视角,严格推导 Scaled Dot-Product Attention 以及上下文窗口压缩的数学理论与算法实现。