架构消融实验
文章插图
表 3：Transformer vs TransNormerLLM 。在相同的配置下 ， 当模型参数数量为 385M 和 1B 时 ， TransNormerLLM 的性能比 Transformer 分别好 5% 和 9% 。
文章插图
表 4：TransNormer vs TransNormerLLM 。TransNormerLLM 的实验结果是最好的 。
文章插图
表 5：位置编码组合使用 LRPE+LRPE-d 得到的结果最优 。
文章插图
表 6：衰减温度方面的消融实验结果 。结果表明新方法更优 。
文章插图
表 7：门控机制方面的消融实验结果 。使用该门控机制的模型表现更好 。
文章插图
表 8：GLA 激活函数的消融实验结果 。用不同激活函数得到结果差不多 。
文章插图
表 9：GLU 激活函数的消融实验结果 。去除激活函数对结果没有负面影响 。
文章插图
表 10：归一化函数 。使用以下归一化函数的结果差异不大 。
【首个线性注意力Transformer大模型：1750亿参数，速度、精度更优】
文章插图
图 3：对 SRMSNorm 实现的性能评估
文章插图
图 4：线性注意力和闪电注意力之间的内存和速度比较
文章插图
图 5：推理时间和内存占用情况
系统优化
文章插图
表 11：模型并行性性能
文章插图
表 12：训练不同大小的模型的效率
文章插图
表 13：训练 Transformer 和 TransNormerLLM 的最大上下文长度
推荐阅读
![[咖门红]新湖期货郑州：“妖糖”的走势与操作分析](https://imgcdn.toutiaoyule.com/20200428/20200428084015539633a_t.jpeg)
- 上课注意力不集中的原因及解决办法
- 如何吸引女生注意力 如何吸引女生注意力的方法
- 如何提高注意力集中精力 如何提高注意力集中精力
- 胡歌|历时18年！胡歌拿下人生中首个影帝，完美完成了流量到实力派的转变
- 怎么锻炼记忆力和注意力
- 怎么锻炼注意力
- 注意力与意志力
- 世界首个人造心脏是谁发明的 世界首个人造心脏
- 全球首个！5G异网漫游是什么，如何使用？
- 张翰|Selina怀孕后首个母亲节，与妈妈妹妹庆祝，大方露出腿部烧伤疤痕