阿里巴巴|512颗GPU、10万亿参数！阿里达摩院发布全球最大AI预训练模型
11月8日，阿里巴巴达摩院公布了多模态大模型“M6”的最新进展，其参数已从万亿跃迁至10万亿，成为全球最大的AI预训练模型 。
作为通用性AI大模型，M6拥有多模态、多任务能力，尤其擅长设计、写作、问答，在电商、制造业、文学艺术、科学研究等领域有广泛应用前景 。
与传统AI相比，大模型拥有成百上千倍“神经元”数量，认知和创造能力也更胜一筹，被普遍认为是未来的“基础模型” 。
但是，大模型的算力成本相当高昂，比如训练1750亿参数语言大模型GPT-3所需能耗，能让一辆汽车在地月之间往返一趟 。
今年5月，通过专家并行策略及优化技术，达摩院M6团队将万亿模型能耗降低超过80％，效率提升近11倍 。
10月，M6再次突破业界极限，使用512颗GPU，在10天内就训练出了具有可用水平的10万亿模型，相比去年发布的大模型GPT-3，M6实现了同等参数规模，能耗却只有1％ 。
文章图片
另一方面，AI大模型扩展到千亿及以上参数的超大规模时，很难放在一台机器上，为此达摩院在阿里云PAI自研Whale框架上搭建了MoE模型，并通过更细粒度的CPU offload技术，最终实现将10万亿参数放进512张GPU：
自研Whale框架：
自研Whale分布式深度学习训练框架，针对数据并行、模型并行、流水并行、混合并行等多种并行模型进行了统一架构设计，让用户在仅仅添加几行API调用的情况下就可以实现丰富的分布式并行策略 。
MoE专家并行策略：
在Whale架构中实现Mixture-of-Experts（MoE）专家并行策略，在扩展模型容量、提升模型效果的基础上，不显著增加运算FLOPs（每秒所执行的浮点运算次数），从而实现高效训练大规模模型的目的 。
【阿里巴巴|512颗GPU、10万亿参数！阿里达摩院发布全球最大AI预训练模型】CPU offload创新技术：
在自研的分布式框架Whale中通过更细粒度的CPU offload，解决了有限资源放下极限规模的难题，并通过灵活地选择offload的模型层，进一步地提高GPU利用率 。
此外，针对训练效率问题，M6团队设计了Pseudo-to-Real（共享解除）机制，即利用训练好的共享参数模型初始化大模型，让收敛效率进一步提升7倍，解决大模型训练速度慢的问题 。
对比不使用该机制，预训练达到同样loss用时仅需6％；和此前万亿模型相比，训练样本量仅需40％ 。
文章图片
作为国内首个商业化落地的多模态大模型，M6已在超40个场景中应用，日调用量上亿 。
今年，大模型首次支持双11，应用包括但不限于：
－ M6在犀牛智造为品牌设计的服饰已在淘宝上线；
－ 凭借流畅的写作能力，M6正为天猫虚拟主播创作剧本；
－ 依靠多模态理解能力，M6正在增进淘宝、支付宝等平台的搜索及内容认知精度 。
文章图片
M6设计的飞行汽车
未来，M6将积极探索与科学应用的结合，通过AI for science让大模型的潜力充分发挥，并加强M6与国产芯片的软硬一体化研究 。
目前，达摩院联合阿里云已推出M6服务化平台，为大模型训练及应用提供完备工具，首次让大模型实现“开箱即用”，算法人员及普通用户均可方便地使用平台 。
推荐阅读
- 阿里巴巴|阿里又一款APP被阉割：旺旺群聊月底关停下线
- AMD|比AMD/NV抢先上5nm 国产GPU厂商沐曦：自主设计架构
- 阿里巴巴|买家注意了：阿里旺旺群聊服务2月底将正式下线
- Intel|Intel超级GPU计算卡太恐怖了！63个小芯片合体、600W功耗
- NVIDIA|硬件追上GTX 1050 国产GPU公司景嘉微：JM9系列后续持续优化
- Intel|Intel GPU核显大升级 消息称16代酷睿直接上台积电2nm工艺
- AMD|出走8年老将从AMD回归！Intel GPU取经路能否“通关”
- 阿里巴巴|东数西算全面爆火 概念股大面积涨停 阿里、腾讯、字节、快手已大规模部署
- 国产|打造出国产7nm GPU！壁仞科技迎一员大将：原NVDIA高管杨超源入职
- AMD|Intel这是要掏空AMD！挖走独立GPU首席SoC架构师