江苏龙网

  1. 主页 > 生活百科 > >

一代深度学习框架研究( 五 )

深度学习框架


一代深度学习框架研究

文章插图
图7 MindSpore端云协同框架
MindSpore端云协同框架整合了云侧框架和端侧框架，并打通了自动模型生成、模型压缩、编译优化和端侧学习的全流程 。
● MindSpore提供了神经架构搜索（neural architecture search，NAS）能力，用于自动化生成模型，构建模型库 。
● MindSpore模型压缩模块用于对模型库中的模型进行剪枝和量化 。
● MindSpore提供了编译优化能力，用于转换和优化模型，并通过神经处理单元（neural-network processing unit，NPU）、图形处理单元（graphics processing unit，GPU）等加速算子执行 。
注：以上数据基于华为云AI开发平台ModelArts测试获得，是训练过程整体下沉至Ascend 910 AI处理器执行所得的平均性能 。
注：以上数据基于华为云AI开发平台ModelArts测试获得，其中网络包含24个隐藏层，句长为128个token，字典表包含21 128个token 。
MindSpore端云协同框架具有以下特性 。
● 快速多处部署 。在实际场景中，模型需要快速适配不同机型硬件 。通过神经架构搜索技术构建多元化的模型库，适配多种机型 。针对特定应用场景，从模型库中搜索满足性能约束的模型，拿来即用，无须重新训练 。
● 全栈性能优化 。结合神经架构搜索、模型压缩（剪枝、蒸馏、量化）、编译优化（算子融合、常量折叠、硬件加速）等手段优化模型精度、大小、时延，追求极致性能 。
● 灵活并且易用 。支持多种策略组合使用，如模型生成、模型压缩和编译优化可以灵活组合；打通云到端全流程，集中管理全流程策略和配置，方便使用 。
● 多种学习形态 。MindSpore端云协同框架逐步支持多种学习形态，例如支持当前业界常用的端侧推理形态，并逐步支持迁移学习、联合学习等需要端侧训练能力的高级学习形态，满足开发者各种各样的场景需求 。
5 结束语深度学习现已成为人工智能发展重要的方向之一，已经深刻地改变了诸多应用领域，其中广为人知的领域包括自动语音识别、图像识别、自然语言理解以及很多其他交叉领域（如医疗、生物、金融等），并将在越来越多的领域取得成功 。本文通过研究人工智能发展历史认识到深度学习的价值和影响力，介绍了新一代深度学习框架MindSpore的框架、技术开发思路和性能优势，希望可以为深度学习技术研究人员提供参考 。
致谢
感谢整个华为MindSpore团队的贡献 。MindSpore已开源，可在相关网站下载 。
 
联系我们:
Tel:010-81055448
010-81055490
010-81055534
E-mail:bdr@bjxintong.com.cn
http://www.infocomm-journal.com/bdr
http://www.j-bigdataresearch.com.cn/
转载、合作：010-81055537
 
大数据期刊
《大数据（Big Data Research，BDR）》双月刊是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的期刊，已成功入选中文科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊，并被评为2018年国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊 。
关注《大数据》期刊微信公众号，获取更多内容




推荐阅读


上一篇：龙井有什么果香,喝西湖龙井茶有什么好处

下一篇：六安瓜片是什么茶,笑堂六安瓜片有什么养生功效