AI基础软件：如何自主构建大+小模型？( 二 ) _AI

如果现有的 Benchmark 无法涵盖模型的能力，可以基于 AIFS 构建自己的任务或 Benchmark 进行自定义评估。评估完成后，将模型部署到 LMS 中，进行模型的部署和推理。首先，可能需要对模型进行压缩，如量化剪枝、蒸馏转换等操作。模型压缩完成后，进行部署，支持单机单卡和单机多卡的部署方式。
模型上线后，需要进行模型服务的上线，使用 Prompt Manager 进行模型应用。
1、LMB（Large Model Builder）

文章插图
LMB（Large Model Builder）是一款专为 AI 工程师打造的大规模预训练模型训练工具，旨在帮助他们快速构建训练流程并实现高效稳定的大模型训练。该工具包括数据准备、分布式训练、断点重训、任务监控、模型评估几个主要模块。
通过这些模块，LMB可以有效地帮助 AI 工程师在大规模预训练过程中快速构建训练流程，并实现高效稳定的大模型训练。

文章插图
LMB的功能架构从下到上分为几个层次。首先是 GPU Cloud，这是 AIFS 人工智能平台的最后一层，也是抹平基础设施的关键组件。在 GPU Cloud 之上，实现了一层分布式任务调度，包括异构算力的统一管理和调度、资源编排、环境分发、任务分发以及任务监控等功能。再往上，有一键式分布式训练环境，支持多种流行的分布式训练环境预置，如 DeepSpeed、Megatron 和 FSDP 等。
此外，LMB还提供了多种并行方式、梯度累积、混合精度等高效策略，涵盖了包括断点、重新启动等功能。可视化的 FromScratch 界面，让用户能够轻松构建自己的大模型。无论是业务人员还是工程开发人员，都可以通过这个界面选择所需的模型、数据，以及高级或简洁模式等参数，进行训练。训练成功后，用户还可以通过可视化评估功能对模型进行评估。
2、LMT（Large Model Tuning）

文章插图
LMT，即Large Model Tuning，大模型微调工具，主要帮助 AI 工程师在预训练模型的基础上进行模型的继续训练、微调和评估等工作。通过可视化界面，用户可以设定私域数据、预训练模型以及相应的训练参数，进行记忆训练，并且可以选择性扩充词表，避免灾难性遗忘，提高模型推理精度。
在模型微调方面，LMT 支持专家模式进行设计，同时也提供简洁模式。通过专家模式，用户可以实现一键式的高效 PEF指令微调，包括 LoRA 等多种PEFF 方法以及可视化的 RLHF 训练。
对于模型评估，LMT 支持开源的 Benchmark 自动评估，用户也可以进行自定义评估。用户按照平台规范构建数据集，设定评估方法，就可以进行一些自定义评估。同时，用户也可以手动进行专家评估。最后，LMT 可以将自定义模型和开源模型进行对比，生成一个评估效果的 LeaderBoard 。
简而言之，LMT可以为整个大模型调整流程提供支持，从数据准备到继续训练，到指令精调，再到人工对齐、RLHF，最终生成一个 final model 。

文章插图
LMT与LMB 有相似的底层架构，比如 GPU Cloud 。与 LMB相比，PEFT 在进行指令微调时的资源需求没有那么高，但它仍然需要一些强大的硬件设施，因此在底层也需要有一个 GPU Cloud 这样的算力支持，来平衡技术设施的投入成本。
再往上的架构与 LMB 相似，提供了一个一键式分布式训练环境，包括DeepSpeed、Megatron、MosaicML等多种分布式训练环境，以及图优化、梯度累积等关键要素。
在这个架构中，入口是数据管理，包括数据标注和 SFT 数据增强。例如，企业客户安装了 LMT 后，可以管理私域数据，并基于这些数据进行 SFT 数据增强。SFT 数据增强有很多方式，比如使用我们的 self instruct 工具进行数据蒸馏，以获得更好的模型。
现在，许多开源的大型模型都是基于英文的，有些可能会支持多语言，但中文的支持相对较少，因此需要对这些模型进行词表扩充。我们的词表扩充有两种方式：一种是在改变 embedding 层后再进行 PFT训练，第二种是使用中英平衡数据进行全量微调。
在完成训练后，可以进行 SFT，可以通过全量微调或 PEFT 微调来实现。在进行人工对齐（如 RLHF）之前，需要先训练出奖励模型，再通过奖励模型训练 SFT 模型，以获得最终的模型。在整个训练过程中，会输出一个 train revert 报告，以帮助大家了解奖励模型在训练 SFT 过程中的表现。