# cmb

**Repository Path**: wang_hua_2019/cmb

## Basic Information

- **Project Name**: cmb
- **Description**: 基于MindSpore实现Qwen等训、推一体化工程应用
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 6
- **Created**: 2025-03-27
- **Last Updated**: 2025-09-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 一、介绍

大模型随着2022年ChatGPT的出现迎来了爆发，经过几年的发展，大模型在训练/推理/评测方面正逐步完善，但当前各模块或套件相对独立，在实际生产过程中效率不足，为了提高生产效率招商银行AI实验室联合华为MindSpore社区实现Qwen系列模型训推全流程套件，便于开发者开箱即用。如您想对MindSpore有进一步了解，可查阅[MindSpore官网](https://www.mindspore.cn)
官网教程使用。

目录结构说明：

- [套件补丁](patch)
- [配置文件](configs)
- [权重转换](convert_weight)
- [数据处理](dataset_process)
- [镜像](dockerfiles)
- [文档插图](docs)
- [基于aisbench评测](eval)
- [套件补丁](patch)
- [服务化推理部署(vllm+MindSpore)](predict)
- [强化学习](rlhf)
- [训练](train)

支持模型列表：

| **模型名** |           **模型参数**           |          **预训练**           |           **微调**           |            **强化学习（GRPO）** |          **服务化部署**           |          **评测**           
  |:-------:|:----------------------------:|:--------------------------:|:--------------------------:|--------------------------:|:----------------------------:|:-------------------------:|
| Qwen2.5 | [0.5b](configs/qwen2_5/0_5b) | [✓](train/README.md) | [✓](train/README.md) |                  ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 | [1.5b](configs/qwen2_5/1_5b) | [✓](train/README.md) | [✓](train/README.md) |                  ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |   [3b](configs/qwen2_5/3b)   | [✓](train/README.md) | [✓](train/README.md) |                  ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |   [7b](configs/qwen2_5/7b)   | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |  [14b](configs/qwen2_5/14b)  | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |  [32b](configs/qwen2_5/32b)  | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |  [72b](configs/qwen2_5/72b)  | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |
|  Qwen3  |  [0.6b](configs/qwen3/0_6b)  | [✓](train/README.md) | [✓](train/README.md) |                  ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
|  Qwen3  |  [1.7](configs/qwen3/1_7b)   | [✓](train/README.md) | [✓](train/README.md) |                  ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
|  Qwen3  |    [4b](configs/qwen3/4b)    | [✓](train/README.md) | [✓](train/README.md) |                  ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
|  Qwen3  |    [8b](configs/qwen3/8b)    | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |
|  Qwen3  |   [14b](configs/qwen3/14b)   | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |
|  Qwen3  |   [32b](configs/qwen3/32b)   | [✓](train/README.md) | [✓](train/README.md) | [✓](rlhf/README.md) | [✓](predict/README.md) | [✓](eval/README.md) |

## 二、版本说明

|         **组件**         |                  **版本及下载链接**                  |
  |:----------------------:|:---------------------------------------------:|
|       MindSpore        |    [2.6.0](dockerfiles/dockerfile_unified)    |
| MindSpore Transformers |     [1.5](dockerfiles/dockerfile_unified)     |
|          vllm          | [0.6.6.post1](dockerfiles/dockerfile_unified) |
|     vllm_mindspore     |   [0.1-opt](dockerfiles/dockerfile_unified)   |
|     MindSpore RLHF     |     [dev](dockerfiles/dockerfile_unified)     |
|          CANN          |   [8.1.RC1](dockerfiles/dockerfile_unified)   |
|          HDK           |                    23.0.3                     |

## 三、环境准备

为更加方便环境安装，该项目提供dockerfile文件，可根据自身需求使用dockerfile文件制作镜像。

|     **镜像分类**      |         **文件链接**          |
  |:-----------------:|:-------------------------:|
| 训练/推理/强化学习/评测统一镜像 | [dockerfile](dockerfiles) |

```text
注意：
1) 使用dockerfile文件制作时，依赖互联网下载并安装依赖包
2) dockerfile默认设备为arm架构
```

## 四、使用教程

|             **类别**             |         **说明**          |
|:------------------------------:|:-----------------------:|
|     [预训练](train/README.md)     |       在MA平台上进行预训练       |
|     [微调](train/README.md)      |       全参与lora微调训练       |
|     [强化学习](rlhf/README.md)     |         强化学习训练          |
| [vllm服务化部署](predict/README.md) | 基于vLLM+MindSpore进行服务化部署 |
|      [评测](eval/README.md)      |    基于aisbench进行评测的文档    |

## 五、FAQ

MindSpore是华为自研的深度学习框架，原生支持多维混合分布式并行能力及兼容AI4S融合计算框架，当前AI发展速度迅速，MindSpore社区也在不断完善中，
如果您在使用过程中，遇到**问题**或有**好的建议**，欢迎您直接告诉[**我们**](https://gitee.com/mindspore/mindspore/issues)
，我们期待与您共建易用、好用的MindSpore社区。