# model_baseline

**Repository Path**: rmch/model_baseline

## Basic Information

- **Project Name**: model_baseline
- **Description**: model_baseline
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-22
- **Last Updated**: 2024-08-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# model_baseline

## OpenSora1.1 基线介绍
需要按照OpenSora1.1中的README.md安装环境，模型预训练权重、数据集位置均在群里有

- penSora模型分为3部分，vae、T5、STDiT2，vae和T5均只有前向推理，推理出来的数据送给STDiT训练，因此模型主体部分为STDiT。
- 1个step统计耗时，vae耗时大约141ms，T5大约60ms，STDiT2大约1450ms。

当前基于路线3跑通基线，精度正确。
```
bash test/train_full_1p_opensorav1_1_vae.sh --data_path=/path/to/0428_captions.csv
bash test/train_full_1p_opensorav1_1_t5.sh --data_path=/path/to/0428_captions.csv
bash test/train_full_1p_opensorav1_1_stdit2.sh --data_path=/path/to/0428_captions.csv
```

修改部分：
- 1、 增加耗时统计
- 2、增加图模式相比eager模式精度对比
- 3、将原始模型分别裁剪为3部分，分别走torch.compile编译
- 4、固定shape测试精度和性能，动态shape后续支持后再测试

具体修改部分在
```
OpenSora1.1/scripts/train_vae.py
OpenSora1.1/scripts/train_t5.py
OpenSora1.1/scripts/train_stdit2.py
```

## LLama3基线介绍

1、安装llama3-recipes和transformers，已打patch在llama3目录下，直接安装即可。

llama3-recipes从主线拉取，commit id为d3d2cadc，是官方llama3微调仓库

transformers是v4.42.4版本

llama3-recipes依赖transformers，本仓库对transformers进行了NPU适配和性能优化，具体可参考transformers.patch

2、执行脚本为

```python
cd llama-recipes/recipes/quickstart/finetuning
torchrun --nnodes 1 --nproc_per_node 8  finetuning.py --enable_fsdp --model_name /path_of_model_folder/8B --dist_checkpoint_root_folder model_checkpoints --dist_checkpoint_folder fine-tuned --fsdp_config.pure_bf16 --use_fast_kernels
```

在finetuning.py默认开启了路径3图模式，如果有需要自行关闭

模型权重可以自行下载或群里获取