# cann-var-sequence-gemm

**Repository Path**: xiao--hai/cann-var-sequence-gemm

## Basic Information

- **Project Name**: cann-var-sequence-gemm
- **Description**: 基于昇腾CANN异构计算架构，使用Ascend C进行不同长度序列下LLMs推理中GEMM优化算法研究及优化实现。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 6
- **Created**: 2025-03-26
- **Last Updated**: 2025-03-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# cann-var-sequence-gemm

#### 介绍
基于昇腾CANN异构计算架构，使用Ascend C进行不同长度序列下LLMs推理中GEMM优化算法研究及优化实现。

#### 软件架构
软件架构说明


#### 安装教程

1.  安装CANN环境
2.  安装python运行环境

#### 使用说明

##### 1 BatchGemm
用于测试性能
**编译指令**
cd ./test/BatchGemm
./batchgemm_make.sh
**数据生成（zeroPaddingMNK为零填充后数据维度）**
python3 test_gen_data.py 0 0 zeroPaddingM zeroPaddingN zeroPaddingK batchCount
**执行+验证**
./batchgemm 0 0 zeroPaddingM zeroPaddingN zeroPaddingK batchCount


##### 2 LLMsGEMM_batch_QKT、LLMsGEMM_batch_QKTV、LLMsGEMM_batch_QKTVP（以batch QKT任务为例）
**编译指令**
cd ./test/LLMsGEMM_batch_QKT
./make
**数据生成（zeroPaddingMNK为零填充后数据维度）**
python3 test_gen_data.py 0 0 zeroPaddingM zeroPaddingN zeroPaddingK batchCount
**执行+验证**
./LLMsGEMM_batch_QKT 0 0 zeroPaddingM zeroPaddingN zeroPaddingK batchCount

##### 3 LLMsGEMM_whole_task（串连运行任务）
**编译指令**
./make
**数据生成（需要3个值生成测试矩阵数据维度）**
python3 whole_gen_data.py M N K batchCount
**执行+验证**
./LLMsGEMM_whole_task_main M N K batchCount

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)