Omni_Infer is a suite of inference accelerators designed for the Ascend NPU platform, offering native support and an expanding feature set.
MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件: 提供业内主流的Transformer类预训练模型, 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。
ascendc-api-adv,是昇腾硬件上面向算子开发场景的编程语言Ascend C的高阶类库。
PaddleDetection的目的是为工业界和学术界提供丰富、易用的目标检测模型
cann-ops,是基于昇腾硬件的基础算子库,同时接受外部基础算子贡献。
A KVCache-centric Disaggregated Architecture for LLM Serving
The vLLM-MetaX backend plugin for vLLM.
本仓库仅作为 flagtree 项目 github 仓库的镜像版本,FlagTree 团队根据生态惯例、项目管理等实际情况综合研判,暂不开放本 gitee 仓库的 issue、pull request等功能,如有需求请移步 https://github.com/FlagTree/flagtree 进行提交,同时感谢您对 FlagTree 生态/项目的关心与支持。
欢迎参加 GPU 算子优化挑战赛 🎯!
本比赛旨在通过优化深度学习框架中的核心计算模块,提升大模型的运行效率。在本仓库中,你可以提交你的优化代码、测试样例和使用说明。