The vLLM-MetaX backend plugin for vLLM.
小智 AI 聊天机器人 (XiaoZhi AI Chatbot) 小智国内同步镜像
Omni_Infer is a suite of inference accelerators designed for the Ascend NPU platform, offering native support and an expanding feature set.
MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件: 提供业内主流的Transformer类预训练模型, 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。
算子公共平台,南向对接不同组织开发的算子库,北向支撑不同加速库应用,实现M x N算子能力复用
DeepSparkInference推理模型示例库甄选了216个推理大小模型示例,小模型涵盖计算机视觉,自然语言处理,语音识别等领域;大模型涉及vLLM,TGI等多种框架,并将持续扩展更多、更新的模型示例。
PaddleDetection的目的是为工业界和学术界提供丰富、易用的目标检测模型
MindScience is scientific computing kits for various industries based on the converged MindSpore framework.
Tengine is a lite, high performance, modular inference engine for embedded device