Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

Xinference provides a restful client for managing and accessing models programmatically.

xllamacpp - a Python wrapper of llama.cpp

Scalable Python DS & ML, in an API compatible & lightning fast way.

Python actor framework for heterogeneous computing.