欢迎查看 torchpipe 文档！

torchpipe是一个独立作用于底层加速库（如tensorrt，opencv, CVCUDA，torchscript）以及 RPC（如thrift, gRPC）之间的多实例流水线并行库。在满足时延前提下最大限度挖掘服务吞吐能力。

torchpipe 对外提供面向 PyTorch 前端的线程安全函数接口，对内则提供面向用户的细粒度后端扩展。