Skip to main content

欢迎查看 torchpipe 文档！

torchpipe是一个独立作用于底层加速库（如tensorrt，opencv, CVCUDA，torchscript）以及 RPC（如thrift, gRPC）之间的多实例流水线并行库。在满足时延前提下最大限度挖掘服务吞吐能力。

整个方案集并发安全和全链路流水线调度等特点于一身，支持 NVIDIA 硬件平台, 兼顾了开发效率与性能提速的特点。

torchpipe 对外提供面向 PyTorch 前端的线程安全函数接口，对内则提供面向用户的细粒度后端扩展。

随着 torchpipe 官方版本及文档的更新，文档也会不断调整，你可以：

  • 学习 torchpipe 文档，快速上手 torchpipe 框架
  • 参与开源共建、追踪文档更新，成为 torchpipe 文档贡献者
  • 加入 torchpipe 社区、结识同行并参与更多讨论及交流

现在，让我们开启 torchpipe 官方文档的学习之旅吧！