Skip to main content

快速上手

本章节在为刚接触 torchpipe 项目的用户提供快速上手的方法。看完本教程后，新用户应该能够快速上手使用 torchpipe 来优化加速模型部署方案。

📄️ 初阶版--小试牛刀

torchpipe是为工业界所准备的一个独立作用于底层加速库（如tensorrt，opencv，torchscript）以及 RPC（如thrift, gRPC）之间的多实例流水线并行库，助力使用者能在部署阶段节约更多的硬件资源，帮助产品应用落地。此教程主要针对初级用户，即对于加速相关的理论知识处于入门阶段，具有一定的 Python基础，能够阅读简单代码的用户。此内容主要包括使用torchpipe进行服务部署加速的使用方法、性能和效果差异对比等。本文档的完整代码见可详见resnet50thrift。