📄️ resnet18 并行推理
线程安全的本地推理
📄️ 计算后端
在深度学习的服务中，如果仅支持模型加速远远不够。为此，我们内置了一些常用的细粒度后端。
📄️ Sequential
Sequential 能串联多个后端。 也就是说，Sequential[DecodeTensor,ResizeTensor,cvtColorTensor,SyncTensor] 和 Sequential[DecodeMat,ResizeMat] 是有效后端。
📄️ 自定义后端
我们发现业务中的一大麻烦是，预置的后端（计算后端/调度后端/RPC后端/跨进程后端...）无法覆盖需求。通常来说，后端的扩展并非使用者的任务，而是库开发者的任务。torchpipe秉持着不同的思路，认为后端本身也与前端同为面向使用者的API. 为此，后端必须设计的足够简单。参照gstreamer，ffmpeg等框架的设计，面向现代化的c++和python， torchpipe 希望后端：
🗃️ 后端API 参考文档
3 个项目
📄️ 单节点调度系统
输入数据经由默认的单节点调度系统BaselineSchedule分发给计算后端执行。在此过程中主要经历了凑batch和多实例的调度。