Skip to main content

常见问题排查

以下是用户在使用Torchpipe时可能遇到的问题以及相应的解决方案。

TensorrtTensor

模型初始化速度过慢
  • 使用模型cache

    转好的模型可缓存到本地,当 model::cache存在时,直接加载此模型,否则加载 model 指定的模型,并将 生成的模型保存在 model::cache 指定的路径中:

    [model]
    backend="SyncTensor[TensorrtTensor]"
    model="a.onnx.encrypted"
    "model::cache"="a.trt.encrypted"
  • 预先针对常用的卡保存缓存模型,使用多个配置去处理不同种类的卡:

+--------------+---------------+-------------------------+
| config file | key | value |
+==============+===============+=========================+
| | | |
| 2080ti.toml | model | a.2080ti.trt.encrypted |
+--------------+---------------+-------------------------+
| t4.toml | model | a.t4.trt.encrypted |
+--------------+---------------+-------------------------+
| others.toml | model | a.onnx.encrypted |
+--------------+---------------+-------------------------+
提示

使用内置加解密功能,需要在编译torchpipe时指定IPIPE_KEY.