可以有多种方式去定位这个问题,比如:先对json进行分段,先看前面部分性能情况:
只保留解码模块,看下解码性能
解码没问题,接上推理插件,看下解码+推理的性能(建议测试下纯模型的推理性能)
解码+推理性能满足预期在接后面的插件
按照上述方法,大概可以分析出影响整体性能的节点,在进行单模块性能调整。
另:
先期可以不需要调整parallelism、max_input_queue_size 等参数,先定位问题,在找优化方法。
最新的版本 v6.3.0,需要可以更新到最新版本。
详细的优化参数 可参看 Cambricon-CNStream-User-Guide-CN-v6.3.0.pdf 文档。
请登录后评论