×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

如何运行多输入的ONNX模型? 已完结 胡汉三2022-11-03 16:49:41 回复 3 查看 技术答疑
如何运行多输入的ONNX模型?
分享到:

最近拿到了实验室的一块370的卡,想和A10对比下性能测试.

比如bert 模型,输入有: input_ids,attention_mask,token_type_ids,如下图:

     image.png

通过NV 可以直接运行测试,很容易:

trtexec --onnx=/workspace/bert- .onnx --shapes=input_ids:1x128,attention_mask:1x128,token_type_ids:1x128 --fp16 --iterations=20 --duration=20


通过magicmind 应该如何运行呢?研究了下都不是很清楚。benchmark的guide 也都是单输入的rn50这种模型,求大神指导~~

版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭