1)内存占用主要是指运行时所使用的栈空间的内存,跟中间数据规模有关。模型本身的大小是指令+权值,这两个size不是一回事。 2)infer这个插件比较特殊,是client/server模式,parallelism表示有几个client,就是有几个线程去喂数据,engine_num表示有几个server,就是几个真正推理的线程在执行forward操作。使用的设备内存跟engine_num有关,跟parallelism无关展开
好的,可是 X模型明明比m模型要大得多呀。 1.内存的占用和模型本身的大小是相关的吗? 2.这里说的跑四个yolov5m模型是哪个参数中设定的? "engine_num" "parallelism"展开
请登录后评论