通常来说单batch时延性能会更好;4batch吞吐性能会更优,具体哪种更合适取决于应用场景需求。
您好,这种情况下您需要根据实际所使用的模型进行测试,不同模型的最佳batch_size数并不相同;如果最后不足4帧,可以通过补0的方式补全形状。
请登录后评论