MLU220支持的精度类型有哪些?支持FP16吗?
220只有4个推理核,如果单路推理的时候就已经把核利用率占满,多路推理也不会有明显的性能提升。对于这种情况,一般通过优化模型本身性能提升推理性能,比如对模型进行int8+fp16量化,打开firstconv功能等。
请登录后评论