MLU2XX是FP32/FP16+INT16/INT8混合精度的,可以各种组合试试看,分通道量化也是个办法,但估计会影响性能吧。其实网上还有一些其他的量化算法,可以自己找个参考实现照猫画虎的集成到寒武纪的caffe量化工具里,反正寒武纪caffe的代码是开放的。
请登录后评论