你好像没有直接回答我的问题:用你们的220、270卡推理的模型是否必须是所有的卷积层和全连接层被量化才可以?
您好,模型的量化主要是对卷积层和全连接层进行int8或int16的量化,其他算子不进行量化。为了保证精度,可以设置输入数据的类型为float32,则除了量化层,其余中间结果都是该数据类型。
请登录后评论