请问是#define CNNL_QUANTIZE_POSITION_SCALE_OFFSET 么?我在文档中没找到说需要设置 这个宏变量。不过,我还是先去尝试下。展开
请问是#define CNNL_QUANTIZE_POSITION_SCALE_OFFSET 么?我在文档中没找到说需要设置 这个宏变量。不过,我还是先去尝试下。展开
1、设置CNNL_QUANTIZE_POSITION_SCALE_OFFSET的是quantizeparam接口,是在线求量化参数的算子用的。
得到的量化参数在device memory上,不能用cpu的cnnlSetTensorDescriptorPositionScaleAndOffset来设置
2、如果是已有量化参数,直接调用cnnlSetTensorDescriptorPositionScaleAndOffset接口设到tensor里,如果conv的计算接口是cnnlconvolutionforward,offset非0就进行非对称量化了,如果是cnnlconvolutionforwardinference,接口上有个castmode,也需要设置成非对称量化
请登录后评论