您好,在使用MLU220/270推理时,默认精度为输入模型的首层精度,如果您需要调整模型的输入精度,需要自行添加数据类型转换算子,可参考“Utility — CNRT Developer Guide 4.10.0 documentation (cambricon.com)”展开
您好,在使用MLU220/270推理时,默认精度为输入模型的首层精度,如果您需要调整模型的输入精度,需要自行添加数据类型转换算子,可参考“Utility — CNRT Developer Guide 4.10.0 documentation (cambricon.com)”展开
这是转换后的cambricon_twins文件内容,对于Input #1.这种输入层,按您所说就是使用
cnrtConvertFloatToHalf将float数据转成这层所需的fp16类型对吧?Function number: 1
---------------kernel graph--------------------
Function #0 {
Kernel num:1
Cache mode:0
Name: subnet0
Input number: 2
Input #0.
Mask: 338036233
Shape(dim): 1 64 192 4
Name:
Id: 36
Data type: CNRT_UINT8 Dim Order: CNRT_NHWC
Quantize position: 959985971
Quantize scale: 0.000000
Input #1.
Mask: 338036233
Shape(dim): 27 1 1 1
Name:
Id: 304
Data type: CNRT_FLOAT16 Dim Order: CNRT_NHWC
Quantize position: 959985971
Quantize scale: 0.000000
Output number: 1
Output #0.
Mask: 338036233
Shape(dim): 1 27 84 1
Name:
Id: 2651
Data type: CNRT_FLOAT16 Dim Order: CNRT_NHWC
Quantize position: 959985971
Quantize scale: 0.000000
Kernel header #0:
Name: subnet01
Core version:
Model Parallelism: 4
Core limit: 4
Inst data split: true
}
请问网络输入层是CNRT_FLOAT16类型时,输入数据要如何设定?有示例代码吗?
您好,在使用MLU220/270推理时,默认精度为输入模型的首层精度,如果您需要调整模型的输入精度,需要自行添加数据类型转换算子,可参考“Utility — CNRT Developer Guide 4.10.0 documentation (cambricon.com)”
请登录后评论