全部回复
LV.2
#1
tanhaojue
回复
您好,报错是因为量化权重没有load到。对于这个问题做两点说明:1. 在MLU上运行之前,需要先在CPU上做量化。2. 请注意量化权重的保存路径(例如quantized_model_path $TORCH_HOME/int8/checkpoints/)是否设置正确,设置不正确也会导致这个错误。
2021-09-03 14:26:17
0
|
回复
请
登录
后评论