量化需要注意,在设置完量化参数后需要进行一次或多次forward,如果量化没有问题,请注意加载模型的顺序和命令,load_state_dict(state_dict, strict=False)
确定设置torch.set_grad_enabled(False)
请登录后评论