切换版块
×
基础软件平台
PyTorch开发
TensorFlow开发
编解码及SDK开发
BANG语言与计算库
开发工具链
MagicMind开发
软件栈百科
云平台集成
硬件产品专区
MLU370系列AI加速卡
MLU270系列AI加速卡
MLU220系列AI加速产品
经验方案交流区
经验案例与实践分享
开发者服务
开发者活动
公告与版务
高校支持
《智能计算系统》
签到
版块
社区
文档
SDK下载
370系列
200系列
开发平台
官网首页
注册
登录
全部版块
基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
发布新帖
登录/注册
LV.1
FrostLee
79
积分
0
赞
7
帖子
43
回复
0
收藏
TA的动态
TA的帖子
TA的回复
pytorch yolov5x 量化转换大小
我的回复:#3HelloAI回复模型量化是生成量化校准参数,模型转换是做算子融合并生成机器指令好的,明白,感谢感谢。
0
转换fasestdet模型报错
我的回复:#9含含回复有卡调测会方便很多再问一下,MLU220能不能支持插卡调试呢?
0
pytorch yolov5x 量化转换大小
我的回复:#1HelloAI回复正常的,因为量化并转换成.cambricon文件的模型,内部的数据类型还是FP32/FP16的,只是增加了量化参数而已,并不是说量化的模型就是用INT8的数据类型保存的。量化模型只是计算的时候是用INT8计算器计算的。展开所以能不能理解为,模型的量化和转换只是生成了一个INT8计算器和一些算子的融合?
0
转换fasestdet模型报错
我的回复:#9含含回复有卡调测会方便很多我看到社区挺多模型转换错误的帖子,都没有解决方案......建议大佬们合力看看,总不能只用yolo吧。
0
转换fasestdet模型报错
我的回复:#7含含回复不需要在220 edge测部署docker框架,您可以在x86主机端部署开发环境(可以插MLU270/MLU220-M2卡),这样调试起来更方便。去掉ct.set_device(-1),这个网络可以生成220 的离线模型展开OK,明白你意思,但是估计不行,盒子都是成品,除非拆盒子拆里面的卡。还有其他调试方式吗?
0
转换fasestdet模型报错
我的回复:#5含含回复从日志看是因为没有设备导致的,去掉ct.set_device(-1) ,建议基于有MLU200的设备的环境进行模型验证和转换展开我觉得不是这样,因为所有的demo都是在docker里面转换,然后copy到MLU220平台上运行的,毕竟边缘盒子存储小,环境都不一定搭得起来,这也是离线推理存在的意义吧。
0
转换fasestdet模型报错
我的回复:#3xiedong2022回复您好,看log不止一个错误。请先检查一下量化部分的代码。量化代码如下:def quantification(weight, offline, img_path, img_size, save_path): with torch.no_grad(): ckpt = torch.load(weight) state_dict = ckpt['model'] if 'model' in ckpt else ckpt model = Detector(1, True) model.load_state_dict(state_dict) model.eval().float() model = mlu_quantize.quantize_dynamic_mlu(model, { 'iteration':1000, 'mean': mean, 'std': std, 'data_scale':1.0, 'firstconv': True, 'perchannel':True, 'use_avg':False }, dtype='int8', gen_quant=True) calibration(model = model, dir = img_path, img_size = img_size) torch.save(model.state_dict(), save_path) print(save_path, " save over")
0
fill_ Op cannot run on MLU device, start running on CPU!
我的回复:请问大佬最后怎么解决的?
0
转换fasestdet模型报错
我的回复:模型代码如下:https://github.com/dog-qiuqiu/FastestDet
0
转换fasestdet模型报错
我的回复:模型转换代码如下:def mlu_forward(modelfile): ct.set_core_version("MLU220") ct.set_device(-1) ct.set_input_format(order) ct.set_core_number(4) # set core number device = ct.mlu_device() with torch.no_grad(): model = Detector(1, True) model.eval().float() model = mlu_quantize.quantize_dynamic_mlu(model) model.load_state_dict(torch.load(modelfile)) ct.save_as_cambricon('fastestdet') example_tensor = torch.randn((1, 3, 640, 640), dtype=torch.float).to(device) fusion_model = torch.jit.trace(model.to(device), example_tensor, check_trace=False) fusion_model(example_tensor) ct.save_as_cambricon('') # generate offline model print('fusion success')
0
上一页
1
2
3
下一页
Github
开发平台
文档中心
新手必读
官方微信
版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:
京ICP备17003415号-1
关闭