LV.1

天晓得

38积分0赞

4 帖子 20 回复 0 收藏

TA的动态

TA的帖子

TA的回复

在线逐层和在线融合推理 我的回复：#1zhangyanting回复您好，存在融合推理时占用显存大于逐层推理的可能，推理时请注意及时释放内存单元，相关操作可参考：在线实验 – 寒武纪开发者社区 (cambricon.com)展开您好，能不能给个具体的位置？ 0

Profiler怎么看 我的回复：在线逐层推理（推理代码仍是2楼的代码）时：在线融合推理时：这个MLUFusionGroup是什么意思，为什么启动算子的时间这么长...还有中间为什么空了那么一大块 0

Profiler怎么看 我的回复：#4zhangyanting回复您好，建议您尝试使用一下cnperf profile工具，看看能不能正确显示您需要的性能结果，参考文档路径如下：文档中心 – 寒武纪开发者社区 (cambricon.com)[图片][图片]展开但我是在线推理，使用的仍是python文件，我试着使用了：cnperf-cli record "python test.py"但是运行有warning:stripped executable found, no executable's function will be traced It seems not to be complied with -pg, no executable's function will be traced It seems [fork] is called, only the first process will be traced而且我python文件里面是for循环＋调用函数，为什么会有其他进程？虽然上面都是warning，能跑，但是最后使用cnperf-cli timechart不成功，Invalid log in dir "./dltrace_data/", please retrace log我还试着cnperf-cli info查看信息，但是现实open ./dltrace_data/metadata.json file failed! cannot find metadata.json明明cat metadata.json可以显示信息...这是为啥？ 0

Profiler怎么看 我的回复：CPU的进程是CPU向MLU发出命令时间的话，和MLU计算的时间几乎一模一样也太怪了吧... 0

Profiler怎么看 我的回复：for batch_size in [1, 1<<10, 1<<20]: state = torch.zeros([batch_size, 200]).to(ct.mlu_device()) with torch.autograd.profiler.profile(use_mlu=True) as prof: probs = net_mlu(state) prof.export_chrome_trace(...)其中net_mlu是通过：mlu_quantize.quantize_dynamic_mlu(net, dtype='int8', gen_quant=True)生成的量化模型 0

INT8量化后模型反而变大 我的回复：为什么我生成离线模型的时候设置了core_version和core_number，但是查看cambricon_twins文件后，只有core_number显示，core_version部分是空白呢？ 0

INT8量化后模型反而变大 我的回复：并且生成离线模型后，查看cambricon_twins文件发现Data type是CNRT_FLOAT32 0

cnrt例程cmake不成功 我的回复：#2Fu回复[图片]为啥改了还是没用 0

离线推理示例程序mlp的疑问 我的回复：请问现在在哪还能找到MLP的离线推理实例程序呢，上面的网址失效了 0