切换版块
×
基础软件平台
PyTorch开发
TensorFlow开发
编解码及SDK开发
BANG语言与计算库
开发工具链
MagicMind开发
软件栈百科
云平台集成
硬件产品专区
MLU370系列AI加速卡
MLU270系列AI加速卡
MLU220系列AI加速产品
经验方案交流区
经验案例与实践分享
开发者服务
开发者活动
公告与版务
高校支持
《智能计算系统》
签到
版块
社区
文档
SDK下载
370系列
200系列
开发平台
官网首页
注册
登录
全部版块
基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
发布新帖
登录/注册
LV.1
mcj
296
积分
0
赞
32
帖子
96
回复
0
收藏
TA的动态
TA的帖子
TA的回复
进行算子的融合推理加速的原理是什么
我的回复:#3zhangyanting回复您好,目前并没有公开更多融合细节,已公开的融合内容您可以参考《寒武纪TensorFlow 融合模式用户手册 — 寒武纪TensorFlow融合模式用户手册 1.4.0 文档 (cambricon.com)》展开好吧,谢谢您解答!
0
进行算子的融合推理加速的原理是什么
我的回复:#1zhangyanting回复您好,tfu并没有重新计算权值,一个tfu就是一个融合图/node/graph,一个tfu可以理解为一个大算子,图的输入、输出均在ddr上。一个tfu可以拆分成一个或者多个子图,子图的输入、输出均在shared memory上。tfu融合时的动态和静态取决于输入网络的状态。展开那这个融合图(大算子)是怎么将多个算子融合成的一个大算子的呢,比如是将多个分支中1x1的CBR像TensorRT一样变成一个大的1x1的CBR?融合的具体细节哪里可以参考吗?
0
怎么用cnperf工具提高性能
我的回复:#1zhangyanting回复您好,CNPERF是用于性能评测的工具,主要功能是帮助您找到可以优化的方向;TFU主要用于融合算子生成,减少数据拷贝,以提升性能,您可以理解为每个TFU都是一个大算子,因此,在实际操作时,您需要首先观察INTERP是否能融入TFU,合成一个大算子。展开这样,好的,谢谢
0
为什么量化后.pth文件大小没有变小
我的回复:#1zhangyanting回复您好,因为量化之后会在量化文件中加入一些量化参数,所以文件并不一定会变小。那怎么证明int8量化之后模型减小1/4呢
0
上一页
1
2
3
4
下一页
Github
开发平台
文档中心
新手必读
官方微信
版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:
京ICP备17003415号-1
关闭