• 

  LV.1 #9 helloworld回复

  #8流水回复

  firstconv是模型量化的必须步骤吗，哪些模型量化后模型会好一些，大家谁知道

  firstconv应该不是必须的量化步骤，是一个选项 是针对第一层是conv的网络才可以使用

  2020-12-21 17:06:23 1| 回复
• 

  LV.2 #8 流水回复

  firstconv是模型量化的必须步骤吗，哪些模型量化后模型会好一些，大家谁知道

  2020-12-21 16:45:52 1| 回复
• 

  LV.2 #7 QiuJiang回复

  #4含含回复

  可以不用firstconv吗？

  可以的，对于有些模型，firstconv的收益也不大，可能几微妙的收益吧，视模型情况而定

  2020-12-21 16:08:39 1| 回复
• 

  LV.2 #6 QiuJiang回复

  #2HelloAI回复

  1、firstconv可以把mean和std的运算放在MLU上，减少Host的计算压力，释放CPU资源。2、firstconv可以直接输入UINT8的图片数据，减少了H2D的拷贝数据量。当然这2点是相辅相成的，没有1也无法实现2，因为图片数据一但经过了mean和std运算，UINT8就表达不了了，必须用Float了

  展开

  强，解释得到位

  2020-12-21 16:07:33 1| 回复
• 

  LV.2 #5 Anomalocaris回复

  #4含含回复

  可以不用firstconv吗？

  可以的，在cpu直接做前处理就可以

  2020-12-21 16:00:25 1| 回复
• 

  LV.2 #4 含含回复

  可以不用firstconv吗？

  2020-12-21 15:55:38 1| 回复
• 

  LV.1 #3 learn2share回复

  模型如果有前处理，且第一层是conv层时，可以使用firstconv。firstconv是将前处理的mean和std的处理放在MLU上，作用是可以降低模型端到端的推理时延

  2020-12-21 15:53:10 1| 回复
• 

  LV.3 #2 HelloAI回复

  1、firstconv可以把mean和std的运算放在MLU上，减少Host的计算压力，释放CPU资源。
  2、firstconv可以直接输入UINT8的图片数据，减少了H2D的拷贝数据量。

  当然这2点是相辅相成的，没有1也无法实现2，因为图片数据一但经过了mean和std运算，UINT8就表达不了了，必须用Float了

  2020-12-21 11:57:23 3| 回复
• 

  LV.2 #1 Anomalocaris回复

  firstconv是寒武纪性能优化的一种方式，具体为当模型第一层为conv层时，可将前处理的mean和std的处理放在模型内，以此提升端到端的性能。

  2020-12-21 11:50:15 1| 回复

请登录后评论