开发者论坛

全部回复

LV.6 #6 三叶虫回复

您好，因已超过30天，您侧未更新回复信息，此帖超时关闭，后续遇到问题，请您发起新帖，版主会及时分析处理。

2022-12-26 18:18:51 0| 回复

LV.2 #5 踏雪寻梅回复

#1踏雪寻梅回复

尊敬的开发者您好，针对可变输入和固定输入的优化方式略有不同，但仍有几个信息希望和您对齐1. 300和500，是指hwtime吗2. 两种模式下，除了可变输入外，其他配置是否完全一致，是否方便将配置发出。3. 相关模型基础backbone请问是否方便提供。

展开

尊敬的开发者您好，目前两种方式的优化方式确实不一样，可变得性能稍差。设置可变后，可以使用dim_range指定大致范围，以提升性能。

2022-11-11 11:27:52 0| 回复

LV.1 #4 胡汉三回复
#1踏雪寻梅回复
尊敬的开发者您好，针对可变输入和固定输入的优化方式略有不同，但仍有几个信息希望和您对齐1. 300和500，是指hwtime吗2. 两种模式下，除了可变输入外，其他配置是否完全一致，是否方便将配置发出。3. 相关模型基础backbone请问是否方便提供。
展开
非动态时的配置文件：

{
        "archs": ["mtp_372"],
        "graph_shape_mutable": false,
        "precision_config":{
          "precision_mode":"force_float16"
        },
    "opt_config": {
          "type64to32_conversion": true,
          "conv_scale_fold": true    }
}

命令：

./onnx_build --onnx ./bert_squad/bert-base.onnx --precision force_float16 --input_dims 24,128 24,128 24,128 --calibration false --mlu_arch mtp_372 --build_config config.json

动态时的配置文件：
{
        "archs": ["mtp_372"],
        "graph_shape_mutable": true,
        "precision_config":{
          "precision_mode":"force_float16"
        },
    "opt_config": {
          "type64to32_conversion": true,
          "conv_scale_fold": true    }
}

命令：

./onnx_build --onnx ./bert_squad/bert-base.onnx --precision force_float16 --calibration false --mlu_arch mtp_372 --build_config config.json
2022-11-11 10:13:58 0| 回复

LV.1 #3 胡汉三回复

#2胡汉三回复

pytorch导出的bert_base:=======动态model下测试命令=======/usr/local/neuware/bin/mm_run --magicmind_model /usr/local/neuware/samples/magicmind/mm_build/build/bert_base_dynamic.model --input_dims 24,128 24,128 24,128 --threads 1 --bind_cluster 0 --duration 30 --iterations 20 --kernel_capture 0=======非动态model下测试结果=======Iterations:                   20Host Wall Time (s):           1.09576MLU Compute Time (s):         1.09463Throughput (qps):             438.052=======非动态model下测试命令=======/usr/local/neuware/bin/mm_run --magicmind_model /usr/local/neuware/samples/magicmind/mm_build/build/bert_base_bs24_seq128.model --input_dims 24,128 24,128 24,128 --threads 1 --bind_cluster 0 --duration 30 --iterations 20 --kernel_capture 0=======非动态model下测试结果=======Iterations:                   20Host Wall Time (s):           0.970254MLU Compute Time (s):         0.969134Throughput (qps):             494.716

展开

打错了一个地方，第一处是“动态下测试结果”

2022-11-11 10:04:01 0| 回复

LV.1 #2 胡汉三回复
#1踏雪寻梅回复
尊敬的开发者您好，针对可变输入和固定输入的优化方式略有不同，但仍有几个信息希望和您对齐1. 300和500，是指hwtime吗2. 两种模式下，除了可变输入外，其他配置是否完全一致，是否方便将配置发出。3. 相关模型基础backbone请问是否方便提供。
展开
pytorch导出的bert_base:
=======动态model下测试命令=======
/usr/local/neuware/bin/mm_run --magicmind_model /usr/local/neuware/samples/magicmind/mm_build/build/bert_base_dynamic.model --input_dims 24,128 24,128 24,128 --threads 1 --bind_cluster 0 --duration 30 --iterations 20 --kernel_capture 0

=======非动态model下测试结果=======
Iterations:                   20
Host Wall Time (s):           1.09576
MLU Compute Time (s):         1.09463
Throughput (qps):             438.052

=======非动态model下测试命令=======
/usr/local/neuware/bin/mm_run --magicmind_model /usr/local/neuware/samples/magicmind/mm_build/build/bert_base_bs24_seq128.model --input_dims 24,128 24,128 24,128 --threads 1 --bind_cluster 0 --duration 30 --iterations 20 --kernel_capture 0

=======非动态model下测试结果=======
Iterations:                   20
Host Wall Time (s):           0.970254
MLU Compute Time (s):         0.969134
Throughput (qps):             494.716
2022-11-11 10:02:53 0| 回复
LV.2 #1 踏雪寻梅回复

尊敬的开发者您好，针对可变输入和固定输入的优化方式略有不同，但仍有几个信息希望和您对齐
1. 300和500，是指hwtime吗
2. 两种模式下，除了可变输入外，其他配置是否完全一致，是否方便将配置发出。
3. 相关模型基础backbone请问是否方便提供。

2022-11-11 09:53:13 0| 回复

请登录后评论