首先,使用模型去推理计算的时候,是不可能跑出接近理论算力的值的,因为模型有很多层,而不同的算子,不同的Tensor大小所能发挥的算力都是有损失的。如果你想计算得到算力,可尝试单独用conv算子测试。另外MLU220-SOM要注意芯片的主频,如果不是1000 GHz的话,是没有16T算力的。
请问怎么才能设置到1000G HZ呢 220上最高好像是800M hz
好的 谢谢
首先,使用模型去推理计算的时候,是不可能跑出接近理论算力的值的,因为模型有很多层,而不同的算子,不同的Tensor大小所能发挥的算力都是有损失的。
如果你想计算得到算力,可尝试单独用conv算子测试。另外MLU220-SOM要注意芯片的主频,如果不是1000 GHz的话,是没有16T算力的。
请登录后评论