实验手册中说BatchMatMulV2 支持 batch 层面的 broadcasting 操作，但是单算子测试时cpu的MatMul基准似乎没有进行broadcasting，而是将input1视作dim0 * dim1 * m * k的输入，将input2视作dim0 * dim1 * n * k的输入，分别进行dim0 * dim1次对应的二维矩阵的矩阵乘法。

但是这样实现mlu算子之后，通过了单算子测试（因为单算子测试的dim0 = dim1 = 1），然而在线推理的f1和exact_match都极低。

所以dim_0和dim_1的含义是什么，是代表两个input是dim0 * m * k和dim1 * n * k的，然后需要进行broadcasting，做max(dim0, dim1)次matmul吗？

另外scale和pos的四个量化的数据是不是在我们的bang算子中不会用到？