int8我试过了,请问int4的接口有时间表吗?
您好,目前软件接口暂不支持int4,您可以可以尝试int8量化。
哦我的意思就是mlu220是否支持int4模型推理,那既然硬件上支持,软件接口什么时候可以开放呢?
您好!MLU220只支持离线模型推理,不支持模型调试,所以不能量化模型。模型量化需要在MLU270上进行。另外int4量化在硬件上是支持计算的,但目前需求不多,软件上没有接口无法调用。
请登录后评论