基础软件平台
硬件产品专区
经验方案交流区
开发者服务
高校支持
签到
注册 登录
打开微信，使用扫一扫进入页面后，点击右上角菜单，
点击“发送给朋友”或“分享到朋友圈”完成分享
如题，想在llama.cpp中开发支持一种新的后端来实现MLU220这种边缘设备加速卡的LLM推理加速，不知道是否可行？官方文档说MLU220只支持离线模型部署，所以我是不是需要写一个转换脚本把gguf格式的模型文件转换成cambricon格式的？
热门帖子
精华帖子
Ashelly
14 回复
三叶虫
6 回复
fengyunkai
1 回复
goodchong
jyjyjyjyjy
Github
开发平台
文档中心
新手必读