打开微信,使用扫一扫进入页面后,点击右上角菜单,
点击“发送给朋友”或“分享到朋友圈”完成分享
基于寒武纪PyTorch的中科院大模型Chinese_LLamA_Alpaca Demo部署应用(MLU370 X8)
概述
1.中科院在GitHub上开源了基于原版LLaMA的中文LLaMA模型和指令精调的Alpaca大模型,以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。官方链接参见:https://github.com/ymcui/Chinese-LLaMA-Alpaca
2.本示例展示了如何在寒武纪板卡(MLU370 X8)上使用寒武纪PyTorch框架来部署Chinese_Alpaca模型。
3.MLU实现代码:https://gitee.com/xiaoqi25478/chinese_llama_alpaca_mlu 用户可clone该代码快速部署。
环境准备
示例基于寒武纪PyTorch环境部署,为方便快速部署和体验该示例,用户可联系寒武纪技术人员获取寒武纪PyTorch最新镜像包。后续操作步骤默认在Docker内部运行。
下载仓库
git clone https://gitee.com/xiaoqi25478/chinese_llama_alpaca_mlu.git
环境安装
pip install -r requirements.txt peft:git clone https://github.com/huggingface/peft.git cd peft git checkout v0.3.0 vim setup.py +44 change 1.13.0 to 1.9.0 python setup.py install transformers 改动: vim /torch/venv3/pytorch/lib/python3.7/site-packages/transformers/modeling_utils.py +2195 将require_version_core("torch>=1.10") 修改为 require_version_core("torch>=1.9")
模型准备
中文Alpaca lora模型 https://drive.google.com/file/d/1iQp9T-BHjBjIrFWXq_kIm_cyNmpvv5WN/view 模型权重合并参考: https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%89%8B%E5%8A%A8%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6%E4%B8%8E%E8%BD%AC%E6%8D%A2
运行推理
gui运行 python s/gradio_demo.py -- _model /path/to/chinese_alpaca
运行界面
对话展示
热门帖子
精华帖子