基于寒武纪PyTorch的中科院大模型Chinese_LLamA_Alpaca Demo部署应用(MLU370 X8)

• 概述

1.中科院在GitHub上开源了基于原版LLaMA的中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。官方链接参见:https://github.com/ymcui/Chinese-LLaMA-Alpaca

2.本示例展示了如何在寒武纪板卡(MLU370 X8)上使用寒武纪PyTorch框架来部署Chinese_Alpaca模型。

3.MLU实现代码:https://gitee.com/xiaoqi25478/chinese_llama_alpaca_mlu  用户可clone该代码快速部署。

• 环境准备

示例基于寒武纪PyTorch环境部署，为方便快速部署和体验该示例，用户可联系寒武纪技术人员获取寒武纪PyTorch最新镜像包。后续操作步骤默认在Docker内部运行。

• 下载仓库

git clone https://gitee.com/xiaoqi25478/chinese_llama_alpaca_mlu.git

• 环境安装

pip install -r requirements.txt
peft：git clone https://github.com/huggingface/peft.git 
cd peft 
git checkout v0.3.0 
vim setup.py +44 change 1.13.0 to 1.9.0
python setup.py install
transformers 改动：
vim /torch/venv3/pytorch/lib/python3.7/site-packages/transformers/modeling_utils.py +2195 将require_version_core("torch>=1.10") 修改为 require_version_core("torch>=1.9")

• 模型准备

中文Alpaca lora模型  https://drive.google.com/file/d/1iQp9T-BHjBjIrFWXq_kIm_cyNmpvv5WN/view
模型权重合并参考: https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%89%8B%E5%8A%A8%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6%E4%B8%8E%E8%BD%AC%E6%8D%A2

• 运行推理

gui运行 python  s/gradio_demo.py -- _model /path/to/chinese_alpaca

• 运行界面

• 对话展示