在寒武纪MLU370-X8板卡上试着搭建起了chatglm6b基于langchain的服务，大家可以试试！

具体实现步骤在 https://github.com/HawkL327/langchain_chatglm6b  上，

单卡多卡都可以使用 MLU_VISIBLE_DEVICES 环境变量指定卡号进行推理使用。

此外，web 端的demo使用了gradio，在本地端口和互联网上都可以尝试。

搭建好运行环境后，修改config.py里的模型路径，修改app.py里的端口号，再输入python app.py就可以尝试 langchain 了。

当进入gradio界面后，上传本地知识库（txt、docx、md、pdf等格式文件都行），再点击知识库向量化，如果知识库比较大，需要的时间就会长一些。接下来就可以询问chatglm知识库里的相关问题了

我试着把magicmind手册作为向量库上传到了langchain里，效果如下图所示