前言

最近chatgpt比较火，正好看到国内有个类似开源的框架，那不得试试、

一、ChatGLM-6B是什么？

ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存。

二、安装虚拟的python环境

ChatGLM-6B 代码中有一些python3.7支持的语法，所以要有python3.7+ 的环境。我们使用conda来管理python环境
conda分为anaconda和miniconda。anaconda是包含一些常用包的版本，miniconda则是精简版.本文中我们将使用anaconda

1.下载

可以在官网中找到自己需要的版本进行下载，如果你系统也是ubutu 64位的，也可以使用我下载的版本进行安装

2.安装

在上一步下载的安装包同级，使用命令行执行以下命令

# 此处需写实际下载名称
bash Anaconda3-2023.03-Linux-x86_64.sh

然后根据提示操作即可

3.设置国内源(危险)

可以参考此文章。当然，如果不换源可以顺利装所有的包的话，尽量不要执行此操作。我就因为换了源，导致后边出了很多小问题。

4.虚拟环境使用简介

# 创建虚拟环境
conda create -n xxx python=3.8
# 进入虚拟环境
conda activate xxx
# 退出当前虚拟环境
conda deactivate
# 查看本地虚拟环境
conda info --env
# 删除虚拟环境
conda remove -n xxx --all

三、部署ChatGLM-6B

1. clone代码

git clone https://github.com/THUDM/ChatGLM-6B.git

2. 运行

1.创建虚拟环境

# 新建chatglm环境
conda create -n chatglm python=3.8
# 激活chatglm环境
conda activate chatglm

2.装包

2.1 找到合适的pytorch版本

我们可以通过以下命令查看自己的cuda及cuda驱动版本

nvidia-smi

我们可以看到，cuda版本是11.5，驱动版本是493.44，然后我们去官网寻找合适的pytorch装包指令，官网链接如下：
https://pytorch.org/get-started/locally/
https://pytorch.org/get-started/previous-versions/
如果找不到对应版本的话，可以参考此链接，通过驱动找到合适的cuda toolkit版本，然后再去官网寻找合适的装包指令
注：驱动是向下兼容的，其决定了可安装的CUDA Toolkit的最高版本。

2.1 安装依赖

# 根据上一步找到的安装指令进行安装：
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
# 安装gradio用于启动图形化web界面
pip install gradio
# 安装运行依赖
pip install -r requirement.txt

2.2 验证pytorch是否为GPU版本

import torch
torch.cuda.is_available()  ## 输出应该是True

3.运行

在运行前，我们需要修改一些文件内容

# web_demo.py
# 1. 新增mirror='https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models,下载模型使用清华源
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, mirror='https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models')
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, mirror='https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models').half().cuda()
# 2. 增加server_name和server_port参数
demo.queue().launch(share=True,server_name="0.0.0.0",server_port=9234)

四、部署过程中遇到的问题

1. 问题1

报错如下：

ERROR: Could not find a version that satisfies the requirement protobuf<3.20.1,>=3.19.5 (from versions: none)
ERROR: No matching distribution found for protobuf<3.20.1,>=3.19.5

原因及解决方案：
是因为上一步换了国内的镜像源，所以只需要指定装包路径即可l sls

pip install -r requirements.txt -i https://pypi.Python.org/simple/

2.问题2

报错如下：

ImportError: Using SOCKS proxy, but the 'socksio' package is not installed. Make sure to install httpx using `pip install httpx[socks]`.

原因及解决方案：
是因为我在命令行设置了“科学上网”，关掉即可

# 因为我设置的是临时的，所以在命令行输入如下代码即可
unset http_proxy
unset https_proxy

3.问题3

报错如下：

RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 7.93 GiB total capacity; 7.40 GiB already allocated; 53.19 MiB free; 7.40 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

原因及解决方案：
默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，使用方法如下：

# int4精度加载，需要6G显存
# web_demo.py
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()

4.问题4

报错如下：

RuntimeError: Library cudart is not initialized

原因及解决方案：
我是用conda管理的环境，此时应该是cudatoolkit有问题，参考此issue

# 使用conda安装cudatoolkit
conda install cudatoolkit=11.3 -c nvidia

总结

例如：整个部署其实最难的应该还是环境了，虽然项目的README写的比较简单，但是真实搭建起来确实各种问题，希望此文章能给大家一些帮助吧。

参考文章

清华大学开源中文版ChatGPT模型——ChatGLM-6B发布
PyTorch、CUDA Toolkit 及显卡驱动版本对应关系
验证pytorch是否为GPU版本