AutoDL 云上部署 百川2、GLM2
- AutoDL 云上部署 百川2、GLM2
- 配置环境
- 体验
- 常见问题
- huggingface访问不了，使用学术资源加速
- 大文件上传，百度、阿里网盘都可
- CUDA 空间不足
- 系统盘空间不足
- 省钱绝招
- 软件源
- 本地部署 百川2、GLM2
- 根据显存大小选模型
- 拉取docker镜像
- cuda GPU 版本不匹配问题
AutoDL 云上部署 百川2、GLM2
配置环境
autodl：https://www.autodl.com/login
在算力市场选择一个GPU：
我比较喜欢4090，因为这个算力和A100一样，在大模型推理上速度比A100快。（A100主要是信道好，更适合训练大模型）。我们用云上已经配置好的大模型环境：
选择【社区镜像】，输入：THUDM/ChatGLM2-6B/ChatGLM2-6B选择第一个：
就是这个环境：
底部的【立即创建】点不了，可以点【余额不足充值】，充值 3 块钱即可，先不要充很多，低成本测试。
选择 JupylerLab：
不用了，就回到这个界面，点击关机即可，不会扣费。
如果之前的GPU上有下载文件，可以克隆实例，开新GPU。
体验
在终端2，输入：source /etc/network_turbo
进入ChatGLM2-6B文件夹：cd ChatGLM2-6B
命令行运行大模型：python cli_demo.py
常见问题
huggingface访问不了，使用学术资源加速
如果在终端中使用：
source /etc/network_turbo如果是在Notebook中使用：
import subprocess
import os
result = subprocess.run('bash -c "source /etc/network_turbo && env | grep proxy"', shell=True, capture_output=True, text=True)
output = result.stdout
for line in output.splitlines():
if '=' in line:
var, value = line.split('=', 1)
os.environ[var] = value取消学术加速，如果不再需要建议关闭学术加速，因为该加速可能对正常网络造成一定影响
unset http_proxy && unset https_proxy大文件上传，百度、阿里网盘都可
https://www.autodl.com/docs/netdisk/
CUDA 空间不足
https://www.autodl.com/docs/qa4/
系统盘空间不足
https://www.autodl.com/docs/qa1/
省钱绝招
https://www.autodl.com/docs/save_money/
软件源
https://www.autodl.com/docs/source/
本地部署 百川2、GLM2
huggingface镜像网站：https://aliendao.cn/models
baichuan2-13B-Chat-4bits 获取链接：https://xueshu.fun/3041/
注册后，找到签到得2个金币，刚好换这个。
根据显存大小选模型
比如GPU显存是 16G（nvidia-smi查看）。
百川2-13B 光是模型加载就需要26GB的显存，加上推理需要的消耗，没28GB以上的显存是搞不了。
百川2-13B支持8位和4位的量化。
8位量化之后需要18.6G以上的显存。
4位量化之后需要11.5GB以上的显存。
量化才能部署上。
拉取docker镜像
拉取autodl上的镜像：
docker pull registry.cn-beijing.aliyuncs.com/codewithgpu/thudm-chatglm2-6b:SPawIKFit4根据当前镜像创建容器：
docker run -it --name baichuan registry.cn-beijing.aliyuncs.com/codewithgpu/thudm-chatglm2-6b:SPawIKFit4 /bin/bash再使用复制命令，把大模型放进入，如：
sudo docker cp Baichuan2-13B-Chat-4bits baichuan:/mnt
# 把 Baichuan2-13B-Chat-4bits 复制到 baichuan 容器 mnt 文件夹。进入你刚创建的容器，如：
docker exec -it baichuan /bin/bash创建一个虚拟环境，避免包冲突。
python3 -m venv myenv # 创建虚拟环境
source myenv/bin/activate # 激活虚拟环境下载大模型的环境依赖：
pip install -r requirements.txt
cuda GPU 版本不匹配问题
