基本流程熟悉
文章相关内容资料已经取得百度BML允许,仅用与交流学习,请不要用于商业传播。
机器学习几乎都是一下这个流程
数据获取以及标准–训练数据–建立模型–评估模型–应用部署调用模型
接下里就按照用一个小项目正常走一遍:
1.搜索ai.baidu.com
2.点击BML全功能AI开发平台
3.点击立即使用
4.左边点击Notebook,然后点击立即创建。
5.创建名称和描述,类型选择"文本分类-单文本单标签",场景选择"其他"。
6.启动之前先进行一下配置,点击配置。
7.选择默认选项,资源规格选择GPUV100。
8.状态显示进行中时点击打开。
9.进入Notebook的主界面后打开一个终端。
10.需要手动下载一下PaddleNLP,复制链接即可。
https://github.com/PaddlePaddle/PaddleNLP
若Github访问不稳定,可以上Gitee(国内的镜像),下载PaddleNLP:https://gitee.com/paddlepaddle/PaddleNLP
11.来到网站,开始下载,点击code,点击download zip。
图片
12.在下载目录找到该文件。
13.点击左上方工具栏中上传文件,上传PaddleNLP-develop.zip。
14.上传完毕,在左边我们可以看到。
15.解压代码包,完成指令
unzip PaddleNLP-develop.zip
最后的结果如下图
1.需要准备两个训练环境,执行命令
pip install paddlenlp==2.1.0
2.之后执行命令
python -m pip install paddlepaddle-gpu==2.1.3.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
3.然后输入指令 进入工作目录
cd /home/work/PaddleNLP-develop/examples/few_shot/efl
4.在github.com中点击examples
5.再点击few_shot
图片
6.再点击efl
7.复制训练命令并执行
python -u -m paddle.distributed.launch --gpus “0”
train.py
–task_name “eprstmt”
–device gpu
–negative_num 1
–save_dir “checkpoints”
–batch_size 32
–learning_rate 5E-5
–epochs 10
–max_seq_length 512
–rdrop_coef 0 \
8.训练完成之后我们就可以看到出现的checkpoints和predict_output等目录
9.结果如下图
1.启动模型预测,复制指令并运行
python -u -m paddle.distributed.launch --gpus “0” predict.py
–task_name “eprstmt”
–device gpu
–init_from_ckpt ./checkpoints/model_20/model_state.pdparams
–output_dir “./output”
–batch_size 32
–max_seq_length 512
2.如果提示没有找到该路径,会出现这样的结果。
3.可以输入指令解决。
mkdir output
4.重新输入指令即可。
python -u -m paddle.distributed.launch --gpus “0” predict.py
–task_name “eprstmt”
–device gpu
–init_from_ckpt ./checkpoints/model_20/model_state.pdparams
–output_dir “./output”
–batch_size 32
–max_seq_length 512
5.cd到output路径即可看到预测产出。
6.最后一步可以将动态图转化为静态图,静态图可以用于后期预测和部署,复制指令并运行。
python export_model.py --params_path=./checkpoint/model_20/model_state.pdparams --output_path=./output
7.进入output目录下就可以看到3个模型的产出,可以用于今后模型的部署。
图片
8.结果如下图