基本流程熟悉

文章相关内容资料已经取得百度BML允许,仅用与交流学习,请不要用于商业传播。

机器学习几乎都是一下这个流程
数据获取以及标准–训练数据–建立模型–评估模型–应用部署调用模型

接下里就按照用一个小项目正常走一遍:

1.搜索ai.baidu.com

飞桨ai studio怎样用pytorch_自然语言处理

2.点击BML全功能AI开发平台

飞桨ai studio怎样用pytorch_paddlepaddle_02

3.点击立即使用

飞桨ai studio怎样用pytorch_paddlepaddle_03

4.左边点击Notebook,然后点击立即创建。

飞桨ai studio怎样用pytorch_python_04

5.创建名称和描述,类型选择"文本分类-单文本单标签",场景选择"其他"。

飞桨ai studio怎样用pytorch_自然语言处理_05

6.启动之前先进行一下配置,点击配置。

飞桨ai studio怎样用pytorch_自然语言处理_06

7.选择默认选项,资源规格选择GPUV100。

飞桨ai studio怎样用pytorch_paddle_07

8.状态显示进行中时点击打开。

飞桨ai studio怎样用pytorch_paddle_08

9.进入Notebook的主界面后打开一个终端。

飞桨ai studio怎样用pytorch_python_09

10.需要手动下载一下PaddleNLP,复制链接即可。
https://github.com/PaddlePaddle/PaddleNLP

若Github访问不稳定,可以上Gitee(国内的镜像),下载PaddleNLP:https://gitee.com/paddlepaddle/PaddleNLP

飞桨ai studio怎样用pytorch_paddlepaddle_10

11.来到网站,开始下载,点击code,点击download zip。

图片

飞桨ai studio怎样用pytorch_paddle_11

12.在下载目录找到该文件。

飞桨ai studio怎样用pytorch_paddlepaddle_12

13.点击左上方工具栏中上传文件,上传PaddleNLP-develop.zip。

飞桨ai studio怎样用pytorch_百度_13

14.上传完毕,在左边我们可以看到。

飞桨ai studio怎样用pytorch_python_14

15.解压代码包,完成指令

unzip PaddleNLP-develop.zip

飞桨ai studio怎样用pytorch_百度_15

最后的结果如下图

飞桨ai studio怎样用pytorch_paddle_16

1.需要准备两个训练环境,执行命令

pip install paddlenlp==2.1.0

飞桨ai studio怎样用pytorch_百度_17

2.之后执行命令
python -m pip install paddlepaddle-gpu==2.1.3.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html

飞桨ai studio怎样用pytorch_python_18

3.然后输入指令 进入工作目录
cd /home/work/PaddleNLP-develop/examples/few_shot/efl

飞桨ai studio怎样用pytorch_百度_19

4.在github.com中点击examples

飞桨ai studio怎样用pytorch_百度_20

5.再点击few_shot

图片

飞桨ai studio怎样用pytorch_paddlepaddle_21

6.再点击efl

飞桨ai studio怎样用pytorch_paddlepaddle_22

7.复制训练命令并执行

python -u -m paddle.distributed.launch --gpus “0” 
 train.py 
 –task_name “eprstmt” 
 –device gpu 
 –negative_num 1 
 –save_dir “checkpoints” 
 –batch_size 32 
 –learning_rate 5E-5 
 –epochs 10 
 –max_seq_length 512 
 –rdrop_coef 0 \

飞桨ai studio怎样用pytorch_自然语言处理_23

8.训练完成之后我们就可以看到出现的checkpoints和predict_output等目录

飞桨ai studio怎样用pytorch_paddle_24

9.结果如下图

飞桨ai studio怎样用pytorch_paddlepaddle_25

1.启动模型预测,复制指令并运行
python -u -m paddle.distributed.launch --gpus “0” predict.py
–task_name “eprstmt”
–device gpu
–init_from_ckpt ./checkpoints/model_20/model_state.pdparams
–output_dir “./output”
–batch_size 32
–max_seq_length 512

飞桨ai studio怎样用pytorch_paddle_26


2.如果提示没有找到该路径,会出现这样的结果。

飞桨ai studio怎样用pytorch_百度_27

3.可以输入指令解决。
mkdir output

4.重新输入指令即可。
python -u -m paddle.distributed.launch --gpus “0” predict.py
–task_name “eprstmt”
–device gpu
–init_from_ckpt ./checkpoints/model_20/model_state.pdparams
–output_dir “./output”
–batch_size 32
–max_seq_length 512

5.cd到output路径即可看到预测产出。

飞桨ai studio怎样用pytorch_百度_28

6.最后一步可以将动态图转化为静态图,静态图可以用于后期预测和部署,复制指令并运行。
python export_model.py --params_path=./checkpoint/model_20/model_state.pdparams --output_path=./output

飞桨ai studio怎样用pytorch_百度_29

7.进入output目录下就可以看到3个模型的产出,可以用于今后模型的部署。

图片

飞桨ai studio怎样用pytorch_百度_30

8.结果如下图

飞桨ai studio怎样用pytorch_paddlepaddle_31