Day27

  • CNN
  • RNN与LSTM区别
  • RNN
  • LSTM
  • EMLO
  • BERT
  • ERNIE
  • GPT
  • Self-Attention


CNN

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_02


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_03

RNN与LSTM区别

循环神经网络模型（RNN）是一种节点定向连接成环的人工神经网络，是一种反馈神经网络，RNN利用内部的记忆来处理任意时序的输入序列，并且在其处理单元之间既有内部的反馈连接又有前馈连接，这使得RNN可以更加容易处理不分段的文本等。但是由于RNN只能对部分序列进行记忆，所以在长序列上表现远不如短序列，造成了一旦序列过长便使得准确率下降的结果。
长短期记忆模型（LSTM）是RNN模型的一种特殊结构类型，其增加了输入门、输出门、忘记门三个控制单元（“cell”），随着信息的进入该模型，LSTM中的cell会对该信息进行判断，符合规则的信息会被留下，不符合的信息会被遗忘，以此原理，可以解决神经网络中长序列依赖问题。
原文链接： .

RNN

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_04

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_05

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_06

LSTM

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_07

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_08

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_09

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_10

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_11


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_12

EMLO

可前向反向，也可deep

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_13

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_14

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_15

BERT

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_16

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_17

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_18

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_19

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_20

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_21

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_22

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_23

ERNIE

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_24

简介：https://zhuanlan.zhihu.com/p/103208601.

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_25

GPT

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_26

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_27

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_28

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_29

Self-Attention

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_30

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_31

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_32

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_33


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_34


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_35


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_36

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_37

CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_38


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_CNNRNNLSTM结构差异_39


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_40


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_41


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_42


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_43


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_神经网络_44


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_Self_45


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_46


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_47


CNNRNNLSTM结构差异 rnn,cnn,dnn,lstm区别_人工神经网络_48