文章目录
- 1、What is a neural network?
- 2、Supervised Learning with Neural Networks
- 2.1、Examples
- 2.2、The classification of data
- 3、Why is Deep Learning taking off？
- 4、Quiz
课程笔记整理按照所讲章节的标题来完成
1、What is a neural network?
以房价预测模型为例，是一个由size过渡到price的映射，即可用神经网络来表示。该神经网络的输入x是房屋面积，输出y是房屋价格，中间包含了一个神经元（neuron），即房价预测函数（蓝色折线）。该神经元的功能就是实现函数f(x)的功能。
PS…这个函数称为ReLU函数，即线性整流函数（Rectified Linear Unit）之后我们拓展到更大的神经网络模型，由多个自变量来预测房价
在这个例子中，x是size，#bedrooms，postal code（邮编号码）和wealth这四个输入；y是房屋的预测价格。这个神经网络模型包含的神经元个数更多一些，相对之前的单个神经元的模型要更加复杂。那么，在建立一个表现良好的神经网络模型之后，在给定输入x时，就能得到比较好的输出y，即房屋的预测价格。
这就是基本的神经网络模型结构。在训练的过程中，只要有足够的输入x和输出y，就能训练出较好的神经网络模型。
2、Supervised Learning with Neural Networks
2.1、Examples
举了一些常见的例子，主要掌握其中常见的分类，比如说对于图像识别使用CNN，对于翻译用的是RNN（应用于序列数据，翻译中字母或单词一次出现一个构成序列）
2.2、The classification of data
- Structured data
- Unstructured data
Structured Data通常指的是有实际意义的数据。例如房价预测中的size，#bedrooms，price等；例如在线广告中的User Age，Ad ID等。这些数据都具有实际的物理意义，比较容易理解。而Unstructured Data通常指的是比较抽象的数据，例如Audio，Image或者Text。
3、Why is Deep Learning taking off？
性能上的优势如图所示，随着数据规模的扩大，大型神经网络性能飞升。
归结为如下三个因素的进步
- Data
- Computation
- Algorithms
典型例子是sigmoid函数改成relu函数
这样更改的原因是对于Sigmoid函数，在远离零点的位置，函数曲线非常平缓，其梯度趋于0，所以造成神经网络模型学习速度变得很慢。然而，ReLU函数在x大于零的区域，其梯度始终为1，尽管在x小于零的区域梯度为0，但是在实际应用中采用ReLU函数确实要比Sigmoid函数快很多。
4、Quiz
记录几个比较有意思的题目吧
- Which of the following play a major role to achieve a very high level of performance with Deep Learning algorithms?
- 神经网络运用隐藏层已经算出了最好的特征参数，这是其固有的属性,不属于提高的方面。
- Recall this diagram of iterating over different ML ideas. Which of the statements below are true? (Check all that apply.)
- 此流程图描述了目前使用神经网络的流程，从idea到写出代码，之后实验来检测。
- RNNs (Recurrent Neural Networks) are good for data with a temporal component. True/False?
- RNN不能像传统监督学习那样来训练
- Suppose the information given in the diagram is accurate. We can deduce that when using large training sets, for a model to keep improving as the amount of data for training grows, the size of the neural network must grow. True/False?
- 注意理解题意：随着数据的增多，为使性能同步提高，神经网络的规模是否必然增大。此处规模可理解为图上的Small NN、Medium NN、Large NN
没想到每次做的题还不一样。不过第二次错的题很离谱。
5.
附：具体一点的话可以参考：Coursera吴恩达《神经网络与深度学习》课程笔记（1）-- 深度学习概述
