文章目录

一、资源推荐

（1）Pytorch的vision库等：https://github.com/pytorch/vision等
动手中出现问题时应多学习官方文档or维基百科
（2）李宏毅机器学习课程 + 吴恩达深度学习
（3）datawhale学习笔记
（4）阿里云天池的学习资料也挺多，如 https://tianchi.aliyun.com/course/311/3558

python相关：

（1）https://www.w3schools.com/python/default.asp 这个网站还有其他语言或者计算机基础课程详细文档
（2）https://docs.python.org/zh-cn/3/ 是python的官方文档

numpy相关：

numpy官方文档的快速开始：
​​​ https://numpy.org/doc/stable/user/quickstart.html​​

二、菜鸡学习笔记

（1）​​【李宏毅机器学习CP1-3】(task1)机器学习简介&分类|回归​​

【李宏毅深度学习】阶段性小结_机器学习


学习了上图的ML分类及应用，和如下的三个步骤及其细节：

step1：模型假设，选择模型框架（线性模型）

step2：模型评估，如何判断众多模型的好坏（损失函数）

step3：模型优化，如何筛选最优的模型（梯度下降）

（2）​​【李宏毅机器学习CP4】(task2)回归+Python Basics with Numpy​​

【李宏毅深度学习】阶段性小结_机器学习_02


（3）​​【李宏毅机器学习CP5-8】(task3上)误差分析+梯度下降优化​​

（4）​​【李宏毅机器学习CP9】(task3下)PM2.5预测+numpy实现神经网络logistic回归​​

（5）网络设计技巧（5小节）

​​【李宏毅深度学习CP13】task4-DL引子​​顺便完成了​​【吴恩达DL】(task4)手把手构建你的Deep Neural Network​​

​​【李宏毅深度学习】(task5)网络设计技巧1—Local Minimum和鞍点​​

​​【李宏毅深度学习】(task5)网络设计技巧2—Batch and Momentum​​

​​【李宏毅深度学习】(task5)网络设计技巧3—Adaptive Learning Rate​​

​​【李宏毅深度学习】(task5)网络设计技巧4—Batch Normalization​​

​​【李宏毅深度学习】(task5)网络设计技巧5—Classification部分​​

（6）​​【李宏毅机器学习CP21】(task6)卷积神经网络​​

1）CNN误差反向传播的细节可以参考《深度学习的数学》P200的5.5部分，还没看。task3的食物图片分类作业还在做——​​【李宏毅机器学习2021】卷积神经网络HW3-Image Classification​​。

2）卷积层可通过重复使用卷积核有效地表征局部空间，卷积核（过滤器【李宏毅深度学习】阶段性小结_深度学习_03）通过卷积的计算结果（相似度）表示该卷积核和扫描过的图像块的灰色格子部分相吻合的个数——该值越大则说明越符合卷积核的偏好程度。
——卷积的结果矩阵为特征映射（【李宏毅深度学习】阶段性小结_python_04 【李宏毅深度学习】阶段性小结_机器学习_05）

3）说到内积，要和【李宏毅深度学习】阶段性小结_机器学习_06乘积区分，后者是将相同形状的矩阵A和B的相同位置的元素相乘，产生的矩阵。

三、小结

继续冲鸭，把李宏毅2021干完，做对应的作业（如下图作业路线）。

【李宏毅深度学习】阶段性小结_python_07


上图源自：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

第一节 Introduction 作业 HW1: Regression
第二节 Deep Learning 作业 HW2: Classification
第三节 Self-Attention 作业 HW3: CNN HW4: Self-Attention
第四节 Theory of ML
第五节 Transformer 作业 HW5: Transformer
第六节 Generative Model 作业 HW6: GAN
第七节 Self-Supervised Learning 作业 HW7: BERT HW8: Autoencoder
第八节 Explainable AI / Adversarial Attack 作业 HW9: Explainable AI HW10: Adversarial Attack
第九节 Domain Adaptation/ RL 作业 HW11: Adaptation
第十节 RL 作业 HW12: RL
第十一节 Privacy v.s. ML
第十二节 Quantum ML
第十三节 Life-Long/Compression 作业 HW13: Life-Long HW14: Compression
第十四节 Meta Learning 作业 HW15: Meta Learning

最新的课程链接可以看：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html
作业在Colab有，如CNN：https://colab.research.google.com/drive/16a3G7Hh8Pv1X1PhZAUBEnZEkXThzDeHJ#scrollTo=D_a2USyd4giE

四、下一阶段

  • 继续学习李宏毅老师的深度学习2021课程
  • 一定要做task作业，提交kaggle，动手能力有待加强

五、特别鸣谢

  • datawhale notebook and all the people who help me,such as Tong supervised me hhhh
  • 可以参考下知乎用户"爱XR的麦子"总结（理解得挺到位，各内容之间的联系）：https://zhuanlan.zhihu.com/p/392927787
  • 李大佬的图文很详细