前言上一讲，作者讲了语音识别模型的big picture，即模型的输入输出是什么。下面涉及模型的具体组成，作者讲解的思路有2点，第一种是从Seq-to-Seq的角度出发，第二种从HMM算法的角度出发，具体区别如下：模型视角定义常见的模型seq-to-seq从可变长度的输入到固定长度输出的模型LAS、CTC、RNN-T、Neural Transduce、MoChAHMM隐马尔可夫模型–本节先从Seq
P.S. 本次将第三章 CNN 讲解有关内容和之前看的吴恩达深度学习 - 卷积神经网络专项课程的内容结合在一起进行总结=====================================================一、 概念导入：边缘检测 垂直边缘 和 水平边缘。 如下图所示，一个 6 * 6 的灰度图像，构造一个 3 * 3 的矩阵（ 在CNN中通常称为 filter 过滤器
原始bert是干嘛的bert就是transformer的encoder输入seq，输出seq先决定盖哪几个，再决定怎么盖展示原始的bert然后输出输出的就是一个向量，里面就是词典所有的单词的概率（是吗）里面的linear怎么做的（小参数）然后跟我那个真实值，最小化，（就是一个分类问题），训练的时候，bert里面的参数和我们那个liner的参数一起训练。工作2（好像没啥用）除了上述的mask之外，还
文章目录【系列文章】【简要说明】【视频分享】【作业详情】【调参记录】【Simple Baseline：1.96993】【Medium Baseline：1.15678】【Strong Baseline：0.92619】【Boss Baseline：0.81456】【总结讨论】【资源链接】【参考文献】【写在最后】 【系列文章】【专栏：深度解析李宏毅机器学习2023作业】【简要说明】1、2023年春
# 学习李宏毅的NLP课程之旅
在当今的科技世界中，自然语言处理（NLP）已经成为一个非常热门的领域。李宏毅教授以其清晰的讲解风格和深入的课程设置，成为了许多学习者的首选。本文将为刚入行的小白提供一步一步的指导，帮助你顺利进行李宏毅教授的NLP课程。
## 学习流程
首先，让我们来看看学习这一课程的大致流程。以下是整个学习的步骤及其描述：
| 步骤 | 描述 |
|------|-----
前言上节是从neural network（神经网络）的角度讨论了语音识别的模型，包括常见的模型：LAS和CTC等，这节从HMM角度讨论语音识别的模型，虽然HMM模型已经有一定历史了（2010年左右，HMM还是主流的方法），但是作者也说道：“这些远古的血脉依然在今天的技术中流淌”。HMM角度 上面这幅图就是非常经典的图，我们通过贝叶斯定理展开，展开得出：声学模型（Acoustic Model）和语言
SVM组成 Hinge Loss讲解 loss function不可微分，所以换成另一个函数。可以微分。输入x输出正负1。 g（x）里边有f（x）函数。并且y^乘以f（x）是横轴。纵轴为loss值。理想下越往右loss越小。square loss就是做差求平方，但是用到binary classfity上是不合理的。 理想的loss函数。sigmoid + square loss函数下边的计算公式
台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning本博客参考整理自： 半监督学习的训练数据，有一部分是标注数据，有一部分是无标注数据。 Transductive learning(直推学习)和Inductive learning(归纳学习)都可算是半监督学习，区别在于前者的无标注数据是测试数据（除去label），而后
课程链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html 要做这个作业的话需要一定的高数、线代的基础，而且尽量要会使用python的numpy模块。这篇文章大体还是按着baseline走的。必要的前提条件1.记得要把numpy、pandas、csv模块给安装好（网上有很多教程,找适用于你的开发环境的就好）。 2.学习一下numpy的使用：
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！）ML Lecture 4:Classification：Probabilistic Generative Model在这堂课中
转载
2023-12-13 21:14:42
30阅读
目录李宏毅机器学习第五周—sequence to sequence应用Syntactic Parsing（语法分析）Multi-label Classification（多标签分类）Object Detection（目标检测）Seq2Seq结构1.encoder为什么在Self-attention和Fully Connected Layer之后都有一个“Add & Norm”单元？2.de
李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网络（RNN）、强化学
转载
2024-01-04 10:11:17
83阅读
本人于2017年12月5日开始学习机器学习课程，个人对机器学习及深度学习已有一定的了解。学习此次课程的目的是为了加深对机器学习的认识，以期达到进阶以及加深理解的作用，此外也希望通过完成课程作业，能够提升自己的实战项目能力。
Regression本章节主要讲解了回归、梯度下降、如何选择模型、过拟合、正则化，并通过实际案例Pokemon的讲解加深对回归的理解。1.线性函数 如何选择一个模
文章目录4 Classification4.1 function set简单了解一下概率模型高斯分布怎么计算高斯分布的参数？——最大似然估计4.2 后验概率的计算推导 4 Classification首先分类问题还是属于机器学习模型，只不过输出不是连续的值，而是分类结果。我们用的同样是三步：选择function set→计算误差→选择模型。 假定有两类，我们要使用Regression的方法计算输
转载
2023-12-31 13:41:52
132阅读
转载
2023-12-06 15:13:12
73阅读
导语meta-learningmeta-learning的步骤什么叫一组learning algorithm如何评价一个F的好坏meta learning vs machine learning怎么找最好的learning algorithmbenchmarkomniglot如何使用当前的方法MAML算法例子toy examleomniglot& mini-imageNet实际实现在翻译
Lecture 6: Brief Introduction of Deep Learning 本节课主要围绕Deep Learing三步骤：（1）function set（2）goodness of function（3）pick the best function 1.function setNeuron之间采用不同的连接方式，就会得到不同的
推导LR损失函数(1)假定： LR逻辑回归假设样本服从泊松0–1分布，因此p(y|x)表达式： 求最大似然估计： 进而求最大对数似然估计：损失函数： 损失函数表征预测值与真实值之间的差异程度，如果预测值与真实值越接近则损失函数应该越小。在此损失函数可以取为最大似然估计函数的相反数，其次除以m这一因子并不改变最终求导极值结果，通过除以m可以得到平均损失值，避免样本数量对于损失值的影响。学习LR梯
转载
2023-08-30 18:51:55
100阅读
半监督学习1、什么是Semi-Supervised2、Semi-Surpervised在生成模型中如何实现的（EM算法）3、Semi-Surpervised基于Low-density Separation（低密度分离）假设是如何实现的 1）Self-training方法+Entropy-based Regularization 2）SVM4、Semi-Surpervised基于Smoothne
文章目录一、前言二、Classification as Regression三、Class as One-Hot Vector四、Soft-Max 归一化五、Loss of Classification 一、前言本节用较短的篇幅介绍一下深度学习解决如何分类问题。如果想看长的版本，可以参考下面的视频。二、Classification as Regression把分类当作回归来看如下图所示，我们可以
转载
2023-12-04 05:04:49
70阅读
