乐胖代购免代理版

欢迎

DL-tudo

本文来自CVer公众号的深度学习面试宝典，mark以便初学DL时边查看重难点和备忘录t

卷积

参考资料

深度学习

原创 2023-01-01 19:09:16 640 阅读

【李宏毅机器学习】自编码器auto-encoder

auto encoder是一个基本的生成模型，以encoder-decoder的架构进行先编码（如将图像压缩成更低维度向量），再解

深度学习

人工智能

ide

2d

编码器

原创 2023-01-01 09:32:09 611 阅读

【GNN】图神经网络学习小结 and 笔记汇总

0.背景简述GNN的本质,是要学习网络中每个节点的表达的，这些潜在的表达对图中每个节点的“社交”关系进行了编码，把离散值的节点编码成稠密向量，后续可用于分类回归，或者作为下游任务的特征。更多：本次学习的图神经网络模型（如谱聚类的GCN、GAT等等），这些图神经网络即将节点或图映射到一个低维空间（称为图嵌入）；而除了GNN还有很多图嵌入方法（在GNN之前图嵌入的概念常出现在流行学习和网络分析的研究中

深度学习

图神经网络

神经网络

github

消息传递

原创 2022-12-30 13:19:05 310 阅读

【李宏毅深度学习】(task5)网络设计技巧1—Local Minimum和鞍点

学习心得（1）当loss无法继续下降时，可能是因为卡在critical point，但不能说是卡在local minima，因为saddle point也是微分为0的点（2）如果hessian矩阵的所有的特征值eigen value都是正数，则表示现在在local minima，如果特征值有正有负，则表示在saddle point。黑塞矩阵更多参考维基百科（https://en.wikip

优化算法

特征值

App

原创 2022-12-30 13:13:44 620 阅读

【李宏毅深度学习】(task5)网络设计技巧3—Adaptive Learning Rate

学习心得（1）AdaGrad算法在迭代过程中不断调整学习率，并让目标函数自变量中每个元素都分别拥有自己的学习率；自变量中每个元素的学习率在迭代过程中一直在降低（或不变）。（2）RMSProp算法和AdaGrad算法不同在于，RMSProp算法使用了小批量随机梯度按元素平方的指数加权移动平均来调整学习率。（3）Adam在RMSProp基础上对小批量随机梯度也做了指数加权移动平均。并且使用了偏差修

迭代

Network

凸优化

原创 2022-12-30 13:12:12 109 阅读

【李宏毅深度学习】(task5)网络设计技巧4—Batch Normalization

个问题,有时候就算你的 error surface

斜率

深度学习

线性回归

原创 2022-12-30 13:11:01 287 阅读

【李宏毅深度学习】(task5)分类Classification

学习心得（1）从optimization的角度,来说明相较於Mean Square Error，交叉熵Cross-entropy是被更常用在分类上（2）网络设计技巧文章目录学习心得1.较长的教学版本2.Classification as Regression？3.Class as one-hot vector4.Classification with soft

深度学习

分类

机器学习

Cross

Soft

原创 2022-12-30 13:09:19 135 阅读

【Pytorch基础教程34】EGES召回模型（更新ing）

某宝在19年提出的EGES模型，是加入side information的graph e

pytorch

深度学习

推荐算法

ide

代码实现

原创 2022-11-05 10:06:41 323 阅读

【李宏毅机器学习】Domain Adaptation 域适应

我们希望特征处理器feature extractor处理source domain和

深度学习

迁移学习

数据集

特征提取

原创 2022-10-30 20:05:06 1120 阅读

【李宏毅机器学习】Explainable AI

- local explanation的任务是判断出这图片为啥是XX；global explanation

深度学习

可信机器学习

数据

正则化

机器学习

原创 2022-10-23 10:01:51 233 阅读

【李宏毅机器学习】adversarial attack（更新中）

对抗攻击：DL算法存在着严重的安全隐患，攻击者可以通过给良性样本添加特定噪声而轻易

对抗攻击

深度学习

sed

机器学习

黑盒

原创 2022-10-17 10:20:34 517 阅读

【Pytorch基础教程33】spark或dl模型部署（MLFlow/ONNX/Runtime/tensorflow serving）

**ONNX( Open Neural Network Exchange)** 是 Facebook (现Meta) 和微软在2017年共同发布的，用于标准描述计算图的一种格式

pytorch

深度学习

模型部署

spark

github

原创 2022-10-09 22:48:12 1248 阅读

【李宏毅深度学习】(task5)网络设计技巧2—Batch and Momentum

文章目录0.复习：Optimization with Batch1.Small Batch v.s. Large Batch（1）Larger batch size does not require longer time to compute gradient（2）Smaller batch requires longer time for one epoch

迭代

技能冷却

时间比较

原创 2022-09-20 15:16:07 141 阅读

【李宏毅机器学习CP1-3】(task1)机器学习简介&分类|回归

文章目录1.机器学习的过程2.机器学习相关分类3.选择合适的model，loss function4.CP3（1）回归定义和应用例子回归定义应用举例（2）模型步骤Step 1：模型假设 - 线性模型一元线性模型（单个特征）多元线性模型（多个特征）Step 2：模型评估 - 损失函数收集和查看训练数据如何判断众多模型的好坏Step

线性模型

数据

机器学习

原创 2022-09-20 15:16:00 287 阅读

【GNN】task6-基于图神经网络的图表征学习方法

学习心得（1）在此篇文章中，我们学习了基于图同构网络（GIN）的图表征网络，为了得到图表征首先需要做节点表征，然后做图读出。GIN中节点表征的计算遵循WL Test算法中节点标签的方法，因此它的上界是WL Test算法。在图读出中，我们对所有的节点表征（加权，如果用Attention的话）求和，这会造成节点分布信息的丢失。

深度学习

GNN

图同构

结点

池化

原创 2022-09-20 15:15:01 1076 阅读 1收藏

【GNN】task5-超大图上的节点表征学习

心得体会（1）这次学习了超大图上的节点表征学习面临的挑战——目前基于SGD的算法要么面临着随GCN层数呈指数增长的高计算成本，要么面临着保存整个图形和每个节点的embedding到内存的巨大空间需求；应对这一挑战的，基于图聚类结构且适合于基于SGD训练的GCN算法——Cluster-GCN方法，并且学习使用Cluster-GCN方法进行超大图节点分类的方法

深度学习

GNN

神经网络

聚类算法

邻接矩阵

原创 2022-09-20 15:14:39 577 阅读 1收藏

【华为AI比赛】广告信息流跨域CTR预估（持续更新）

- 暂时只是简单提交baseline，持续更新中。。。

推荐算法

CTR点击率预估

数据

特征提取

用户兴趣

原创 2022-09-17 08:55:56 916 阅读 1收藏

【Pytorch基础教程32】基于transformer的情感分类

文章目录一、transformer模型二、代码部分一、transformer模型transformer模型一直在NLP和CV领域中很经典。（一）简单回顾transformer模型： 2017 年，Google 提出了 Transformer 模型，用 Self Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构，在 WMT 2014 Englishto-Ge

pytorch

transformer

分类

并行计算

加载

原创 2022-09-10 06:13:47 574 阅读

模型训练时loss震荡严重的几个解决方案

深度学习模型训练时loss值震荡剧烈的几个解决方案，找到原因，如输入的数据

深度学习

模型训练

数据

激活函数

正则化

原创 2022-08-28 00:56:56 2211 阅读

解决报错：‘NoneType‘ object has no attribute ‘origin‘

在跑几个月前跑过PyG的GNN模型时，突然当头一棒报错：'NoneType' object has no attribute 'origin'，

pytorch

深度学习

github

官网

误删

原创 2022-08-25 11:50:48 788 阅读

【PyTorch基础教程7】多维特征input（学不会来打我啊）

学习总结（1）y=Ax，矩阵A起到线性变换的作用，将x的N维度映射为M维度，即为一种空间变换的函数。

pytorch

深度学习

激活函数

线性变换

权重

原创 2022-08-25 11:50:41 115 阅读

【PyTorch基础教程5】Pytorch完整小栗子（学不会来打我啊）

学习总结文章目录学习总结一、PyTorch四部曲二、细节三、线性模型Reference一、PyTorch四部曲之前在【Pytorch基础教程1】

pytorch

深度学习

线性模型

反向传播

ide

原创 2022-08-25 11:50:30 139 阅读

【PyTorch基础教程6】逻辑斯蒂回归（学不会来打我啊）

学习总结（1）和上一讲的模型训练是类似的，只是在线性模型的基础上加个sigmoid

pytorch

深度学习

线性模型

数据

逻辑斯蒂回归

原创 2022-08-25 11:50:20 49 阅读

【PyTorch基础教程12】图像多分类问题（学不会来打我啊）

学习总结文章目录学习总结一、多分类问题二、分布三、代码实践Reference一、多分类问题验证/测试的流程基本与训练过程一致

pytorch

深度学习

多分类

激活函数

二分类

原创 2022-08-25 11:50:11 59 阅读

【PyTorch基础教程11】CNN的细节（学不会来打我啊）

定义一个卷积层：输入通道数、输出通道数、卷积核的大小（长和宽）

cnn

pytorch

深度学习

卷积

卷积核

原创 2022-08-25 11:48:36 1051 阅读

【GNN】task4-数据完整存储与内存的数据集类+节点预测与边预测任务实践

文章目录数据完全存于内存的数据集类引言使用数据集的一般过程`InMemoryDataset`基类简介一个简化的`InMemory`

深度学习

图神经网络

数据集

数据

sed

原创 2022-08-25 11:42:28 533 阅读 1收藏

【GNN】task7-超大规模数据集类的创建+图预测任务实践

文章目录第一部分：超大规模数据集类的创建一、Dataset基类简介1.跳过download/process2.无需定义Dataset类二

GNN

深度学习

数据集

封装

邻接矩阵

原创 2022-08-25 11:41:51 557 阅读 1收藏

【李宏毅机器学习CP9】(task3下)PM2.5预测+numpy实现神经网络logistic回归

学习心得小批量梯度下降算法中，初始参数的选择很重要，不同的初始参数

数据

python

线性回归

原创 2022-08-25 11:40:00 600 阅读

【李宏毅深度学习】阶段性小结

深度学习

机器学习

python

原创 2022-08-25 11:38:09 98 阅读

【偷偷学习深度学习】深度学习初探 and 数学基础

文章目录一.AI ML DL1.ML3.从数据中学习表示4.深度学习之深度5.三张图理解DL工作原理

深度学习

神经网络

机器学习

数据

原创 2022-08-25 11:25:15 250 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx62cea850b9e28的博客

欢迎

DL-tudo

【李宏毅机器学习】自编码器auto-encoder

【GNN】图神经网络学习小结 and 笔记汇总

【李宏毅深度学习】(task5)网络设计技巧1—Local Minimum和鞍点

【李宏毅深度学习】(task5)网络设计技巧3—Adaptive Learning Rate

【李宏毅深度学习】(task5)网络设计技巧4—Batch Normalization

【李宏毅深度学习】(task5)分类Classification

【Pytorch基础教程34】EGES召回模型（更新ing）

【李宏毅机器学习】Domain Adaptation 域适应

【李宏毅机器学习】Explainable AI

【李宏毅机器学习】adversarial attack（更新中）

【Pytorch基础教程33】spark或dl模型部署（MLFlow/ONNX/Runtime/tensorflow serving）

【李宏毅深度学习】(task5)网络设计技巧2—Batch and Momentum

【李宏毅机器学习CP1-3】(task1)机器学习简介&分类|回归

【GNN】task6-基于图神经网络的图表征学习方法

【GNN】task5-超大图上的节点表征学习

【华为AI比赛】广告信息流跨域CTR预估（持续更新）

【Pytorch基础教程32】基于transformer的情感分类

模型训练时loss震荡严重的几个解决方案

解决报错：‘NoneType‘ object has no attribute ‘origin‘

【PyTorch基础教程7】多维特征input（学不会来打我啊）

【PyTorch基础教程5】Pytorch完整小栗子（学不会来打我啊）

【PyTorch基础教程6】逻辑斯蒂回归（学不会来打我啊）

【PyTorch基础教程12】图像多分类问题（学不会来打我啊）

【PyTorch基础教程11】CNN的细节（学不会来打我啊）

【GNN】task4-数据完整存储与内存的数据集类+节点预测与边预测任务实践

【GNN】task7-超大规模数据集类的创建+图预测任务实践

【李宏毅机器学习CP9】(task3下)PM2.5预测+numpy实现神经网络logistic回归

【李宏毅深度学习】阶段性小结

【偷偷学习深度学习】深度学习初探 and 数学基础