乐胖代购免代理版

CleanGPT：清晰简洁的GPT模型训练框架

CleanGPT：一个清晰简洁，具备扩展性和教育性的GPT模型工程模板

gpt

数据集

项目结构

数据

原创 13天前 31 阅读

VS2015 + OpenCV + OnnxRuntime-Cpp + YOLOv8 部署

本文详细介绍了使用 VS2015+OpenCV+OnnxRuntime+YOLOv8进行模型 C++ 部署的方法

opencv

YOLO

人工智能

#include

V8

原创 1月前 467 阅读

论文理解【LLM-NLP】——【SEQ*】Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Mode

本文介绍 LLM 增量学习论文 SEQ*，它通过分析预训练语言模型(PLMs)在增量学习过程中发生遗忘的原因，仅对标准增强学习方法S

自然语言处理

人工智能

增量学习

git

数据

原创 2月前 193 阅读

多维高斯分布的信息熵和KL散度计算

很多现实问题的原始特征分布都可以看作多维高斯分布，本文以数据特征服从多维高斯分布的多分类任务这一理想场景为例，从理论层面分析数据特征和分类问题难度的关系

多维高斯分布

信息熵

KL散度

相对熵

数据

原创 2月前 175 阅读

论文理解【LLM-CV】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners

本文介绍何凯明的经典之作MAE，它将BERT类模型的MLM自监督训练方法用到了ViT类CV模型上，通过设置大比例mask r

MAE

CV

自监督

计算机视觉

数据集

原创 4月前 186 阅读

专家系统简介

本文对专家系统进行简单介绍，专家系统是机器学习流行之前曾经一度流行的一种智能方法，属于符号主义流派

专家系统

MYCIN

推理过程

推理方法

原创 4月前 89 阅读

论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning

本文介绍 LLM agent 领域的经典方法 Reflexion，它通过引入 episodic memory 为 agent 提供长期记忆，在不微调模型的参数的同时实现了基于上下文的试错学习，性能提升显著

Reflexion

反思

反射

LLM

agent

原创 5月前 161 阅读

论文速览【LLM】 —— 【ORLM】Training Large Language Models for Optimization Modeling

LLM 有能力将自然语言描述的工业场景问题建模为数学运筹优化问题，然后通过写代码调用经典求解器的方式加以解决。本文提出或微调这种领域模型

数学建模

LLM

运筹优化

大语言模型

数据

原创 5月前 196 阅读

论文理解【LLM-CV】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

本文介绍经典的 ViT 论文，它是第一个将 Transformer 模型有效应用到较大规模 CV 任务上的工作，并且保持了 Transformer 模型本身的 Sc

ViT

VIT

Transformer

CV

目标识别

原创 5月前 171 阅读

论文速览【LLM-agent】—— 【ReAct】Synergizing Reasoning and Acting in Language Models

本文介绍LLM-agent领域的经典方法ReAct，它将LLM的自然语言推理能力和动作生成能力结合，使其同时适用于各类NLP和控制任务，并起到1+1>2的效果

LLM

Agent

ReAct

大语言模型

智能体

原创 5月前 183 阅读

论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection

首先简介了CV领域的主流任务，然后对最重要的目标检测算法之一YOLO-V1进行了详细介绍

目标检测

YOLO

YOLOV1

目标识别

二分类

原创 6月前 462 阅读

论文理解【LLM】—— TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

本文在儿童故事这个非常垂直的领域数据上训练小规模语言模型（SLM），发现其具有和 LLM 相似的性能，相关分析对于理解 LMs 的能力很有参考意义

LLM

SLM

TinyStory

语言模型

小语言模型

原创 7月前 85 阅读

论文理解【LLM】—— What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot...

本文通过对模型架构、预训练目标、是否多任务微调等进行大规模排列组合实验，找到了 LLM 的最佳训练方案，得到的工程结论对于我们设计实验很有帮助

LLM

预训练

多任务微调

模型架构

多任务

原创 7月前 48 阅读 1点赞

Hugging face Transformers（1）—— 基础知识

Hugging face transformers 库简单介绍

Transformers

Hugging face

自然语言处理

特征提取

数据

原创 7月前 80 阅读

Hugging face Transformers（4）—— Model

本文介绍 Hugging face transformers 库中 model 组件的用法

Hugging face

Transformers

model

sed

加载

原创 7月前 305 阅读

Hugging face Transformers（3）—— Tokenizer

本文介绍 Hugging Face Transformers 库中 Tokenizer 组件的基础用法

Hugging Face

Tokenizer

Transformers

字符串

数据

原创 7月前 247 阅读

Hugging face Transformers（2）—— Pipeline

本文介绍 Hugging face Transformers 库中 Pipeline 的基础用法，它可以帮我们快速调用预训练模型完成各类任务

Hugging face

Transformers

Pipeline

git

字符串

原创 7月前 220 阅读

经典机器学习方法（7）—— 卷积神经网络CNN

本节介绍卷积神经网络CNN的基本原理，包括卷积层和汇聚层

cnn

卷积神经网络

卷积核

池化层

卷积层

原创 7月前 83 阅读

详解三种常用标准化 Batch Norm & Layer Norm & RMSNorm

详细说明 Batch Norm / Layer Norm / RMSNorm

Batch Norm

Layer Norm

RMSNorm

归一化

方差

原创精选 7月前 4003 阅读

Pytorch入门（7）—— 梯度累加（Gradient Accumulation）

本文介绍梯度累加技巧及其pytorch实现。该技巧通过延迟参数更新时机，允许模型在显存容量有限时使用更大的等效batch size进行训练

pytorch

人工智能

python

反向传播

Data

原创 9月前 1071 阅读

模型预测控制MPC（2）—— 无约束线性MPC

介绍无约束线性MPC的问题建模，求解方法和稳定性分析

MPC

无约束线性MPC

模型预测控制

代价函数

时域

原创 10月前 853 阅读

模型预测控制MPC（1）—— 基础概念

介绍模型预测的基本概念

MPC

模型预测控制

强化学习

最优控制

控制系统

原创 10月前 274 阅读

力扣面试经典150 —— 21-25题

力扣150题21~25

leetcode

面试

算法

字符串

空间复杂度

原创 10月前 62 阅读

力扣面试经典150 —— 11-15题

力扣150题11-15

leetcode

面试

算法

ci

数组

原创 11月前 70 阅读

力扣面试经典150 —— 16-20题

力扣150题16-20

leetcode

面试

算法

动态规划

双指针

原创 11月前 41 阅读

从费舍尔信息矩阵（Fisher Information Matrix, FIM）到自然梯度法

本文以自然梯度法的推导为脉络，贯穿黎曼空间、黎曼流形、黎曼度量、费舍尔信息矩阵、KL 散度和自然梯度法等概念。这是 TRPO 算法理论的重要基础

自然梯度法

费舍尔信息矩阵

FIM

黎曼度量

黎曼空间

原创 2024-03-05 15:47:52 1737 阅读

力扣面试经典150 —— 1-5题

力扣150题1-5

leetcode

面试

算法

数组

众数

原创 2024-03-05 15:47:22 38 阅读

序列模型（4）—— Scaling Laws

本文介绍 LLM 训练过程中重要的经验规律 Scaling Laws，它可以指导我们如何最大化训练效率，我们还可以借助它通过小规模实验预测大模型的性能表现

LLM

Sacaling Law

数据集

过拟合

拟合

原创 2024-01-18 11:44:15 224 阅读

序列模型（3）—— LLM的参数量和计算量

本文说明重要结论：设模型参数量为 N，训练数据量（Token）为 D，LLM训练中计算量（FLOPs）C ≈ 6ND

LLM

大语言模型

参数量

计算量

C=6ND

原创 2024-01-18 11:37:36 1417 阅读

项目demo —— GPT 聊天机器人

本文介绍我基于 Openai GPT API 开发的 telegram 聊天机器人。该 bot 具有催眠聊天、图像生成、语音输入输出等多模态交互能力，代码开源

gpt

ChatGPT

聊天机器人

telegram bot

API

原创 2023-12-16 12:21:52 186 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

佚失的诗篇

CleanGPT：清晰简洁的GPT模型训练框架

VS2015 + OpenCV + OnnxRuntime-Cpp + YOLOv8 部署

论文理解【LLM-NLP】——【SEQ*】Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Mode

多维高斯分布的信息熵和KL散度计算

论文理解【LLM-CV】—— 【MAE】Masked Autoencoders Are Scalable Vision Learners

专家系统简介

论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning

论文速览【LLM】 —— 【ORLM】Training Large Language Models for Optimization Modeling

论文理解【LLM-CV】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

论文速览【LLM-agent】—— 【ReAct】Synergizing Reasoning and Acting in Language Models

论文理解【CV-目标检测】——【YOLO-V1】You Only Look Once: Unified, Real-Time Object Detection

论文理解【LLM】—— TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

论文理解【LLM】—— What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot...

Hugging face Transformers（1）—— 基础知识

Hugging face Transformers（4）—— Model

Hugging face Transformers（3）—— Tokenizer

Hugging face Transformers（2）—— Pipeline

经典机器学习方法（7）—— 卷积神经网络CNN

详解三种常用标准化 Batch Norm & Layer Norm & RMSNorm

Pytorch入门（7）—— 梯度累加（Gradient Accumulation）

模型预测控制MPC（2）—— 无约束线性MPC

模型预测控制MPC（1）—— 基础概念

力扣面试经典150 —— 21-25题

力扣面试经典150 —— 11-15题

力扣面试经典150 —— 16-20题

从费舍尔信息矩阵（Fisher Information Matrix, FIM）到自然梯度法

力扣面试经典150 —— 1-5题

序列模型（4）—— Scaling Laws

序列模型（3）—— LLM的参数量和计算量

项目demo —— GPT 聊天机器人

欢迎