02-adapter微调方法介绍_51CTO学堂_Transformer微调技术详解与应用

首页>视频课程>AIGC/DeepSeek>DeepSeek/Agent/RAG>chatglm的lora微调原理及源码剖析>02-adapter微调方法介绍

02-adapter微调方法介绍

1394 未经授权，禁止转载了解课程
{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }} 分享
提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题 离线观看

下载学堂APP

缓存视频离线看

TransformerLaa q罗拉Adamant tAdapt to adaptattention机制参数优化MLP结构模型微调参数量控制训练效率
本课程深入探讨了基于Transformer架构的多种微调技术。首先介绍了标准的Transformer结构，随后详细阐述了Laa q罗拉、Adamant t等微调方法，它们通过修改attention机制或增加网络层来优化模型。课程重点讲解了Adapt to adapt技术，该技术在每一层Transformer模块后添加damp模块，仅更新新增参数，有效控制参数量。通过对比分析，展示了不同微调方法的训练效果和效率。本课程旨在帮助学员掌握Transformer微调的关键技术，提升模型性能。
课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
具有计算机科学基础背景，具有python基础，并希望想转行并专注于大模型应用的同学
你将会学到
对大模型的RAG原理及实践有一个深刻的理解，并能够在当前课程的实践上进一步完善适应实际业务
课程简介

从0到1 源码分析微调原理

01-为什么要微调

02-adapter微调方法介绍

03-prompt-prefix-tuning

04-p-tuningv2

05-lora

06-qlora原理介绍

07-chatglm源码分析-lora训练整体概览

08-chatglm源码分析-模型加载代码分析

09-chatglm源码分析-encode执行逻辑分析

10-lora参数配置结合源码介绍

11-lora入口函数分析

12-lora的类关系图

13-lora定义类的大体介绍

14-lora配置参数校验

15-chatglm模块改写成lora

16-lora参数冻结逻辑分析

17-模型最后一层的特殊处理&训练样本处理

18-chatglm的loratrainer解析

19-loraTrain初始化1

20-loraTrain初始化2

21-loraTrain初始化3

22-loraTrain初始化4

23-loraTrain训练过程分析1

24-loraTrain训练过程分析2

25-loraTrain训练过程分析3

26-loraTrain训练过程分析4














展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论，是否替换已有的置顶？

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
点击查看更多收起
发布
{{pageType === 'video' ? '讨论区抢占沙发，可获得双倍学分' :'讨论区空空如也，你来讲两句~'}}
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于：{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见，有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问，可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点，便于后续查看
公开提问
提交
讲师头像
acedar
世界500强IT企业，7年以上的大型项目开发经验，精通NLP算法及大模型算法及应用，包括RAG及Agent等。电子科技大学硕士，研究领域涵盖人工智能、AIGC、NLP算法，申请专利近30项，曾多次参加公益植树及AI教学等公益活动，优秀共产党员，荣获《2022年度深圳市产业发展与创新人才奖》。精品课程：《AIGC实战：从0到1实现大模型自动生成PPT》《手把手带你从0到1实现大模型agent》《手把手教你实现大模型RAG》《ChatGLM微调原理和源码分析》《ChatGLM原理介绍及源码剖析系列课程》《langchain源码剖析系列课程》等。

课程大纲

自动连播
手把手带你从0到1实现大模型RAG12课时
手把手带你从0到1实现大模型RAG
4016人学习
acedar
5.0
￥99.00
graphrag的原理&源码及应用介绍34课时
graphrag的原理&源码及应用介绍
2960人学习
acedar
5.0
￥19.90
aicoder三部曲-从0到1使用大模型自动生成完整的项目代码23课时
aicoder三部曲-从0到1使用大模型自动生成完整的项目代码
2085人学习
acedar
5.0
￥99.00
从0到1实现大模型AI Agent-手把手教12课时
从0到1实现大模型AI Agent-手把手教
2068人学习
acedar
5.0
￥99.00
AIGC实战：从0到1实现大模型自动生成ppt31课时
AIGC实战：从0到1实现大模型自动生成ppt
1696人学习
acedar
5.0
￥398.00
深入LangChain：从基础到源码的全面解析16课时
深入LangChain：从基础到源码的全面解析
1543人学习
acedar
5.0
￥29.90
chatglm的lora微调原理及源码剖析26课时
chatglm的lora微调原理及源码剖析
1394人学习
acedar
5.0
免费
DeepSeek的 3 次飞跃：V2，V3，R1背后的秘密10课时
DeepSeek的 3 次飞跃：V2，V3，R1背后的秘密
1029人学习
acedar
5.0
￥9.90