一、理解多模态大模型的常见设计模式，可以大概讲出多模态大模型的工作原理。
视频地址 开源的多模态大模型：InternVL，Qwen-VL，LLaVA
闭源的：GPT-4o
研究重点：不同模态特征空间的对齐
BLIP2
将图像特征对齐到文本空间中
Q-Former，双塔结构，分别处理图像输入和文字输入，用三个loss来优化模型（用MASK来区分三种任务）
缺点：
MiniGPT-4
开源版GPT4
采用Q-Former和VIT
LLaVA
用图像编码器和一层线性层把图像映射到文本空间，然后和文本指令embedding拼接在一起
LLaVA-1.5-HD
图像切片、缩略图，作为输入
然后一层MLP换成两层
LLaVA-NeXT
采用动态分辨率，找到最接近的长宽比，放缩过去再切块
二、了解InternVL2的设计模式，可以大概描述InternVL2的模型架构和训练流程
Dynamic High Resolution
原图切片
InternViT
- vision encoder的参数量增大
- 较之clip的对比学习，没有丢弃text encoder。
- 实验发现倒数第四层好用，就去掉了后面三层
- 扩展分辨率
- 在高分辨率和OCR数据集上训练
V1.5版本中，加了动态分辨率和高质量数据。
Pixel Shuffle
将图像进行下采样，
有利于减少计算资源，扩大多模态的上下文长度
多任务输出
用任务路由token决定执行什么任务
训练
先训MLP，再把所有模块都微调
三、了解LMDeploy部署多模态大模型的核心代码，并运行提供的gradio代码，在UI界面体验与InternVL2的对话
0.工作原理了解
1.环境配置
创建训练环境，用之前的xtuner-env就行，只要多装timm包就好
pip install -U ‘xtuner[deepspeed]’ timm==1.0.9
推理环境配置，需要用上书生生态链的lmdeploy
conda create -n lmdeploy python=3.10 -y
conda activate lmdeploy
pip install lmdeploy gradio==4.44.1 timm==1.0.9
2.LMDeploy部署
松鼠鳜鱼识别失败
四、了解XTuner，并利用给定数据集微调InternVL2-2B后，再次启动UI界面，体验模型美食鉴赏能力的变化。
1.微调实践
开发机没有/root/xtuner路径，可以用/root/finetune/xtuner代替。
克隆的命令也改为cp /root/InternVL2-Tutorial/xtuner_config/internvl_v2_internlm2_2b_lora_finetune_food.py /root/finetune/xtuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_lora_finetune_food.py
2.下载数据集
FoodieQA需要在hugging face上先提交申请，比较麻烦
因此可以用share目录下已经处理好的数据集
用软连接即可
ln -s /root/share/datasets/FoodieQA /root/huggingface/FoodieQA3.开始微调
我是在/root/finetuner/xtuner/目录下运行微调指令的
xtuner train internvl_v2_internlm2_2b_lora_finetune_food --deepspeed deepspeed_zero2
格式转换：
4.部署
修改demo.py里的路径为
MODEL_PATH = "/root/finetune/xtuner/work_dirs/internvl_v2_internlm2_2b_lora_finetune_food/lr35_ep10"
可以看到，训完之后它对于苏菜的松鼠鳜鱼识别还是错误，识别成了浙菜油爆虾。但是较之未训练的模型来说，至少没有笼统的列出属于中国菜，有所进步，
