《Full Parameter Fine-Tuning for Large Language Models with Limited Resources》
文章贡献：减少对GPU内存的占用，从而能让GPU容纳更大的模型参数
核心思想：
LOMO: LOw-Memory Optimization 阅读笔记
原创
©著作权归作者所有：来自51CTO博客作者TechOnly的原创作品，请联系作者获取转载授权，否则将追究法律责任
上一篇：deepspeed ZeRO-Inference 可在1-GPU上推理～100B的大模型
下一篇：huggingface/transformers tokenizer报错 list index out of range
提问和评论都可以，用心的回复会被更多人看到
评论
发布评论
相关文章
-
Redis Memory optimization
Redis Memory optimization
redis 内存优化 中文标题 英文内容 翻译不好 -
图像处理---LoMo
所谓Lomo效果无非就是四角变暗，然后加上颜色矩阵变换。以下是通过c代码实现的Lomo效果，效果有待优化：
图像处理 c LoMO 图层 c代码 -
memory is low
Symbian OS本身就是为内存和资源受限的设备开发的，应用程序运行过程中很可能碰到内存用光，或者硬件资源不可用的情况。而这种exceptions是通过修改程序无法解决的，所以遵守以下几条： •尽量不要使用不必要的RAM •尽早释放资源，如文件server等 •当你每次申请内存时，都须准备处理out-of-memory错误 •当 out-of-memo
memory is low symbian construction constructor null
