书籍：Pretrain Vision and Large Language Models in Python: End-to-end techniques for building and deploying foundation models on AWS
作者：Emily Webber
出版：Packt Publishing
编辑：陈萍萍的公主@一点人工一点智能
01 书籍介绍
基础模型的出现彻底革新了机器学习领域。从BERT到ChatGPT，再到CLIP和Stable Diffusion，当数十亿参数与大规模数据集相结合，并利用数百乃至数千个GPU进行训练时，其成果令人瞩目。本书提供了宝贵的建议、指导和代码示例，帮助您从头开始，在AWS和Amazon SageMaker上预训练和微调自己的基础模型，并将其应用于组织内的各种实际场景。
在资深AWS和机器学习专家Emily Webber的指导下，本书将带领您全面了解从项目构思到数据集准备、训练、评估和部署大型语言、视觉和多模态模型的全过程。通过详细的步骤解析和实际案例，您将逐步掌握预训练的概念，准备好数据集和模型，配置环境，完成训练、微调、评估、部署并优化您的基础模型。
您还将学习如何运用扩展定律将模型和数据集分布在多个GPU上，消除偏差，提高吞吐量，并构建部署管道。
读完本书后，您将拥有足够的知识和技术，能够启动自己的项目，预训练和微调未来的基础模型。
学习目标：
· 寻找适合预训练和微调的用例和数据集
· 准备大规模训练所需的自定义加速器和GPU
· 在AWS和SageMaker上配置环境以优化性能
· 根据模型需求和限制选择合适的超参数
· 使用多种并行化策略分布模型和数据集
· 避免作业重启、间歇性健康检查等常见问题
· 通过定量和定性分析评估模型效果
· 部署模型并实施运行时性能提升和监控流程
适用读者：
本书适用于想要启动基础模型项目的机器学习研究人员和爱好者。应用科学家、数据科学家、机器学习工程师、解决方案架构师、产品经理及学生都能从中获益。要求读者具备中级Python编程能力及云计算的基本概念。书中不仅涵盖了深度学习的基础知识，还详细解释了一些高级主题。内容围绕高级机器学习和云技术展开，以实际行动为导向，易于理解。
02 作者简介
Emily Webber是亚马逊网络服务（AWS）的首席机器学习专家解决方案架构师。她帮助数百名客户成功迈向云端机器学习之路，特别擅长大规模语言和视觉模型的分布式训练。
Emily指导机器学习解决方案架构师，编写了大量关于SageMaker和AWS的功能设计文档，并为Amazon SageMaker的产品和工程团队提供机器学习最佳实践指导。她在AWS社区中因一系列16个视频的YouTube教程而闻名，这些视频累计播放量超过16万次；此外，她在2019年O'Reilly伦敦AI大会上的主题演讲也备受关注，演讲内容涉及一种她为公共政策开发的新颖强化学习方法。
03 书籍大纲
