随着这一两年大模型的爆火，越来越多的开发者希望能够在本地环境中运行大模型，既可以提高数据安全性，又能更好地进行个性化开发。Ollama 作为目前最主流的大模型管理工具，已经是玩转大模型必不可获取的一步。无论你是刚刚接触大模型的新手，还是已经有一定经验的老手，这篇文章都将带你一步一步地了解如何轻松地在本地部署大模型。
ollama
根据自己的本地环境，选择对应的版本即可
- 选择想要的模型：https://ollama.com/library
根据机器内存选择合适大小的模型参数，右侧复制命令
- 复制命令到 terminal 执行（windows 使用 cmd）
这一步会下载并启动，接下来就可以直接开始对话了
- 当然 ollama 提供了一些内置的命令
- 下载的模型文件目录可以通过 /show modelfile 查看
open-webui
命令行工具对非开发同学还是不太友好，毕竟在大模型应用满大街的今天，不管是 Independent developer，还是一些大型的商业公司，都一直在卷用户体验，webUI 也应势而生。
- 安装 docker：https://www.docker.com/
为了部署方便，这里直接使用 docker，本地有 docker 的话可以跳过这一步
直接下载镜像并启动，命令如下：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 等待镜像启动成功，可以在面板看到如下，点击跳转即可到web界面
- 接下来就可以选择想要的模型，开始对话了
写在后面
除了 open-webui，Ollama 的生态还提供了各种其他的UI以及插件，部分也支持通过 api-key 直接远程访问商业大模型，甚至提供了移动端的访问接口，这无疑大大降低了大模型的使用门槛。
