如果说HuggingFace是面向研发人员的话,那么Ollama更多是面向非从业人员打造的。Ollama提供了比较友好的方式来安装LLM,并且支持部署HuggingFace上的开源模型。下面让我们来看看用Ollama安装LLM有多么方便吧~
第一步:在本机下载并安装Ollama
首先,访问Ollama官方网站,根据你的系统(Windows、Mac或Linux)快速下载Ollama。Ollama是一个轻量级工具,它能让你在本地运行大型语言模型,比如Llama 3.2、Mistral和Gemma 2。安装完毕后,你就可以在本地自由地运行和定制这些模型了。
第二步:运行Ollama安装程序
下载Ollama后,只需简单几步即可在电脑上安装这个强大的工具。
首先,打开下载的文件,然后按照安装向导的指示进行操作。安装过程快速且直观,Ollama会自动添加所有必要的文件,确保工具能够顺利运行。无需复杂的设置,Ollama的安装向导会带你轻松完成整个过程。
第三步:验证Ollama安装
一旦你完成Ollama的安装,下一步就是验证它是否正确安装。通常,Ollama会在安装完成后自动打开命令提示符窗口。但如果它没有自动打开,别担心,你可以轻松地手动打开它。
在Windows系统上,只需搜索“cmd”即可找到命令提示符。打开命令提示符后,输入以下命令来验证Ollama是否已正确安装:
ollama
你应该能看到如下输出:
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
安装并运行大模型
安装Ollama后,你离在机器上拥有自己的本地大型语言模型(LLM)仅一步之遥。首先,我们需要安装Meta的Llama3.2模型。
打开命令提示符窗口,输入以下命令:
ollama run llama3.2
这个命令会做两件事情:
- 如果你的机器上还没有安装Llama3.2,它会自动安装。
- 它会启动Llama3.2模型。
输入命令后,按下回车键。如果Llama3.2尚未安装,你应该会看到类似以下的提示信息:
pulling manifest
pulling dde5aa3fc5ff... 26% ▕████████████ ▏ 532 MB/2.0 GB 32 MB/s 48s
现在,Ollama将开始在你的机器上下载并安装Llama3.2模型。这个过程一旦完成,Ollama将自动为你运行Llama3.2模型,这样你就可以开始与它进行交互了。
在命令行窗口中,你应该会看到类似以下的内容:
pulling manifest
pulling dde5aa3fc5ff... 100% ▕████████████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕████████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕████████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕████████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████████▏ 96 B
pulling 34bb5ab01051... 100% ▕████████████████████████████████████████████████████████▏ 561 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)
就这样,你的本地机器上现在有了LLM!!
另外,如果你想要安装通过Ollama可用的任何其他模型,可以使用同样的命令:
ollama run MODEL_NAME
第五步:测试你的模型
问他一个简单的问题:
Hey Llama! Could you tell me a little bit about yourself?
然后你就会得到回答:
Hey Llama! Could you tell me a little bit about yourself?
I'm happy to chat with you. I'm an artificial intelligence model known as Llama, which stands for "Large Language
Model Meta AI." My primary function is to process and generate human\-like text based on the input I receive.
I was trained on a massive dataset of text from various sources, including books, articles, and online
conversations. This training allows me to understand and respond to a wide range of questions, topics, and styles.
Some key features of my abilities include:
.....
是不是很简单!
总结
恭喜!现在Llama LLM已经顺利地在你的本地机器上运行起来了。
如果你想更深入地了解Ollama,可以查看官方文档,链接在这里。
如果你对使用图形用户界面来更轻松地操作Ollama感兴趣,不妨看看Open Web UI。我们期待不久的将来能看到一篇详细介绍如何设置它的博客。
在此之前,好好享受你个人的Llama助手带来的便利吧!