一、安装OLLAMA
qwen7b.gguf是阿里巴巴的通义千问大模型，7B大模型，7亿参数，至少需要8G内存，越大回复越流畅，
下载完后，双击OllamaSetup，自动安装成功，默认安装在C盘，不能选择安装路径的哦，安装完后，右下角会出现Ollama图标。
二、创建环境变量
OLLAMA_MODELS，随意指定变量值，如图所示：
Python |
三、重启OLLAMA
选择右键小图标，然后退出，
在开始菜单中找到重启Ollama
四、重启后目录如下：
五、创建Modelfile
在blobs下创建Modelfile文件，没有后缀。
六、加载模型
1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下，和ModelFile同目录（不一定非要同目录，如果放到其他地方，以下路径随着更改就行）
Plain Text |
2、在Modelfile所在路径输入cmd，然后回车：
3、执行命令
Plain Text |
等待差不多10分钟，出现success表示成功。
七、成功后的目录
八、查看模型
Plain Text |
九、运行模型
Plain Text |
运行成功的窗口如下：
这样就可以开始对话了
我们接着讲解，如何通过AnythingLLM实现友好对话的
安装AnythingLLM
双击安装包，它会自动安装完成
这是安装后的界面
接下来我们设置一下ollama配置，anythingllm是一个前端，ollama是一个运行大模型的后台，我们现在需要通过anyhtingllm去调用后台接口，方便我们实现友好对话
配置ollama
llmProvider这里选择Ollama，后台访问接口地址url默认为：http://127.0.0.1:11434 ，模型我们选择llama3中文版，也可以选择已经安装的模型qwen，token默认即可，如下图所示：
设置向量数据库
选择lanceDB即可
新建空间
接下来我们测试一下
