乐胖代购免代理版

欢迎

[大模型]大语言模型量化方法对比：GPTQ、GGUF、AWQ

在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同

语言模型

人工智能

自然语言处理

加载

权重

原创 2月前 151 阅读

Baichuan-7B-chat WebDemo 部署调用

Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的佳的效果。

python

聊天界面

ide

保存文件

原创 2月前 19 阅读

[大模型]Baichuan2-7B-chat lora 微调

LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型# Lora 秩。

python

指令集

加载

原创 2月前 41 阅读

[大模型]Baichuan2-7B-chat langchain 接入

这篇主要讲如何对接Langchain中的LLM模块，并且提供一个快捷搭建向量数据库、Agent等多功能的Langchain应用的部署方案；关于如何具体对接向量数据库和gradio的部分请参考模块。

langchain

自定义

python

调用函数

原创 2月前 52 阅读

[大模型]ChatGLM3-6B Transformers部署调用

在平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>–>11.8接下来打开刚刚租用服务器的Jupyte

python

加载

分词器

原创 2月前 56 阅读

[大模型]ChatGLM3-6B FastApi 部署调用

在平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>1.11.0–>–>11.3接下来打开刚刚租用服务器的Jup

fastapi

人工智能

json

CUDA

python

原创 2月前 121 阅读

[大模型]基于 ChatGLM3 和 LangChain 搭建知识库助手

同时，我们需要使用到开源词向量模型（HuggingFace 链接名为：sentence-transformers/paraphrase-multilingual-MiniLM-L12

langchain

加载

数据库

git

原创 2月前 146 阅读

[大模型]ChatGLM3-6B-chat Lora 微调

LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需

python

加载

缩放

数据

原创 2月前 143 阅读

[大模型]Qwen1.5-7B-Chat 接入 LangChain 搭建知识库助手

在 autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8接下

langchain

自定义

加载

构造函数

原创 2月前 130 阅读

[大模型]Qwen1.5-7B-Chat FastApi 部署调用

在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8（11.3 版本以上的都可以）。接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行演示。pip 换源加速下载并安装依赖包

fastapi

json

CUDA

python

原创 2月前 151 阅读

[大模型]Qwen1.5-4B-Chat WebDemo 部署

Qwen1.5 是 Qwen2 的测试版，Qwen1.5 是基于 transformer 的 decoder-only 语言模型，已在大量数据上进行了预训练。与之前de。

python

聊天界面

ide

保存文件

原创 2月前 93 阅读

[大模型]Qwen1.5-7B-chat Lora 微调

LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需

人工智能

加载

指令集

权重

原创 2月前 166 阅读

[大模型]Qwen1.5-7B-Chat-GPTQ-Int4 部署环境

Qwen1.5-72b 版本有BF16、INT8、INT4三个版本，三个版本性能接近。由于BF16版本需要144GB的显存，让普通用户忘却止步，而INT4

langchain

聊天界面

git

环境配置

原创 2月前 116 阅读

[大模型]Atom-7B-chat网页例子

学术镜像加速详细使用请看：https://www.autodl.com/docs/network_turbo/进入代码目录,运行demo启动脚本，在–model_na

python

git

依赖包

原创 2月前 75 阅读

[大模型]Atom-7B-Chat 的 Lora 指令微调

自定义 Trainer，继承自 transformers.trainer# 重写损失计算函数，避免 LLaMA 类模型未定义 loss 的计算# 7B).loss# 重写模型保存函数

python

加载

自定义

json

原创 2月前 29 阅读

[大模型]Atom-7B-Chat 接入langchain搭建知识库助手

在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8接

langchain

加载

数据库

目标文件

原创 2月前 37 阅读

[大模型]Atom-7B-chat 全量微调

首先我们要准备训练模型的代码，这里我们使用的modelscope上的模型，大家自行下载即可。OK，模型下载完

python

json

加载

5e

原创 2月前 46 阅读

[大模型]Langchain-Chatchat安装和使用

默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释

langchain

git

python

Web

原创 2月前 130 阅读

[大模型]BlueLM-7B-Chat FastApi 部署

BlueLM-7B 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，参数规模为 70 亿。BlueLM-7B 在和上均取得领先结果，对比

fastapi

json

CUDA

JSON

原创 2月前 58 阅读

[大模型]BlueLM-7B-Chat langchain 接入

BlueLM-7B 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，参数规模为 70 亿。BlueLM-7B 在和上均取得

langchain

自定义

服务器

List

原创 2月前 51 阅读

[大模型]BlueLM-7B-Chat Lora 微调

LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类

开发语言

人工智能

数据

数据集

原创 2月前 52 阅读

[大模型]DeepSeek-7B-chat WebDemo 部署

由70亿个参数组成的高级语言模型 DeepSeek LLM。它是在一个包含2万亿个英文和中文代币的庞大数据集上从零开始训练的。为了促进研究

人工智能

聊天界面

ide

保存文件

原创 2月前 114 阅读

[大模型]DeepSeek-7B-chat FastApi 部署调用

由70亿个参数组成的高级语言模型 DeepSeek LLM。它是在一个包含2万亿个英文和中文代币的庞大数据集上从零开始训练的。为了促进研

fastapi

人工智能

json

CUDA

python

原创 2月前 97 阅读

[大模型]DeepSeek-7B-chat Lora 微调

LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：

开发语言

指令集

加载

缩放

原创 2月前 104 阅读

[大模型]DeepSeek-MoE-16b-chat Transformers 部署调用

DeepSeek MoE目前推出的版本参数量为160亿，实际激活参数量大约是28亿。与自家的7B密集模型相比，二者在19个数据集上的

python

加载

github

原创 2月前 48 阅读

[大模型]internLM-Chat-7B FastApi 部署调用

在平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>1.11.0–>–>11.3接下来打开刚刚租用服务器的JupyterLab，并且

fastapi

json

CUDA

python

原创 2月前 63 阅读

[大模型]InternLM-Chat-7B 对话 Web

在平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>1.11.0–>–>11.3接下来打开刚刚租用服务器的JupyterLab，并且

前端

git

端口映射

加载

原创 2月前 60 阅读

[大模型]InternLM-Chat-7B Transformers 部署调用

粘贴代码后记得保存文件，上面的代码有比较详细的注释，大家如有不理解的地方，欢迎提出issue。（魔塔社区）中的snapshot_download

开发语言

加载

历史记录

保存文件

原创 2月前 68 阅读

[大模型]Lagent+InternLM-Chat-7B-V1.1

选择和第一个InternLM一样的AutoDL镜像环境，运行以下命令安装依赖，如果上一个已经配置好环境不需要重复安装.

人工智能

ide

html

UI

原创 2月前 49 阅读

[大模型]浦语灵笔图文理解&创作

首先在AutoDL上租一台显卡驱动支持11.7以上的双卡3090机器.在选择镜像是选择Miniconda-->conda3-->–>11.6打开中的终端，首先

python

git

github

原创 2月前 50 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63e641ce30357的博客

欢迎

[大模型]大语言模型量化方法对比：GPTQ、GGUF、AWQ

Baichuan-7B-chat WebDemo 部署调用

[大模型]Baichuan2-7B-chat lora 微调

[大模型]Baichuan2-7B-chat langchain 接入

[大模型]ChatGLM3-6B Transformers部署调用

[大模型]ChatGLM3-6B FastApi 部署调用

[大模型]基于 ChatGLM3 和 LangChain 搭建知识库助手

[大模型]ChatGLM3-6B-chat Lora 微调

[大模型]Qwen1.5-7B-Chat 接入 LangChain 搭建知识库助手

[大模型]Qwen1.5-7B-Chat FastApi 部署调用

[大模型]Qwen1.5-4B-Chat WebDemo 部署

[大模型]Qwen1.5-7B-chat Lora 微调

[大模型]Qwen1.5-7B-Chat-GPTQ-Int4 部署环境

[大模型]Atom-7B-chat网页例子

[大模型]Atom-7B-Chat 的 Lora 指令微调

[大模型]Atom-7B-Chat 接入langchain搭建知识库助手

[大模型]Atom-7B-chat 全量微调

[大模型]Langchain-Chatchat安装和使用

[大模型]BlueLM-7B-Chat FastApi 部署

[大模型]BlueLM-7B-Chat langchain 接入

[大模型]BlueLM-7B-Chat Lora 微调

[大模型]DeepSeek-7B-chat WebDemo 部署

[大模型]DeepSeek-7B-chat FastApi 部署调用

[大模型]DeepSeek-7B-chat Lora 微调

[大模型]DeepSeek-MoE-16b-chat Transformers 部署调用

[大模型]internLM-Chat-7B FastApi 部署调用

[大模型]InternLM-Chat-7B 对话 Web

[大模型]InternLM-Chat-7B Transformers 部署调用

[大模型]Lagent+InternLM-Chat-7B-V1.1

[大模型]浦语灵笔图文理解&创作