1.IKAnalyzerIK Analyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包。从2006.12推出1.0版本开始，IK Analyzer已经推出了多个版本，当前最新版本为2012 u6，最初基于Luence，从3.0开始成为面向Java的公用分词组件，独立于Luence，下载地址为：http://code.google.com/p/ik-analyzer/。IK支持细粒
转载
2024-01-08 21:35:37
64阅读
### 如何使用NLP开源模型
#### 1. 整体流程
| 步骤 | 描述 |
| --- | --- |
| 1 | 确定需求 |
| 2 | 选择合适的NLP开源模型 |
| 3 | 下载和安装模型 |
| 4 | 准备数据 |
| 5 | 运行模型 |
| 6 | 分析结果 |
| 7 | 调优和优化 |
#### 2. 每一步的具体操作和代码
##### 步骤 1：确定需求
在
原创
2023-08-10 13:43:53
99阅读
前言随着BERT、ERNIE、XLNet等预训练模型的流行，解决NLP问题时不用上预训练模型似乎总显得自己有点过时。但是这显然是不对的。众所周知，无论训练还是推理，预训练模型都会消耗大量的算力，且高度依赖GPU计算资源。然而，有很多的NLP问题实际上仅仅靠字典+规则就可以做到够用，那么这时候强行上笨重的模型无异于高射炮打蚊子，性价比是非常低的。于是小夕就从一个比较疯狂的github repo里为大
转载
2023-12-06 23:41:09
130阅读
1、背景 随着 BERT、Megatron、GPT-3 等预训练模型在 NLP 领域获得前瞻的成果，许多多团队也进入超大规模训练中，使得训练模型从亿级别发展到了千亿甚至万亿的规模。首先，模型参数量过大使得训练和推理速度过慢且部署成本极高；其次在很多实际场景中数据量不足的问题仍然制约着大模型在小样本场景中的
转载
2024-01-02 22:10:04
90阅读
整理 | AI 科技大本营（ID:rgznai100）自然语言处理（NLP）被誉为 AI 皇冠上的明珠，传统 NLP 模型制作复杂，耗时耗力，且用途单一，难以复用。预训练语言模型是 NLP 领域的研究热点之一，“预训练+精调”已成为NLP任务的新范式，当前预训练语言模型正在改变局面，有望让语言 AI 走向入可规模化复制的工业时代。今日，阿里巴巴达摩院正式开源预训练语言模型体系 Alice
转载
2023-07-26 14:09:51
198阅读
流程图如下所示：
```mermaid
flowchart TD
A[准备工作] --> B[安装OpenAI的Python库]
B --> C[导入必要的模块]
C --> D[设置OpenAI API密钥]
D --> E[选择合适的API模型]
E --> F[处理文本数据]
F --> G[调用OpenAI API]
G --> H
原创
2023-11-30 06:11:06
40阅读
PaddleNLP是基于飞桨（PaddlePaddle）开发的工业级中文NLP开源工具与预训练模型集，将自然语言处理领域的多种模型用一套共享骨架代码实现，可大大减少开发者在开发过程中的重复工作。PaddleNLP提供依托于百度百亿级大数据的预训练模型，适应全面丰富的 NLP任务，方便开发者灵活插拔尝试多种网络结构，并且让应用最快速达到工业级效果。下面小编就带你一一了解PaddleNLP支持的十大N
转载
2024-03-14 17:44:32
110阅读
一、CubeAI各访问渠道：CubeAI官方网址：https://cubeai.dimpt.com
github: https://github.com/cube-ai/cubeai
鹏城智汇ihub: https://code.ihub.org.cn/projects/348（最新的代码和AI模型）二、CubeAI介绍CubeAI ★ 智立方 是参考 Li
转载
2024-02-06 13:27:23
37阅读
前言：笔者之前是cv方向，因为工作原因需要学习NLP相关的模型，因此特意梳理一下关于NLP的几个经典模型，由于有基础，这一系列不会关注基础内容或者公式推导，而是更侧重对整体原理的理解。顺便推荐两个很不错的github项目——开箱即用的中文教程以及算法更全但是有些跑不通的英文教程。一. fasttext模型的目的以及预备知识fasttext是facebook提出的一个文本分类工具(也可用于词向量计算
转载
2023-08-29 21:45:52
215阅读
# 开启你的NLP之旅：使用OpenAI进行自然语言处理
作为一名刚入行的开发者，你可能会对如何使用OpenAI进行自然语言处理（NLP）感到困惑。不用担心，本文将带你一步步了解整个过程，从基础到实践。
## 1. 流程概览
首先，让我们通过一个表格来了解使用OpenAI进行NLP的基本步骤：
| 步骤 | 描述
本着一颗开源之心，我司开源了中文版的base_unilm模型。链接地址如下：https://github.com/YunwenTechnology/UnilmUniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Generation，译为自然语言理解与生成的统一预训练语
转载
2023-10-29 19:18:46
56阅读
# 使用OpenAI等NLP模型进行文本标注的指南
文本标注是自然语言处理（NLP）中一项重要的任务，通常用于训练机器学习模型，从而改善其对文本的理解能力。以下是一个使用OpenAI等NLP模型进行文本标注的完整流程：
## 流程步骤
| 步骤 | 描述 |
| ----------
OpenNRE(https://github.com/thunlp/OpenNRE.git)是清华大学自然语言处理实验室推出的一款开源的神经网络关系抽取工具包，包括了多款常用的关系抽取模型，发布仅一年即在 Github 上获得了 1700+ 星标。 现在这款工具包已经悄悄更新到了 2.0 版本！在原版 TensorFlow 实现的基础上，不仅采用了现在大热的 PyTorch 作为基础，
转载
2024-01-11 10:23:33
49阅读
GPT 2.0 不开放引发社区声讨近日，由非营利性人工智能研究公司 OpenAI 创建的一种新语言模型 GPT 2.0 正在酝酿一场风暴，在技术社区和社交网络引起了广泛讨论。让人哭笑不得是， OpenAI 称，因为这个文本生成器性能太好了，他们担忧这项技术会被滥用，因此决定暂不将该模型开源，仅在 Github 上放出了一小部分公开示例：https://github.com/openai/gpt-2
原创
2021-04-01 13:40:01
258阅读
自然语言之情感分析(中文)数据来源：香港金融新闻平台处理工具：python3.5处理结果：分析语言的积极/消极意义领域：金融/炒股请随意观看表演数据准备数据清洗情感分析报错处理成果展示遗留问题No1.数据准备准备工作主要是对字典进行处理，将其按照类型分类写入python文件中，方便其余脚本调用。并且，将词典写入到emotion_word.txt中，使用 jieba词库将字典写入.py文件好处方便调
从字面上看，预训练模型（pre-training model）是先通过一批语料进行模型训练，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和 微调（fune-tuning）阶段。预训练阶段一般会在超大规模的语料上，采用无监督（unsupervised）或者弱监督（weak-superv
转载
2023-08-11 17:07:33
212阅读
一、背景自从GPT-2的出现，预训练语言模型在许多文本生成任务上都取得了显著的效果。这些预训练语言模型大都采用自回归的方式从左到右依次生成单词，这一范式的主要局限在于文本生成的过程难以并行化，因此带来较大的生成延迟，这也限制了自回归模型在许多实时线上应用的广泛部署（例如搜索引擎的查询重写、在线聊天机器人等）。并且，由于训练过程与生成过程存在差异，自回归生成模型容易出现曝光偏差等问
一些实用的NLP开源项目1. 综合型开源工具（1）Natural Language Toolkit (NLTK)
NLTK是用于构建Python程序以处理人类语言数据的领先平台。它为超过50个语料库和词汇资源(如WordNet)提供了易于使用的接口，以及一套用于分类、标记化、词干、标记、解析和语义推理的文本处理库，用于工业强度NLP库的包装器，以及一个活跃的讨论论坛。由于介绍了编程基础知识
转载
2023-05-26 01:53:35
497阅读
在文章NLP（三十四）使用keras-bert实现序列标注任务中，我们已经用keras-bert模块实现了中文序列标注任务，其中对BERT进行微调。当前，我们也可以顺便实现下英语序列标注任务。 本文将介绍如何使用keras-bert实现英语序列标注任务。一个小测试 使用keras-bert实现英语序列标注任务的代码，大体上与文章NLP（三十四）使用keras-bert实现序列标注任务中的
转载
2024-01-16 17:33:48
51阅读
# 如何实现“信息提取 NLP开源模型对比”
## 1. 流程图
```mermaid
flowchart TD;
A[准备数据集] --> B[选择 NLP 开源模型];
B --> C[训练模型];
C --> D[评估模型];
D --> E[对比不同模型效果];
```
## 2. 教学步骤
### 步骤一：准备数据集
首先，你需要准备一个用于信息
原创
2024-03-04 06:23:26
118阅读
